Redaktion intern: So messen und bewerten wir die Grafik-Performance

Immersion: Unbeschwertes Eintauchen in die virtuelle Welt

Das subjektive Empfinden rückt nun in den Fokus unserer Betrachtungen. Um ein möglichst ungestörtes Spielerlebnis zu erhalten, wünschen sich Spieler natürlich eine möglichst ruckel- und verzögerungsfreie Ausgabe der Einzelbilder. Und obwohl man beides – also die Performance und die Glätte – natürlich abschließend im Zusammenhang bewerten muss, können wir beide Aussagen aus gutem Grund auch erst einmal getrennt voneinander betrachten.

Einfache Performance-Analyse

Nehmen wir zuerst die Performance-Betrachtung, um beide Karten unter DirectX 11 und DirectX 12 miteinander zu vergleichen. Hierfür analysieren wir den prozentualen Anteil der Frames bei den gestaffelten Renderzeiten. Alles oberhalb von 33 ms fällt quasi unter die 30-FPS-Marke und ist ab genau dann auch unschön genug, um zusammengefasst zu werden. Je weiter links auf der horizontalen Achse und umso ausgeprägter die Anteile sind, umso schneller rendert die betreffende Karte auch:

Interessant: Man sieht hier den Zuwachs im DX12-Renderpfad vor allem auf den schwächeren Systemen und der Radeon-Karte, wo sich die Kurve auf der rechten Grafik eindeutig weiter nach links verschiebt:

Einfache Glätte-Analyse („Smoothness“)

Für das Auge und das Gehirn sind aber auch die Zeitunterschiede in den Renderzeiten von aufeinanderfolgenden Frame sehr wichtig. Immersion funktioniert immer dann am besten, wenn diese Abfolge möglichst glatt und mit geringen Differenzen zwischen den einzelnen Renderzeiten abläuft. Jede größere Abweichung (oft schon ab 10 bis 20 Millisekunden) kann dann als Mikroruckler wahrgenommen werden, wobei das subjektive Empfinden von Spieler zu Spieler natürlich sehr unterschiedlich ausfallen kann.

Auch hier erfolgt zunächst die prozentuale Auswertung der einzelnen Renderzeit-Differenzen, wobei wir die Grenze bei 10 ms gesetzt haben, oberhalb der wir später noch genauer hinsehen müssen. Wir sehen allerdings schon hier, dass bei beiden Karten auf beiden Systemen und in beiden Renderpfaden nicht alles so rund läuft, wie man es für die perfekte Immersion wohl gern hätte:

Wir sehen in den Grafiken zum Beispiel deutlich, dass unter DirectX 12 im Gegensatz zur gewachsenen Performance auch das Ruckeln und der „unrunde“ Lauf zunehmen. Um dies noch deutlicher zu hinterfragen, müssen wir nun im nachfolgenden Teil der Betrachtungen die Mathematik erneut zu Hilfe nehmen und zudem diese Differenz-Kurven auch ein wenig filtern.

FPS vs. Frame-Time-Differenz

Viele Wege führen nach Rom – so auch dieser. Zunächst interpolieren wir die FPS-Kurve auf die Länger der Frame-Time-Kurven, um einen direkten Vergleich anstellen zu können. Doch die abgebildeten Differenzen der Renderzeiten sind keine einfache Differenzbildung zwischen den einzelnen Frames, sondern das Ergebnis einer aufwändigeren Berechnung, bei der unwichtige Spikes ein wenig gefiltert werden und am Ende auch nur die Werte auftauchen, die die Immersion beeinträchtigen könnten. Betrachten wir zunächst das schnellere System:

Diese Betrachtung zeigt uns sehr deutlich, dass gestiegene FPS-Zahlen nicht unbedingt zum immersiven Wohlbefinden beitragen, denn solche Ausreißer bis weit über 100 ms sind als Ruckler und Aussetzer und nicht nur Mikroruckler anzusehen – und werden auch als solche wahrgenommen. Das zeigen vor allem auch die Diagramme mit der langsameren CPU. Schön zu sehen, wie die Radeon RX 480 jetzt deutlicher vom DirectX-12-Renderpfad profitiert, aber es ist gleichzeitig auch eine teuer erkaufte Freude, denn die Frame-Time-Varianzen sind unschön und zugleich störend.

Die andere Karte legt nicht wirklich zu, büßt aber irgendwie auch nichts ein. Man sieht ein Patt und den Beweis, dass DirectX 12 für die GeForce GTX 1060 nur dann wirklich etwas bringt, wenn auch die CPU stark genug ist. Als Trostpflaster erhalt man zumindest das etwas ruhigere Bild.

Uneveness: Der unbestechliche „Ruckel-Index“

Wir nehmen zunächst unsere ermittelten Frame-Times und berechnen daraus die echten FPS (einschließlich der anteilig gerenderten Frames innerhalb dieser Sekunde). Dies ist quasi das Fundament unseres Index-Listings. Denn wenn eh nur weniger als 30 fps anliegen, muss man keinen der enthaltenen Frames dieser Sekunde als spielbar betrachten. Ähnliches gilt auch für die Staffelung bis hinauf zu 60 FPS, wo es auf die gute bis sehr gute Spielbarkeit ankommt.

Natürlich ist all dies noch viel zu grob, zeigt aber jedoch schon einmal die Richtung, in die es am Ende dann gehen könnte. Trotzdem kann sich auch in einem eigentlich schönen 70-FPS-Intervall eine mittlere oder größere Render-Katastrophe in Form einiger weniger, dafür grottenschlechter Frames verbergen, die bei den groben FPS-Angaben quasi im Kollektiv mit untertauchen, aber dem Spieler dann ins Auge springen.

Deshalb legen wir noch eine Auswertungsschicht oben drauf und nehmen für die weitere Auswertung die Renderzeiten der einzelnen Frames sowie die Differenzen zwischen den jeweiligen Frames unter die Lupe. Hier kommen Aspekte wie die erste Ableitung der Funktionen für die Erstellung unserer Kurven (Frame Times, Differenzen) sowie zusätzlich noch eine Art intelligenter Filter, der beispielsweise harte Übergänge im Spielablauf weitgehend erkennt und herausfiltert, zum Einsatz.

Dort werden faktisch als Plausibiliäts-Check im Zweifelsfall auch noch benachbarte Frames mit herangezogen. So kann dann eine ziemlich genaue Prognose erstellt werden, inwieweit so eine Ausnahme auch optisch wahrnehmbar sein könnte (Ruckler, ganze Aussetzer). Ist diese Wertung höher als die Basis, die wir für Sekundenintervall eh schon gesetzt hatten, dann wird dieser eine Frame (bzw. die betroffenene Framefolge) innerhalb ihrer genauen Zeitdauer mit einem höheren, schlechteren Index-Wert gekennzeichnet.

Am Ende steht dann die Bewertung des subjektiven Empfindens als ganzzahliger „Stör- oder Ruckel-Index“ ohne fließende Zwischenwerte in Form von Nachkommastellen. Diese Bewertung reicht von Level 0 (perfekt, keinerlei störende Einflüsse), über Level 5 (Akzeptanzgrenze) bis hin zu Level 10 (echte Ruckler, Aussetzer). Empfindlichere Gemüter werden bereits ab Level 3 oder Level 4 Mikroruckler wahrnehmen, die sich immer weiter verstärken können.

Die schnellere CPU sorgt auch bei den Mittelklasse-Karten für eine recht gutes und ruckelfreie Wiedergabe, wobei die Radeon RX 480 unter DirectX 12 bereits mit einigen doch sichtbaren Rucklern zu kämpfen hat.

Noch deutlicher wird dies, wenn man die schwächere CPU benutzt. Die GeForce ist deutlich langsamer unterwegs, bietet aber das subjektiv als ruhiger empfundene Bild.

Womit wir zumindest bei der Ausgabe der Bildbewertung (vorerst) am Ende angekommen wären. Doch dies ist natürlich immer noch nicht alles, was uns interessieren könnte.