Basics GPUs Graphics Practice Reviews

Gaming Benchmarks: FPS, Percentiles, Frame Time, Variances, Power Consumption and Efficiency simply explained

Since I am asked again and again which programs I use for the collection and analysis of my benchmark data and I also attach great importance to transparency, I have now sat down again and completely rewritten an article that I wrote in 2016, so already 5 years ago for Tom’s Hardware. Because not only has much changed for the better in terms of accuracy, but many new features have also been added. However, I use these newer versions together with Tom’s Guide France exclusively, because Tom’s Hardware USA was not interested in a further cooperation with me and still relies on the old templates and a software that was also faulty at that time. That’s just a side note, because time is running out and licenses too.

The all-encompassing collection of all relevant data during a benchmark is the basic prerequisite for an objective article that is also correct in terms of content. That’s why today I will not only show what I determine and how and later evaluate it graphically for the reader, but also explain the most important terms such as percentiles or variances, because many things are asked again and again and I will also make it easier to link this article here in the relevant reviews again and again. Because on the one hand there are always new readers and on the other hand one becomes forgetful with the time.

Low-level data capture for DirectX11, DirectX12, and Vulkan with NVIDIA FrameView

For the actual benchmarking, I use NVIDIA FrameView, a PresentMon-based low-level capture tool for the current frame times in the game, which can also grab system data and log everything more or less in real-time and synchronously. In contrast to CapFrameX, FrameView can not only write the log data, but also supplements it with system data analogous to HWInfo and the power consumption measurement from PCAT (see next paragraph). The simle to use tool is freeware and can be downloaded from NVIDIA.

The rather rudimentary FrameView does not offer a graphical evaluation like CapFrameX, but I still evaluate the log files myself, which are much more informative for me. The normal user, on the other hand, can certainly do more with CapFrameX, since he cannot or does not have to further evaluate the determined data himself and is already offered various metrics as graphical output. If, on the other hand, you want to work with a uniform time line for all cards, no matter how many frames were actually rendered within a benchmark run, this does not really lead anywhere for a graphical comparison, e.g. in Excel.

The problem is that all performance monitoring applications in turn consume system resources, which affects the recorded results. That’s why I intentionally use only FrameView or a highly optimized version of PresentMon, because these programs may seem to have fewer functions (which I don’t need anyway), but they are much leaner and thus require measurably fewer resources.

What FrameView later outputs to the log file contains all the useful information you need to create your own metrics. Rendered Frame Rate, for example, relies on the timestamp at the beginning of the graphics pipeline. This metric represents the smoothness of the animation delivered to the GPU. For the frame time evaluations, however, I use the displayed frame rate, where the timestamp at the end of the graphics pipeline is evaluated and tells me what the user actually gets displayed on the screen and when. I don’t need the optical overlay for the actual evaluation, but it’s still a handy indicator already in the game whether everything is really running smoothly.

The benchmark system is no secret either, even existing twice for convenience and plausibility. Only the premises are different and I can even work in parallel if necessary, because both systems were also tested for congruent results.

Test System and Equipment
Hardware:
AMD Ryzen 9 5900X @4.7 GHz
MSI MEG X570 Godlike / X570 Ace
2x 16 GB DDR4 3800, CL16
Be Quiet! Dar Power Pro 1200W
Cooling:
Alphacool Ice Block XPX Pro
Alphacool Ice Wolf (modified)
Alphacool Subzero
Case:
Raijintek Paean
Monitor: BenQ PD3220U
Power Consumption:
Oscilloscope-based system:
Non-contact direct current measurement on PCIe slot (riser card)
Non-contact direct current measurement at the external PCIe power supply
Direct voltage measurement at the respective connectors and at the power supply unit
2x Rohde & Schwarz HMO 3054, 500 MHz multichannel oscilloscope with memory function
4x Rohde & Schwarz HZO50, current clamp adapter (1 mA to 30 A, 100 KHz, DC)
4x Rohde & Schwarz HZ355, probe (10:1, 500 MHz)
1x Rohde & Schwarz HMC 8012, HiRes digital multimeter with memory function

MCU-based shunt measuring (own build, Powenetics software)
Up to 10 channels (max. 100 values per second)
Special riser card with shunts for the PCIe x16 Slot (PEG)

NVIDIA PCAT and Fr

Thermal Imager:
1x Optris PI640 + 2x Xi400 Thermal Imagers
Pix Connect Software
Type K Class 1 thermal sensors (up to 4 channels)
Acoustics:
NTI Audio M2211 (with calibration file)
Steinberg UR12 (with phantom power for the microphones)
Creative X7, Smaart v.7
Own anechoic chamber, 3.5 x 1.8 x 2.2 m (LxTxH)
Axial measurements, perpendicular to the centre of the sound source(s), measuring distance 50 cm
Noise emission in dBA (slow) as RTA measurement
Frequency spectrum as graphic
OS: Windows 10 Pro (all updates, current certified drivers)

 

Lade neue Kommentare

Blubbie

Urgestein

686 Kommentare 210 Likes

Genau wegen solchen fundierten und gut erklärten Grundlagen Artikeln ist Igor's Seite absolute Spitzenklasse!
Weiter so!
(y):coffee:

Antwort 8 Likes

RX480

Veteran

142 Kommentare 79 Likes

Das klingt total interessant, an welchen Stellen FrameView misst.

Da gabs letztens Diskussionen bei CB, ob net CFX totalen Mist misst.

Antwort Gefällt mir

LurkingInShadows

Veteran

417 Kommentare 122 Likes

@Igor Wallossek :
Frage zu den Mikrorucklern; du schreibst ab 8ms wirds merkbar, ab 16 sehr deutlich; aber ist das nicht Monitorabhängig?

Also solange Varianz (ms) < (1000/Hz)/2 (ms) ists nicht merkbar? Da kommt auch deine Aussage hin, allerdings nur bei einem 60 Hz Monitor.

Antwort Gefällt mir

Igor Wallossek

Format©

5,573 Kommentare 8,620 Likes

Die ganzen Sync-Verfahren lasse ich mal außen vor, weil ich sie ja eh nicht aktivieren darf. Und ich beziehe mich hier weniger auf Monitore, sondern physiologische Grenzen und das, was der mernsch selbst wahrnehmen kann.

Antwort Gefällt mir

M
Martin Gut

Urgestein

3,348 Kommentare 1,132 Likes

Ja und nein. Bei 240 Hz merkt man es viel weniger als bei 60 Hz wenn mal ein Bild ausfällt. Unterschiede von mehr als 16 ms sind bei 60 wie auch bei 240 Hz spürbar. Unterschiede von 2 oder 4 ms sind bei 60 Hz meist gar nicht sichtbar. Bei 240 Hz sind sie wohl sichtbar, aber so kurz dass man es auch kaum wahr nimmt.

Antwort 1 Like

RX480

Veteran

142 Kommentare 79 Likes

Das Auge sieht ja net den absoluten Wert, merkt hingegen die Schwankung.(x)
D.h. in der Praxis hilft ein Cappen per Fps-Limit, um die Schwankung max Fps zu minFps zu verringern,
was zusätzlich noch dem Inputlag hilft.

(x) worst Case = beim Frameverlauf wenn auf einen Berg direkt ein Tal folgt = größte Differenz
(natürlich kann Buffern das etwas abmildern; ... interessant ist dann wirklich Wie und Wo die Frametimes gemessen werden)

Antwort 1 Like

LurkingInShadows

Veteran

417 Kommentare 122 Likes

Solange aber dieser worst case bei der halben Bildfrequenz liegt kann ein Monitor das NIE darstellen => wird nie merkbar

zB.: 60 Hz ergibt 16 2/3 ms Bildanzeigeintervall, wenn die GPU mehr Zeit braucht wird das letzte Bild nochmals für ein komplettes weiteres Intervall dargestellt, oder?
=> <16 2/3 sollte sich ausgehen, kann aber mit lag daneben gehen, 8 1/3 geht sich sicher aus.

Bei 240 Hz müssten alle Zeiten geviertelt sein, um den selben Effekt zu erreichen, also 4 1/6 ms Intervall; 2 1/12ms zum sichergehen.

Meine Frage oben bezog sich dann mit monitorabhängig darauf, dass 8 ms Varianz einem 60Hz Monitor schurzegal sind, bei einem 240 Hz Monitor aber zur erneuten Darstellung des Frames führen => Ruckler

Ob der sichtbar/spürbar wäre weiß ich nicht, wenn ja müssten die Nutzer der beiden Monitore in der Grafik verschiedene Grün-Rottöne als Messlatte nehmen um flüssiges Spielen zu garantieren.

Antwort Gefällt mir

Klicke zum Ausklappem
RX480

Veteran

142 Kommentare 79 Likes

240Hz ist vllt. gleich ein zu großer Sprung für nen Vgl., idealer wäre 144Hz, weil sehr verbreitet, bzw. bei 4k auch [email protected] gebräuchlich.
(96Hz waren die Modelle mit Bandbreitenlimit)

Antwort Gefällt mir

M
Martin Gut

Urgestein

3,348 Kommentare 1,132 Likes

Die Varianz ist nicht die Frametime. Für deine Überlegungen mit der Anzeige auf dem Bildschirm sind die Frametimes entscheidend. So wie du es beschreibst, läuft es, wenn man V-Sync an hat und die FPS auf die Bildschirmfrequenz limitiert.

Die Varianz ist (wenn ich Igors Beschreibung richtig verstehe) der Unterschied zwischen aufeinander folgenden Renderzeiten (Frametimes). Ein Frame hatte beispielsweise eine Frametime von 10 ms, der nächste 19 ms. Das gäbe dann eine Varianz von 9 ms. Das zeigt, wie unregelmässig das Game läuft. Die Varianz lässt sich aber nicht mit den Zeitintervallen der Bildschirmfrequenz vergleichen.

Bitte korrigiert mich wenn ich es falsch interpretiert habe.

Antwort 1 Like

Igor Wallossek

Format©

5,573 Kommentare 8,620 Likes

Du liegst völlig richtig, es ist die Differenz zwischen zwei aufeinanderfolgenden Frame Times. Bei sehr hohen FPS-Zahlen sind kurze Drops oder Spikes auch nichts, was die Elektronic so schnell wegbügelt.

Antwort Gefällt mir

Danke für die Spende



Du fandest, der Beitrag war interessant und möchtest uns unterstützen? Klasse!

Hier erfährst Du, wie: Hier spenden.

Hier kannst Du per PayPal spenden.

About the author

Igor Wallossek

Editor-in-chief and name-giver of igor'sLAB as the content successor of Tom's Hardware Germany, whose license was returned in June 2019 in order to better meet the qualitative demands of web content and challenges of new media such as YouTube with its own channel.

Computer nerd since 1983, audio freak since 1979 and pretty much open to anything with a plug or battery for over 50 years.

Follow Igor:
YouTube Facebook Instagram Twitter

Werbung

Werbung