Frage Benchmark selber erstellen - für jedes Spiel.

[Blubbie]

Hallo zusammen,

irgendwie scheint diese Frage nicht so leicht zu beantworten zu sein - ich habe schon an diversen Stellen gesucht.
Es geht mir darum - wie erstellt Igor und andere Menschen Benchmarks für jedes beliebige Spiel?

Ich meine jetzt nicht nur die Spiele die einen eingebauten Benchmark haben.
Also z.b. Doom Ethernal oder Control oder eben alle anderen?

Eine einfache Anleitung wäre toll - wäre natürlich super wenn man das dann "quasi" automatisieren könnte:
- Benchmarke Spiel ABC in Auflösung 1080, 1440 und 4k.
- Benchmarke Spiel DEFG in Auflösung 1080, 1440 und 4k.
- Benchmarke Spiel XYZ in Auflösung 1080, 1440 und 4k.

Für den Anfang reicht es mir wie man das Grundsätzlich bei Spielen machen kann die gar keinen eingebauten Benchmark haben?

Ich hoffe das ist kein Berufsgeheimnis - und ich hab auch nicht vor Benchmarks zu verkaufen oder auf Youtube zu stellen. Es ist rein privater Gebrauch für mich selbst.

Und ja ich bin auch Softwareentwickkler und könnte sofern das in den "Tools" nötig ist auch etwas coden...

Grüße
Blubbie.

 

[Casi030]

Replays z.b.

 

[Blubbie]

???
Ich kenne replay Funktion aus StarCraft und Warcraft 3.

Da ist das ja im Spiel drin als Funktion.

Was hat das mit einem Benchmark den man zb. Doom machen weil zu tun?

Also okay angenommen man könnte ein replay aufzeichnen, und es dann automatisch starten, mit jeweils anderen Settings... FPS und so kommen ja wahrscheinlich immer aus Riva Tuner/Riva Statistik Server.

Aber es muss sich ne Software die die replay Aufnahme und abspielen geben.
Genauso um dazwischen die Einstellungen zu ändern.

 

[Casi030]

Einige Spiele haben Replays mittlerweile wie LoL,World of Warships,World of Tanks....zu mindestens bis ein Update kommt,dann musst ein neues Spiel machen was aufgezeichnet wird.
Einstellen kannst was du willst,läuft beim nächsten Start dann so.
Die Links werden auf deinem Rechner gespeichert.
Ich hab früher mal Fraps benutzt für die FPS , da bekommst es dann als .txt Datei.

 

[Blubbie]

okay aber so richtig weiß das keiner von euch?

Das muss ja mit einer "bestimmten" Software komplett Spielunabhängig gehen. Da gibts hunderte "Youtubers" die ständig neue Benchmark Videos an passe raus hauen.. die nutzen dafür doch bestimmt ein Tool. siehe unten



auch @Igor Wallossek wird sicherlich für seine vielen Benchmarks (die wir alle so lieben ;-) ein feines kleiens Tool nutzen.

 

[Casi030]

Das machst mit VSDC z.b.
Dennoch musst dafür das Spiel,den Benchmark mehrfach laufen lassen.In Deinem Beispiel z.b. 3x

Hier z.b. nebeneinander und nicht Überlagert.

 

[Blubbie]

Das machst mit VSDC z.b.
Dennoch musst dafür das Spiel,den Benchmark mehrfach laufen lassen.In Deinem Beispiel z.b. 3x

okay okay aber das ist schon eine stufe zu weit. Ich will ja wie gesagt gar keine youtube Videos produzieren.
Ich hätte da jetzt ein Tool dass das meine Bildschirm abfilmt. Aber WER steuert das spiel?
Die Benchmarks machen ja nur dann sinn wenn es Haar genau die gleiche Scene, Bewegung etc. ist also so eine Art Replay.
Aber nicht jedes (kaum ein) Spiel hat "Replay" funktionen die danach das gespielte 1:1 wiedegeben immer wieder gleich.

Also das was quasi die Eingbauten Benchmarks bei einigen wenigen Spielen ja machen.

 

[Casi030]

Aufgenommen wird über den AMD Treiber bei mir,NVIDIA sollte so was glaub ich auch haben.
Wenn die Spiele keine Replay Funktion haben hast:
A: einen Kontrollpunkt von dem du immer wieder Startest und die gleiche Strecke läufst, fährst.....
Oder
B: du spielst Online und versuchst immer im gleichen Bereich zu bleiben für z.b. 1min , änderst was und wieder.....

Wenn du nur Zahlen haben willst dann z.b. FRAPs oder du machst Videos und schneidest die mit VSDC zusammen.

 

[Casi030]

Schon was Älter mit FRAPs:
2019-07-14 12:51:19 - WorldOfWarships64
Frames: 14394 - Time: 230219ms - Avg: 62.523 - Min: 38 - Max: 78

2019-07-14 13:08:42 - WorldOfWarships64
Frames: 13939 - Time: 236016ms - Avg: 59.060 - Min: 35 - Max: 75

2019-07-14 13:30:38 - WorldOfWarships64
Frames: 14617 - Time: 233844ms - Avg: 62.507 - Min: 38 - Max: 80

Default/Ram 2933 CL16.16.16.16 112-117,Max125Watt
2019-07-14 13:45:17 - WorldOfWarships64
Frames: 12964 - Time: 234829ms - Avg: 55.206 - Min: 33 - Max: 71


Default Optimiert/Ram 3066 CL16.16.16.16 iGPU 1340MHz 122-128,Max138Watt
2019-07-14 14:11:37 - WorldOfWarships64
Frames: 14233 - Time: 242766ms - Avg: 58.628 - Min: 34 - Max: 75


Default Optimiert/Ram 3266 CL16.18.18.18.36.76.425T 1T iGPU 1500MHz
2019-07-14 14:35:40 - WorldOfWarships64
Frames: 15045 - Time: 238781ms - Avg: 63.008 - Min: 37 - Max: 80

Default Optimiert/Ram 3266 CL 16.17.17.17.34.68.425T 1T iGPU 1500MHz 138-142,Max 148Watt
2019-07-14 14:51:49 - WorldOfWarships64
Frames: 15390 - Time: 244515ms - Avg: 62.941 - Min: 37 - Max: 80

 

[Corro Dedd]

MSI Afterburner bspw. hat eine Benchmark Funktion inkl. Logging. Zusammen mit dem Overlay und der Aufzeichnungsfunktion (die aber wiederum Leistung kostet) kann man solche Videos entstehen lassen. Wenn man das nicht zu sehr verfälschen möchte, sollte man aber mit einem Zweit-PC und einer Capture Card aufzeichnen.

Ca. am Anfang des zweiten Drittels ist ein Video, wie bspw. PCGames Hardware ihre Benchmarkszene für Control erstellt hat:

Control im Test: Grafikkarten-Benchmarks ohne Raytracing, 22 Modelle im Test

Control: Benchmarks ohne Raytracing

www.pcgameshardware.de

Was @Igor Wallossek zum Benchen nutzt, hat er schon ein paar mal erwähnt, aber ich habe es vergessen ^^ Seine Software ist jedenfalls etwas komplizierter zu händeln und er verbindet damit auch selbstgeschriebenen Scripts, garantiert dafür aber auch akkurate Messergebnisse.

Wenn man sich also für eine Variante entschieden hat, sucht man sich eine Stelle im Spiel, an der möglichst viel Leistung abverlangt wird. Bei Horizon Zero Dawn war das bspw. eher in der Außenwelt mit Bäumen, Gräsern und Gegnern statt dem integrierten Benchmark. Zum Vergleich mit anderen wäre wohl der integrierte Benchmark zu bevorzugen, aber er repräsentiert eben nicht den Worst Case.

Wenn man aber nur für sich selbst vergleichen möchte, erstellt man an einer passenden Stelle ein Savegame und startet von da aus das Spiel, während im Hintergrund eben Fraps, MSI Afterburner, ReLive Logging oder whatever die Frametimes aufzeichnen. Dann wechselt man die Hardware, lädt das Savegame und wiederholt den Test. Das kann man manuell machen oder man nutzt Scripts, bzw. Makros (manche Tastaturen können das ja), die die Tastenbefehle aus dem ersten Lauf aufgezeichnet haben und nun wieder abspielen.
So erhält man eine annähernd gleiche Benchmarkszene für unterschiedliche Hardware. Bei einigen Spielen gibt es allerdings den Faktor Zufall, seien es NPCs, die jedes mal zufällig generiert werden und in unterschiedlicher Anzahl und Zeit durch das Bild laufen oder das Wettersystem des Spiels ändert das Wetter bei jedem Spielstart. Dann muss man schauen, ob man das selbst beeinflussen kann oder nach einer Weile spielen, ob ein anderes Wetter/eine andere Tageszeit in der gleichen Szene die FPS stark verändern.

 

[Blubbie]

Danke, das sind Mal einige gute Infos.
Das man das zb. Bei Cyberpunk wegen Randsinn npcs nicht 100% hinbekommt habe ich schon gelesen.

Meine Wunschvorstellung ist ja.
Ein konfig Datei.
- Liste der Spiele die gebencht werden sollen
- Liste der jeweiligen Settings / Auflösung in denen jedes der Spiele gebencht werden soll.

Dann Auf den Knopf drücken und Mittag machen gehen.

In einer Stunde hat man dann logfiles/CSV Dateien mit der Auswertung pro Spiel pro Auflösung.

Also eben voll automatisiert.
Vorher einmalig pro Spiel ein replay aufzeichnen ist noch okay.

Aber danach soll halt alles automatisch sein.
FPS Tracking soll zb. Erst ab der Spielszene und nicht beim Laden der Logos oder im Menü passieren.

Logo, Intro, Menü muss natürlich alles automatisch übersprungen werden .

Also ich denke Mal schon das Igor und andere Profis das so machen.
Da Sitz keiner stundenlang davor und klickt sich durch die Menüs zum Starten eines replays/ Saveganges um dann eine Weile zu laufen.

 

[Blubbie]

Habe jetzt auch mal tiefer in Youtube gesucht und einige Beispiele für "wie macht man Benchmarks" angesehen.
Leider wird lediglich immer nur Afterburner, RivaTuner, Fraps erwähnt btzw. erklärt.

Auch in dem Video @DHAmoKK wird ja nichts weiter dazu gesagt, außer dass er die Settings ändert, ins Hauptmenu geht und dann wieder Spiel fortsetzt also quasi Quickload macht.

Scheinbar ist das ein echtes Geheimnis wie die Leute wirklich ihre professionellen Benchmarks für beliebige Spiele erstellen.

Worauf ich die ganze Zeit warte ist ja ein Tool womit das Spiel automisch gesteuert immer ein und die gleiche Scene abläuft/abspielt.
Es muss ja so ein Tool geben - die einzige andere Möglichkeit wäre es - wenn man mit EINER Tastatur und MAUS gleichzeitig 10 oder mehr verschiedene PCs steuern kann und auf 10 verschiedenen PCs dann gleichzeitig Benchmarkt und das entsprechende Videosignal aufnimmt.

Ich glaube aber nicht, dass das wirklich praktikabel ist. Also bleibt es dabei - es muss so ein Tool / Skript / was auch immer geben.

Vielleicht ist das eine Art Keyboard + Maus+Capturing Tool.
Wenn man im Spiel ist - könnte man per Hotkey => "Start capturing Keyboard and Maus" starten. Dann spielt man eine Scene die man für den Benchmark will.

Beim nächsten Start des Spiels würde dann ein anderer Hotkey => "Load Captured-Replay" => Das Tool simuliert bzw. gaukelt dem Spiel vor ein Mensch würde die Eingaben machen -> und damit würde genau die gleiche Scene / Bewegungen gebenchmarkt werden können.

Nur so könnte man mit vertretbaren Aufwand in zig Presets auf zig Grafikkarten einen Test machen.

Warum das so ein krasses Geheimnis ist und niemand darüber ein Wort verliert ist mir echt ein Rätsel...

Wie gesagt - mir geht es nur darum - das ich bei beliebigen Spielen - also auch die die keinen Integrierten Benchmark haben - einfach mit wenigen Klicks einen Benchmark erstellen kann.

 

[Corro Dedd]

Wieso bist du so überzeugt davon, dass es alles gleichzeitig aufgenommen werden muss? Viele haben nur eine Benchstation und nehmen tatsächlich jedes Mal einen Durchlauf auf, hintereinander. Später werden die Aufnahmen in der Videoschnitt Software zusammengelegt. Was meinst du, warum die Benchmarkszene so kurz ist bei PCGames Hardware?

Arbeit ist das ohnehin, wenn man mehrere Grafikkarten testet, dann sollte besser ein Windows Image vorhanden sein, damit man gerade beim Wechsel von AMD auf Nvidia nicht immer mit DDU und Co. hantieren muss. Ich glaube, Igor hat auch Scripte, die ein Spiel starten, den Bench laufen lassen, das Spiel beenden, das nächste starten, etc., er hat da mal etwas erzählt in Zusammenhang mit der Aufzeichnungssoftware.

Aber solche Scripte sind selbst erstellt, dass man die nicht einfach auf das Internet loslässt, dürfte klar sein. Niemand will seine Arbeit, in die er Stunden oder Tage gesteckt hat und mit der er Geld verdient, für alle zugänglich machen.

Für Wiederholbare Benchmarks kann man sich Scripte oder Makros anlegen, sollte ein Spiel keinen internen Benchmark besitzen.
So sieht das bspw. in der älteren Logitech Software für Makros aus:


Damit hätte man immerhin die Tasten. Für die Mausbewegungen oder Gamepadeingaben gibt es sicherlich auch Software, bzw. diese würde dann vermutlich auch die Tastatureingaben aufzeichnen und alles auf Abfrage wiedergeben.

Bei vielen sieht man aber, dass die Figuren/Fahrzeuge in den nebeneinander gelegten Videos nicht völlig synchron agieren, ergo machen sie mehrere Aufnahmen und spielen die Szene per Hand nach, schau mal genau hin, als Beispiel gleich das erste Spiel, Cyberpunk 2077. Er fährt zwar die selbe Strecke mit dem selben Wagen, aber die entgegen kommenden Fahrzeuge sind andere und an anderen Positionen, lässt du da ein Script laufen mit den Tastaturbefehlen, krachts ingame und die Szene ist für den Bench unbrauchbar:

Und die Software könnte CapFrameX sein.

 

[Blubbie]

@DHAmoKK ,

Wieso bist du so überzeugt davon, dass es alles gleichzeitig aufgenommen werden muss? Viele haben nur eine Benchstation und nehmen tatsächlich jedes Mal einen Durchlauf auf, hintereinander. Später werden die Aufnahmen in der Videoschnitt Software zusammengelegt. Was meinst du, warum die Benchmarkszene so kurz ist bei PCGames Hardware?

Sorry da hast du mich falsech verstanden - nein es muss ja nicht gleichzeitig aufgenommen werden. Mir geht es nur darum - es sollte/muss ja so sein, dass es immer die selbe Spielscene ist. Und dass damit kein Personal beschäftigt sein sollte. Dass man nacher die finalen Videos aus mehreren zusammenschneidet ist ja okay.

Mir geht es wirklich nur darum:
- Ich möchte jetzt z.b. Doom Eternal benchmarken. Das mache ich jetzt einmal - meinetwegen auch beim ersten mal "manuell".

Dann will ich vielleicht meine Grafikkarte undervolten, oder besser kühlen oder baue mir einen anderen Prozessor rein, oder stelle ganz banal die Videosettings von Ultra auf High... oder deaktiviere das ein oder andere Grafikfeature.

Nun will ich einfach einen echten Vergleich mit dem ersten Benchmark machen. Dazu bräuchte ich ja die Möglichkeit - genau die gleiche Scene / Ablauf im Spiel wieder zu spielen. Mir ist klar, dass es bei MMOS, Multiplayer Spielen, oder auch zufallsbasierten Openworlds schwer ist. Aber soweit will ich ja gar nicht gehen. Singleplayer titel reichen ja aus

Bei vielen sieht man aber, dass die Figuren/Fahrzeuge in den nebeneinander gelegten Videos nicht völlig synchron agieren, ergo machen sie mehrere Aufnahmen und spielen die Szene per Hand nach, schau mal genau hin,

Hmm.. .das ist mir echt noch nicht aufgefallen. Oder ich habe es auf den Videoschnitt geschoben, dass er die verschiedenen Videos nicht 100% zeitgleich und zeitgenau nebeneinander gelegt hat.

 

[Corro Dedd]

Ach so. Na, wenn du eine Szene hast, in der immer die selben Gegner an den selben Positionen spawnen oder halt gar keine Gegner sind, die aber trotzdem technisch anspruchsvoll ist, dann brauchst du im Grunde ja nur CapFrameX und eine Makro Software, die deine Tastatur- und Mauseingaben aufzeichnet. Wenn es denn unbedingt eine Sequenz sein muss.

Ich würde da eher eine anspruchsvolle Szene mit viel Weitsicht, Funkenflug, Nebel, bzw. Dampf und Rauch, vielen Lichtern und Schatten, etc., an denen die FPS eben eher niedrig sind, suchen und dort einen Screenshot mit Fraps, CapFrameX oder sonstwas machen, denn das wäre ja quasi der worst case.

Ich hätte beinahe gesagt, mach an der Stelle ein Savegame, aber das Spiel arbeitet ja mit Checkpoints. Also den Weg dort hin mit einer Makro Software aufzeichnen und später wieder abspielen. Das Ganze machst du dann 5x pro Durchgang und errechnest daraus einen Durchschnittswert, dann hast du deinen Vergleich

Nur, welche Software zum Aufzeichnen von Tastatur- und Mauseingaben für diesen Zweck geeignet ist, weiß ich leider nicht^^ Sie muss ja beides können, denn Lenken wirst du ja mit der Maus und am besten aus dem Spiel heraus das Makro sowohl aufzeichnen als auch wiedergeben können. Entweder per Tastenkombination oder durch Drücken einer Taste auf einem Gamepad oder so um die Eingaben nicht zu verfälschen.