Test Metro Exodus: Die Community testet, hier ist die Anleitung

[Baal Netbeck]

Wegen unterschiedlicher Systeme, man soll doch die genauen Hardwareangaben mitschicken?

Laut dem Artikel(Stand 20.2. 13:00) soll man nur GPU und CPU angeben und sagen ob das System übertaktet ist oder nicht.

Keine Angaben über den Ram, keine Angabe ob Windows oder Spiel auf einer SSD liegen, keine Angaben ob die Hardware wassergekühlt ist oder in einem HTPC kocht.

Das viele der Leute, die hier Testergebnisse gepostet haben mehr schreiben ist löblich, aber es wäre besser, wenn diese Angaben verpflichtend wären.

Wieso nicht einfach erst ab ner bestimmten Zeit die Werte als valide auswerten? z.B. 20 Sekunden nach Messbeginn?

Bei einer 25s Messung?
Und da man sich weiter bewegt, können auch nach 20s durchaus neue Daten gebraucht werden.
Man müsste alles abgehen, zum Startpunkt zurück laufen und dann erst messen.....und zwar mehrfach.

25s sind auch so eine Sache....nicht wenige werden nur um die 60 FPS erreichen und das sind bei 25s ungefär 1500 Frametimes.
Die Angabe des 99th Percentile bezieht sich also auf das 15 oder 16. schlechteste Frametime....gucke ich mir z.B. diesen Frametimeverlauf an:

Ryzen 2700x @ Stock
GTX 1080 Ti @ Stock
DDR4 - 3200 @ Stock
1440pAnhang anzeigen 754672

Sieht das gar nicht so schlecht aus....der 24. schlechteste Frametime ist einer von vielen Frametimepeaks und halbwegs zuverlässig.

Aber was ist mit Leuten die auf Ultra nur 30 FPS schaffen? Da macht es deutliche Unterschiede ob der 7. oder 8. schlechteste Frametime genommen wird.

Daher bin ich eigentlich immer für längere Messungen, weil man so zuverlässigere Frametimemessungen erhält.

 

[Toprallog]

So, ich mache dann auch mal mit meinem zusammengeflickschusterten Windows-PC hier im Büro mit:

Zocken bei der Arbeit... das geht auch nur als Chef^^

Bin gespannt ob euer Test hier gut abläuft und die Ergebnisse am Ende einigermaßen vergleichbar sind.
Aber nicht, dass ihr in 5 Jahren nur noch Anleitungen gebt und die Community nur noch selbst benched^^

 

[Afinda]

Super Idee! Schade das es anhand von einem Titel durchgeführt wird, der aufgrund von publisher Entscheidungen so Kontrovers diskutiert wird. Daher kann ich leider nichts beitragen. Hoffentlich bekommt ihr aber genug Ergebnisse rein damit das ganze in Zukunft weitergeführt wird

 

[Wolfgang]

Da die RAM Latenzen einen enormen Einfluss auf das Ergebnis haben würde ich an Eurer Stelle das einfach kurz mit AIDA64 gegenchecken. Das dauert keine Minute und kann am Ende sehr viel Zeit sparen.

Ich weiß, dass geringere Timings auf Ryzen die Spieleleistung deutlich erhöhen können. Aber darum geht es bei dem Test ja nicht. Ihr zu Hause könnt das gerne machen, aber die Redaktion testet das ganze bei Default-Timings (die muss AMD dann schon selber anziehen).

wie lange läuft die Aktion ?! .. beim Überfliegen nix gefunden ...

Keine Sorge, das Wochenende nehmen wir noch voll mit

Was mir nicht so gut gefällt, ist dass nur ein Testlauf vorgesehen ist.
Ich weiß nicht, wie es in Metro ist, aber für viele Spiele gilt, dass kurz nach laden eines Spielstände und beim ersten betreten eines Bereichs, die FPS entweder zu hoch oder zu niedrig sind. Die frametimes sind meist unruhiger.
Die Testszene muss mindestens einmal abgegangen werden um dann erst die Messung zu starten!

Es reicht eigentlich, wenn das Spiel vorher einmal gestartet wurde (also wirklich ins Spiel, nicht nur ins Hauptmenü). Dann wurden eigentlich alle Shader einmal kompeliert und dann wird das schon. Aber ja, die Beschreibung kann man diesbezüglich vielleicht noch etwas genauer halten.

Mich würde eine Abstimmung für alle CBler im Artikel oder bei einem extra Test interessieren:
Betrieben bei Steam oder im Epic Launcher ...

Und was hat das mit dem Thema zu tun?

Und wie installiert man OCAT ? Habe keine EXE gefunden. Alles entpackt und nun?

Das was zu runterlädst ist eine ausführbare Datei. Das muss mit einem Doppelklick gehen.

Ansonsten: Ist es nicht möglich den Gang zu scripten? Dass jeder wirklich exakt den gleichen Weg in der gleichen Zeit abläuft?

Nein, das ist leider nicht machbar.

Wie schaut's mit HDR aus? Einschalten, wenn möglich? Die Performance-Differenz ist bei Generationen vor Turing ja durchaus relevant und interessant, da abhängig vom Spiel.

Für den Benchmark HDR bitte abschalten.

Laut dem Artikel(Stand 20.2. 13:00) soll man nur GPU und CPU angeben und sagen ob das System übertaktet ist oder nicht.
Keine Angaben über den Ram, keine Angabe ob Windows oder Spiel auf einer SSD liegen, keine Angaben ob die Hardware wassergekühlt ist oder in einem HTPC kocht.

Nur, was soll man mit so vielen Angaben? Irgendwie muss man das ja auch sinnvoll auswerten können.

 

[Ned Flanders]

aber die Redaktion testet das ganze bei Default-Timings

Das war ja auch nicht gemeint, ich meinte das eher als interne Qualitätssicherung, damit bei Euch @Standardsettings auch valide Ergebnisse rauskommen und sich Ärgernisse wie beim RTX 2080 Test nicht wiederholen. Die Minute würde ich schon investieren. Das ist wirklich sehr schnell erledigt und bestätigt einfach das der RAM läuft wie er soll und auch die CPU taktet wie sie soll.

 

[Garack]

Keine RAM angabe? DDR4 2400 vs 4500 CL17 lol..das sind bei bestimmten Games im CPU Limit einige fps

 

[Bairok]

ABER: Es ist bereits dreimal selbst nach dem NVIDIA Driver Update (Hard Crash -PC komplett abgestürzt)
Neuste Updates sind installiert. Das ist zum kotzen !! SSD´S leiden darunter massiv und die unerwartenden Spannunsabfälle (siehe Tool- CristalDisk) steigen beim SSD Controller der sichere Tot einer SSD!! Egal von welchem Hersteller. Zwei defekte SSDS hatte ich bereits eine samsung 850pro und 960pro M2 SSD. Ähnlich wie laufenden PC einfach den Netzstecker zu ziehen ohne USV.

Ich frage mich was die Leute denn immer so mit ihrer Hardware anstellen, dass iwas kaputt geht?? Hatte schon so einige Systeme, übertaktet war wo möglich immer, aber mir ist noch NIE eigene Hardware kaputtgegangen (in 16 Jahren und ohne Eigenverschulden - Schraubenzieher aufs 386er Mainboard gefallen [mit der Spitze] war der entsprechende Tod, als ich noch ein Kind war). Und ich hab schon so einiges an Mainboards, CPUs, RAM, GPUs, HDDs und Netzteilen gehabt. Das einzige was verschleißt sind die Mäuse xD.

 

[nerd.]

Mal ganz ehrlich, wie soll den Qualitätssicherung aussehen? Zum Schluss laufen alle Werte in eine Tabelle, die wird dann statistisch "begradigt" und tada, die Ergebnisse sind da. Die Statistik braucht es nicht zuletzt, um die ganzen Störgrößen zu begrenzen. Z.B. neue SSD, vs. uralt Teil mit Win10 auf dem identischen Medium. Oder frisch aufgesetztes W10, wo alle Prozesse auf ein Minimum zusammengekürzt sind vs. ein einjähriges BastelW10. Von daher ist das Einsenden von Tests zwar "nett" aber sicherlich aus wissenschaftlicher, also vergleichbarer Sicht, eher ein Gimmick und wenig verallgemeinerbar. Dazu bräuchte es schon zig hunderte von Ergebnissen mit allen möglichen Hardwarekombinationen.

 

[Afinda]

Das was zu runterlädst ist eine ausführbare Datei. Das muss mit einem Doppelklick gehen.

Kann die Verwunderung nachvollziehen. Der Installer Installiert fleißig, packt aber keine Verknüpfung auf den Desktop. Lediglich in's Start Menü.

Bei mir wurde die Anwendung unter C:\Programme(x86)\OCAT\
Installiert. Win 10 Pro 64bit.

 

[Twin_Four]

Zu kompliziert, und zu viele variabeln.

 

[Jan]

Mal ganz ehrlich, wie soll den Qualitätssicherung aussehen? Zum Schluss laufen alle Werte in eine Tabelle, die wird dann statistisch "begradigt" und tada, die Ergebnisse sind da. Die Statistik braucht es nicht zuletzt, um die ganzen Störgrößen zu begrenzen.

Genau deshalb gibt es dieses Mal ja den Aufruf, genau mit unseren Einstellungen zu testen. So lassen sich Ergebnisse sehr gut verifizieren. Davon ab erlauben wir uns am Ende doch zu behaupten, mit teilweise fast 20 Jahren Testerfahrung ganz gut einordnen zu können, ob ein Messwert stimmen kann, oder ob eine SSD einen Einfluss auf das Ergebnis hat. Der Wert von @Jason197666 kann bspw. nicht passen. Entweder sind Einstellungen im Spiel doch falsch (oder ohne Neustart nicht übernommen worden), oder im Treiber ist etwas falsch konfiguriert.

Ergänzung (20. Februar 2019)

Der Installer Installiert fleißig, packt aber keine Verknüpfung auf den Desktop. Lediglich in's Start Menü.

Das ergänzen wir. In der Tat macht OCAT wenig auf sich aufmerksam.

 

[tnevermind]

Mal ganz ehrlich, wie soll den Qualitätssicherung aussehen? Zum Schluss laufen alle Werte in eine Tabelle, die wird dann statistisch "begradigt" und tada, die Ergebnisse sind da. Die Statistik braucht es nicht zuletzt, um die ganzen Störgrößen zu begrenzen. Z.B. neue SSD, vs. uralt Teil mit Win10 auf dem identischen Medium. Oder frisch aufgesetztes W10, wo alle Prozesse auf ein Minimum zusammengekürzt sind vs. ein einjähriges BastelW10. Von daher ist das Einsenden von Tests zwar "nett" aber sicherlich aus wissenschaftlicher, also vergleichbarer Sicht, eher ein Gimmick und wenig verallgemeinerbar. Dazu bräuchte es schon zig hunderte von Ergebnissen mit allen möglichen Hardwarekombinationen.

Das ist doch gerade das Spannende, man kann wunderbar Abbilden welche Unterschiede bei gleicher oder vermeintlich ähnlicher Hardware entstehen, alleine durch Störfaktoren. Z.b. hilft OC genug um bei einem vollgemüllten Windows noch Performance Vorsprünge zu haben ?

 

[cm87]

Prinzipiell gehört hier mal gesagt, dass das Ganze hier mal ein Versuch ist... Mehr auch nicht. Danach kann man ein Fazit ablesen und gewisse Teststrukturen überarbeiten bzw. verbessern.

Mittlerweile haben hier ja schon einige gute Ideen/Verbesserungsvorschläge eingebracht.

Sehen wir das Ganze mal als die ersten Gehversuche an - da klappt auch nicht immer gleich alles auf Anhieb. Finde es einfach toll, dass die Community hier mehr einbezogen wird und ebenfalls zum Test beitragen darf. Ganz egal, wie die Hardware schlussendlich aussieht.

Nach diesem Test können ja @Jan und @Wolfgang auch ein Fazit daraus lesen und Änderungen/Verbesserungen einbringen. Wie gesagt, dass dürften mal die ersten Gehversuche sein

Ich finde es toll!

 

[Ned Flanders]

@cm87 @Jan @Wolfgang

Volle Zustimmung! Die Idee ist toll und ich habe keinen Zweifel das es hier zu interessanten Ergebnissen + Lernkurve kommen wird!

 

[Wolfgang]

Das war ja auch nicht gemeint, ich meinte das eher als interne Qualitätssicherung, damit bei Euch @Standardsettings auch valide Ergebnisse rauskommen und sich Ärgernisse wie beim RTX 2080 Test nicht wiederholen. Die Minute würde ich schon investieren. Das ist wirklich sehr schnell erledigt und bestätigt einfach das der RAM läuft wie er soll und auch die CPU taktet wie sie soll.

Falls ich das richtig im Kopf habe (habe das Dilemma nur mitbekommen, hatte damit aber nichts zu tun), hätte solch ein Test das aber auch nicht entlarvt (also das was nicht stimmt). Ich weiß schon, warum du das schreibst. Und eine kurze Kontrolle ist ja auch richtig. Wir prüfen nach einem Hardwarewechsel wie gesagt, ob CPU- und Speichertakt inklusive Speicherlatenzen korrekt sind. Wir machen selber nur keine Latenztests, sondern schauen, ob diese korrekt anliegen.

Mal ganz ehrlich, wie soll den Qualitätssicherung aussehen? Zum Schluss laufen alle Werte in eine Tabelle, die wird dann statistisch "begradigt" und tada, die Ergebnisse sind da. Die Statistik braucht es nicht zuletzt, um die ganzen Störgrößen zu begrenzen. Z.B. neue SSD, vs. uralt Teil mit Win10 auf dem identischen Medium. Oder frisch aufgesetztes W10, wo alle Prozesse auf ein Minimum zusammengekürzt sind vs. ein einjähriges BastelW10. Von daher ist das Einsenden von Tests zwar "nett" aber sicherlich aus wissenschaftlicher, also vergleichbarer Sicht, eher ein Gimmick und wenig verallgemeinerbar. Dazu bräuchte es schon zig hunderte von Ergebnissen mit allen möglichen Hardwarekombinationen.

Das hier soll ja keine wissenschaftliche Arbeit werden, die Anspruch darauf legt, 100 Prozent korrekt zu sein. Jeder soll schlussendlich daran Spaß haben und solange keiner Phantasiewerte postet, kommen da auch schon Ergebnisse raus, die ganz gut vergleichbar sind. Eben nicht 100 Prozentig, 98 prozentig aber schon.

Kann die Verwunderung nachvollziehen. Der Installer Installiert fleißig, packt aber keine Verknüpfung auf den Desktop. Lediglich in's Start Menü.
Bei mir wurde die Anwendung unter C:\Programme(x86)\OCAT\
Installiert. Win 10 Pro 64bit.

Da hast du recht. Habe einen Hinweis im Artikel eingefügt, danke!

Zu kompliziert, und zu viele variabeln.

Ich wüsste aber nicht, wie so etwas einfacher gehen sollte. Und natürlich gibt es viele Variablen. Es gibt halt auch viele verschiedene PCs.

 

[Baal Netbeck]

Es reicht eigentlich, wenn das Spiel vorher einmal gestartet wurde (also wirklich ins Spiel, nicht nur ins Hauptmenü). Dann wurden eigentlich alle Shader einmal kompeliert und dann wird das schon. Aber ja, die Beschreibung kann man diesbezüglich vielleicht noch etwas genauer halten.

Es gibt natürlich Spiele, die da vorbildlich arbeiten...meiner Erfahrung nach ist das aber eher die Ausnahme und die erste Messung ist immer kompromittiert.
Wird zumindest auch von Gamers Nexus für Metro so beschrieben.

Nur, was soll man mit so vielen Angaben? Irgendwie muss man das ja auch sinnvoll auswerten können.

Zumindst den Ram mit Größe und Geschwindigkeit sollte man meiner Meinung nach angeben.
Wenn man die Tabelle mit Ergebnissen nach CPUs und GPUs und dann innerhalb der gleichen CPUs/GPUs nach avg FPS oder 99th Percentile sortieren kann, wäre das schon ein mächtiges Werkzeug.

So könnte man z.B. sehen ob das getestet Spiel bei gleichen GPUs von schnelleren CPUs profitiert oder ob diese wild gemischt sind.

Und wenn das Spiel CPU limitiert ist, ob man eine Tendenz sieht, das mehr Ram oder besserer Ram einen Einfluss hat.

Oder ob CPUs mit mehr Kernen bei avg FPS und 99th Percentile anders reagieren.

Und wie AMD und Nvidia GPUs anders auf CPUs oder Ram reagieren.

Haben alle PCs mit gleicher GPU(bei GPU limit) oder gleicher CPU (bei CPU limit) mit 8GB Ram schlechte Frametimes, dann wäre das schon eine hilfreiche Aussage für diese Leute, was sie erwarten können bei einer Aufrüstung.

Das setzt natürlich alles vorraus, dass ihr auch eine große Menge an Daten erhaltet um statistisch relevante Aussagen zu treffen......gibt es GPUs mit nur zwei Einsendungen hilft es natürlich nichts,
Aber hat man z.B. viele Einsendungen für eine RX 580/1080 Ti oder einen 7700K/Ryzen 1600X, dann sieht man im besten Fall einen Trend, der Aussagekraft hat.

 

[Wolfgang]

Prinzipiell gehört hier mal gesagt, dass das Ganze hier mal ein Versuch ist... Mehr auch nicht. Danach kann man ein Fazit ablesen und gewisse Teststrukturen überarbeiten bzw. verbessern.
Mittlerweile haben hier ja schon einige gute Ideen/Verbesserungsvorschläge eingebracht.
Sehen wir das Ganze mal als die ersten Gehversuche an - da klappt auch nicht immer gleich alles auf Anhieb. Finde es einfach toll, dass die Community hier mehr einbezogen wird und ebenfalls zum Test beitragen darf. Ganz egal, wie die Hardware schlussendlich aussieht.

Genauso soll es ja auch sein.
Ein paar kleine Änderungen wie zusätzliche Hinweise im Artikel sind schon umgesetzt. Wenn der "Metro Versuch" vorbei ist, wird im März ein zweiter Folgen. Da wird es dann sicher weitere Änderungen geben. Und beim dritten Artikel wird dann noch einmal etwas geändert. Beim ersten Anlauf kann sowas eben nicht perfekt sein. Gemacht hat sowas eben noch nie jemand - wir zumindest noch nicht.

 

[nerd.]

Die einzige valide Antwort, die schlussendlich erwartbar ist, lautet dann wie folgt: Im Mittel kann angenommen werden, dass mit den CPUs X und Y sowie den Grafikkarten Z und A, dass Spiel im Bereich von U FPS liegt. Dann entfällt zwar dankenswerter Weise das ganze Pro Intel, Pro NV, weil sich auch das normalisieren könnte, doch dann entfällt eben auch die Empfehlung: mit CPU/GraKa soundso hat man 3% mehr FPS und damit einen EGO-Grund mehr, diese oder jene zu empfehlen.
Das wird dann schon wieder sehr spannend, ob überhaupt noch relevante Unterschiede existieren, die dann ein Bashing nicht mehr möglich machen.
Aber noch interessanter ist die Frage, wie ihr die JPGs und PNGs exakt auswerten wollt (d.h. wenn die Frametimes nicht belanglos sein sollten). Messwerte gehören in eine CSV oder ein vgl. Format und nicht auf ein Bildchen.

 

[eax1990]

Hätte ich das Spiel würde ich mit machen, finde es auf jeden Fall interessant und ich denke von solchen Tests, sofern auch jeder mit gutem Gewissen dabei ist, könnten alle Nutzer profitieren und dann noch gezielter ihre Hardware für ihre Zwecke kaufen.

 

[Wolfgang]

Es gibt natürlich Spiele, die da vorbildlich arbeiten...meiner Erfahrung nach ist das aber eher die Ausnahme und die erste Messung ist immer kompromittiert.
Wird zumindest auch von Gamers Nexus für Metro so beschrieben.

Zumindst den Ram mit Größe und Geschwindigkeit sollte man meiner Meinung nach angeben.
Wenn man die Tabelle mit Ergebnissen nach CPUs und GPUs und dann innerhalb der gleichen CPUs/GPUs nach avg FPS oder 99th Percentile sortieren kann, wäre das schon ein mächtiges Werkzeug.

Das ist dann aber eher etwas für deutlich später, wenn es ein Formular gibt, wo ihr die Informationen direkt eingeben könnt und diese dann automatisch in irgendeiner Form umgesetzt werden. Dann lässt sich so etwas möglicherweise sinnvoll verwerten - eben auch für Vergleiche. Bei den STandard-Mitteln, die wir aktuell für den Artikel haben, wäre das halt unmöglich umzusetzen.