Test Metro Exodus: Die Community testet, hier ist die Anleitung

[oliu]

1080P Stock
R5 2600
R9 290
2x8GB 2933CL16

33,67 FPS


1080P OC
R5 2600 @ 4000Mhz
R9 290 @ 1200Mhz/1500 Mhz
2x8GB 3200CL16 fast

40,30 FPS

 

[Baal Netbeck]

Die Bezeichnung "low" ist eigentlich unsinnig, da in Quantilen immer die Definition "kleiner als" verwendet wird. Du kannst also hingehen und nur die Frametimes betrachten. Du willst ja die schlechteren Quantile wissen also 99% und 99.9%. Die rechnest du nun aus und bildest dann FPS=1000/Frametime, so dass du einen FPS Wert bekommst. Die nennst du nun "1% low" und "0.1% low". Oder du transformierst die gesamte Frametime Sequenz mit 1000/Frametime und rechnest dann das 1% und 0.1% Quantil aus, was das gleiche ist. Das ganze funktioniert, weil 1000/Frametime monotonieerhaltend ist, also aus a>b>c wird 1000/a<1000/b<1000/c.

Ich weiß durchaus, wie sowas berechnet wird....ich habe mir ein C++ Programm geschrieben, um meine Frametimemessungen auszuwerten.

Aber das was z.B. Gamers Nexus und Hardware unboxed unter "1% und 0.1% low" verstehen sind nicht die Quantilen/Percentile.....Sondern den Durchschnitt über die schlechtesten 1% oder 0.1% der Frametimes.

Ob ich das dann mit 1000/Frametime umrechne oder nicht ist ja egal....bringt es ja nur in Einkang mit dem üblicheren FPS.....um die Verwechslung mit FPS zu vermeiden, schreibe ich meistens "inverse Frametimes in 1/s".

Die Percentile Werte haben den Nachteil, dass es ja nur der eine Frametime an der Grenze zu den X% schlechten Frametimes ist, der genannt wird(oder in Sonderfällen der Durchschnitt aus zwei Frametimes an der Grenze).
Darin sind keine Informationen über eventuelle Ausreißer usw einthalten.....wenn man Pech hat(Extrembeispiel zur veranschaulichung), dann hat die eine Messung 3999Frametimes und 41 Ausreißer....ist in den 99th Percentile nicht enthalten.
Hat die Messung 4001Frametimes, dann ist der Wert für den 99th Percentile voll durch den 41. Ausreißer gegeben.
Ist so in der Art sogar hier bei CB vorgekommen...nur mit anderen Zahlen.

Den Durchschnitt über die 40 oder 41 schlechtestten Frametimes zu bilden ergibt ein viel zuverlässigeres Bild, das auch noch besser beschreibt, wie sich das Spiel anfühlt.

Die Darstellung der Qauntilen als Graph, wie man es in CapFrameX anzeigen lassen kann ist eine wirklich schöne Sache, aber für einen Test für die breite öffentlichkeit muss es eben eine begrenzte Anzahl Werte sein, die man prozentual vergleichen kann....da hilft der Graph nicht wirklich.

Die genaue Mittelwertbildung ist nicht möglich mit der Sequenz 1000/Frametime! CapFrameX gibt aber den exakten Mittelwert aus, da die lückenlose Summe der Frametimes bekannt ist.

....Wie ist das zu verstehen? Es ist nicht möglich, wird aber ausgegeben?
Ob ich die Anzahl der Frames durch die Messzeit teile oder alle Frametimes einzeln aufsummiere, wird kleine Rundingsfehler machen, aber sollte doch beides den Mittelwert geben.
...was ich mich frage, ist warum CapFrameX bei mir auf ganze Zahlen rundet aber immer ",00" anhängt....sendet irgendwie falsche Signale.

Afterburner führt eine Mittelwertbildung durch über ein Sliding Window. Die Werte sind also nicht präzise, aber auch nicht unbedingt völlig unbrauchbar. Es sind halt Schätzungen.

.....kannst du das genauer erklären?
Die min und max Werte glaube ich verstanden zu haben...die kann ich über den Abfragezeitraum beeinflussen, wenn ich das richtig in Erinnerung habe.
Also Standard sind 1000ms....also das was Fraps auch als min und max FPS angibt.....also die Sekunde mit den meisten und die mit den wenigsten Frames.
Senkt man den Abfragezeitraum auf das minimum von 200ms, werden die Werte Extremer, weil vor allem die Ausreißer bei den min FPS stärker reinhauen.

Man kann im Rivatuner dann auch noch auf instantaneous stellen, dann ist es manchmal wirklich der beste und schlechteste Frametime, aber nicht immer.

Was im Afterburner 1% low und 0.1% low ist, scheint vom Abfragezeitraum und der instantaneous Einstellung nicht beeinflusst zu werden.
Man sollte meinen, dass hier die Begrifflichkeit von Gamer Nexus und Hardware unboxed übernommen wurde, aber ich denke es ist irgendwas eigenes.
Denn manchmal ist es besser als die Percentile, manchmal schlechter als die "Youtube 1% low" und manchmal trifft es ein von beidem nahezu perfekt.....völlig willkürlich.

Und da verliert es aus meiner Sicht komplett seine Daseinsberechtigung.
Das einzige was ich dazu gefunden hatte, war die Aussage eines Entwicklers, der nur geschrieben hat, es würde wie vorgesehen funktionieren.....aha....was war denn vorgesehen?
Eventuell findet man es irgendwo...ich hatte keine Lust danach zu suchen....vor allem weil es in manchen Spielen schon einen Einfluss auf die Leistung hat, das OSD mitlaufen zu lassen....da verwende ich lieber keine Mühe es zum Benchmarken zu verwenden.

Es gibt ja Fraps für OpenGL, DX bis 11 und 12 funktioniert auch in meinen Spielen(nur ohne Overlay)
Und für DX12 und Vulkan dann OCAT.

Der Afterburner ist eine Wucht, wenn man auf Fehlersuche ist, oder seine Grafiksettings optimieren möchte.....er muss ja nicht noch benchmarken können.

 

[ZeroStrat]

@Baal Netbeck: Verstehe. Von solchen Mittelwertbildungen halte ich nicht viel, da Mittelwertbildungen immer dämpfend wirken und Informationen vernichten. Um zu ermitteln, wie sich die Frametimes "anfühlen", habe ich einen Stutteringparameter und L-Shapes definiert.

Ich kann gerne solche "Youtube-Parameter" einbauen in CapFrameX.

 

[TheOpenfield]

Dito. Gerade bei den L-Shapes lässt sich auch gut die mögliche Varianz (was ja den Kritikpunkt von @Baal Netbeck darstellt) der 99% und 99,9% Quantile erkennen.

Was sich ja "anfühlt" sind die absoluten Werte der Frametimes. Ich sehe da keinen Vorteil durch dämpfende Mittelwertbildung. Und Quantile sollen ja sogar Ausreißer bereinigen.

Genau!

 

[ZeroStrat]

Was sich ja "anfühlt" sind die absoluten Werte der Frametimes. Ich sehe da keinen Vorteil durch dämpfende Mittelwertbildung. Und Quantile sollen ja sogar Ausreißer bereinigen.

Ich sperre mich natürlich nicht dagegen, wenn das gewünscht ist. Ich baue es gerne ein. 👍

@Baal Netbeck Auf die anderen Punkte gehe ich noch ein. Hab gerade nicht so viel Zeit.

 

[Baal Netbeck]

Natürlich ist die nicht ganz genau. Aber wir reden hier von 6% Mehrleistung. Nicht den 1% oder weniger, welche man im 3DMark sieht (wobei man zumindest auf meiner Kiste dann auch "Einbrüche" auf 98% oder 97% erkennt).

Wie gesagt, 6% mehr Durchschnitts-FPS bei konstanten 100%/99% GPU Load - das kann halt eigentlich nicht sein.

Ich frage mich auch, wie genau die bestimmt werden.
Ich habe gerade Dirt Rally 2 gestartet....ich habe laut dem Afterburner eine GPU Auslastung, die irgenwo zwischen 77-94% schwankt....tendenz 84%.
Bei ca. 65-88 FPS.
Wenn ich jetzt von 1440p auf 1080p runter gehe, sollte sich eigentlich nichts ändern, weil ich ja vorher nie voll die GPU ausgelastet hatte, aber trotzdem steigen die FPS auf ungefär 88-102....bei praktisch gleicher GPU Auslastung.

Ich werde das mal weiter untersuchen müssen. Ich würde sagen, dass irgendwo eine Bremse drin sitzt....oder irgendein CPU berechneter Effekt auch stark mit der Auflösung skaliert.

Gegen ein CPU Limit spricht, dass das Spiel praktisch perfekte Frametimes hat.
In der Regel werden die ja unregelmäßiger, wenn man in ein CPU limit kommt.

 

[Rhoxx]

Ohne alle 25 Seiten zu lesen würde mich folgendes interessieren:
Stimmt ihr euch eigentlich auch bzgl. der Spieleversion ab? Welche Updates bringen was?

Und dann noch die Myth-Busters Frage:
Wirkt sich der Kopierschutz aus? Könnte ja sein, dass einige von den Testteilnehmern das Spiel mit einem Crack laufen lassen. DENUVO soll ja angeblich ressourcenhungrig sein. Das könnte eine gewisse Varianz mit sich bringen.

 

[Taxxor]

@Baal Netbeck: Verstehe. Von solchen Mittelwertbildungen halte ich nicht viel, da Mittelwertbildungen immer dämpfend wirken und Informationen vernichten.

Dann verschiebe ich das lieber auch mal von PCGH nach hier, da ich derjenige war, der die Diskussion dort losgetreten hat, vor Allem weil ich mich vor nicht allzu langer Zeit mit @Baal Netbeck und seinem Auswertungstool (welches sowohl Perzentil als auch low Werte ausgibt) etwas intensiver beschäftigt habe.
Daher war mir auch schon sicher, als du bei PCGH geschrieben hast, dass du es auf CB geklärt hast, dass sich Baal Netbeck dazu gesellen würde^^


Ich bin wie er der Meinung, dass gerade durch die Mittelwertbildung Informationen eher aufgenommen werden und durch das Perzentil vernichtet werden.
Durch einen Mittelwert würden eventuell(je nach Streuung der einzelnen Frametimes) Informationen vernichtet bzw gedämpft werden(vernichtet werden sie nicht, sie sind ja im Mittelwert enthalten), die schlechter als der Mittelwert waren, aber beim Perzentil Wert werden doch sämtliche Informationen, die schlechter als der beste Wert der schlechtesten 1% bzw. 0.1% komplett vernichtet.
Daher auch zu der Aussage

Und Quantile sollen ja sogar Ausreißer bereinigen.

Ich würde eher sagen sie ignorieren Ausreißer und je nachdem wie lange die Testszene ist, kann man da schon eine nicht irrelevante Menge an Ausreißern drin haben, die das Quantil dann einfach nicht erfassen würde, man im Spiel aber deutlich spürt.

Wie ich bei PCGH schon schrieb, bei einer Messung mit 10.000 Frames werden selbst beim 99.9th Perzentil die schlechtesten 9 Frames einfach ignoriert, egal wie schlecht sie waren.
Im Extremfall kannst du dort 9 Frametimes drinhaben, die doppelt so hoch ausgefallen sind, wie die 10. schlechteste Frametime, das 99.9th Perzentil gibt nur den Wert für diese 10. schlechteste Frametime an.

Der 0.1% low Wert als Mittelwert der 10 schlechtesten Frametimes würde hingegen alle 10 dieser schlechtesten Frametimes mit einbeziehen.
Dadurch wird der Wert automatisch verschlechtert, so wie es auch sein sollte bei einer Angabe, die darauf zielt, zu zeigen, ob die Szene flüssig läuft.
Mit 9 Frametimes die doppelt so hoch sind wie der Durchschnitt, konnte die Szene nicht durchgängig flüssig sein, was das 99.9th Perzentil ignoriert.

 

[ZeroStrat]

@Taxxor: Das ist eine interessante Diskussion. Gefällt mir. Ich sehe hier Vor-und Nachteile. Man kann mit den Low Werten kompakt Ausreißerinformation verpacken. Man hat halt nicht viele Parameter, die man darstellen kann in solchen Tests. Irgendwann geht die Übersichtlichkeit verloren.

Aber - und das ist der Nachteil - Ausreißer korrelieren schwach mit der tatsächlichen Leistung der Hardware, deshalb möchte man sie ja gerade rausfiltern. Ich tendiere daher ganz klar zu den Quantilen + weiteren Parametern, um solche Ausreißer mit zu beachten.

...später mehr.

 

[Taxxor]

@ZeroStrat

Dein Stuttering Wert kann hier zwar hilfreich sein als Angabe dafür, aber wenn ein Bench mit 10.000 Frametimes durchgängig 15-17ms hat und dann über 9 aufeinanderfolgende Frames plötzlich 33ms, dann spürt man das auch schon als stottern, obwohl man damit immer noch weit unter den 2.5x der avg frametimes liegt.

Der aktuelle "0.1%" Wert würde dann hier bei 17ms/58,8fps liegen, da diese 9 Frames ignoriert werden.
Der Mittelwert als "0,1% low" läge dann hingegen bei 28,7ms/34,84fps.
Und 9 Frames mit 33ms entsprechen schon fast einer drittel Sekunde, ist also für viele spürbar, dass man da mal kurz von 60 auf 34fps gedroppt ist.

Hier mal ein praktisches Beispiel mit Baal Netbeks Tool, bei dem man dadurch, dass man beide Werte hat, sehen kann, das das Spiel einen recht guten Frameverlauf hat, da die Perzentil und Durchschnittswerte nah beieinander liegen, also keine größeren Ausreißer drin sind:

95 Percentil - 53.38
avg 5% low - 49.89
99 Percentil - 48.02
avg 1% low - 45.15
99.9 Percentil - 41.59
avg 0.1% low - 40.69

Man hat halt nicht viele Parameter, die man darstellen kann in solchen Tests. Irgendwann geht die Übersichtlichkeit verloren.

Daher ja auch mein Vorschlag mit dem Auswahlfenster. Dort unten ist ja noch eine Menge Platz. Der Stuttering Wert braucht ja nicht die gesamte rechte Fläche einnehmen für einen einzigen Balken, da kann man ein Dropdown Menü einbauen, wo man dann die Werte die man haben möchte filtern kann.
Ich würde dann z.B. die Max/Min und die aktuellen 99%/95%/5% Werte rausnehmen, da ich die persönlich nicht für relevant halte, aber wer sie gerne hätte, kann sie ja dann einblenden.

...was ich mich frage, ist warum CapFrameX bei mir auf ganze Zahlen rundet aber immer ",00" anhängt....sendet irgendwie falsche Signale.

Ist in der aktuellsten Beta schon behoben, da werden die Nachkommastellen korrekt angezeigt und man kann auch die Anzahl der Nachkommastellen wählen.

 

[Jan]

Full HD, Ryzen Threadripper 1920X, DDR4-2666, Asus GeForce GTX 1060 6 GB 9 Gbps: 40,9 FPS.(W10 1809, GF 418.91).

Mit GeForce GTX 1660 Ti (PNY) sind's 53,5 FPS also 31 Prozent mehr.

 

[TheOpenfield]

Schaut dann ja nicht mehr so gut aus gegen eine 1070 oder 980 Ti OC.

Bitte noch 1440p und 2160p Daten nachliefern!

@Taxxor Genau deswegen empfinde ich die L-Shape Diagramme als das ideale Schaubild um einen Überblick über die Perfromance zu bekommen.

Wie @ZeroStrat eben sagt, nur mit ein paar Werten lässt sich eben nicht das Gesamtbild widerspiegeln. Irgendwo gehen immer Informationen verloren.

 

[SSJ]

Brutal, mein R5 1600 in Kombination mit einer GTX1070 reichen also gerade mal nur noch so aus um im Schnitt ein flüssigen Spielen zu ermöglichen bei FHD.

 

[TheOpenfield]

Einstellungen einfach drosseln... Muss hier mit ner 980 Ti in UHD auskommen..

 

[Taxxor]

@Taxxor Genau deswegen empfinde ich die L-Shape Diagramme als das ideale Schaubild um einen Überblick über die Perfromance zu bekommen.

Wie @ZeroStrat eben sagt, nur mit ein paar Werten lässt sich eben nicht das Gesamtbild widerspiegeln. Irgendwo gehen immer Informationen verloren.

In dem Fall stimme ich aber auch @Baal Netbeck zu, dass dieser L-Graph zwar eine gute Veranschaulichung ist(hatte CB ja auch mal drin), für die schnelle Vergleichbarkeit untereinander aber ein zusammengefasster low Wert bequemer ist.

 

[TheOpenfield]

Schwer zu sagen und auch sehr Spielabhängig. Beispielsweise hast du in BFV jedes mal Ausschläge beim Kamerawechsel nach einem Tod. Diese spürt man aber nicht. In diesem Beispiel wären die Quantile der bessere Wert um die Spieleperformance widerzuspiegeln.

 

[Fraggball]

sagt mal is nicht böse gemeint und es ist auch interessant, aber wollt ihr die diskussion über frametimes percentiles und ramclocks nicht in nem eigenen thread führen? die CB herren müssen doch sowieso schon alles hier durchgucken und das macht es für sie nicht leichter!

 

[Taxxor]

Diese spürt man aber nicht.

Das dürfte aber auch von Person zu Person unterschiedlich sein, es gibt genug Fälle, wo sich zwei Leute ein Spiel ansehen, und für den einen ist es komplett flüssig, während der andere es als "fast unspielbar" bezeichnen würde.

Und im Zweifel würde ich lieber eine Angabe haben, wo diese Ausreißer mit drin sind(bei wenigen Ausreißern fallen sie beim Mittelwert ja auch nicht so stark ins Gewicht) und der Gesamtwert der low fps dann eben etwas niedriger liegt, als umgekehrt. Dann kann man auch nicht negativ überrascht werden, wenn einem diese Ausreißer dann tatsächlich auffallen würden.

die CB herren müssen doch sowieso schon alles hier durchgucken und das macht es für sie nicht leichter!

Ich würde zumindest mal hoffen, dass die CB Herren hier mit einem Filter durchgehen, der alle Beiträge mit Bildern oder den Stichworten 1080, 1440 und 2160 durchsucht^^

 

[TheOpenfield]

@Taxxor

Die Ausreißer fallen nicht auf, weil es ein Cut und abrupter Kamerawechsel ist. Und beim normalen Mittelwert haben die aufgrund ihrer Größenordnung natürlich einen sehr großen Einfluss.

Die eigentliche Hardware-Performance tritt so weiter in den Hintergrund, da sie Systemunabhängig auftreten.

Ergänzung (22. Februar 2019)

sagt mal is nicht böse gemeint und es ist auch interessant, aber wollt ihr die diskussion über frametimes percentiles und ramclocks nicht in nem eigenen thread führen? die CB herren müssen doch sowieso schon alles hier durchgucken und das macht es für sie nicht leichter!

Hast ja Recht!

 

[Taxxor]

@TheOpenfield für solche Fälle ist es aber dann ja gut, wenn man beide Werte hat, damit man entsprechend für sich selbst entscheiden kann, welcher Wert in welcher Situation aussagekräftiger ist.

CB schreibt ja auch manchmal bei den Frametime Analysen dazu, dass Ausreißer nur mess- aber nicht spürbar sind. Da könnte man dann die Perzentil Werte nehmen. Sind sie aber spürbar und werden durch den Perzentil Wert nicht erfasst(oft möglich, da CB ja nur bis 99th geht), sollte man für den Bench auf den Mittelwert wechseln, dann hätte man immer einen möglichst realitätsnahen low Wert für jedes Spiel.