Taxxor schrieb:
Aber hat man dann nicht genau das Problem was man mit den Percentil Werten ja umgehen will? Dass z.b. der Start einer Szene mit 0-2fps für 3 Frames das komplette Ergebnis verfälscht?
Nein. Das Problem umgeht man indem man nicht in der ersten Sekunde nach dem Laden die Messung startet, sondern kurz wartet.
Besser noch den Testbereich einmal ohne Messung abgeht, damit mögliche Nachladeruckler abgehandelt sind und dann erst misst. Und am besten nicht einmal sondern besser 5 mal, damit man über mehrere Messungen mitteln kann.
Oder noch besser zwei mal 5 mal an zwei verschiedenen Tagen und von den je 5 Messungen wird jeder Statistikwert nur aus den drei besten Einzelwerten gemittelt. So ignoriert man zufällige Ausreißer und hat nur die ausgewertet, die zuverlässig aufgetaucht sind.
Der Vergleich von Tag zu Tag deckt dann hoffentlich auf, wenn bei einer Messung was im Hintergrund lief oder irgendwas anderes einen systematischen Fehler bei einer der Messreihen verursacht hatte.
Taxxor schrieb:
Bei deinem Beispiel mit 1080 gegen Vega hat CB ja geschrieben dass selbst die Ausbrüche des alten Treibers nicht spürbar sondern lediglich messbar waren, demnach hätten sie sowieso keinen Einfluss auf das Spielgefühl. Und genau deshalb lässt man sie durch die Angabe des Grenzwertes zu den schlechtesten 1% auch weg.
Das ist ja jetzt nur ein Beispiel, das ich bei CB gefunden habe. Ob man in diesem Beispiel die Unterschiede spürt oder nicht ist doch nicht relevant für die Eignung der 99th Percentil!
Ob man Ruckler auf 55(neuer Treiber) oder 45(alter Treiber) 1/s spürt, ist ja auch sehr subjektiv....manche bekommen schon physische Schmerzen, wenn ihre FPS von 500 aus 300 fallen.
Ich würde es vermutlich auch kaum spüren, aber das kann CB nicht für mich entscheiden.
Was der Mensch als störend sieht ist ja nicht der Part der super läuft....den nimmt das Auge/Gehirn als Normalzustand hin, sondern unangenehm ist das, was aus der Reihe fällt.
Und einzelne hohe Frametimes sind das was aus der Reihe fällt. Die sind es die das Spielgefühl ausmachen und daher sehe ich nicht ein, warum man die ignorieren sollte.
Ein Wert, der kritische Teile der Messung ignoriert und dann wie bei Forza zu unterschiedlich gut laufender Hardware das gleichen Ergebnis ausspuckt, kann nicht die erste Wahl sein.
Im Optimalfall gehen die Leute hin, und gucken nicht auf das prozentuale Gesamtergebnis, sondern sie gucken sich die Werte, für die Spiele, die sie interessieren, einzeln an und machen ihre Kaufentscheidung nur von den Titeln abhängig, wo sie in iher Auflösung und ihren Settings, Unterschiede in kritischen Bereichen sehen.
Die Titel, wo Hardware A 100 und Hardware B 130 FPS machen und beide mit P99/1%low über 80 1/s sind, müssten sie ignorieren, weil Hardware A und Hardware B beide flüssig laufen und der Unterschied keine Rolle spielt.
Das ist aber nicht das was zu 99% gemacht wird....es wird auf die prozentualen Unterschiede geguckt und dann wird Hardware X gekauft, weil die im Schnitt über 10 Spiele 10% schneller war.
CB muss also vor allem prozentuale Unterschiede zeigen und da immer mehr Menschen verstanden haben, dass die avg FPS nur die halbe Wahrheit erzählen und die Gleichmäßigkeit sowie die Ausreißer in den Frametimes wichtiger dafür sind wie sich das Spiel anfühlt......
.....Naja da muss man den Frametimeverlauf nicht nur aufnehmen, sondern auch auswerten und mit einem Zahlenwert verknüpfen, der den Verlauf möglichst gut repräsentiert und den man prozentual vergleichen kann.
Auch die 1% low sind da nicht perfekt....den einen perfekten Wert gibt es nicht und man müsste eigentlich ganz viele Werte bestimmen, alle präsentieren, zusammen mit einem Graph des Frametimeverlaufs usw.
Dann braucht man aber so viel Hintergrundwissen um das zu verstehen und zu beurteilen, dass wieder nach
einem Wert gerufen werden würde.
Jetzt könnte man alles zu einem kombinieren oder komplizierter auswerten, aber wer setzt da die Gewichtung?
Daher bleibt der Durchschnitt über die schlechtesten 1% die bis jetzt die beste Möglichkeit, auf die sich die meisten Tester einigen konnten.
Auch 0.1% low sieht man oft und auch wenn die recht schwer zu reproduzieren sind, so sehe ich die als zweitbesten Wert an......dann die 5% low und dann erst die avg FPS.
Ich habe mich auch selbst an einer Berechnung für die Schwankungen der Frametimes gewagt ("effektive durchschnittliche Frametimes" und wichtiger ihr "prozentualer Unterschied zu dem klassischen Durchschnitt der Frametimes")....für mich hat der Wert Aussagekraft, weil ich genau weiß wie er berechnet/gewichtet wurde und wie er einzuschätzen ist, aber sowas ist ungeeignet für fremde Leute im Internet^^.