Vorschlag zur Erweiterung der Benchmarkmethoden

B

boxleitnerb

Gast
Vorab:

Ich möchte nicht zwei Threads aufmachen, aber dieser Vorschlag soll sowohl für GPU- als auch für CPU-Benchmarks gelten.


Wird außer dem avg-Wert noch ein fps-Wert angegeben, sind es eigentlich immer die Minimum-fps.

Erachtet ihr eine Reduktion der fps-Informationen auf zwei Werte für sinnvoll? Ist das aussagekräftig (genug)?
Da ich generell dafür bin, soviel Informationen in ein Benchmarkergebnis zu packen wie möglich (ohne dass es zu kompliziert wird), frage ich mich, ob nicht der Ansatz sinnvoller wäre, den damals Fear mitgebracht hat:

Zusätzlich zu den Absolutwerten, mit denen man alleine recht wenig anfangen kann, eine prozentuale Information über die fps-Verteilung. Das geht natürlich nur, wenn man selbst mit fraps bencht und jede Sekunde einen Wert hat. Ein netter Nebeneffekt wäre auch, dass man somit fast gezwungen wäre auf Timedemos und vorgefertigte Benches zu verzichten und "echte" Ergebnisse zu generieren.

PCGH hat sowas glaub ich mal gehabt in Form eines Balkendiagramms. Eine Tabelle fände ich hier fast besser (zusätzlich zu den normalen avg- und min-fps Balken), da man sonst ein extra Diagramm mit 3 Balken pro CPU/GPU (die Bereichsgrenzen, z.B. 25, 40, 60fps) anschauen muss, was je nach Anordnung recht verwirrend sein kann.

Man könnte zumindest die Prozentwerte, die unter einem gewissen Komforniveau liegen (25 oder 30 fps), der Anschaulichkeit halber in einem Graphen darstellen. Natürlich muss man dann deutlich hinschreiben, dass mehr hier nicht besser ist.

Diese Methode würde auch wertvolle Praxisinformationen liefern, nämlich über die Spielbarkeit und sogar teilweise den subjektiven Anforderungen gerecht werden:

Je nachdem, welche Ansprüche man hat, kann man sich an den verschiedenen Grenzen orientieren. Dem einen reichen 30 fps für ein flüssiges Spielerlebnis, dem anderen erst 60. Dementsprechend schaut man dann eben auf die Prozentwerte für >30 oder >60.

Was denkt ihr darüber?
 

Anhänge

  • fear-benchmark-result.jpg
    fear-benchmark-result.jpg
    279,9 KB · Aufrufe: 353
Zuletzt bearbeitet:
Das ist richtig. Bei CPUs ist das sehr schwierig, stimmt. Zumindest bei Grafikkarten kann man im Prinzip weiterhin Timedemos und Flybys benutzen (die Ergebnisse sind bei Grafikkarten deutlich repräsentativer bzw. durch Schrauben an Details/AA etc. viel einfacher in einem weiten Bereich variierbar). Allerdings muss man mit Fraps die Werte mitloggen, damit man die benötigte Wertebasis hat.
 
Erachtet ihr eine Reduktion der fps-Informationen auf zwei Werte für sinnvoll? Ist das aussagekräftig (genug)?
Wenn interessiert das denn ?? Für mich zählt im Endeffekt eigentlich nur ein Wert, wie schlägt sich die neue
GK/CPU im Vergleich zu den älteren vergleichbaren - Mehr net ;)

Denn die FPS beziehen sich auf das verwendete Testsystem und das haben die wenigsten ......
 
Den ein oder anderen Leser vielleicht? :)

Ein wenig geistige Transferleistung ist natürlich nötig, um von der gebenchten auf die gewünschte Systemzusammenstellung zu kommen. Aber darum soll es hier nicht gehen.

Ziel sollte es sein, dem Leser soviele Informationen wie möglich zu geben, um ihm eine Kaufentscheidung zu erleichtern. Ein Kondensieren eines ganzen Satzes an Ergebnissen auf ein oder zwei Werte halte ich dahingehend nicht für produktiv. Siehe z.B. den angesprochenen Stichpunkt "Spielbarkeit". Wer die zusätzlichen Informationen nicht will, kann sie ja überlesen.

Edit:
coreman66 und Proti:
Nein, das ist nicht das einzige, was interessiert. Es zählt auch der Vergleich zur Konkurrenz in der aktuellen Generation.

Zumindest im unteren Spektrum ist der Informationsgehalt deutlich höher. Der Min-Wert kann durch Nachladeruckler, Limitierung der anderen Komponente oder einen sonstigen Glitch auftreten.

Betrachtet mal folgendes Beispiel:

Komponente A:

Dauer: 60s
Sek. 1-20: 20 fps
Sek. 21-40: 40 fps
Sek. 41-60: 60 fps

Komponente B:

Dauer: 60s
Sek. 1-5: 20 fps
Sek. 6-20: 30 fps
Sek. 21-40: 40 fps
Sek. 41-60: 53 fps

Komponente C:

Dauer: 60s
Sek. 1-20: 40 fps
Sek. 21-40: 40 fps
Sek. 41-60: 40 fps

Mittelwert ist etwa 40 bei allen dreien (bei C 40,17). Wo wäre die Spielbarkeit besser? Wohl bei C, oder? Genau das geht beim Pressen der Messwerte auf einen einzigen Mittelwert gnadenlos unter. Dass bei A das Minimum 20 Sekunden lang gefahren wird, bei B aber nur 5 Sekunden lang, ist durch Angabe eines Wertes auch nicht ersichtlich.
Dass große Schwankungen wie sie bei A und B auftreten, auch zu einem unrunden Spielerlebnis führen können, erkennt man durch Mittel- und Minimumwert ebenfalls nicht.

Zugegeben - es ist ein eher konstruierter Extremfall. Aber kann man sich sicher sein, dass das nicht doch mal zumindest tendenziell auftritt? Speziell bei Grafikkarten, wo ein Kandidat szenenweise mal stark vorne liegt (Tessellation z.B.).
 
Zuletzt bearbeitet:
Zurück
Oben