Auswertung und Darstellung

Dies ist ein ausgelagertes Thema aus diesem Hauptthread:
https://www.computerbase.de/forum/t...kussion-zu-spieletests.1728575/#post-20678303

Sind alle Spiele, Testszenen, Einstellungen usw. ausgesucht und die Benchmarks gemacht, geht es an die Auswertung und Darstellung der Ergebnisse.

Edit: Inzwischen ist mein Programm deutlich erweitert als hier gezeigt.
Es arbeitet vielfach schneller, kann fünf Messungen einlesen und mir Durchschnitte für die drei besten und schlechtesten Werte ermitteln.
Ebenfalls habe ich Mittelwerte für die schlechtesten 5%, 1% und 0,1% der Frametimes als "X% low" Werte eingefügt.


Wer sich den Text sparen möchte, kann es sich auch in zwei Videos angucken:
https://www.youtube.com/watch?v=Dm_-T2H83m0&t=332s
https://www.youtube.com/watch?v=g-bJhhzbaYE&t=49s

Teil 1: Was Fraps uns ausgibt

Teil 2: Die Frametimemessungen verarbeiten
Teil 3: Die Frametimeverläufe plotten
Zur Darstellung bitte das zweite Video angucken(wenn nicht schon geschehen)....als Text werde ich das irgendwann erweitern.



Was haltet ihr davon? Irgendwelche Verbesserungsvorschläge?

Als Vorschlag für Deine Plots: Leider kann man hier im Forum keine pdf-Grafiken einbinden (siehe Anhang), aber Du könntest die Grafiken die Du machst automatisiert mit LaTeX (als pdf) plotten lassen. Für die unterschiedlichen Typen von Grafiken die Du machst müsstest Du eben jeweils eine Vorlage erstellen (oder Dir dabei helfen lassen ). Eventuell lassen sich die Plots danach automatisiert in ein im Forum betrachtbares Format umwandeln.

Zum Programm: C++ eignet sich für die Zwecke hier denke ich gut. Alternativen wären awk und python, die bieten in diesem Fall aber denke ich kaum Vorteile, da es schon Strings als Datentyp gibt, der nicht schon bei der Erstellung seine Größe kriegen muss. awk würde auch irgendeine Form von Unix-Shell brauchen, entweder in Form des in Win 10 eingebauten Linux oder cygwin. Ist eventuell unangenehm.

Das Plotten ist eigentlich kein Problem.
Dieser Beitrag ist schon Recht veraltet....ich werte die frametimes Dateien in einem C++ Programm aus, das mir alle Statistik, die ich haben möchte ausspuckt und auch aufbereitete Verläufe, die ich direkt als ASCII in Origin pro importieren kann.

Aber danke für die Tipps....ich bin leider nicht wirklich mit programmieren ausgebildet und ich kann nur C++ Basis Krams. Daher ist mein Programm auch absurd riesig....egal solange es macht was es soll

Dass das C++-Programm alles auswertet habe ich mir schon so gedacht Darf ich fragen, was Du beruflich machst? Origin (Pro) kenne ich eigentlich nur als Physiker-Werkzeug? Ohne Dir zu Nahe treten zu wollen finde ich persönlich diese Origin Plots nicht wirklich schön (was Dich nicht davon abbringen soll, Origin zu benutzen. Jeder wie er will! Hier geht es nur um Feedback). Die Achsen- und Legendenbeschriftung ist immer deutlich schwächer (und hässlicher sobald irgendwelche Formeln oder aufwendigere Sub- und Superskripte auftauchen sollen) als das mit LaTeX ginge und die Möglichkeit, mit dem C++-Programm im Prinzip auch schon kompilierbaren LaTeX-Code für Plots zu bekommen fände ich persönlich ziemlich reizvoll. Wenn ich weiter getestet hätte, dann hätte ich ziemlich sicher irgendeine automatisierte Auswertung inklusive Plots geschrieben.

Falls es Dich interessiert wäre hier mal ein (grober) Beispielplot, den ich mit pgfplots (LaTeX Paket) erstellt habe. Grob ist hier vor allem die Achsbeschriftung, das würde ich genauer machen wenn es um etwas ginge. Falls es Dich interessiert, Du aber keine Lust hast Dich einzuarbeiten, helfe ich auch gerne. LaTeX ist mein persönliches Hobby im Studium.

Ich bin hoffentlich bald ein fertiger Physiker.
LaTeX nutze ich auch für PDFs und Formeln. Aber für Plots bin ich bei Origin zu Hause.
Ich produziere ja nicht plots am laufenden Band sondern stelle diese eher individuell zusammen.
Zugegeben...für einige Plots nehme ich einfach eins meiner Templates, ändere den Titel und fertig.

Aber gerade was die Frametimegraphen angeht, darf es etwas aufwendiger sein...da suche ich mir dann eine Stelle raus, die ich per inset größer darstelle:
Anhang anzeigen 675732
Sowas kann ich mir nicht automatisiert vorstellen. Da wähle ich dann ja spezielle Bereiche, die mir entweder typisch oder interessant erscheinen.
Hier möchte ich einerseits den kompletten Frametimeverlauf zeigen, um in Verbindung mit dem Video der Testszene die Ergebnisse besser einordnen zu können.
Dann möchte ich natürlich auch die feinen Unterschiede in den Frametimeverläufen zeigen, weshalb ich nochmal heranzoome.
Mit der Darstellung bin ich eigentlich ganz glücklich, aber mehr als zwei bis drei Testkandidaten kann man nicht gleichzeitig zeigen.

Als zweiten Diagramm Typ habe ich die Darstellung der Statistikwerte als pseudo-Verlauf:
Anhang anzeigen 675733
Wenn man sich daran gewöhnt hat, was aufgetragen ist, bin ich mit der Darstellung auch ganz zufrieden.
Man kann mehr Testkandidaten zeigen, man zeigt nicht Einzelmessungen sondern Mittelwerte mit Fehlerbalken.

Als drittes die Darstellung des IF, wobei ich da selbst nicht zufrieden bin:

Anhang anzeigen 675745 Anhang anzeigen 674239
Das ist sicherlich schwer nachzuvollziehen, und schwer zu interpretieren.
Auch stören mich die schwer erklärbaren Ergebnisse und die eigentlich unbrauchbare Genauigkeit...aber das ist ja kein Problem der Plots.

Dann die Darstellung der Ram Skalierung über der Ram Frequenz in einem Spiel:
Anhang anzeigen 674234
Das ist ganz schön wie ich finde...allerdings ist es so furchbar viel Arbeit für all die Ramfrequenzen Messreihen aufzunehmen. Daher habe ich für viele der Spiele nur 2133 und 3200 bzw 1333 und 1866 gemessen.

Und dann natürlich die Darstellung für mehrere Spiele:

Anhang anzeigen 680467
Diese waren viel Arbeit, weil ich die verschiedenen Spiele kombinieren musste.
Auf verschieden Bezugspunkte verrechnen und dann auch noch eine Fehlerfortpflanzung mitschleifen musste.....
Für die grobe Idee zu dieser Darstellung habe ich mich von Gamers Nexus inspirieren lassen.
Ich denke das ist ganz in ordnung...bei mir sind die Zahlen halt am linken Rand aufgeführt, um nicht(oder selten) mit den Fehlerbalken zu kollidieren.


Ich würde gerne bei Origin bleiben, allerdings bin ich für Änderungsvorschläge der Plots oder Präsentation der Ergebnisse dankbar!

Ich habe das alles alleine zusammengestellt und einfach mal gemacht was mir in den Sinn kam.

Wenn du Ideen hast, was ich da verbessern kann, würde ich diese gerne hören.
Die Detailbetrachtung der Spiele ist halt nicht sonderlich Mainstream.

Aber gerade dann (für Deine "physikalischen Dokumente") wären doch Plots mit pgfplots sinnvoll, die werden zusammen mit dem Dokument beim Kompilieren erstellt, es gibt gnuplot als backend zum fitten, die Größe ist frei im Dokument anpassbar zwischen den Kompiliervorgängen (bei anderen Vorstellungen zur Größe muss man nicht das dritte Programm nochmal anschmeißen), LaTeX setzt die Beschriftungen und die Schrift im Dokument ist einheitlich. Aber gut, jeder wie er will.

Bei Deinem ersten Beispiel liegt einfach nur ein gewöhnlicher Frametimegraph zugrunde, dieser "Spion" auf einen ausgewählten Bereich wäre in pgfplots ein zusätzlicher Befehl, könnte also in ein automatisch erzeugtes Diagramm noch eingefügt werden, siehe Beispiel 352 (Code) aus dieser Sammlung von fertigen pgfplots mit zugehörigem Code (diese Spione können noch genauer angepasst werden).

Die anderen Diagramme sind prinzipiell auch in pgfplots möglich, Fehlerbalken (soweit ich weiß in x und y Richtung) werden unterstützt.

Inhaltlich: Für Dein zweites Beispiel: Hier wäre ein Balkendiagramm von der Aussage her sinnvoller (weil es keine Aussage über Werte zwischen den xticks gibt), oder eben soetwas wie eine Treppenfunktion; aber ich weiß, mit Balken ist das natürlich schon schwierig und aufwendig.

Sonstige Vorschläge hab ich nicht wirklich, ich hatte gedacht das macht Dir das Leben vielleicht einfacher

Das die Verbindungslinien bei Typ 2 problematisch sind, war mir auch bewusst...deshalb hatte ich "pseudo-Verlauf" geschrieben.
Erst wollte ich die Linien weglassen, aber dann war die optische Zuordnung der Punkte viel schwerer, sobald Datenpunkte fast auf gleicher Höhe liegen.

Säulen nutzen da ein paar Youtuber und CB nutzt ja Balken. Hat mir beides weniger gut gefallen. Ist okay wenn man nur zwei oder drei Statistik werte pro Testkandidat hat, ich wollte aber einen breiteren Bereich zeigen.

Ich denke ich sollte zumindest auf durchgezogene Linien verzichten und auf gestrichelte wechseln. In der Hoffnung, dass niemand denkt die wurden Messdaten dazwischen suggerieren.


Das in PDFs dann die Schrift einheitlich wäre klingt gut. Wenn ich Zeit finde, gucke ich mir das Mal an. Fürs erste wird es einfacher sein, wenn ich bei bekanntem bleibe.

Ich musste auch erstmal neue Daten messen.
Im Moment überlege ich aber Windows neu zu installieren und wieder ein frisches system zu haben.