Ryzen Usertest geplant. Vorschläge und Meinungen von euch?

[Baal Netbeck]

Das Anzeigen der Daten geht über MSI Afterburner in verbindung mit dem Rivatuner. Man kann noch viel mehr anzeigen lassen aber das halte ich nicht für sinnvoll. Mich interessiert die GPU Auslastung, die fps, der GPU-Takt, und wichtig die VRam Auslastung. Ich habe nur 2gb Speicher und ein Test mit vollem VRam macht schlechte Frametimes, die nichts mit der CPU zu tun haben. Bei der CPU Auslastung zeige ich nur die Gesammtauslastung und nicht einzelne Kerne, weil das übersichtlicher ist und eigentlich alles Wichtige aussagt.

Das aufnehmen des Videos ist natürlich schlecht für die Spieleperformance, bei Starcraft 2 waren es avg 14,8 fps anstatt 17,4 und minimum war 9 statt 11. Solange die Auslastung unter 50% liegt, die virtuellen Kerne also nicht gebraucht werden scheint es aber kein Problem zu sein. Überschreitet man diese Grenze läuft zwar das Spiel noch ganz gut, aber die Aufnahme hat Ruckler.

Die SC2 Szene aus deinem Replay gefällt mir als Auswahl richtig gut. Coop wird da kaum schlimmer sein und hier ist ordentlich was los auf dem Schirm....ich würde die gerne weiterverwenden....Low und Extreme+ sind auch eine gute Wahl. Selbst auf Extreme war die GPU nie ausgelastet....und auf low sind alle CPU belastenden Einstellungen aus....bestmögliches Bild gegen bestmögliche Performance....was will man mehr zum Vergleichen.

Heroes teste ich morgen Abend nochmal...ich hatte Spiele gegen die KI getestet, und ganz am Anfang und teils in den Teamkämpfen hatte ich kleine Ruckler bemerkt. Ich sollte anfangen Replays zu speichern^^.

Gute Nacht^^

 

[Baal Netbeck]

Erste Diagramme für SC2 sind fertig....ziemlicher Gleichstand bei i5 gegen Ryzen beide moderat übertaktet. der Wechsel auf Stock Taktraten bei i5 zeigt eine schlechtere Performance.

Ergänzung (10. April 2017)

Heroes of the Storm verhält sich ähnlich...i5 ohne oc ist leicht zu schlechteren Frametimes verschoben....i5 oc gegen Ryzen oc haben wieder fast Gleichstand:

Ergänzung (10. April 2017)

Ich hoffe das liest noch jemand^^. Ich überlege wie ich eine bessere Darstellung der durchschnittlichen fps erreichen kann.

Ich habe einen Frametime-Datensatz einer Heroes of the Storm Sequenz genommen und nur die schlechtesten 10, 5 und 1% der Frametimes aufgetragen....auch habe ich jeweils die schlechtesten 5 Framezeiten gelöscht um den Einfluss der Ausreißer zu untersuchen.

Dann habe ich mir min, max und avg(mit standardabweichung) ausgeben lassen und die avg frametime als orangen Balken eingeblendet und zur besseren Einordnung die dem entsprechenden fps dazugeschrieben.


Der Zeitbereich, der duch die schlechten Frametimes hervorgehoben wird ist ein kleiner Kampf mit ca 3 vs. 3 Helden. Der Rest ist nur laufen von der Base zum Kampf. Die ganze Szene hat diese 3 reproduzierbaren Ruckler, die man beim Spielen und im Replay deutlich spürt.

Als Balken dargestellt (wie bei den meisten Tests) sehen über 100 fps ziemlich gut aus. Aber das Auge sieht ja keine avg fps sondern nur die längeren unter den Frametimes...dass da immer wieder welche mit 5ms dazwischen sind ist völlig egal für das Auge, verbessert die avg fps aber deutlich.

Schöpft man nur die schlechten 10% ab, wie in dem Diagram oben links sackt man von den gefühlten fps schon unter 60. ignoriert man die Ausreißer(Diagram darunter) ändern sich die avg fps kaum.

Betrachtet man nur die schlechtesten 1% bleibt ohne die Ausreißer nur eine kurze Phase auf dem Höhepunkt des Kampfes übrig(rechts unten). Die gefühlten fps bleiben hier im Schnitt nur knapp über 40, nimmt man die Ausreißer mit dazu haben sie einen großen Einfluss und senken die fps deutlich auf 36,5.


Jetzt wäre meine Frage an euch.....welche Auftragung und Berechnung der avg fps ist an besten?

Sollte man es ganz anders angehen?.....Das Ziel wäre an Ende eine vergleichbare Zahl zu finden, die eine möglichst gute Aussage über die Spielbarkeit darstellt. Denn Frametimeverläufe sind toll, aber nicht quantitativ zu vergleichen.

Ergänzung (10. April 2017)

.......

Ergänzung (8. April 2017)

Zu den Rucklern in Heroes of the Storm kannst du mir gerne ein Replay (mit den gewünschten Zeiten oder Komplett durchlaufen lassen) und deine Grafikeinstellungen zuschicken und ich mach einen Vergleichs Test.

Hier habe ich einen Ordner mit den Replays(auch deinem) und den Einstellungen. Videos lade ich noch hoch...
https://drive.google.com/drive/folders/0B-jvAf2uuG-yZEpFWHJ4dFZ5TFU?usp=sharing

Ergänzung (10. April 2017)

Hier die beiden Sequenzen aud HotS
https://www.youtube.com/watch?v=dfqAMFpk4mk
https://www.youtube.com/watch?v=1DO_7RudsHI

 

[Clamor of Souls]

Ich habe hier schon mal die Messungen zu SC2 mit einem zweiten Durchlauf.
Außerdem habe ich mal das mit den Zeiten überprüft. Es scheint so dass wenn das Spiel nicht mit genügend FPS läuft, die Spielzeit nicht mehr in Echtzeit läuft. Vielleicht hat das was mit der Tickrate zu tun.
Und ich habe direkt Spielen mit Replay verglichen. Beim Spielen und der zweite Replay Durchlauf haben keine extremen Peaks, nur beim ersten Mal Replay anschauen gibt es die.

Das mit den Prozent Grenzen finde ich gut, ich kann nur nicht sagen welches der Relevanteste Wert ist und ob das überhaupt bei allen Szenen gleich anwendbar ist. Für mich ist der FPS Wert in einem großen Teamkampf am wichtigsten.

Die HotS Benchmarks mache ich später.

Ergänzung (11. April 2017)

Hier sind noch die Daten zu HotS.
Namensschema: S1 E1 = Szene 1 Extrem Durchgang 1

 

[Baal Netbeck]

@Clamor of Souls Echt cool, dass du den Test nochmal gemacht hast .

Sehr interessant, das die Peaks nur beim ersten Replay Durchlauf auftreten und nicht auch beim spielen.

Zum Vergleich habe ich hier mal die Frametimes vom letzten Mal(erster Durchlauf) gegen die neuen Daten verglichen...man sieht ganz gut, wie bei low settings nur die beiden großen Peaks verschwinden, aber bei extreme settings sind wohl noch einige weitere Dinge(vermutlich Animationen/Physik), die nachgeladen werden müssen und so verbesert sich das Bild der Frametimes deutlicher.

low und extreme unterscheiden sich jetzt nicht mehr so stark in irgendwelchen Ausreißern, sondern low schafft einfach kürzere Frametimes und man sieht gut, wie das auch die Dauer der Sequenz beeinflusst.

Ich habe dann den Test gegen den Ryzen 7@3,8GHz nochmal mit den neuen Daten auf extreme und low geplottet:

Und noch zwei Vergleiche auf extreme, einmal Ryzen 7 gegen meinen i7 im Laptop und einen Vergleich des alten i7-930 gegen den Laptop i7.




Bei den Prozent Grenzen habe ich noch ein paar Ideen...muss ich aber programieren für lernen^^.

 

[Clamor of Souls]

Die Messergebnisse sind recht Interessant. Man lernt einiges über die Game-Engine. Ich frag mich ob der starke Wechsel von Framestimes an manchen Stellen von der Tickrate kommt.
z.B. hier
Anhang anzeigen 617324

Jetzt fehlen nur noch Tests mit Skylake oder Kaby Lake CPUs, leider ist es schwer Leute zu finden die Interesse am erstellen von Benchmarks haben und auch die Spiele spielen.
Die Plots sind schon sehr schön, machst du die mit Matlab oder einem ähnlichen Programm?

 

[Baal Netbeck]

Diese nicht dauerhaft auftretenden "Verbreiterungen" der Frametimes sind echt komisch. In SC2 ist es eher so als wären die Frametimes eigentlich an der oberen Grenze und in kurzen Abständen sind niedrige Frametimes dazwischen. In HotS sind die Frametimes eigentlich am unteren Rand der Verbreiterung, aber ca. jedes 5. Frame ist deutlich verzögert und verbreitert den Verlauf nach oben.

Die Idee mit der Tickrate muss ich mal im Kopf behalten.....wenn diese bei SC 2 33ms wäre(oder irgendeine andere Rate) dann scheint da irgendwas zu passieren, wenn man von drunter zu drüber wechselt. Ist man drunter gibt es immer wieder Ausreißer nach unten, ist man in dem Bereich passiert nix und kommt man drüber gibt es Ausreißer nach oben.

Die Plots mache ich mit OriginPro 2016. Ich kann mich per VPN in die Uni tunneln und deren Lizenz nutzen. Am Anfang ist es unübersichtlich, aber eigentlich kommt man damit gut klar, weil man nicht wie bei Mathematica jede Anpassung mit Befehlen ändern muss sondern einfach per Maus den Titel verschiebt oder per Doppelklick ein Menü öffnet.
Matlab habe ich noch nicht ausprobiert.....manche schwärmen ja davon.....andere finden es furchtbar...eventuell irgendwann mal

Kaby Lake Benchmarks wären vermutlich deprimierend für mich^^......aber wenn sich jemand findet, dann gerne

Ergänzung (12. April 2017)

Schön wie ordentlich die Dateien bei dir benannt sind.....bei mir ist es ein wildes hin und herprobieren und daher ändere ich andauernd das Benennungsschema....nicht gut wenn man Daten suchen muss......aber wer aufräumt ist nur zu faul zum suchen!(ich sollte mir wirklich ein Beispiel nehmen)

 

[Baal Netbeck]

Ich habe es endlich geschafft mit C++ sowas ähnliches wie einen code zum kompilieren zu bringen.....Ich bin noch nicht mit allem fertig und es ist noch eine ganze menge an tuning nötig, aber erstmal macht meine Idee ungefär das was ich mir vorgestellt habe.

Da sich Frametimeverläufe nicht quantitativ vergleichen lassen und die bildung einem Mittelwertes das gleiche ergibt wie früher die avg fps....sollte was neues her......diese 99 Prozentile sind recht interessant, aber so richtig was darunter vorstellen kann ich mir nicht......daher habe ich mir eine art "effektiven Frametimeverlauf" zusammenprogrammiert....in den Diagrammen "eff ft".

Dieser Verlauf besteht aus gemittleten Werten aus der Umgebung, die dann eine "geboostete Standardabweichung" aufaddiert bekommen. So liegen die Werte eher im Bereich der schlechten Frametimes und einzelne Peaks werden "verbreitert" und gehen daher nicht so leicht im Mittel unter. Ich habe mal drei Verläufe geplottet mit jeweils unterschiedlich vielen Frames über die gemittelt und "standardabgewichen" wird.

Ergänzung (19. April 2017)

Ich habe mal zum Vergleich mit meinen effektiven Frametimes die 99 Perzentile Frametimes ausrechnen lassen und der liegt bei 23,52 ms.
Je nach gewähltem "Rechenfenster" bei meiner Methode liege ich ca. bei 18,5 ms und der reine Mittelwert würde 11,9 ms ergeben.
Ich tune dann mal weiter, denn ich habe schon die Ahnung, dass mein code in manchen Situationen Mist baut....Wäre schön, wenn jemand mir eine Rückmeldung geben würde was er von meiner Idee hält

Ergänzung (19. April 2017)

In Raceroom liegt alles eng beieinander und es macht kaum einen Unterschied:

Ergänzung (19. April 2017)

Das passiert wenn man die Aufnahme nicht unterbricht + Alt+Tab....

Und so sieht es fast richtig aus...ich glaube hier sind die Werte für "avg local ft" und "avg eff ft" vertauscht:

Und so bei Witcher 3:

Und so bei Witcher 1:


Und Witcher 2:

Zum Schluss noch Dirt Rally:


Gute Nachricht für meine CPU....die AM4 Halterung für meine Wakü ist endlich da und die 8 Kerne werden endlich besser gekühlt...würden dann auch gleich mal auf ihr Limit getestet....Ich scheine in der Siliziumlotterie weder Glück noch Pech gehabt zu haben....vorher unter Lukü gingen keine 4GHz primestable, da die CPU mit entsprechender Spannung über 90° schoss....jetzt sind 4,05Ghz möglich mit 75°...4,1Ghz hatte ich auch gebootet und mit Cinebench getestet bekommen aber unter prime gab es Abstürze in unter 2 min.
Bei der Spannung bin ich bis auf 1,417 V unter Vollast gegangen mehr wollte ich noch nicht testen....die Leistungsaufnahme unter prime95 small fft ist von 218W bei 3,8GHz auf 290W bei 4,05 GHz hochgegangen....über 70 W mehr für etwas über 200MHz...das lohnt nicht wirklich.


Schlechte Nachrichten für meine Spiele-Tests...mein VRam(oder irgendwas anderes) scheint Probleme zu machen....Die Grafikkarte hatte früher schonmal Stabilitätsprobleme, aber jetzt hatte ich plötzlich unter Windows Artefakte und dann kein Bild mehr....Gegentest im anderen System ergab das gleiche Ergebnis....nach abkühlen sah es wieder normal aus aber nach wenigen minuten wieder Fehler....Da die Wakü jetzt wieder bereit war konnte ich die Grafikkarte wieder in den Kühlkreislauf eingebinden und es sah auf den ersten Blick wieder gut aus, aber beim Spielen gibt es trotzdem recht schnell Abstürze....den Speicher runtertakten zögert es hinaus aber dann stimmt die Vergleichbarkeit nicht und auch mit 500MHz weniger ist z.B. Witcher 3 nach 10 min ausgestiegen.

Eigentlich Zeit für einen neue Grafikkarte aber eigentlich warte ich auf Vega....die 1080Ti ist schon flott, aber auch sehr teuer und meiner Einschätzung nach wird Vega mit HMB2 oder die nächste Nvidia Generation mit neuem Speicher massiv besser bei der Speicherbandbreite sein und dann bei den Frametimes die Vorgänger alt aussehen lassen....ich bin ratlos....
Wenn die jetzige Grafikkarte kaputt ist, bleibt auch keine mehr für das alte System übrig....aber jetzt eine Übergangskarte zu kaufen nur für ein paar Monate, um die dann danach im Zweitsystem zustauben zu lassen....es widerstrebt mir alles^^.....bin ratlos.

Zurück zum Thema....ein paar tests mit maximal übertaktetem Ryzen R7 habe ich gemacht....habe aber wenig Lust zum auswerten.....bei Starcraft 2 verbessern sich die effektiven Frametimes um ca 2,5 ms(3,9%) und die Perzentile99 Werte um 1,7%.
Verlauf sonst gleich.

Heroes of the storm:....Effektive Frametimes ca. 0,9 ms besser(=8,4%) und P99 um 8%.

Witcher 3: beides kommplett im GPU limit...ich müsste über viele Messungen mitteln...lohnt nicht den Aufwand und führt zu nix

Witcher 1: Effektive Frametimes ca. 2 ms besser(=12%) und P99 um 11%. Allerdings mit Vorsicht zu genießen, da keine gute Reproduzierbarkeit....aber 100% im CPU Limit.