• Mitspieler gesucht? Du willst dich locker mit der Community austauschen? Schau gerne auf unserem ComputerBase Discord vorbei!

[Review] Thief - CPU Benchmarks

Baal Netbeck

Fleet Admiral
🎅 Nikolaus-Rätsel-Elite
Registriert
Apr. 2008
Beiträge
12.498
Dies ist ein ausgelagertes Thema aus diesem Hauptthread:
https://www.computerbase.de/forum/t...kussion-zu-spieletests.1728575/#post-20678303

Intro:

Das "neue" Thief ist der vierte Teil der Serie, auch wenn jemand die vier weggelassen hat.
Thief ist ein ungewöhliches Spiel, in dem man als Meistedieb in einer Steampunk Welt mit übernatürlichen Erscheinungen von einer kruden Geschichte zur nächsten stolpert.
Ich war ein großer Fan der ersten beiden Teile, vor allem des zweiten(in Deutschland als "Dark Projekt 2" verkauft).
Der drittel Teil war ganz ok, fühlte sich aber bereits sehr nach Konsole an...vor allem was die Steuerung von Garret angeht. (ich mag es old school... direkt und abgehackt)

Dieser vierte Teil hat mich nicht begeistern können. Zu viele Bewegungseinschränkungen und dieser kontinuierliche Blaustich!...und es fehlt der Humor, der die düsteren Szenen in vorherigen Teilen ab und zu aufgelockert hat.

Der Hauptgrund warum ich das Spiel teste.....weil es so einfach und schnell ging;).

Die Testkandidaten sind mein Ryzen 1800X in verschiedenen Konfigurationen gegen einen i5 3570K.
Beide mit meiner Vega64 LC(undervolted) gepaart.

In diesem Review zeige ich diverse Aspekte wie:
Einflüsse von 4 vs 8 Kernen, SMT an/aus, Skalierung mit Ramgeschwindigkeit, verschiedene CCX Konfigurationen für Ryzen. IPC Vergleiche, Einfluss des HBCC, Einfluss von CPU und RAM Optimierungen, und eine Betrachtung der Infinity Fabric Skalierung.

Fangen wir mit der Testszene an.

https://www.youtube.com/watch?v=kq8lf-gJQYs&index=11&list=PLP9fskJGwUOT5CByAJMJrXaggyMuUgsFt&t=0s

Ich nutze den integrierten Benchmark, denn er repräsentiert ganz gut das eigentliche Spiel. Man sieht eigentlich nie mehr NPCs als in dieser Szene und die durchaus hohe CPU Auslastung von ungefär viel Kernen ist nicht so niedrig, wie ich es erwartet hätte....wir sind die ganze zeit CPU limitiert.

In der Testszene fliegt die Kamera langsam durch die Straße mit verschiedenen NPCs. Es gibt keine cuts, was gut ist, aber es gibt erschreckend viele Fehler.
Flackernde Texturen, ein außerhalb der Angeln schwebendes Tor, Personen die komisch von Bodenunebenheiten rutschen und zwei Wachen, die perfekt synchron Bürger einschüchtern und dabei mit ihrer Armbrust fuchteln...nur das einer von ihnen gar keine Armbrust in der Hand hat;).

Keine Ahnung wie das durch die Qualitätskontrolle kommen konnte:freak:

Wer die Szene selbst testen möchte, muss Fraps auf 40s stellen und in dem Moment starten, wenn die Kamera gerade zwischen den großen Schilden der Wachen hindurchgleitet.

Alle wichtigen Optionen sind dem Video zu entnehmen.

Frametimegraphen:
Hier der Vergleich meines Ryzen 7@3,8GHz und des Ivy Bridge i5 mit 4,4GHz
thief graph i5 zen.png

Beide CPUs zeigen saubere Frametimes mit geringen Schwankungen. Beide haben jedoch an den gleichen zwei Stellen einen Frametimepeak.

Der Ryzen gleibt gleichmäßig besser.

Um diesem Auf und Ab eine quantitative Entsprechung zu geben benutze ich eine Reihe statistischer Werte die ich aus der Auswertung von jeweils fünf Messungen gewinne.
Die gezeigten Frametimeverläufe waren jeweils die zweit besten was die 0.1% low Werte angeht.

Vergleichen wir also die Systeme quantitativ:

i5 vs. Ryzen

thief i5 zen.png

Zur Erklärung des Diagramms:
Aufgetragen auf der y- Achse sind die "inversen Frametimes". Das sind im Grunde die FPS aber halt nicht durch "Zählen von Frames über einen Zeitraum" bestimmt, sondern über den Kehrwert der Frametimes gebildet.
Wenn ihr hier bei einem Wert links(avg FPS) 44 in 1/s seht, dann würde euch Fraps auch 44 FPS anzeigen.

Aus dem Frametimeverlauf bestimme ich einen effektiven Frametimeverlauf. Diesen habe ich ausführlich im Hauptthread unter "Nomenklatur" diskutiert.
"avg eff FPS" ist der Kehrwert des Durchschnitts dieses effektiven Frametimeverlaufs.
Um so stärker dieser Wert gegenüber den avg FPS abfällt um so stärker sind die relativen Schwankungen der Frametimes ....eine Art "Mikroschwankungsindikator".

Es folgen die Xth percentile und X% low Werte, die sich Stück für Stück immer weiter den schlechten Frametime Werten zuwenden und daher für das Spielgefühl besonders wichtig sind.

5%low und 99th percentile sind dabei noch eher auf den allgemeinen Spielfluss konzentriert und bekommen wenig bis nichts von einzelnen Frametimepeaks(Rucklern) mit.

Die letzten drei Werte werden je nach Spiel mehr oder weniger von diesen Frametimepeaks dominiert und sind meiner Meinung nach oft das beste Mittel um zu beschreiben ob und wie "Ruckelig" sich das Spiel anfühlt.
Leider basieren sie nur auf einem kleinen Teil der Frametimes und daher unterliegen sie größeren Ungenauigkeiten.
Auch wenn ich die 0,1% low Werte sehr schätze, bieten sie oft zu schlechte Reproduzierbarkeiten und daher bin ich ein großer Fan der 1% low Werte.
Diese sind in der Regel noch gut zu reproduzieren und entsprechen sinnvoll dem Spielgefühl.

Die Linien zwischen den Symbolen sind extra gestrichelt, da sie nur zur besseren Lesbarkeit beitragen sollen und keine Punkte dazwischen suggerieren sollen.

In der Legende sieht man die Symbolformen und Farben der verscheidenen Testkandidaten.

Die Wertepunkte selbst sind Durchschnittswerte aus den drei besten Werten von fünf Messungen und haben zusätzlich Fehlerbalken, die sich aus der empirischen Standardabweichung dieser drei besten Werte ergeben.

Der Eindruck aus den Frametimegraphen bestätigt sich hier.
Der i5 muss sich trotz 4,4GHz geschlagen geben, zeigt aber das gleiche Verhalten...mit Stock Taktraten fällt er weiter zurück.....bleibt aber gut spielbar.

Ryzen CCX Konfiguration und SMT

thief ccx smt.png

Ich habe etwas viele Graphen gleichzeitig in das Diagramm gepackt, was nicht optimal ist für die Übersichtlichkeit, es zeigt aber besser die Zusammenhänge.

Abgeschlagen sind vier Kerne mit 2,8GHz, was nicht verwunderlich ist.

Mittig sitzen 2+2 Kerne mit und ohne SMT, wobei SMT hier scheinbar hinderlich ist und eher Nachteile bringt.
Das überrascht, weil das Spiel eigentlich vier Kerne voll auslastet und SMT etwas mehr Leistung rauskitzeln sollte, aber eventuell bräuchte das Spiel ein update für Ryzen um damit klar zu kommen.

An der Spitze tummeln sich dann 8 Kerne mit und ohne SMT, sowie die 4+0 Konfiguration.
Mehr echte Kerne helfen also genauso viel wie das wegfallen der IF Kommunikation.

Wie man an den Fehlerbalken sieht, zeigt der Benchmark trotz geskriptetem Ablauf eine überraschend schlechte Reproduzierbarkeit.

Leistungsaufspaltung beim i5

thief i5 clockram.png

Keine großen Überraschungen hier.
Nur 2,8 GHz machen sich trotz schnellem Ram nicht gut, die stock Taktraten mit 1600er Ram(Intel Freigabe) liegen gleichauf mit 4,4GHz mit 1333er Ram.

Der Wechsel von 1333 auf 1866 macht aus dem 40% schnelleren Ram also 21,7% mehr avg FPS aus und 21,3% mehr 1% low.
Von 2,8 zu 4,4GHz sind es 57% mehr Takt. Dies führt zu einer Steigerung der avg FPS von "nur" 31,7% und 35,7% bei den 1% low.

Ein starker Gewinn durch schnelleren Ram!

IPC Vergleich
thief ipc.png

Drei mal vier Kerne, ohne HT/SMT, bei 2,8GHz im Vergleich.

Wenig verwunderlich gewinnt der Ryzen, mit nur 2133er DDR4 kommt der i5 aber nah ran.

DDR4 Ram Skalierung

thief ddr4 scale.png

Auch hier zeigen sich große Steigerungen.

Der Wechsel von 2133 auf 3200 MHz macht aus dem 50% schnelleren Ram 23% mehr avg FPS aus und 19% mehr 1% low.

HBCC settings

thief hbcc.png

Alle Unterschiede liegen innerhalb der Messungenauigkeit....wenn es Unterschiede geben sollte, sind diese sehr klein.

Ryzen optimieren und übertakten
thief optimiz.png

Mit dem 1800X habe ich bereits das stärkste Modell der Ryzen 100er Serie.
Aber wie viel Leistung verschenkt man wenn man weder den Ram im Bios einstellt noch den Energiesparplan ändert.
Der ausbalancierte Energiesparplan sollte inzwischen auch für Ryzen funktionieren und nicht mehr die Kerne schlafen legen aber auf Höchstleistung wird nicht heruntergetaktet.

Und wie viel Leistung kann man mit einem minimalen OC auf 3,8GHz und optimieren von Subtimings noch herausholen?

Wie schon durch die DDR4 scalierung angedeutet, macht sich hier das Ram OC bemerkbar.
Das docp Profil macht zwar bereits einen guten Job, es muss sich aber den 100MHZ mehr allcore Takt und verbesserten Subtimings geschlagen geben.

Einfuss von Ramtakt auf den Infinity Fabric
Hintergrund:
Wer sich mit Ryzen beschäftigt hat, der wird öfter gehört haben, dass Ryzen schnellen Ram braucht, weil sonst die Kommunikation zwischen den CCX durch einen lansamen IF behindert wird.

Aber ist dem auch so? Ich habe noch keinen brauchbaren Test gesehen, der das untersucht hat und habe mir was eigenes überlegt.

Theoretisch ist da schonmal was dran. Gerade in neueren PC Spielen wird die Arbeit auf mehrere Kerne aufgeteilt und es findet viel Kommunikation statt um alles synchron zu halten und die Ergebnisse zusammenzuführen.

Der IF ist an den Takt des Ram gekoppelt und es gibt Veröffentlichungen, die zeigen das sich die Latenzen von einem CCX zum anderen mit schnellerem Ram verbessern.

Die Frage ist, ob dies rein theoretisch ist oder wirklich so signifikant, dass es sich auch in der Spieleperformance niederschlägt.

Leider steigt mit schnellerem Ram auch die Spieleperformance und es wird schwer zu sehen, was davon die IF Verbesserung war und was einfach der schnelle Ram.

Die IF Unterschiede von 2+2 zu 4+0 werden durch den doppelten L3 Cache bei 2+2 verschleiert.

Vorgehen
Bei den Ryzen 8 Kernern hat man die Möglichkeit über das Bios Kerne zu deaktivieren und dies habe ich einmal als 2+2 und einmal als 4+0 Konfiguration gemacht. SMT war deaktiviert.
Dann habe ich beides einmal mit 2133 und einmal mit 3200er Ram getestet.
Dann habe ich den prozentualen Performance Gewinn(2133 zu 3200) einmal für 2+2 und für 4+0 ermittelt und die Differenz gebildet.

Unter der Annahme, das der Gewinn durch den schnelleren Ram gleich sein sollte, zeigt die Differenz also den reinen Einfluss durch den beschleunigten IF.
Die Ergebnisse beruhen allerdings auf je vier fehlerbehafteten Größen und wenn man mit Gaußscher Fehlerfortpflanzung die Fortpflanzung dieser Fehler in das Endergebnis berechnet, zeigen sich leider große Unsicherheiten.
thief IF.png

Ganz wichtig sind hier die Fehlerbalken!
Keiner der Werte hat eine Aussagekraft und der Test bleibt daher ergebnislos!

Wenn man sich jedoch die Messungen zu 2+2 und 4+0 anguckt, sieht man deutlich, dass 4+0 insgesammt besser ist und der Infinity Fabric hier etwas Leistung kostet.

thief 2+2vs4+0.png

Fazit:

Thief lastet überraschenderweise vier CPU Kerne gut aus und profitiert von mehr echten Kernen.

CPU Takt ist zwar wie fast immer hilfreich, überraschend sind aber eher die Gewinne, die schneller Ram bringt.
Auf dem i5 wie auf dem Ryzen im Bereich von 20%.

Wirklich wichtig sind aber all diese Unterschiede nicht. ;)
Egal auf welcher Hardware gibt es immer wieder einzelne Ruckler und sonst sind die Frametimes gut.
Schnelle CPUs und schneller Ram machen die Situation besser und die Ruckler weniger stark, es ist jedoch kein Spiel in dem ich dies als notwendig erachten würde.

Wie schon im Intro angeklungen ist, war dies ein wenig inspirierender Test.....guckt euch lieber die anderen Spiele an die ich getestet habe;)
 
Wow, tolles Review. Vielen Dank für die ganze Mühe und Arbeit die da drin steckt. :hammer_alt:
 
Danke...ich bin leider erstmal nicht zu Hause...ich hätte gerne noch the Witcher 2 und 3 fertig gemacht....und dann alle Spiele zusammengefasst....und dann einen 2700x gekauft und den hinzugefügt... Aber ich komme nicht dazu;).

Und eigentlich hätte ich gerne vorher stabile BIOS Versionen für den i5 und den Ryzen mit Spectre Schutz...die Daten bis jetzt hatten nur den meltdown Schutz.

Sollte ich die Ausrichtung der Tests irgendwie anpassen? Bis jetzt habe ich 1440p genommen und dann die Grafikeinstellungen angepasst.

Wenn es immer CPU limitiert war, habe ich praktisch immer die maximalen Grafikeinstellungen gewählt.
Auch wenn das wie in in starcraft2 und rome in sehr schlechten FPS geendet ist.

Wenn es mit maximalen Grafikeinstellungen GPU limitiert war, habe ich versucht die FPS zu verbessern bei bestmöglicher Optik.....aber nur bis in einen gut spielbaren Bereich (witcher2, 3, rottr....).

Die Idee war es möglichst realistische Einstellungen zu wählen und zu gucken, ob sich dann Unterschiede durch die CPUs zeigen....aber gerade bei StarCraft bin ich mir da unsicher, weil kaum ein ambitionierter Spieler diese Physik Effekte hochdreht wenn es FPS kostet.
 
Wenn du nen Verbesserungsvorschlag willst: Die Diagramme sind teilweise krass schlecht zu lesen. zB " Ryzen CCX Konfiguration und SMT". Da werden bei den Linien und den zugehörigen Symbolen unterschiedliche Farben verwendet, die Farben der Symbole aber dann wieder für Linien der anderen Einträge benutzt. Ich hab da echt Probleme rauszulesen, welcher Verlauf nun was genau ist.
 
Das stimmt...hatte ich auch selbst irgendwie gemerkt, aber die Farben wählt OriginPro selbst und was individuelles wählen ist immer mit mehr Arbeit verbunden;).

Aber ich werde versuchen sowas in Zukunft zu verbessern. Zwei Diagramme draus machen ist sicherlich auch nicht schlecht....das Problem kommt allerdings immer wieder, wenn die Daten nah zusammen und oder nicht so zuverlässig sind.


Wenn die Werte paarweise zusammenpassen, Versuche ich dran zu denken gleiche Farben zu nehmen...also hellgrün und dunkelgrün, hellrot und dunkelrot...

Ist das erste Mal, dass ich sowas in dem Ausmaß auswerten und präsentiere...da bin ich für Feedback dankbar:)
 
Zurück
Oben