CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

tl;dr: Die von ComputerBase an dieser Stelle vor zweieinhalb Wochen publizierten Benchmarks waren falsch. Das kann die Redaktion mittlerweile bestätigen und damit ist es höchste Zeit das auch öffentlich einzugestehen. Wir möchten uns dafür entschuldigen und liefern gleichzeitig korrigierte Benchmarks nach.

Wir haben einen Fehler gemacht

Denn auch wenn wir im Nachgang der Veröffentlichung intern abermals nachweisen konnten, dass keine falschen Einstellungen in Spielen, keine falschen Speicher-Einstellungen (Timings, Takt, Single- statt Dual-Channel), keine Auto-OC-Funktionen im BIOS, kein aktiver Game Mode bei AMD Ryzen und keine Hintergrundprozesse in Windows die Ursache waren, dass etwas nicht stimmt, schien trotzdem auf der Hand zu liegen.

Was genau die Ursache war, können wir bis heute nicht sagen, doch nach unzähligen Umstellungen an der installierten Software oder der genutzten Hardware stand am Ende fest: Das Problem lag schlussendlich in der genutzten Installation von Windows. Woran genau, ließ sich auch nach langen Analysen nicht herausfinden, Prozesse und Dienste offenbarten keinerlei Ungereimtheiten. Ein frisches Windows zeigte bei ansonsten identischen Einstellungen jedoch andere, schnellere Werte. Hätten wir sofort auf ein komplett frisch aufgesetztes System gesetzt, wären wir schneller zu dieser Erkenntnis gekommen.

Am Ende war es wohl auch unsere sture Überzeugung, das Richtige getan zu haben, die uns davon abgehalten hat, einfach den Reset-Knopf für Windows zu drücken, wenn doch alles, was manuell vorzunehmen war, korrekt vorgenommen wurde. Der Reset erfolgt jetzt. In den Benchmarks und beim Hochmut. Unser Dank gilt allen in der Community, die mit Sachlichkeit über Tage am Ball geblieben sind und uns damit nicht aus der Verpflichtung gelassen haben, der Sache weiter nachzugehen. Der Lohn sind korrekte Benchmarks, auf denen wir aufsetzen können.

Testmethodik und System

Die nachfolgenden Benchmarks korrigieren nicht nur die alten Aussagen, sie werden gleichzeitig als Basis für die anstehenden Neuvorstellungen von Intel dienen (können). ComputerBase hat die Benchmarks deshalb mit der GeForce RTX 2080 Ti als derzeit schnellste Grafikkarte wiederholt, die Testergebnisse mit GeForce GTX 1080 Ti und GeForce RTX 2080 wurden bisher nicht neu aufgelegt. Im Vergleich zum letzten Artikel kam allerdings die GeForce RTX 2080 Ti Strix OC von Asus zum Einsatz und nicht die Founders Edition. Die Founders Edition findet für GPU-Tests aktuell und die nächsten Monate quasi täglich Verwendung, mit dem Wechsel auf ein Custom Design in den CPU-Benchmarks werden zeitraubende Überschneidungen in der Redaktion minimiert.

Um auszuschließen, dass der Wechsel der CPUs bzw. der Plattformen für Probleme sorgt, wurde Windows auf zwei SSDs neu installiert – eine für das Intel-System und eine für das AMD-System. Ein vollständig aktualisiertes Windows 10 Version 1803 (April 2018 Update) mit dem aktuellsten Treiber von Nvidia, dem GeForce 416.34, wurde gewählt.

Auf beiden Plattformen waren alle Auto-OC-Funktionen abgeschaltet, der Speicher war jeweils im Dual-Channel-Modus aktiv. Bei Intel kam, wie es die Spezifikation der CPU vorsieht, DDR4-2.666, bei AMD DDR4-2.933 zum Einsatz (jeweils G.Skill DDR4-3200 14-14-14-34, 1.35 Volt). Die Timings betrugen in beiden Fällen nun 14-14-14-34-1T. Als Kühler für AMD Ryzen kam der Noctua NH-U14S zum Einsatz, bei Intel ist es der Noctua NH-U12.

Die Einstellungen in den Spielen haben sich im Vergleich zum letzten Artikel nur in einem Fall geändert: In Wolfenstein 2 wurde auf „Mein Leben!“ gewechselt.

Titel	Detailstufe	Benchmark-Typ
Assassin's Creed: Origins	Extreme High	Savegame
Kingdom Come Deliverance	Ultra hoch	Savegame
Far Cry 5	Ultra	Savegame
GTA V	Ultra	Kampagne (Savegame)
Total War Warhammer	Ultra	Kampagne
Project Cars 2	Ultra	Freies Rennen (Spa)
Wolfenstein 2	Mein Leben!	Savegame
Destiny 2	Höchste	Savegame
Overwatch	Ultra	Mehrspieler-Match auf Dorado
Ghost Recon Wildlands	Hoch	Kampagne (Savegame)
Star Wars Battlefront 2	Ultra	Kampagne (Savegame)

Im Optimalfall hätte dieser Artikel auch schon die neuen Testwerte des AMD Ryzen 5 2600X enthalten. Der Kopierschutz Denuvo, der in vielen Spielen auf maximal 5 aktive Systeme in 24 Stunden limitiert, hat das aktuell aber noch verhindert, da parallel auch an weiteren Artikel mit denselben Spielen gearbeitet wird. Diese Messwerte werden in Kürze nachgereicht.

Testergebnisse

Im Vergleich zum Stand von vor zwei Wochen haben alle Systeme bei den absoluten FPS zugelegt – nicht nur einer. Besonders deutlich davon betroffen sind allerdings – den Erwartungen entsprechend – der Ryzen 7 2700X und der Core i5-8400, die auf den Core i7-8700K infolgedessen deutlich aufholen. Core i5-8400 und Ryzen 7 2700X trennen hingegen im Durchschnitt weiterhin nur fünf Prozent – im Frühjahr waren es im Test von Ryzen 2000 vier Prozent.

	i7-8700K vs. i5-8400	i5-8400 vs. R7 2700X	R7 2700X vs. R5 2600X
Artikel mit Stand 26.9.2018 (RTX 2080 Ti)	+24 Prozent	+5 Prozent	+9 Prozent
Artikel mit Stand 15.10.2018 (RTX 2080 Ti)	+11 Prozent	+5 Prozent	+2 Prozent
Artikel Ryzen 2000 im Test (GTX 1080 Ti)	+6 Prozent	+4 Prozent	+5 Prozent

Nochmals deutlich mehr Bewegung zeigen wiederum die Frametimes: Der Ryzen 7 2700X überholt jetzt den Core i5-8400 und kommt bis auf 13 Prozent an den Core i7-8700K heran.

	i7-8700K vs. i5-8400	i5-8400 vs. R7 2700X	R7 2700X vs. R5 2600X
Artikel mit Stand 26.9.2018 (RTX 2080 Ti)	+24 Prozent	+11 Prozent	+17 Prozent
Artikel mit Stand 15.10.2018 (RTX 2080 Ti)	+17 Prozent	-3 Prozent	+5 Prozent
Artikel Ryzen 2000 im Test (GTX 1080 Ti)	+7 Prozent	-1 Prozent	+8 Prozent

Gegenüber dem Test im April zeigt sich der Core i7-8700K damit auch weiterhin stärker, wenn auch insbesondere in den Frametimes weitaus weniger drastisch. Der Test mit Stand 26. September zeigte zwar keinen Vorteil durch den Wechsel von einer GeForce GTX 1080 Ti auf eine GeForce RTX 2080 Ti, der Nachweis, dass auch die aktualisierten Testsysteme hiervon nicht profitieren, steht aber noch aus. Auch Benchmarks mit GeForce GTX 1080 Ti werden wir also noch nachreichen.

Fazit

Wir haben aus diesem Fehler gelernt und bereits Maßnahmen definiert, die in Zukunft hoffentlich dazu führen, dass ein derartiger Fehler nicht mehr auftreten kann. Darüber hinaus steht in Zukunft auch ganz prominent das, was Redakteure nicht selber einstellen können, als potentielle Fehlerquelle mit auf dem Programm, damit „wir haben alles richtig gemacht“ kein Ergebnis, das offensichtlich nicht richtig sein kann, dann trotzdem zur Veröffentlichung freigibt.

Der Artikel wird kurzfristig auch noch um den aktualisierten Testlauf mit AMD Ryzen 5 2600X erweitert. Darüber hinaus werden wir uns auch dem Test zu Threadripper 2000 noch einmal annehmen, der bei den Spiele-Benchmarks potentiell auch schon von diesem Problem betroffen gewesen sein konnte. Ein entsprechender Hinweis wurde gesetzt. Für andere Artikel schließen wir das wiederum aus.

Dieser Artikel war interessant, hilfreich oder beides? Die Redaktion freut sich über jede Unterstützung durch ComputerBase Pro und deaktivierte Werbeblocker. Mehr zum Thema Anzeigen auf ComputerBase.