Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[FormatC]

Ich finde die Stellungnahme bemerkenswert (ehrlich). Chapeu erst einmal dafür!

Da ich weiß, wie es ist, angefeindet zu werden und nicht zu wissen warum bzw, sich keiner Schuld bewusst zu sein, ist Ursachenforschung immer wichtig. Genau das ist auch einer der Gründe, warum ich immer mit redundanten Systemen arbeite und nur Clean-Installs verwende. Doch auch dann, das zeigt diese Geschichte leider nur zu deutlich, hat man mit Windows & Co., den ganzen BIOS-Versionen, sowie den Treibern und dem sonstigen Softwaregefrickel noch mehrere große Unbekannte in der Gleichung, die dann leider oft genug nicht sauber aufgeht.

Dies hier ist mit Sicherheit kein Einzelfall und oft genug wird so etwas entweder (a) noch nicht einmal bemerkt oder (b) nonchalant übergangen (immer schön auf die Vergesslichkeit bauend). Dann ist so eine klare Stellungnahme mehr als nur die Flucht nach vorn, sondern sie ist in erster Linie auch eine Geste die deutlich macht, dass man die Befindlichkeiten der Leser noch achtet und diese auch für voll nimmt. Das hat mittlerweile echt Seltenheitswert.

 

[chithanh]

Weiß auch nicht ob man im Tagesabstand die OS Install neu aktivieren kann bei MS.

Kann man, aber nicht unbedingt mit OEM/SB-Lizenzen. Mit Enterprise-Volumenvertrag oder MSDN-Abo schon.

Wobei man ja auch nicht alle Benchmarks aller CPU hier wiederholt, also die alten Werte sind da immer nur bedingt vergleichbar. Neue Benchmarks sollten halt auf Basis eines sauberen neuen OS erfolgen.

Es gibt durchaus Seiten wie Phoronix oder HardOCP, die für jeden Artikel komplett neu benchmarken. Das geht natürlich nur, wenn man automatisiert testet oder eine geringe Anzahl an Benchmarks hat.

 

[Taxxor]

Aber was hätte CB auch anderes schreiben können als

"sämtliche Anstrengungen den Test zu entkräften blieben stand jetzt erfolglos. Wir haben alle Einstellungen und Treiber erneut untersucht und können zum jetzigen Zeitpunkt davon ausgehen dass alles mit richtigen Dingen zugeht. Wir spielen mit dem Gedanken das System neu aufzusetzen um die Werte erneut zu bestätigen"

CB ging zu keinem Zeitpunkt davon aus, dass bei den Ergebnissen alles mit rechten Dingen zuging.

Das wurde doch nun mehrfach im Statement erwähnt, auch dass es gerade deswegen ein Fehler war, den Test zu veröffentlichen, nur weil man eigene Fehler ausgeschlossen hatte.

 

[nudelaug]

ich finde die stellungnahme gut. es stimmt nunmal, dass tests bestenfalls eine momentaufnahme darstellen und mal sicher nicht der weisheit letzter schluss sind. ein gewisses geschmäckle was win10 anbelangt, bleibt - was schustern die da?

 

[Krautmaster]

CB ging zu keinem Zeitpunkt davon aus, dass bei den Ergebnissen alles mit rechten Dingen zuging.

was heißt bei dir "davon ausgehen"? Wenn du / ich teste, und ich wiederhole meinen Test mehrfach, ich checke die neusten Updates, Bios, Treiber. Dann geh ich erstmal von aus dass ich das richtige teste (sonst kann ichs gleich lassen).

Vor allem da die Abstände rein auf den 2700X und i7 auch je nach Testcase und 720p absolut realistisch waren.

Hätte man dem nicht getraut hätte man den Artikel wohl auch nicht gebracht. Viel eher hat es wohl überrascht. Wie es auch mich überrascht hat. Aber nichts was einen abhalten muss damit rauszugehen. Zumindest meine Meinung da man ja nicht nur einen Testrun macht und fertig. Man hat und braucht ja auch gewisses Vertrauen in die eigene Methodik und Fähigkeit oder?

Das "Überrascht sein" und sowie Diskrepanzen die sich dann bei genauer Untersuchung und Überlegung auftaten führten ja letztendlich zur genaueren Analyse die mit Neuinstallation endete.
Für mich gesprochen hielt ich die Werte je nach Szene und Savegame für realistisch, gerade wenn man die 720p Tests die von uns angefertigt anschaut kann man das auch vertreten.

Ergänzung (16. Oktober 2018)

Doch auch dann, das zeigt diese Geschichte leider nur zu deutlich, hat man mit Windows & Co., den ganzen BIOS-Versionen, sowie den Treibern und dem sonstigen Softwaregefrickel noch mehrere große Unbekannte in der Gleichung, die dann leider oft genug nicht sauber aufgeht.

absolut.

Ich finds ja schon crazy was für eine Eigendynamik sich bei den Boads entwickelt hat. Jeder OEM sized ja zwischenzeitlich 20 Variablen selber, von Peak Verbrauch, Turbo, Long Power Limit, Turbo Duration, Temp Limit, All Core Boost override, AVX Offset wird schön ignoriert usw und am Ende hat man schon 20% Streuung allein über den Kühler oder das Board... wenns reicht. Da kann ja selbst ein Bios Update nen mega Unterschied machen.

Die Tester habens heut nicht einfacher, im Gegenteil.

 

[Nico99]

Warum gibt's eigentlich kein Update dazu auf der Hauptseite? Oder übersehe ich da etwas?

Hab das jetzt nur Zufällig durch einen Artikel von PCGH mitbekommen.

Gruß

 

[frkazid]

Schau doch mal in den gestrigen Ticker

 

[Tuetensuppe]

@Nico99, bei mir steht der Artikel mit dem Update durchaus auf der Hauptseite, gleich unter den "Notizen" ;-)

 

[Taxxor]

was heißt bei dir "davon ausgehen"? Wenn du / ich teste, und ich wiederhole meinen Test mehrfach, ich checke die neusten Updates, Bios, Treiber. Dann geh ich erstmal von aus dass ich das richtige teste (sonst kann ichs gleich lassen).

Vor allem da die Abstände rein auf den 2700X und i7 auch je nach Testcase und 720p absolut realistisch waren.

Natürlich ging man davon aus, dass man richtig getestet hat. Dass man aber ebenso davon ausging, dass die Ergebnisse nicht passen kannst du z.B. hier lesen

Denn auch wenn wir im Nachgang der Veröffentlichung intern abermals nachweisen konnten, dass keine falschen Einstellungen in Spielen, keine falschen Speicher-Einstellungen (Timings, Takt, Single- statt Dual-Channel), keine Auto-OC-Funktionen im BIOS, kein aktiver Game Mode bei AMD Ryzen und keine Hintergrundprozesse in Windows die Ursache waren, dass etwas nicht stimmt, schien trotzdem auf der Hand zu liegen.

Hätte man dem nicht getraut hätte man den Artikel wohl auch nicht gebracht.

Das war/ist doch auch der größte Punkt der Selbstkritik von CB, nur weil sie in ihren Augen alles richtig gemacht haben, haben sie die Tatsache, dass die Werte trotzdem nicht richtig sein konnten, ignoriert und den Test so rausgebracht.
Dass der Artikel so gebracht wurde, ist doch der Grund für die Entschuldigung.

damit „wir haben alles richtig gemacht“ kein Ergebnis, das offensichtlich nicht richtig sein kann, dann trotzdem zur Veröffentlichung freigibt.

Es war also für CB offensichtlich, dass die Werte so nicht stimmen konnten.
Es wurde mehrfach betont, dass es falsch war, den Test so zu veröffentlichen, ich weiß nicht, was es da noch zu relativieren gibt.

Wie hier auch schon erwähnt wurde, ein Quervergleich hätte hier schon gehollfen, um das auch ganz sicher nachzuweisen. Es wird ja wohl Tech-Kollegen geben, die ebenfalls einen 2700X und das verwendete Board haben, hier einfach mal die eigenen Settings und die Benchmarkszene für ein einzelnes Spiel durchgegeben und gefragt, was denn bei ihnen rauskommt.

Dann hätte man schon die Erkenntnis gehabt, dass was mit dem eigenen System nicht stimmt. Und zumindest für mich wäre da eine frische Windows Installation der erste Anlaufpunkt gewesen.

Wobei ich auch sagen muss, dass ich auch erwartet hätte, dass ein sauberes Windows für die Benches verwendet wird, und zwar für Intel und AMD getrennt.

 

[rolandm1]

Respekt für den Nachtest und die Stellungnahme.

Eine kurze Zwischeninfo "Da passt was nicht, wir gehen der Sache nach und berichten dann" wäre allerdings noch ein wenig besser gewesen.

Ansonsten noch mal. Hut ab

 

[Tronx]

was bringt so eine Stellungnahme wenn immer noch nicht "richtig" getestet wurde, zb Höhere Auflösung?

 

[GERmaximus]

Keine Sorge, der 8700 CPU ist nicht schneller. Weil nie die 3200 taktungen im xmp Profil genommen werden und ständig diese nvidia Käse Karten draufgesteckt werden.
Selbst der einzig vergleichbare 9700 ist nicht schneller weil nicht mit richtigen speichertaktraten getestet wird. Und in Anwendungen ist er ohnehin um Längen besser und für ein Drittel des Intel wuchern zu haben.
Ganz davon abgesehen das du in allen spielen immer der erste sein wirst und dir garantiert nix abraucht wie bei meinen zig Intel überzeugten Kollegen.
Wenn dir etwas kaputt geht musst du gleich nochmal Geld in die Hand nehmen. Das bleibt dir bei AMD erspart

Also es fällt mir schwer deinen Beitrag richtig zu verstehen.
Ich finde hier Sarkasmus, Ironie und unverständliches.

3200mhz laufen mit dem richtigen ram immer, gar 3400 mit cl14
Ist deine Aussage dazu Ironie oder Unwissenheit?

Nivida Käse? Ja ich finde die Preispolitik und andere Dinge such nicht toll, aber Käse?

Immer der schnellste? Nichts abrauchen?
Mischung aus Sarkasmus und Ironie?

Ich verstehe nicht ansatzweise was du mir mitteilen möchtest

 

[Taxxor]

was bringt so eine Stellungnahme wenn immer noch nicht "richtig" getestet wurde, zb Höhere Auflösung?

Gegenfrage, was bringt dir eine höhere Auflösung, wenn dadurch die CPU nicht ihre volle Leistung zeigen kann, da sie von der GPU limitiert wird?

Es ist immer noch ein CPU Test, kein Gesamtsystem Test.

 

[GERmaximus]

@Tronx

Es müsste bevor man in solchen Test antworten darf, eine zu beantwortende Frage aufploppen: „kennen Sie den Unterschied zwischen CPU und GPU Limit?“

Wählen sie die richtigen Antworten aus:

Warum muss die Auflösung reduziert werden?
-damit die GPU nicht die CPU limitieren kann
-damit NVIDIA besser dasteht
-weil ich überhaupt nicht weis was hier getestet wird

 

[Tronx]

Taxxor und GER@ ernsthaft? Wer kauft bitte solch ein System um damit dann nur auf FullHD zu spielen? Ein Test in hohen Auflösungen zeigt genau das was man wissen möchte, wie gut ist das System in hohen Auflösungen, braucht man dafür einen Intel oder reicht auch ein AMD...etc usw... für mich persönlich eher aussagekräftiger, so weis ich jetzt nur, das mir der Test nix bringt - außer das ich in FullHD schneller bin.

 

[Max007]

Danke für das Update, das ist richtig und ehrlich. Die 2700X ist für den Preis eine fantastische CPU.

 

[aldaric]

Also es fällt mir schwer deinen Beitrag richtig zu verstehen.
Ich finde hier Sarkasmus, Ironie und unverständliches.

3200mhz laufen mit dem richtigen ram immer, gar 3400 mit cl14

Nein er hat schon recht. Die Leute die sich die Non-K Prozessoren gekauft haben (dementsprechend auch aufs Z-Board verzichtet) können kein Ram OC betreiben. Das ist den Z-Boards vorbehalten.

 

[Taxxor]

Taxxor und GER@ ernsthaft? Wer kauft bitte solch ein System um damit dann nur auf FullHD zu spielen? Ein Test in hohen Auflösungen zeigt genau das was man wissen möchte, wie gut ist das System in hohen Auflösungen.

Dieser Test sol aber nicht zeigen wie gut das System ist, sondern lediglich wie gut die CPUs sind.
Auflösungen haben keinen Einfluss auf die FPS Leistung der CPU, sondern verändern lediglich die GPU Auslastung.
Nur deshalb wird hier mit einer 2080Ti getestet, um das GPU Limit zu umgehen.

Und ich will mal sehen, wie du mit Auflösungen höher als Full HD 100+fps bekommen willst, der einzige Usecase im Gaming, wofür man sich eine starke CPU holen würde.

Genau das kann man hier sehen, wie viel fps kann die CPU leisten, wenn sie nicht von der GPU limitiert wird.


Beispiel: Eine CPU leistet 150fps in Verbindung mit einer 2080Ti in Spiel X @1080p und ist dabei im CPU Limit.

Jetzt weißt du, dass du auf jeden Fall 150fps mit dieser CPU erreichen kannst, wenn du eine entsprechend schnelle GPU dazu packst, auch in 1440p oder 4K. Was deine eigene GPU leistet, kannst du dann in einem GPU Test nachsehen, sagen wir sie leistet 100fps in deiner genutzten Auflösung, z.B. 1440p.

Was du also hier raus lesen kannst, ist, ob deine GPU von der jeweiligen CPU limitiert werden würde.
Jetzt könntest du dir eine CPU kaufen, die in diesem 1080p Test nur 110fps schafft oder eine die 150fps schafft, es wäre für den Moment völlig egal, da deine GPU bei 1440p sowieso bei 100fps dicht macht.

Planst du aber, deine GPU in 1-2 Jahren aufzurüsten, macht es einen großen Unterschied, ob du jetzt heute die 110fps CPU oder die 150fps CPU gekauft hast.
Denn dann wäre deine neue GPU vielleicht im Stande 140fps zu liefern, CPU 1 würde dich aber auf 110fps limitieren.


Genau so wird es natürlich nicht eintreten, da sich mit neuen Spielen auch die Anforderungen an die CPUs ändern können und so auch die 150fps CPU plötzlich nur noch auf 100fps kommen könnte, du also trotzdem im CPU Limit landest.
Aber als grobe Richtlinie gilt trotzdem, dass der Unterschied der CPU fps Leistung und der eigenen GPU fps Leistung möglichst groß sein sollte, denn die 110fps CPU von heute würde dann noch weiter abstürzen.

 

[Tronx]

Taxxor@ Für Leute wie mich die bereits in hohen Auflösungen spielen und arbeiten ist dieser Test nichtssagend , da bringt es mir nicht zu wissen wo hier schneller CPU/GPU Limit erreicht wird. Einfach nächstes mal eine 2. oder 3. Auflösung anbieten und allen wäre damit geholfen, ändert ja nichts an der Thematik.
Beantworte mir doch jetzt einfach die Frage anhand dieses Test: Wie hoch ist die Differenz zwischen 2700x und i8700 in 4k mit 2080Ti? (ich weis es nicht!)

 

[Snooty]

Ich finde es sehr unglücklich, den alten und den neuen Thread zusammen zu führen und den alten Artikel zu löschen.

Kann man das nicht separieren? Man könnte ja den alten Test entsprechend editieren und auch die Testergebnisse dort unkenntlich machen. Jetzt gibt es 100 Seiten Kommentare, die zu einem nicht existenten Artikel gehören und es ist zugleich die Rede von einem Test mit falschen Ergebnissen - den es gar nicht (mehr) gibt.

Ansonsten sollte man die alten Kommentare auch "archivieren".

Generell finde ich es nicht gut bei Updates von News ohne Hinweis die Überschrift zu ändern.