Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[Ned Flanders]

Ein Messfehler ist halt ein Messfehler, auch wenn er reproduzierbar ist.

Mein tägliches Business ist das messen und veröffentlichen. Allerdings nicht redaktionell sondern als Wissenschaftler. Wenn ich etwas messe das substantiell von der Norm abweicht, dann veröffentliche ich das allerdings nicht ohne das nochmal unabhängig verifizieren zu lassen. Das ganze ist in der Form ein vermeidbarer Fehler und wird so wie ich die CB Redaktion einschätze auch nicht nochmal passieren.

Aus meiner Sicht ist das Hauptproblem hier das Volker (und dafür gabs schon reichlich Beispiele) AMD eher in der Schmuddel billig Ecke sieht und Intel eher als die Premium Marke wahrnimmt. Wenn ein AMD Benchmark mal ungewöhnlich schlecht ist, dann ist das halt so. Umgekehrt passiert das natürlich nicht, da wird natürlich ein Fehler gewittert und dem akribisch auf den Grund gegangen. Ich unterstelle ausdrücklich kein Vorsatz sondern Fahrlässigkeit. Aber das passt gut zu so einigen Tests und auch Kommentaren in den Foren.

Und so ist das mit einigen anderen im Forum eben auch. Keiner der "überempfindlichen AMDler" hier im Forum hat je behauptet das AMD hier vor Intel liegen müsste. Aber es gab schon einige Intelianer die eine ähnliche Arroganz an den Tag legten und legen. 2700x 30% hinter dem 8700k in Games? ja warum denn nicht. Die Angesprochenen wissen wen ich meine. Ist halt ein CPU lastiges Szenario etc etc pp.

Schön das jetzt so offen damit umgegangen wird. Ich möchte hier ausdrücklich nochmal Jan hervorheben, der einem immer größtmögliche Korrektheit und Offenheit bemüht ist und jedwede Arroganz vermissen lässt. Auch das muss man in einem so polarisierten Umfeld ersteinmal hinbekommen.

 

[Neronomicon]

Es reicht völlig einmal zu schreiben das man anderer Ansicht ist, dafür muss man nicht den kompletten Thread zuspammen. ^^

Ist doch immer so. Das die 3vs3 Hardcorefans sich gegenseitig zu texten und den Thread voll spamen. Man könnte denken es sind Kinder oder Jugendliche. Ich glaube aber das es Erwachsene sind die sich wie Kinder verhalten.
Man will auch auf Teufel komm raus den anderen überzeugen... wenn die im richtigen Leben auch so sind..aua...^^
Es würde auch reichen die neue Funktion "gefällt mir" zu nutzen und nicht das geflame untereinander.

 

[Volkimann]

Hi

Ich vermute mal das andere Sachen im Hintergrund auch noch anstehen.
Einen Fehler zu finden der zuerst nicht so Reproduzierbar ist dauert auch eine Weile.
Dann quasi nochmal alles von vorne...

Das bei diesen Tests was im argen war, wussten wir Anhand andere Berichte.
Da Jan schon im Forum geschrieben hat und die Artikel aktuallisiert werden sehe ich das nicht als wild an.

Es ist ja auch nicht so das wir als Leser unmündig sind und unsere eigenen Schlüsse aus den anderen Artikeln ziehen können.

Hier tun einige so als ob es schon eine Ehrenbeleidigung ist, wenn ein Bericht nicht genehm ist.

Jetzt macht CB das richtig, gibt sogar ein starkes Statement auf der Startseite ab und wieder versuchen einige hier künstlich ein Sau durchs Dorf zu treiben.

Ich bin auch nicht immer mit allen Testberichten einer Meinung aber dank Golem, Tomshardware kann ich selbst meine Rückschlüsse ziehen.

Gruss Labberlippe

Es geht - zumindest mir - nicht um die Dauer des erneuten Tests. Sondern mit den Informationen darüber.

Es geht mir schlicht um die Dauer der Reaktion der Redaktion.

Es wurde schnell durch die Community hingewiesen das etwas nicht stimmen kann, woher die Diskrepanz stammt.

Im Forum wurde sogar durch Jan (glaube ich) durch entsprechenden Forenbeitrag bestätigt das dies durchaus wahrgenommen wurde, das aber Volker nicht im Haus ist. Ist auch okay, alles gut.

Aber weshalb hat man nicht einfach gleich gesagt
Okay, halt, stop. Wir kontrollieren das nochmal und schreiben es auch umgehend, spätestens als der Entschluss des erneuten testens gefasst wurde, hätte man doch bzgl Transparenz und Kommunikation den Test um den Hinweis ergänzen können das die bisherigen Ergebnisse unter Umständen nicht korrekt sein könnten, und die Redaktion derzeit plant den Test zu wiederholen.

Stattdessen hat man sich 2,5 Wochen in Schweigen gehüllt, nirgends erwähnt das man überhaupt die Testreihe wiederholt, und solange stand der ursprüngliche Artikel so als Fakt und gegeben da.

Das ist lediglich meine einzige Kritik derzeit.

 

[Leitwolf22]

Weitere schlechte Nachrichten zur 9er Generation..

https://www.tomshardware.com/news/intel-9th-generation-9600k-overclock-benchmarks,37928.html

Stellt sich halt die Frage, ob schlecht getestet wurde (immerhin läuft der 9600k von der Taktfrequenz etwas höher), oder aber ob da diverse Sicherheitsmaßnahmen das wieder ausgleichen. Schaut auf jeden Fall extrem lasch aus.

Also nebst irren Preisen und Verbräuchen beim 9900k (650 Euro, ~250W), für vielleicht 5-7% mehr Gaming Performance (gegenüber 8700k), einem 7er in Form des 9700k ohne HT, oder dem Stillstand beim Skylake X refresh.

Und dann wird es noch ein 28Kerner geben, als Antwort auf den TR. Der dürfte dann eine Die Fläche von rund 7cm2 haben. Alles ziemlich für die Fische..

 

[ThePowerOfDream]

Dann wunderte sich CB immer das der Name intelbase im Raum stand.

 

[RAZORLIGHT]

Muss hier noch einen letzten Kommentar hier lassen

Zu all denen die meinen, eine Fehlerkorrektur wäre keine Selbstverständlichkeit?
WTF?
Presse lebt von der Glaubwürdigkeit, ist die erstmal Futsch sind auch die Leser weg...

Eingeständnis zeugt von Größe, aber wenn man vor der Veröffentlichung schon skeptisch gegenüber den Ergebnissen war, warum wird er dennoch veröffentlicht?
Selbst wenn intern nochmals getestet wurde und die selben Werte kamen, hätte man zumindest mit anderen Tests vergleichen können, denn man war ja Skeptisch.(Fehler Nr. 1)
Dann wird 2 Wochen geschwiegen obwohl es im Forum (berechtigt) rund lief. (Fehler Nr. 2)
Windows für jedes System neu aufzusetzen, speziell bei Herstellerwechsel wird hier im Forum immer gepredigt,
u. a. bei Kaufberatungen etc. warum war es bei CB (ist es ja hoffentlich nun) kein Standard, speziell in Zeiten von Meltdown, Specter Fixes? (Fehler Nr. 3?)

Das Thema ist für mich jetzt abgeschlossen, Fehler wurden gemacht (ist menschlich) aber das Vertrauen hat gelitten, speziell aufgrund der Vorkommnisse siehe oben.

Dennoch bin ich CB auch dankbar, denn sie bieten ebenso gute Tests, sonst würde ich die Seite ja nicht mehr besuchen.
Pro Tipp: man kann CB auch mögen UND kritisieren, ist sogar produktiver als ständig nur "ja, super, toll" zu schreiben, nur mal so als Denkanstoß.

Freue mich jetzt auf die Tests am Freitag und ich hoffe, dass sich die Ergebnisse und das Fazit mit der Mehrheit deckt
Vertrauen muss sich CB aber in den nächsten Wochen/Monaten bei mir aber wieder verdienen.

 

[Krautmaster]

Es hat lächerlich lange gedauert, weil der Test so niemals hätte veröffentlicht werden sollen.
Jedem ist sofort aufgefallen, dass die Ergebnisse nicht stimmen können.

+ @ "Zu spät usw..."

denken wir mal kurz nach... bevor wir drauf los posten.

Wie lief das ganze wohl chronologisch ab?

-> CB hat getestet, mit mehreren Messreihen, eigenen neuen Savegames, die Werte aus Test 1 also produziert (mit eigener Überzeugung sauber getestet zu haben)
-> Die Ergebnisse verwunderten etwas (gerade die Leserschaft, weshalb diese ja auch aktiv wurde)
-> Volker hat auf Wunsch noch den alten Nvidia Treiber nachgeschoben, die anderen Messreihen wurden bestätigt. Wurde so auch im Forum gepostet (und hier die Ergebnisse)

zu dem Zeitpunkt musste wusste man nicht woher der Unterschied kam, ob etwas falsch lief und was wusste man nicht. Ich denke auch nicht dass man da halbgar getestet hat. Wieso also den Test offline nehmen?

-> nachdem man dann (vermutlich relativ lange) Ursachenforschung betrieben hat, ohne Erfolg (kein Fehler nicht gefunden, also zu dem Zeitpunkt nach wie vor kein Grund etwas zu vermerken) hat man dann als letzte Option
-> neu aufgesetzt (vermutlich erst vor ein paar Tagen)
-> als dann da die neuen Werte wieder eher gewohntes Bild brachten waren die restlichen Testreihen direkt im Anschluss durchgezogen (es musste ja "nur" 1 System in ein paar Games getestet werden)

Anzunehmen dass das eigentliche Nachtesten, ab dem Zeitpunkt als man wusste das was mit den alten Werten nicht stimmen muss, nur wenig Zeit in Anspruch nahm. Das daraus folgende "Nachmessen" ging vermutlich dann recht zügig, da wie gesagt nur ein Teil nur durchgetestet werden musste. Auf Basis dessen dann dieses Update. Man kann jetzt drüber streiten ob man unmittelbar nach der ersten Messreihe gleich vermerken hätte sollen dass nachgetestet wird.

Zuvor war nicht so ganz klar ersichtlich dass was nicht stimmt, nicht so klar dass es in meinen Augen einen Grund gegeben hätte den Test nachträglich offline zu nehmen. Hätte man direkt einen Fehler gefunden und das hätte zu einem Nachtest genötigt, bin ich mir eigentlich sicher dass man ihn auch direkt offline oder in Bearbeitung genommen hätte.

 

[Phear]

@Phear Deine Lösung ist also, einfach keine Diskussion führen, das Forum nicht nutzen, um sich diesbezüglich auszutauschen, weil Kritik ist ja egal, weil das allgemeine Niveau sinkt? Ja das ist natürlich auch eine Lösung.... Entschuldige aber da weißt du selber dass das Käse ist oder? Das Beispiel ist zur Deutlichmachung, ein "Beispiel" und immer überspitzt. Niemand stürzt sich von einer Brücke (das ist wohl eher totaler Quatsch als Beispiel). Und den Schaden kannst du eben nicht beziffern. Wer nur den Test gelesen hat, hat dadurch falsche Informationen für einen Kauf bekommen. Sowas muss manspätestens nach den Beschwerden im Forum, die übrigens mit Begründungen und verweisen zu anderen gegenlautenden Test auch von CB selber unterfüttert waren, kenntlich machen.

Wo bitte sage ich, dass es keine Diskussion geben soll?
Ich habe nur keine gesehen in dem Thread. Vereinzelt bei einigen wenigen Usern vielleicht und da sage ich dann auch nichts.

Und ganz ehrlich. Ich habe kein Mitleid mit Leuten, die ihre Kaufentscheidung anhand EINER Quelle treffen. Jeder normal denkende Mensch weiß, dass man mehrere Quellen für so etwas gegeneinander abwiegen muss. Dann fallen solche Ungereimtheiten auch sofort auf und dann würde man diese sachlich z.B. in diesem Thread hinterfragen.
Dein Beispiel mit dem Bad war übrigens genauso Quatsch wie das mit der Brücke. Worauf ich hinaus wollte, sollte aber klar sein.

Den einzigen Kritikpunkt, den ich durchaus teilen kann, ist die Tatsache das keine kleine Notiz oder Anmerkung im Beitrag gemacht wurde, dass aktuell nochmal geprüft wird, warum diese Abweichungen vorhanden sind. Aber da ja auch noch ein Urlaub dazwischen kam (soweit mir bekannt) ist es halt etwas blöd gelaufen.

Deswegen aber so Zeugs zu erzählen wie "Da leidet jetzt aber die Glaubwürdigkeit drunter." Ich bitte euch.

 

[Bairok]

Windows war schon immer zickig.

Gut das Computerbase ihren Fehler, auf diese Art, richtig stellt.

Allerdings ist es tatsächlich fahrlässig, nicht regelmäßig eine frische Windows-Installation zu verwenden. Das sollten Redakteure, deren tägliches Brot das Messen ist, eigentlich wissen.

Und dieser 144 Hz quatsch immer, von einigen Leuten. Man kann auch von 60-143 Hz/fps spielen, alles kein Problem. Und die Preislage vergessen die Jünger auch sehr oft. Nur mal so am Rande...

 

[Sennox]

@Krautmaster
und was spricht dagegen einfach nach 1-2 Tagen ein Statement zu veröffentlichen in dem man sagt, dass man den Auffälligkeiten nachgeht?
Selbst wenn CB einfach nur die magischen Benchpunkte in den getesteten Games gefunden hätte und der Test tatsächlich ohne Fehler gewesen wäre, hätte man so etwas ruhig sagen können.
Dann hätte man danach halt gesagt "Wir ham alles 10mal neu geprüft und jedewede Möglichkeit die uns möglich war ausgeschlossen. Die Ergebnisse bleiben unverändert."

 

[Old Knitterhemd]

+ @ "Zu spät usw..."

Habt ihr die Stellungnahme gelesen?

Es wurde offen kommuniziert, dass die Ergebnisse sofort verwundert haben und es wurde sofort nach Fehlern bei der Messung gesucht.

Mit anderen Worten, es war von vorneherein das eigene Ergebnis angezweifelt worden.

Deine Spekulationen hättest du dir also sparen können.


Und zum Thema Kinder:

Ich bekomme solche PNs:

Es scheint, als würdest du ein Taschentuch brauchen, weil dein inniges Vertrauen in CB langfristig gestört ist. mimimimimimimimimimimimimmiimimimimimimimim
crybaby.

Soviel dazu

 

[oldskool69]

format C: ftw

 

[SirSilent]

Ich finde das bedenklich. Wer weiß wie viele Windows Benutzer von dem selben Problem betroffen sind und 20% unter Leistung arbeiten. Merken wird man das sicherlich nicht.

 

[Krautmaster]

und was spricht dagegen einfach nach 1-2 Tagen ein Statement zu veröffentlichen in dem man sagt, dass man den Auffälligkeiten nachgeht?

man ist ja sofort der Auffälligkeit nachgegangen, hat die Werte überprüft, diese bestätigt, das auch so im Forum kommuniziert.

Dass man darüber hinaus dann noch intern aus Eigeninitiative zur Ursachen Findung heraus letztendlich sich noch zum "Reset" des Testsystems via Neuinstallation entschieden hat - muss man wie ich finde nicht auch noch erwähnen. Zumal schon gesagt wurde dass man am Thema dran bleibt.

Soo, wie versprochen das Update.
In den Detail-Benchmarks ist nun ein Ryzen 7 2700X + GTX 1080 Ti (391.35) eingebaut.
Die Erkenntnisse: Es gibt Ausreißer ja, aber im Durchschnitt ändert sich nichts, es schwankt um 2, 3 Prozent mal in die eine und mal in die andere Richtung.
...
Wir bleiben an dem Thema dran und werden dies zu gegebener Zeit wiederholen.

Wie gesagt. Erst mit den ersten Messreihen aus neu aufgesetzten Testsystem hatte Fakten in der Hand die die ursprünglichen Werte entkräfteten.

 

[frkazid]

Igor hat schon genau den richtig Nickname gewählt @FormatC

 

[Sennox]

@Krautmaster
In diesem Update wurde sich aber nur auf diesen einen Spezialfall bzgl. des Treibers ausgelassen.
Zugegeben man KANN daraus lesen dass im Hintergrund noch was getan wird bzgl. des generellen Themas.
In meinen Augen aber bezieht sich das gesamte Update nur auf die Nvidia Treibergeschichte.

Außerdem dauerte es ja schon alleine bis zu dieser kleinen Anmerkung eine ganze Weile.

Ich habe bereits mehrfach Beispiele genannt wie man sich hätte verhalten können und ich denke denen kann man nicht absprechen sinnvoll zu sein.

 

[Krautmaster]

klar es herrschte ja auch wildes Rätselraten im Forum woran es liegen kann. Wegen der TR Nvidia Treiber Thematik wurde das dann nacheliegenderweise zunächst beleuchtet - und wie man sieht auch parallel dazu die Werte auch damit nochmal verifiziert.

Klar stand im Raum das sonst noch was im argen ist. Aber nur weil etwas wage im Raum steht fasst man nicht den Test an. Denke dazu muss schon was Handfestes vorliegen.

Das is immer ein Für und Wider. Wenn man zb den Test dann als "möglicherweise falsch" markiert, und sei es nur über ein "wir testen nach", dann widerstrebt das einer Redaktion sicher erstmal da es ja auch andere Tests als potentiell schwachsinnig markiert. Damit gesteht man ja Zweifel an der eigenen Testweise ein. Ich versteh auch irgendwie dass man eben das nicht tut, genauso wenig wie Savegames rausgeben.

 

[Sennox]

Der Test hätte ja auch ruhig stehen bleiben können.
Wie gesagt erwarte ich in so einer Situation aber ein klares Statement was darauf eingeht dass man den "Aufschrei" wahrgenommen hat und dem nachgeht.
Verliert doch keiner was durch...
Wenn man nachher dann sagen kann "alles passt so wie es ist, wir scheinen wohl andere Szenen als der Rest der Welt zu benchen" dann wäre das für mich O.K. gewesen.

 

[aldaric]

@Old Knitterhemd

Danke für den Auszug aus der PN.

Man sieht, @Stunrise wandert damit direkt auf Ignore. Solche Leute braucht wirklich keiner hier.

In öffentlichen Beiträgen seriös präsentieren und dann solche PM's verschicken.

Edit: Huch, der war schon auf Ignore !

 

[Krautmaster]

@Sennox

Denke da wird man generell als Redaktion lieber zu wenig als zu viel kommunizieren, was natürlich der Community immer etwas aufstoßen kann, gerade wenn das Rätselraten weiter geht und die Forderungen nach "Statement" lautwerten.

Aber was hätte CB auch anderes schreiben können als

"sämtliche Anstrengungen den Test zu entkräften blieben stand jetzt erfolglos. Wir haben alle Einstellungen und Treiber erneut untersucht und können zum jetzigen Zeitpunkt davon ausgehen dass alles mit richtigen Dingen zugeht. Wir spielen mit dem Gedanken das System neu aufzusetzen um die Werte erneut zu bestätigen"

Das will man aber vermeiden, imho will man auch nicht bei jedem leicht komischen Wert nochmal das System platt machen müssen. Das wirkt dann auch nicht suverän und professionell, auch wenn es transparenter ist.

Edit. Wäre im Umkehrschluss zB beim neu aufgesetzten System dasselbe Ergebnis zu Papier gekommen hätte man sicher gar nichts kommuniziert, und auch nicht kommunizieren müssen. Dann hätte man wie üblich als Leser von ausgehen können & müssen dass die Werte passen.

Klar, das weiß man halt erst im Nachgang. Jetzt muss man an CBs Stelle natürlich Schadensbegrenzung betreiben.