Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[Krautmaster]

Ne aber ma im Ernst. Das doch wie immer die Frage wo man anfängt und wo man aufhört.

Ich frage mich einfach was gewesen wäre wenn auch die Neuinstallation nichts an den Testergebnissen geändert hätte. Was macht man dann? Wann vertraut man also seinen gemessenen Werten? Wann darf man ihnen vertrauen ohne an den Pranger gestellt zu werden?


Edit: Ich bin ja absolut bei euch dass man sich, sofern was komisches auffällt, erstmal absichern sollte (auch hier ist die Frage wann was "komisch genug" ist). Dazu hat man bisher wohl schlicht nochmal die Settings, Treiber usw kontrolliert und darauf vertraut das alles gut ist.

Was man nun wohl mit nimmt ist dass wenn was so spanisch ist wie im Test, eine Neuinstallation vollzogen wird.
Das kann man ja auch nur begrüßen. Das wird auch CB begrüßen, imho schadete das denen ja am meisten.

 

[Ned Flanders]

Wann vertraut man also seinen gemessenen Werten? Wann darf man ihnen vertrauen ohne an den Pranger gestellt zu werden?

Also ich kann da nur aus meinem eigenen mich auch prägenden Arbeitsumfeld sagen, dass in den allermeisten Fällen die Dinge die auffällig anders sind als man es erwarten würde aber unabhängig reproduzierbar sind in der wissenschaftlichen Praxis mit einem eindeutigen Flag veröffentlicht werden.

Beispiel Opera Experiment - alles richtig gemacht damals.

Das entspricht ja auch weitestgehend den Wünschen hier, entweder nicht zu veröffentlichen oder eindeutig zu markieren. Speziell da ja Vergleichswerte zur Verfügung standen, nicht wie im Fall des obig angesprochenen Experiments. Ob etwas eindeutig auffällig ist hängt aber halt sehr von der persönlichen Unvoreingenommenheit ab. Daher messen wir auch blind. Du z.B. hättest es sicherlich als sehr merkwürdig empfunden wenn in den Benches der 2700x auf 5% am 8700k drann gewesen wäre, findest aber >30% Distanz als nicht besonders auffällig. Das ist halt ein persönlicher Bias der schwer abzulegen ist. Den darf man sich als Forenuser aber auch erlauben .... Als Forenuser halt...

Mehr hab ich dazu aber auch nicht zu sagen. Ich habe nicht vor hier einzusteigen. Ich hab an der ganzen Diskussion nicht teilgenommen und fangs jetzt auch ganz bestimmt nicht mehr an.

 

[Krautmaster]

Du z.B. hättest es sicherlich als sehr merkwürdig empfunden wenn in den Benches der 2700x auf 5% am 8700k drann gewesen wäre, findest aber >30% Distanz als nicht besonders auffällig

naja, 5% hätte ich bei 1080p tendenziell weniger erstaunlich gefunden als 30%, ich war aber auch überrascht dass die User hier überhaupt in der Lage waren anhand der paar Tests solche und größere Abstände zu produzieren, wenn gleich hauptsächlich in 720p oder Benchmarks wie Superposition (auch in 720p), Tomb Raider DX11.

Deswegen sehe ich weder 30 noch 5% hier komplett irrational an, 5% sind typisch für eine eher GPU limitierte Szene, 30% uU eher für eine extrem CPU Limitierte Szene die in 1080p dann wohl eher ein Standbild erfasst als einen Durchschnitt erfasst (also dann wieder eher was um 720p gleich kommt).

Will heißen dass ich das Aushebeln der Relativitätstheorie nicht direkt mit +-20% im CPU Limit gleichsetzen würde.

Edit. Die Sache mit dem 2600X war etwas komisch, eben weil die Games hätten ja 8 Kerne voll Auslasten müssen damit sich da ein großer Abstand auftut. Oder eben die CCX Thematik da da 3+3. Naja, is halt wie ich finde auch bei einer Sache der diesen schwer zu entscheiden ob man sowas nun "Markiert" oder nicht. Und wenn man "Markiert", wann hebt man diese wieder auf oder tut man das überhaupt?

 

[GreitZ]

Also es fällt mir schwer deinen Beitrag richtig zu verstehen.
Ich finde hier Sarkasmus, Ironie und unverständliches.

3200mhz laufen mit dem richtigen ram immer, gar 3400 mit cl14
Ist deine Aussage dazu Ironie oder Unwissenheit?

Nivida Käse? Ja ich finde die Preispolitik und andere Dinge such nicht toll, aber Käse?

Immer der schnellste? Nichts abrauchen?
Mischung aus Sarkasmus und Ironie?

Ich verstehe nicht ansatzweise was du mir mitteilen möchtest

Verzeih das meine Nachricht deinerseits für Unmut gesorgt hat, eigentlich wollte ich dir nur Mut machen und dir fürsprechen.
Das du dich für AMD entschieden hast war das richtige mMn.
Auf 3600 bekam ich meine auch zum laufen, aber weniger Performance als auf 3200. Fps technisch kommt so bei mir am meisten rum. Die Taktraten um 1 jeweils verschärft mehr Strom auf den Speicherkontroller und die Mühle fliegt

 

[rg88]

Überleg doch einfach mal was gewesen wäre wenn es anders ausgegangen wäre, auch eine Neuinstallation des Systems nichts geändert hätte. Was dann? Darf man dann den Test veröffentlichen oder muss man erst neue Hardware neu besorgen?

Also deine Verteidigung vom CB in allem Ehren, aber der Sachverhalt war hier dann doch anders. Man hatte bereits EIGENE ältere Benchmarks, die ein anderes Bild zeigten. Dass hier was nicht stimmt, war mehr als eindeutig. Man hätte also den Test schlicht nicht verôffentlichen dürfen.
Das wäre das erste Mal, dass eine CPU plötzliche LANGSAMER wird, ohne erkennbare Gründe wie bsplw. einem Microcode-Bugfix.

Es wurde auch gleich nach der Veröffentlichung von zig Leuten auf die offensichtlich falschen Ergebnisse hingewiesen. Die Reaktion darauf war es, dass man keinen Kommentar abgab und versuchte die Sache auszusitzen.

 

[Krautmaster]

naja, die Reaktion war dass man die Werte erneut überprüft hat, das schreibt ja auch CB und das wurde auch im Forum so kommentiert

dass keine falschen Einstellungen in Spielen, keine falschen Speicher-Einstellungen (Timings, Takt, Single- statt Dual-Channel), keine Auto-OC-Funktionen im BIOS, kein aktiver Game Mode bei AMD Ryzen und keine Hintergrundprozesse in Windows die Ursache waren

Was man nicht gemacht hat war dass an zb ein zweites Referenz System mit frischem OS hergenommen hat. Das kreidet sich CB jetzt ja auch selber an.

Das wäre das erste Mal, dass eine CPU plötzliche LANGSAMER wird, ohne erkennbare Gründe wie bsplw. einem Microcode-Bugfix.

Was heißt wäre? Sie war langsamer. Nur weil man den Grund nicht finden konnte heißt es ja nicht dass es nicht so war. Natürlich wärs gut wenn man nun genau diesen Grund wüsste, aber idR sollte man von ausgehen dass man eben nicht neu aufsetzen muss und auch nicht dass ein System solche Werte produziert. Wer weiß, vielleicht sollten viele Ryzen Besitzer mal wieder ihr System platt machen, schadet vielleicht nicht wenn man sich die Werte anschaut.

Es wurden zb auch jahrelang Tests zu schnellem DDR gemacht die eigentlich immer zum Schluss kamen dass schneller RAM fürn Arsch ist.
Und dann kommt sowas
https://www.techspot.com/article/1171-ddr4-4000-mhz-performance/page2.html

da müsste man doch jetzt auch sagen "Kokolores, neu aufsetzen, nochmal testen" da es nicht sein kann. Imho gabs ja schon 100 andere Tests die auf ganz andere Werte kamen, zB.

https://www.computerbase.de/2015-10/speicher-fuer-skylake-ddr3-1333-ddr4-3000-vergleich/

 

[rg88]

Laut PCGH konnte man das auf eine Entwicklerversion von W10 zurückführen. Das sollte eigentlich klar sein, dass man nur eine stabile Version nutzt, wenn man schon merkt, dass man nicht mal die EIGENEN bisherigen Ergebnisse erreicht.
Sry, späte Schuldeingeständnis ist ja schön und gut. Aber man hätte den Quatsch schlicht nicht veröffentlichen dürfen. Und das kreise ich auch zu Recht an. Du nimmst hier ne Rolle ein in der du das alles relativierst. Das wiederum kann ich nicht nachvollziehen

 

[Krautmaster]

Was die Vergleichbarkeit mit eigenen Ergebnissen angeht so wird es da immer Diskrepanzen geben, auch wenn die hier etwas hoch waren ja.
Da gibt es aber 10 andere Gründen weshalb die Ergebnisse nicht vergleichbar sein müssen.

Im original Artikel hatte man das auch ausdrücklich erwähnt, dass neue Savegames, Treiber, Patches usw zum Einsatz kommen und sonst eine Vergleichbarkeit nicht gegeben ist. Selbst der ein oder andere Game Patch kann ja da doch einiges anders machen.

@ Veröffentlichen
Wie ich schon schrieb hätte ich den Artikel Messwerte richtig oder falsch ohnehin nicht so veröffentlicht da die Signalwirkung etwas verkorkst ist - einfach weil man selten mit ner 800€ GPU in 1080p zockt, ohne dabei sowas wie den RAM anzupassen (der wissentlich einen großen Einfluss hat).

Das darf man natürlich gern Testen, würde ich aber eher als Sondertest in einem CPU Review integrieren und neben dem reinen Stock Betrieb auch noch testen was denn optimiert werden kann.

 

[rg88]

„Etwas hoch“. Ich bitte dich. Zudem war das fast durch die Bank so und nicht nur bei einem Spiel.
Spätestens bei den Frametimes hätte man die Notbremse reinhauen müssen.

 

[Krautmaster]

ich denke eher beim 2600X vs 2700X als bei den Frametimes.

Wie gesagt, ich hätte ihn auch nicht veröffentlicht (wegen der Sache selbst), versteh aber auch irgendwie dass man es nach der Verifizierung der Ergebnisse ohne Neuinstallation dann doch tat. Da gehen die Meinung den wohl auseinander. Nun wo klar ist dass was falsch war sagt man natürlich "hätte man nicht dürfen".

Edit:
Ab wann hätte man den Veröffentlichen dürfen? 2% Abweichung zum den letzten Werten, 5%, 10%? (vielleicht bedarf es da wirklich einer Internen Regelung?)

Bleibt die Frage was am System "falsch" lief.

 

[werpu]

Der Schutz ist nur für riesige Unternehmen relevant aber für normal User komplett sinnlos, daher kann ich Microsoft nicht verstehen warum man Meltdown/Spectre für jeden freigegeben hat, liegt vermutlich wieder an den druck der Medien.

Bei Spectre würde ich sagen, ja der ist nur für Unternehmen relevant. Der Üblere der Beiden - Meltdown ist aber durchaus auch für User essentiell, da es damit möglich ist Daten Prozessübergreifend relativ einfach auszulesen (ich glaube eine Bitkombination hat gereicht um die Intra Prozess Lücke zu schlagen)
Das klassische Einfallstor für diesen Exploit sind Browser wo es innerhalb von ein paar Stunden einen proof of Concept gab wo man Passwörter und generell Texteingaben ausgelesen hat die in einem anderen Window waren. (Man kann die entsprechenden videos auf youtube finden)
Bei Spectre muss man schon explizit das Timingverhalten der Prozessoren messen um irgendwas zu erreichen.

Browser sind gepatcht, aber theoretisch kann jedes Programm und jeder Trojaner ein Einfallstor für den Exploit sein. Ganz netterweise ist aber der Meltdown Fix auch die übelste Performancebremse, da sie den Branch Prediction cache bei absolut jedem Kernel Call leert um eben zu verhindern dass ein Prozess im Cache irgendwas übles anrichtet. AMD Prozessoren sind davon nicht betroffen weil sie eben Boundary Checks im Cache haben was halt etwas an Performance kostet. PS: Theo de Raat und Andere haben Intel bereits 2007 vor diesem Problem gewarnt. Sie wurden ignoriert.

 

[Novasun]

Sorry Krautmaster, was hier lief ist so typisch CB. Im Gegensatz deine Argumentation - man könnte Sie gegen CB verwenden. Man hat alles getan um die Sache zu vertuschen schon im Vorfeld.

Die 30% konnte sich keiner erklären aber sie waren da. Das man neue Savegames etc. zu Anfang auch nicht zur Verfügung stellte - ja das ist schlechte Journalismus, da schlechte "Wissenschaft". Wenn man so etwas produziert ohne von Anfang an alle Karten auf den Tisch zu legen - das ist für mich nicht zu relativieren...
Und dann kommt als Grund - sorry hatten Windows nicht neu aufgesetzt.
Sorry wie testen die?
Das sollte Standard sein für jeden der testet... Denn nur so kann man gewisse Ergebnisse garantieren.
Auf einem "alt" OS stand... wer weiß was der Praktikant vor 6 Monaten in der Systemsteuerung einem Testprogramm etc. pe. pe. verstellt hat? Oder in diesem Fall noch besser - Windows Entwicklerversion?!?
Wenn ich bei uns in der Firma teste und mit den DEVS dann ans eingemachte gehe kündige ich Proaktiv an was ich wie mit welchem Softwarestand getestet habe.
Und weißt du was - wenn es Unterschiede gibt dann ist meine erste Überlegung woran liegt es - und auf einer der ersten Positionen Hinterfrage ich mein Testsystem - was ist anders zwischen meinem System und dem wo die Ergebnisse so nicht auftreten.
Und es gab genügend Ergebnisse anderer Seiten und eigene die die Alarmglocken hätten leuten lassen müssen.

Und dein Vergleich mit dem RAM - sorry dafür hast du doch zu viel technisches Verständnis, als könnte man das als Argument durchgehen lassen. By the way in deiner zitierten Quelle werden ja noch mehr Anwendungsszenarien gezeigt die von mehr MHZ beim Ram profitieren. Und über die Timings wird kein Wort verloren - zumindest habe ich auf die Schnelle nichts davon gesehen...

 

[Krautmaster]

woher die Info mit dem Windows Entwicklerversion?

Das RAM Beispiel war nur stellvertretend dafür dass sich durchaus etwas unerwarteter Weise recht stark ändern kann. Bei Skylake war das Fazit noch

In der Tat, nur mit dem schnellsten DDR4-Speicher lässt sich das letzte Fünkchen Leistung aus einem System herauskitzeln, essentiell notwendig ist der Griff nach DDR4-3.000 und darüber aber nicht. Zeigt sich DDR4-3.000 in theoretischen Anwendungen noch doppelt so schnell wie DDR3-1.333, schrumpft die Differenz im Schnitt über alle Anwendungen und Spiele auf sechs Prozent zusammen und DDR3-2.133 liegt mit DDR4-3.000 gleichauf.

und nun wird in jedem Thread rumgeheult wenn nur Ram auf Stock getestet wird während Benchmarks zeigen dass allein über Ram 20 und mehr % drin sind.

Außerdem denke ich nicht dass CB so stümperhaft testet wie du das hier unterstellst

Ergänzung (17. Oktober 2018)

Und weißt du was - wenn es Unterschiede gibt dann ist meine erste Überlegung woran liegt es - und auf einer der ersten Positionen Hinterfrage ich mein Testsystem - was ist anders zwischen meinem System und dem wo die Ergebnisse so nicht auftreten.

ich denke nichts anderes hat man getan. Aber neu Aufsetzen ist mit 500GB Game Install Dateien ja auch eher... aufwendig und nicht mal eben getan. Auch da heißt es dann wieder granular alle Game Einstellugen wieder vornehmen, Savegames herstellen, usw.
Denke man unterschätzt den Aufwand schnell. Zumal vermutlich auch Applikation Tests auf demselben System erfolgen.

Auch denke ich nicht dass irgend ein Praktikant am Testsystem irgendwelche halbgaren Einstellungen ändert.

 

[Sennox]

Dann hätte man auch jede andere Karte nehmen können. Punkt /ironie

Und ja, es wurde mit Absicht die 2080Ti genommen, man wollte hier in den Test was bestimmtes zeigen und das andere nicht präsentieren.

Dazu wurde ursprünglich auch die 2080 und die 1080ti getestet, wieso geilen sich eigentlich in diesem Thread alle so an der 2080ti auf?!

@Krautmaster
Aber wenigstens zwei autarke SSDs für AMD und Intel hätte ich schon erwartet und war ehrlich gesagt überrascht als beim Update gesagt wurde "ab jetzt haben wir zwei SSDs"...
Für mich ist es selbstverständlich, dass ich mindestens die beiden CPU Hersteller voneinander trenne.
Eigene SSDs für versch. CPUs wäre dann die nächste Stufe und in meinen Augen Overkill aber eine SSD die zwischen AMD und Intel hin- und hergereicht wird? C'mon!

 

[Krautmaster]

Intel und AMD oder Nvidia und AMD?
... oder gleich 4 SSD da Intel + Nvdia, Intel + AMD, AMD + AMD, Intel + AMD?

Sicher dass die AMD SSD dann mit TR auch noch klar kommt? Man denke da an Game Mode den TR vllt braucht und Ryzen nicht.

Und alle "SSDs" muss man dann auf exakt gleichem Patchstand von Games, Windows, Treiber halten.

Da Windows 10 in der Regel ohne Probleme einfach auf ner anderen Pattform bootet war das eben der gangbare Weg, ist es vermutlich immernoch über weite Strecken da man sonst im Prinzip für jedes Board, jede Plattform ne eigene SSD bräuchte...

Sinniger wäre wohl zumindest ein Klon von der Test SSD damit man im Zweifelsfalls auf einen alten Stand zurückfallen kann um zu verifizieren dass was nicht stimmt.

 

[chithanh]

naja, die Reaktion war dass man die Werte erneut überprüft hat, das schreibt ja auch CB und das wurde auch im Forum so kommentiert

Es gab erstmal überhaupt keine Reaktion im Artikel, die Werte wurden einfach weiter so stehen gelassen.

Das allermindeste wäre doch gewesen, an der Stelle eine Bemerkung anzubringen, "wir gehen Hinweisen nach, dass diese Ergebnisse möglicherweise nicht korrekt sind, bis dahin bitte mit Vorsicht genießen".

Aber stattdessen wird erst mal nichts gemacht. Selbst später, als die Redaktion neu zu testen begonnen hatte, wurden die bestehenden Zweifel am Artikel einfach weiter totgeschwiegen.

Bei allem Lob für die Einsicht und die Selbstkritik, aber das muss man der CB-Redaktion ankreiden dürfen.

 

[Krautmaster]

da stimm ich dir zu. Es wäre in meinen Augen auch zb besser gewesen mehr Transparenz in das Testsystem selbst zu stecken, gerade sowas wie einen Printout von Hwinfo oder AIDA64 bei jedem Review mit anzuhängen dass auch zeigt was wie eingestellt war.

Einen Vermerk im Artikel hätte ich auch begrüßt, selbst wenn dann ggf später rauskommt "Nachmessungen haben ergeben dass sich am Sachverhalt nichts ändert"

 

[chithanh]

oder gleich 4 SSD

Schwierig, bei SSDs gibt es auch eine gewisse Serienstreuung. Und verschiedene Produktionschargen/Firmwareversionen verhalten sich unterschiedlich.
Auch arbeiten SSDs langsamer nachdem man viel drauf geschrieben hat (z.B. Betriebssystem-Image aufspielen), bis der SLC-Cache wieder freigeräumt ist. Eine einzelne SSD immer wieder neu zu beschreiben ist also auch problematisch.

Aber immerhin ist das besser als bei manchen Spezialisten in der Vergangenheit, die alles auf eine Festplatte installiert haben, und die Benchmarks für Hersteller A aus der schnelleren Zone und die für Hersteller B aus der langsameren Zone gemacht haben...

 

[Krautmaster]

ja, wobei die SSD Performance selbst hier kaum Einfluss auf die Gaming Performance haben sollte.

 

[Volker]

Artikel-Update: Schon kurz nach der Veröffentlichung war die Kritik an den Benchmarks groß. Der Core i7-8700K zeigte sich im Vergleich zu Ryzen 7 2700X, Ryzen 5 2600X aber – seltsamerweise – auch dem Core i5-8400 zu stark. Ja, das war uns auch aufgefallen, aber weil alle Einstellungen am System und in den Spielen nachweislich korrekt vorgenommen wurden und reproduzierbar waren, haben wir den Artikel dann doch veröffentlicht. Das war falsch.