Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[Taxxor]

@Taxxor
Dann hau doch mal die Redaktion an und bring das mal vor, was Du für Bedenken hast.
Das ist doch das einfachste, oder?

@HaZweiOh
Dann geh wie bereits jetzt schon mehrfach erwähnt sachlich, mit konstruktiver Kritik und vielleicht sogar eigenen Vorschlägen auf die Redaktion zu und zeige auf, wie sie diesen Test "korrigieren" könnten bzw. die Dinge in Zukunft besser machen könnten.

Ich glaube die Redaktion ist sich dessen durch die 88 Seiten hier schon durchaus bewusst, hier wurde oft sachlich genug beschrieben, welche Informationen und welches Vorgehen den Leuten fehlt.
Man könnte fast jede beliebige Seite dieses Threads nehmen, die mindestens ausbaufähige Transparenz des Tests und der Umgang mit den Ergebnissen wird man fast immer als Kritik dort finden.

Alleine die vielen Seiten mit User Benchmarks hier bieten schon weit mehr Informationen zum Testsystem als es bei CB der Fall ist.

Glaubst wirklich, dass dieser eine Test nun das Kaufverhalten in Sachen Ryzen/Intel ändern wird?

Nein, glaube ich nicht, gerade weil man bei solchen Ergebnissen erst mal mit anderen Seiten vergleicht.
Dennoch hat man als User, der seine Infos hauptsächlich von CB bezieht, eventuell sogar Abonnent ist, doch den Wunsch, dass hier auch entsprechend analysiert wird.

Für Ergebnisse ohne Analyse kann ich mir auch die CPU Tests in der ComputerBild ansehen.

 

[.Sentinel.]

Ich glaube die Redaktion ist sich dessen durch die 88 Seiten hier schon durchaus bewusst, hier wurde oft sachlich genug beschrieben, welche Informationen und welches Vorgehen den Leuten fehlt.

Das bringt Dir nur keinen großen Informationsgehalt, wenn außer Volkers zweiten Statement nichts mehr kommt.
Das scheint aber wohl vorerst das letzte Wort zu sein. Überprüft-> Test in Ordnung -> Weiter gehts.

Die 80 Seiten kommen ja auch nur zustande, weil es sagen wir mal 5 hartnäckige Zweifler gibt, die jegliche Erklärungsversuche und Messungen, die das Ergebnis logisch erscheinen lassen könnten, in den Wind schlagen.

Und wegen dieser 5 User den gesamten Test zu canceln... Ich weiss nicht, ob ich das tun würde.
Wenn man die par Hanseln hier im Thread zusammenzählt, die hier überhaupt schreiben, scheint es sowieso kein großes Interesse an dem Thema gegeben zu haben.

Da ist jeder IPhone XY Bericht mit einer höheren Userzahl ausgestattet.
Im Intel/AMD/nVidia Bereich tummeln sich sowieso immer die üblichen Verdächtigen. Und deren Meinung ist sowieso schon zementiert und man kanns nur falsch machen....

Grüße
Zero

 

[Taxxor]

Die 80 Seiten kommen ja auch nur zustande, weil es sagen wir mal 5 hartnäckige Zweifler gibt, die jegliche Erklärungsversuche und Messungen, die das Ergebnis logisch erscheinen lassen könnten, in den Wind schlagen.

Und wegen dieser 5 User den gesamten Test zu canceln... Ich weiss nicht, ob ich das tun würde.

Und inwiefern würde es dann etwas ändern, wenn diese 5 User die Redaktion direkt anschreiben und genau das schreiben, was man hier schon zig mal gelesen hat?

Genauere Beschreibungen zum Test werden ja nun auch nicht hier das erste mal gefordert, und CB bräuchte sich ja nur bei manch anderen Seiten mal umsehen, wie die ihre Tests denn dokumentieren.
Da wäre es mir als Redakteur doch auch ohne Kritik der User schon ein Anliegen, wenn ich sehe dass andere Seiten es teilweise besser machen.

Aber scheinbar geht die Richtung von CB ja immer mehr in den Bereich News, für ausführliche Tests muss man dann auf andere Seiten ausweichen.
Wobei auch hier hin und wieder ein richtig ausführlicher Test zu finden ist, nur die Norm ist das leider in letzter Zeit immer weniger.

 

[.Sentinel.]

@Taxxor

Und inwiefern würde es dann etwas ändern, wenn diese 5 User die Redaktion direkt anschreiben und genau das schreiben, was man hier schon zig mal gelesen hat?

Dass man eine Antwort erhält, mit der man etwas anfangen kann, oder tatsächlich für künftige Tests etwas ändern kann.
Glaubst Du der Redakteur hat Spaß daran, sich durch 80 Seiten zu wühlen in welchen man, ohne die Hintergründe zu kennen, als unfähig, biased, bestochen und was weiss ich noch alles dargestellt wird,
dann die einzelnen Brocken und Einzeiler zusammenzusammeln und dadurch eine neue Testmethodik zu entwickeln?

So funktioniert das nicht. Wenn das ganze aber vernünftig (siehe oben) vorgetragen wird, dann wird man ein Feedback erhalten und kann vielleicht auch was bewegen.

Grüße
Zero

 

[Taxxor]

Mindestens bis zu Volkers Post hier im Thread wird er sich die Beiträge wohl durchgelesen haben und da stand auch schon alles drin.

Und da muss man auch keine Einzeiler zusammensuchen, man braucht einfach nur den Satz, der hier x-mal gefallen ist: "Schreibt die genauen Daten des Testsystems und der Testszenen dazu" und eventuell noch "bietet die Savegames der Testszenen an"

 

[Tibone 1990]

@Taxxor, Wieso kommen diese Wünsche nach mehr Transparenz erst jetzt auf? Wieso nicht schon bei etlichen vorherigen Tests?

Was wäre im Test herausgekommen wäre, dass der 2700x 10% vor dem 8700k liegt? Würdest du dann genau so Erklärungen fordern?

 

[pietcux]

@Taxxor


Dass man eine Antwort erhält, mit der man etwas anfangen kann, oder tatsächlich für künftige Tests etwas ändern kann.
Glaubst Du der Redakteur hat Spaß daran, sich durch 80 Seiten zu wühlen in welchen man, ohne die Hintergründe zu kennen, als unfähig, biased, bestochen und was weiss ich noch alles dargestellt wird,
dann die einzelnen Brocken und Einzeiler zusammenzusammeln und dadurch eine neue Testmethodik zu entwickeln?

So funktioniert das nicht. Wenn das ganze aber vernünftig (siehe oben) vorgetragen wird, dann wird man ein Feedback erhalten und kann vielleicht auch was bewegen.

Grüße
Zero

Der Redakteur hätte, wenn er gleich am Anfang einen Kommentar mit Erklärung des Sachverhaltes abgegeben hätte, viele negative Postings verhindert. Auf PCGH lesen die Redakteure ja auch selber mit und kommentieren teilweise sogar Sonntags in der Nacht.

 

[.Sentinel.]

@Tibone 1990
Naja- Die Antwort darauf kennen wir ja.

Nur liegt halt der Fall hier anders. Die Ergebnisse weichen vom Schnitt ein wenig ab und man möchte wissen, wieso das so ist, bzw. die Zahlen korrigiert haben, damit die Welt für sich und für die anderen (Whitehat- Krieger) wieder in Ordnung ist.

Das Problem ist, dass auch wenn man 5x nachmessen würde, alle Komponenten und Konfigurationen aufzählen, der Test dennoch angezweifelt würde, auch wenn er diese Zahlen nachweislich produziert.
Da ist dann halt was anderes kaputt, Treiber und Bios wurden manipuliert und und und...

Und ab da sag ich auch- Vergebene Liebesmüh.

Grüße
Zero

 

[Taxxor]

Was wäre im Test herausgekommen wäre, dass der 2700x 10% vor dem 8700k liegt? Würdest du dann genau so Erklärungen fordern?

Natürlich, wenn der 2700X plötzlich 25% besser wäre, als im vorherigen Test, während er auf anderen Seiten weiterhin da steht, wo er immer stand, würde ich auch die Erklärung dafür haben wollen.

Das Problem ist, dass auch wenn man 5 nachmessen würde, alle Komponenten und Konfigurationen aufzählen, der Test dennoch angezweifelt würde, auch wenn er diese Zahlen nachweislich produziert.
Da ist dann halt was anderes kaputt, Treiber und Bios wurden manipuliert und und und...

Wenn diese Zahlen nachweislich von mir als Redakteur produziert werden, auch nach 5 mal Nachmessen unverändert bleiben, aber trotzdem stark von dem abweichen, was ich selbst eine Woche vorher gemessen habe und auch von dem was alle anderen Seiten gemessen haben, dann würde ich doch selbst die Zahlen anzweifeln und davon ausgehen, dass irgendwas mit dem Testsystem, Treiber, BIOS ect. nicht stimmt und erst mal nach Ursachen suchen.
Und nicht hergehen und sagen "Komm wird schon so passen, hau raus den Test"

 

[.Sentinel.]

Wenn diese Zahlen nachweislich von mir als Redakteur produziert werden, auch nach 5 mal Nachmessen unverändert bleiben, aber trotzdem stark von dem abweichen, was ich eine Woche vorher gemessen habe und auch von dem was alle anderen Seiten gemessen haben, dann würde ich doch selbst die Zahlen anzweifeln und davon ausgehen, dass irgendwas mit dem Testsystem nicht stimmt.

Genau deshalb steht auch dabei, dass die Ergebnisse aufgrund diversen Änderungen nicht mehr verglichen werden können und dass alles noch einmal auf seine Richtigkeit geprüft wurde...

Das will/kann man hier aber offenbar nicht akzeptieren, weil die Zahlen der Nachprüfung immernoch nicht denen entsprechen, die man gerne gesehen hätte.

Wir drehen uns im Kreis.

 

[Tibone 1990]

Der Redakteur hätte, wenn er gleich am Anfang einen Kommentar mit Erklärung des Sachverhaltes abgegeben hätte, viele negative Postings verhindert. Auf PCGH lesen die Redakteure ja auch selber mit und kommentieren teilweise sogar Sonntags in der Nacht.

Das kannst man wohl kaum verlangen. Die haben ein Privatleben

Natürlich, wenn der 2700X plötzlich 25% besser wäre, als im vorherigen Test, während er auf anderen Seiten weiterhin da steht, wo er immer stand, würde ich auch die Erklärung dafür haben wollen.

Und wenn der 2700x gleich abschneidet und der 8700k um 20% schlechter?

 

[Taxxor]

Und wenn der 2700x gleich abschneidet und der 8700k um 20% schlechter?

Ich weiß nicht, warum du hier so vehement versuchst eine AMD Bias zu unterstellen, aber ja auch dann würde ich eine Erklärung wollen, warum der 8700K vor einer Woche noch 16% vorne lag und jetzt 6% hinten.
Sowohl als Leser als auch als Redakteur wäre das die erste Frage, die sich mir da stellen würde.

Ergänzung (3. Oktober 2018)

Genau deshalb steht auch dabei, dass die Ergebnisse aufgrund diversen Änderungen nicht mehr verglichen werden können und dass alles noch einmal auf seine Richtigkeit geprüft wurde...

Wo steht das bitte? Die einzige Erklärung für die Ergebnisse bisher war "ist halt der aktuelle Stand und andere Benchszenen"
Und die Erklärung trifft auch auf jede andere Publikation zu, die alle zu unterschiedlichen Zeiten gemacht wurden und mit anderen Settings und Szenen getestet haben und trotzdem vom Releasetag bis zu dem 35 Games Test vor 3 Monaten konstante Ergebnisse brachten.

Mit dieser Floskel der nicht gegebenen Vergleichbarkeit zielt man eigentlich auch nur darauf ab, dass die genauen fps Werte um Vergleich zu vorherigen Tests abweichen können, nicht aber die allgemeine Differenz der einzelnen Produkte in diesem Maße.

Von einer Prüfung der Ergebnisse findet sich im Artikel überhaupt nichts.

 

[Tibone 1990]

Die Redaktion hat sich doch die Frage gestellt. Die Tests wurden inspiziert und es konnten keine Fehler festgestellt werden. Steht doch alles im Update Statement?

 

[Taxxor]

Die Redaktion hat sich doch die Frage gestellt. Die Tests wurden inspiziert und es konnten keine Fehler festgestellt werden. Steht doch alles im Update Statement?

Du meinst den einen Nachtest mit genau dem gleichen Setup nur mit älterem Treiber, welcher dann in die einzelnen Spielegraphen, nicht aber im Gesamtrating oder überhaupt im Artikel selbst eingefügt wurde? Ja, da hat man den Nvidia Treiber ausgeschlossen, nicht mehr und nicht weniger.
Vorherige BIOS Version testen bzw. allgemein ein anderes Board testen wäre der nächste Schritt gewesen, der aber nicht gemacht wurde.

 

[.Sentinel.]

@Taxxor
Hab mir gerade den Hardwareunboxed Beitrag von dem Du sprachst angesehen.
Dort wird auch nur ein Bruchteil der hier von der CB geforderten Angaben gemacht.

Zudem ist es ein OC- Test mit unterschiedlichen Ausbaustufen von OC (Ryzen full OC/Intel läuft auf Halbgas).
Wie immer der klassiker den RAM bei beiden Systemen geichschnell laufen zu lassen und den Cache bei Intel nicht erhöhen.
Bei beiden Systemen werden die "the stilt" Settings gefahren, die bei AMD das Maximum an 2nds und 3rds rausholen, aber wieder die Möglichkeiten von Intel nicht berücksichtigen.

Völlig unbrauchbarer OC Test. Wieso fährt man ein System aus und das andere muss sich am kleinsten gemeinsamen Vielfachen orientieren?

Die "anderen" machen es also nicht wirklich besser.... und verwertbar sind die Ergebnisse auch nicht.

Zum Statement von Volker (welches man vielleicht als Update auf den Bericht nehmen sollte)
https://www.computerbase.de/forum/t...ergebnisse-waren-falsch.1825920/post-21758175

Dort wird noch einmal auf die Nichtvergleichbarkeit eingegangen.

Aber wie gesagt- Wir drehen uns im Kreis.

Grüße
Zero

 

[Taxxor]

Dort wird auch nur ein Bruchteil der hier von der CB geforderten Angaben gemacht.

Angabe des RAM Taktes und der Timings? Check
Angabe des Case und des Kühlers? Check
Zeigen der jeweiligen Testsequenz zum Nachstellen? Check

Das ist schon ein Großteil der geforderten Angaben.
Wir wissen ja immer noch nicht ob der RAM hier mit 2666MHz der Boardspezifikation oder den 2933MHz der CPU Spezifikation lief.

Wie immer der klassiker den RAM bei beiden Systemen geichschnell laufen zu lassen und den Cache bei Intel nicht erhöhen.

Dass man das überhaupt tun muss ist scheinbar auch den wenigsten Nutzern bekannt, auch ich wusste davon nichts(beschäftige mich aber auch nicht so sehr damit). Und so eine Info hätte dann auch in den RAM Vergleich von CB gehört und das kreide ich ihnen daher auch genau so an, auch wenn es in dem Fall positiv für AMD war, um noch mal den Vorwurf von @Tibone 1990 zu dementieren.

 

[pietcux]

Das kannst man wohl kaum verlangen. Die haben ein Privatleben

Das verlangt da auch keiner, kommt aber in schöner Regelmäßigkeit vor. Der Redakteur hier hätte das ja dann auch unter der Woche zwischen 9 und 17Uhr machen können. So hab ich es gemeint.

 

[Buggi85]

@pietcux
Bin auch auf die Raytracing Tests gespannt, der allgemeine Tenor sagt das die Leistung nicht ausreicht was wohl nachvollziehbar ist.
Man wird sich nur auf kleine Effekte einstellen dürfen.
Hoffentlich werden die RT Tests fair, denn nur weil es in den Einstellungen aktiviert ist, bedeutet es noch lange nicht das jeder Level davon Gebrauch macht.

 

[.Sentinel.]

Angabe des RAM Taktes un der Timings?

Ich dreh Dir aus einem 4000MHz RAM mit schlechterem CL Tick durch 2nds und 3rds die Leistung von heutzutage erhältlichem 4400MHz RAM hoch.

Dir 1st Timings sagen beim RAM nur teilweise etwas über die letztendlich zu erreichenden Übertragungsdaten und Latenzen aus.

Das ist aber ein anderes Thema.

Ergänzung (3. Oktober 2018)

@pietcux
Bin auch auf die Raytracing Tests gespannt, der allgemeine Tenor sagt das die Leistung nicht ausreicht was wohl nachvollziehbar ist.

Ist ja auch klar- Wenn man Demos zeigt, bei welchen die RT Cores garnicht aktiv waren (Battlefield 5) und auch nur zum Teil Tensor- Cores eingesetzt wurden, dann sollte das doch hier niemand ernsthaft wundern, wenn die FPS niedrig sind.

Es war eine Technikdemonstration. Keine Demonstration der Leistung der RTX- Karten unter optimierten Bedingungen.

Insofern - Da ist das letzte Wort in Sachen Performance noch lange lange nicht gesprochen, vor allem weil man ja nicht erahnen kann mit welchen Tricks und Hacks findige Programmierer die Cores für andere Arten von Beschleunigungen hernehmen können.

 

[Tibone 1990]

Dass man das überhaupt tun muss ist scheinbar auch den wenigsten Nutzern bekannt, auch ich wusste davon nichts(beschäftige mich aber auch nicht so sehr damit). Und so eine Info hätte dann auch in den RAM Vergleich von CB gehört und das kreide ich ihnen daher auch genau so an, auch wenn es in dem Fall positiv für AMD war, um noch mal den Vorwurf von @Tibone 1990 zu dementieren.

Wenn du als neutraler Betrachter eine Erklärung haben willst, solltest du solche Aussagen vielleicht vor dem Posten überdenken:

Im ersten Moment sieht das halt auch so aus, als hätte man vor den neuen Ryzens noch mal schnell die Differenz in den Benches von 11% auf 26% erhöht, damit Ryzen 3000 bei vllt 25-30% Leistungssteigerung dann nur gerade so gleichziehen kann, statt deutlich zu überholen

[/QUOTE]

Das ist eine Verschwörungstheorie, die arg nach roter Brille schreit.