Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

Ich rede hier von dem Crash in Wolfenstein mit Ryzen 7 2700X + GTX 1080 Ti (391.35)
 
Das Problem ist eher, dass andere mit einem einfachen Ryzen 5 1600 in AC: Origins in der Stadt min. 40 FPS haben (die anspruchvollste Szene überhaupt), während bei CB selbst der Ryzen 7 2700X auf 38 FPS einbricht.

Die Benchmarks stimmen überhaupt nicht mit den bisherigen überein. Muss ja keine Absicht sein, aber soetwas sollte man vorher überprüfen, bevor man es veröffentlicht.

Wenn der 8700K plötzlich langsamer als ein 2600X gewesen wäre, kann man 100% sicher sein, dass der Artikel so nicht gekommen wäre. Naja, muss man sich neutrale und richtige Benchmarks eben wo anders holen.
 
  • Gefällt mir
Reaktionen: Herr Melone, valnar77, Wirzar und 4 andere
Der Test wirft sicher die ein oder andere Frage auf, weshalb ich auch die Ansätze von @Krautmaster sehr gut finde, dem nachzugehen.

Allerdings sollte man auch beachten, dass all diese Tests in den meisten Fällen nicht die Realität abbilden können.

Man sollte das ganze Szenario ggf. noch einmal nachprüfen und schauen woher diese neuen Ergebnisse und Erkenntnisse kommen.

Zudem finde ich es gleichermaßen bezeichnend wie auch verwunderlich, dass plötzlich so viele propagieren, nur noch der i7-8700K sei für Spiele geeignet, denn man würde eine 1080 Ti/2080/2080 Ti ja vorrangig für 1080p@144 Hz nutzen wollen.

Ich habe bestimmt schon 50 Systeme mit 1080 Ti und mittlerweile 4 Systeme mit RTX GPU gebaut. Keines der Systeme hatte ein Anzeigegerät mit FullHD.

Die Kombination 1080 Ti/2080/2080 Ti + FullHD trifft in der Realität vielleicht auf 5% der Nutzer zu, die eine solche GPU nutzen.

Dennoch lassen die Ergebnisse des Tests aufhorchen und man muss sehen, ob andere Tests diese Ergebnisse bestätigen können.

Liebe Grüße
Sven
 
  • Gefällt mir
Reaktionen: Gamer2003
Wie manche User hier es einfach nicht wahrhaben wollen, dass die Intel CPUs in diesem speziellen Szenario einfach stärker sind.
Da wird mit aller Gewalt versucht, den Test und die Ergebnisse schlecht zu reden oder gar von Betrug gesprochen.
Mindestens die Hälfte der Posts hätte sich erübrigt, wenn die Leute auch den Text gelesen und nicht nur die Diagramme durchgeklickt hätten.
Auch die Erklärungen zum Test durch Volker werden gekonnt ignoriert.
 
  • Gefällt mir
Reaktionen: Stuntmp02
duskstalker schrieb:
schade - wieder keine referenzwerte mit ryzen + radeon. die thematik des nvidia treiber overheads, der sich potentiell negativ auf ryzen cpus auswirkt, wird wieder nicht beleuchtet.

außerdem keine angabe zu der cpu auslastung, weder für einen noch für alle kerne / threads - wäre nämlich nicht das erste "cpu bottleneck" bei einer ryzen cpu, bei der aber kein kern/thread jemals über 80% kommt - hier liegt das bottleneck unter umständen wo ganz anders. *hust*intel compiler*hust*

SMT/HT an/aus wurde auch nicht beachtet.

kern/threadskalierung der spiele ist auch eine unbekannte.

man sollte sich mal gedanken drüber machen, wieso der 8700k mit so einem geringen taktvorteil (single 4,7 vs 4,3 - multi 4,3 vs 4,1 ghz) bei quasi identischer IPC einen abstand zum 2700x von 30% erreicht.

das ist die typische graphenreiterei ohne hintergrund. anstatt in dem text zwischen den grafiken und tabellen den inhalt derselben nochmal in textform darzulegen, wäre ursachenforschung viel wertvoller gewesen.

außerdem:



da fehlen 50% der angaben - timings.

2933 cl 18 ist nicht das selbe wie 2933 cl12 - single vs dual ranked? steht ja nichtmals dabei, obs dual channel ist. das ergibt sich aus dem kontext - aber trotzdem fehlt die angabe.

wieso keine tabelle? wieso unvollständiger fließtext?

hier mal exemplarisch:

TESTSYSTEM

IntelAMD
CPUi7 8700k, i5 8400R7 2700x, R5 2600x
BoardGigabyte Z370 Aorus Ultra GamingAsus x470 Crosshair Hero 7
RAM2x 8gb DDR 2666 CL 16-18-18-38
Kit: Crucial Ballistix Sport 2666 CL 16-18-18-38 - Micron 512Mx8, DR.
2x 8gb DDR 2933 CL 14-14-14-34
Kit: Gskill Trident Z 3200 CL 14-14-14-34 - Samsung B-Die, SR.
GPURTX 2080 ti FE, RTX 2080 FE, GTX 1080 ti FERTX 2080 ti FE, RTX 2080 FE, GTX 1080 ti FE
FestplatteSamsung 970 Pro 1 TBSamsung 970 Pro 1 TB
CPU KühlerNoctua NH-D15, stockNoctua NH-D15, stock
GehäuseOpen TestbenchOpen Testbench
NetzteilSeasonic Prime 1300 GoldSeasonic Prime 1300 Gold
Raumtemperatur24°C24°C

So ist es. Kann ich nur unterstreichen. Der Test ist inkonsistent, undurchsichtig und damit leider absolut in Frage zu stellen.
 
  • Gefällt mir
Reaktionen: JohnVescoya, stinger2k, Denniss und eine weitere Person
Thane schrieb:
Da wird mit aller Gewalt versucht, den Test und die Ergebnisse schlecht zu reden oder gar von Betrug gesprochen.

Man sieht doch teils extreme Unterschiede zwischen einzelnen Treiberversionen. Keine Ahnung worauf du hinaus willst.
 
  • Gefällt mir
Reaktionen: CyberdyneSystem und Gortha
stinger2k schrieb:
Ansonsten muss man den Artikel, ohne jeglicher Angaben zum Testszenario inkl. der Daten der Testsysteme als nicht nachprüfbar und inhaltlich wertlos betrachten, vor allem in Anbetracht zu vorigen Testergebnissen bei CB.
Warum "muss" man das?
JEDER Artikel, egal von welcher Redaktion, egal um welches Produkt und egal mit welchen Games spiegelt eine Momentaufnahme des jeweiligen Zeitpunkts ab. Das kann sich mit sonstweden Themen ändern.

Es wäre viel einfacher das zu akzeptieren anstatt immer nur zu fordern, dass sich die Welt nach den eigenen Wünschen ändern soll - denn das wird nicht passieren.
Warum nicht einfach mit dem Wissen die Benches bewerten, dass es sich dabei um Zahlen in den genannten Szenarien handelt? JEDER, der mal bisschen gespielt hat dürfte wissen, dass sich in Spielen die Leistungsanforderungen ändern, von Level zu Level, von Detailstufe zu Detailstufe, von Szene zu Szene. Wenn man das im Hinterkopf hat kommt doch normal überhaupt keiner auf die Idee die Zahlen für bahre Münze zu nehmen?
-> der Artikel sagt exakt eine Sache aus. Nämlich, dass in den entsprechenden Spielszenen CPU xyz mit GPU abc so und so schnell ist/war. Fertig. 2m weiter kann das völlig anders sein.

werpu schrieb:
Wo der Ryzen dann wirklich scheint ist im Real World Arbeitsbereich, VMs, DB Last, Compilation etc... wo einfach die Tatsache greift, dass Meltdown und Co bei Ryzen nicht wirklich greifen und wo halt ein paar Kerne mehr Wunder bewirken können.

Das interessiert den Gamer idR sogut wie gar nicht. Der nutzt keine DBs, der nutzt keine VMs, der kompiliert keine Software, der spielt zumeist - deswegen heist der ja auch Gamer. Bisschen surfen im Netz und bisschen Kleinkram kommt noch dazu. Thats it. Meltdown und Co. tut beim Gaming zumeist auch gar keinen Abbruch genau so wie die mehr Cores für die meisten User effektiv keinen Mehrwert bringen.

Krautmaster schrieb:
Wenn man die aber veröffentlicht entsteht ein wilder Vergleich da letztendlich doch jeder wunderweiswas testet, auch wenn er denkt es ist vergleichbar.

Dafür gibt es ja auch fertige definierte Benchmarks.

Ist doch aber OK?
Warum sollen die Leute nicht vergleichen können/dürfen? -> wenn die Angaben klar gemacht sind, wie was wann wo ermittelt wurde kann das nur gut für die Tests sein, wo die Leserschaft das entsprechend nachstellen kann.

Volker schrieb:
Soo, wie versprochen das Update.

In den Detail-Benchmarks ist nun ein Ryzen 7 2700X + GTX 1080 Ti (391.35) eingebaut.
Die Erkenntnisse: Es gibt Ausreißer ja, aber im Durchschnitt ändert sich nichts, es schwankt um 2, 3 Prozent mal in die eine und mal in die andere Richtung.

Volker, schmeißt doch bitte in Zukunft wieder zu den entsprechenden Zahlen von avg. FPS und Frametimes (die mMn in der Form nichts aussagen, weil sie auf FPS umgerechnet sind und weil sie auf absolute Benchzeit und nicht auf absolute Frame-Anzahl kommuliert sind) die Frameverlaufsdiagramme an die Wand?
Ich meine damit würdet ihr viel mehr Transparenz in die Tests bekommen. Denn dann ist auch für jeden ersichtlicht, wo und ggf. auch warum formal verschieden schnelle GPUs in der und der Szene so und so schnell sind - genau so wie das bei CPU Tests eben dann ersichtlich sein wird, wo im Frameverlauf die und die CPU mehr Vorteile bringt - oder ob das vllt über den ganzen Bereich der Fall ist usw. usf.

Mit solchen Verläufen bekommt man auch raus, ob vielleicht die Testszene sogar gut oder vllt auch schlecht gewählt wäre für den Vergleich. (bspw. wenn Stellen mit überdurchschnittlich viel Abstand zu sehen sind)
 
  • Gefällt mir
Reaktionen: xexex
Krautmaster schrieb:
die Szene dürfte nicht einfach "Stadt" sein sonder eben die eine Szene die man finden konnte die darüberhinaus einbricht.
Genau das wurde doch gemacht. Der Anspruchvollste Szene ist in anderen Tests auf einem 1600 schneller als bei CB auf einem 2700X. Da ist CB ein Fehler unterlaufen den sie bisher noch nicht erkannt haben.

Aber anstatt den Fehler zu suchen wird das veröffentlicht. Das ist nicht tragbar.


Thane schrieb:
Wie manche User hier es einfach nicht wahrhaben wollen, dass die Intel CPUs in diesem speziellen Szenario einfach stärker sind.
Da wird mit aller Gewalt versucht, den Test und die Ergebnisse schlecht zu reden oder gar von Betrug gesprochen.
Mindestens die Hälfte der Posts hätte sich erübrigt, wenn die Leute auch den Text gelesen und nicht nur die Diagramme durchgeklickt hätten.
Auch die Erklärungen zum Test durch Volker werden gekonnt ignoriert.
Der Test ist falsch, Volker hat einen Fehler gemacht. Es gibt schon tausend Tests und alle kommen zu einem anderen Ergebniss. Denkst du, dass Volker jetzt als erster und einziger Tester auf der ganzen Welt zum ersten Mal "richtig" gebenched hat?

Wie kann man so verblendet sein? Du schreibst darüber was andere nicht wahrhaben wollen, aber selber willst du nicht wahrhaben, das hier etwas nicht stimmt.

Und nein, es wird nicht mit "Gewalt" versucht den Test schlecht zu Reden, dazu braucht es nämlich gar keine Gewalt. Wenn Ryzen in den selben Spielen, mit den selben Settings, hier in CB Tests, bisher zT 100% schneller war, stimmt etwas nicht. Das ist ganz offensichtlich.

Wenn User mit ihrem alten Ryzen 5 1600 extra durch die fordernsten Gebiete von AC: O laufen und trotzdem min. 40 FPS haben, während CB hier mit einem 2700X auf 38 FPS fällt, dann stimmt etwas nicht. Vielleicht ist das save-game kaputt, oder der Treiber wurde beim installieren beschädigt.

Aber so krasse Unterschiede sind nicht anders zu erklären. Entweder ein Treiber Problem, oder beim Benchen ist was schief gelaufen.

Die einzige andere Option: alle haben bisher Müll getestet und nur Volker hat es jetzt richtig gemacht.

Willst du das sagen?
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Drainward, Seskahin, Herr Melone und 12 andere
Krautmaster schrieb:
die Szene dürfte nicht einfach "Stadt" sein sonder eben die eine Szene die man finden konnte die darüberhinaus einbricht.
Ich wünschte es wäre so, aber aller größte Sorgfalt in der Testauswahl walten lassen, interessante Resultate bei der Durchführung erhalten, dann so eine Dokumentation abliefern und die Auffälligkeiten nicht behandeln?
Das wirkt Inkonsistent auf mich...

Zumindest einen Bezug zu den April Ergebnissen, eine Analyse des Testsetups unter diesem Gesichtspunkt(evtl. ein Test mit einem weiteren AMD Testsystem um einen Fehler im AMD Setup auszuschließen + eine Erweiterung des Setups um eine Vega64) und eine reflektierte Einordnung der Ergebnisse hätte ich erwartet(Stichwort Relevanz der Ergebnisse für Kevin Normalgamer).

Dann hätten wir hier auch 500 Posts weniger :-)
 
  • Gefällt mir
Reaktionen: Sennox
w0mbat schrieb:
Genau das wurde doch gemacht. Der Anspruchvollste Szene ist in anderen Tests auf einem 1600 schneller als bei CB auf einem 2700X. Da ist CB ein Fehler unterlaufen den sie bisher noch nicht erkannt haben.

Aber anstatt den Fehler zu suchen wird das veröffentlicht. Das ist nicht tragbar.
Bei den anderen Tests wurden für das Spiel vermutlich andere Einstellungen verwendet. Da wird dann mit Preset "Hoch" getestet, während wir hier "Extrem Hoch" haben.
Außerdem wird ein anderes Save Game verwendet. Alleine deshalb dürfte die Vergleichbarkeit mit vorherigen Tests nicht gegeben sein.
Allerdings wird im Text auf den Umstand hingewiesen.
Vielleicht den Fehler bei dir suchen und nicht nur bei den anderen?
 
  • Gefällt mir
Reaktionen: Stuntmp02
fdsonne schrieb:
Ist doch aber OK?
Warum sollen die Leute nicht vergleichen können/dürfen? -> wenn die Angaben klar gemacht sind, wie was wann wo ermittelt wurde kann das nur gut für die Tests sein, wo die Leserschaft das entsprechend nachstellen kann.

naja ich denke da würde das Gemecker und Gejammer noch ganz anders loslegen, auch wenn es ggf Transparenter werden würde. Das macht doch keine Review Seite.

Da hat einer im Treiber andere Zeug eingestellt oder ein leicht verändertes Grafiksetting und schon werden Ergebnisse geprostet die ja so sehr vom getesteten abweichen und dann ist auch keinem geholfen.

Aber ja, mich würde es auch interessieren, bezweifle aber dass man als Redaktion hier die Szenen rausrückt.
 
Thane schrieb:
Wie manche User hier es einfach nicht wahrhaben wollen, dass die Intel CPUs in diesem speziellen Szenario einfach stärker sind.
Da wird mit aller Gewalt versucht, den Test und die Ergebnisse schlecht zu reden oder gar von Betrug gesprochen.
Mindestens die Hälfte der Posts hätte sich erübrigt, wenn die Leute auch den Text gelesen und nicht nur die Diagramme durchgeklickt hätten.
Auch die Erklärungen zum Test durch Volker werden gekonnt ignoriert.

Es wird gar nichts ignoriert, der Test wird in Frage gestellt, weil es im ganzen Netz keine solchen Ergebnisse eines Ryzen 2000 mit einer 1080ti und 1080p gibt oder reproduziert wurden!
Zeige mir mir bitte ähnliche Ergebnisse!
Die Erklärungen von Volker sind äußerst unbefriedigend und einfach hingerotzt, dafür dass CB einmalig schlechte Ergebnisse mit Ryzen 2000 und einer 1080ti gebencht hat in 1080p.
Er nimmt auch keine Stellung dazu, dass das noch nie reproduziert wurde!

Der Test ist für mich FALSCH, solange es dafür keine nachvollziehbare Erklärung gibt!
 
  • Gefällt mir
Reaktionen: Herr Melone, Ko3nich, JohnVescoya und 9 andere
fdsonne schrieb:
Das interessiert den Gamer idR sogut wie gar nicht. Der nutzt keine DBs, der nutzt keine VMs, der kompiliert keine Software, der spielt zumeist - deswegen heist der ja auch Gamer. Bisschen surfen im Netz und bisschen Kleinkram kommt noch dazu. Thats it. Meltdown und Co. tut beim Gaming zumeist auch gar keinen Abbruch genau so wie die mehr Cores für die meisten User effektiv keinen Mehrwert bringen.
Es gibt nicht die Gamer... ich nutze meine Kiste z.B. als Mischsystem wo dann halt auch neben den Games IO Lastige Sachen drauf laufen.

Ausserdem ist auf einer typischen Kiste auch schnell mal ein Virenscanner etc.. aktiv und was macht der im Regelfall ... jede menge Kernelcalls und dann geht der Meltdown Ärger auch dort los.
Die Leute die ihre PCs als reine Gaming Kisten haben sind in einer absolut verschwindenden Minderheit, aber wie gesagt der Durchschnitts PC User ist sowieso in einem Bereich unterwegs wo die CPU so ziemlich das letzte Bottleneck ist was er zu beseitigen hätte.
 
Thane schrieb:
Wie manche User hier es einfach nicht wahrhaben wollen, dass die Intel CPUs in diesem speziellen Szenario einfach stärker sind.

Das waren sie aber schon immer und das ist absolut okay so. Ich habe auch in dem Wissen auf Ryzen gesetzt, hatte selbst nie ein Problem und freue mich in anderen Anwendungen über die Mehrleistung ggü. Intel.
Es hat also weiterhin nichts damit zu tun dass man nicht Intel vor Ryzen sehen möchte. Das war schon immer so in Spielen und bleibt (mindestens bis Zen2) auch so.

Wieso aber sind sie plötzlich um so vieles besser? (Ganz ehrlich, kurz vor Release der neuen Intels kommt dieser Artikel?)
Wieso sollte man jetzt überhaupt andere Settings nehmen? Wollte man in bisherigen CPU Tests gar nicht die CPU testen? Dann sollte man doch schon immer die richtigen Settings genommen haben. So viel kann ich von einer spezialisierten Redaktion wohl erwarten, dass nicht in jedem (CPU)Test andere Settings genommen werden.

Der Artikel wird durch die letzte Aussage von Volker (und ich bin ihm dafür ja auch dankbar) nicht besser oder transparenter. Es fehlen weiterhin eklatant wichtige Angaben und solange bleibt das Misstrauen bestehen.
 
  • Gefällt mir
Reaktionen: Herr Melone, JohnVescoya, stinger2k und 6 andere
DonL_ schrieb:
Es wird gar nichts ignoriert, der Test wird in Frage gestellt, weil es im ganzen Netz keine solchen Ergebnisse eines Ryzen 2000 mit einer 1080ti und 1080p gibt oder reproduziert wurden!
Zeige mir mir bitte ähnliche Ergebnisse!
Die Erklärungen von Volker sind äußerst unbefriedigend und einfach hingerotzt, dafür dass CB einmalig schlechte Ergebnisse mit Ryzen 2000 und einer 1080ti gebencht hat in 1080p.
Er nimmt auch keine Stellung dazu, dass das noch nie reproduziert wurde!

Der Test ist für mich FALSCH, solange es dafür keine nachvollziehbare Erklärung gibt!

Unterschreibe ich.

Desweiteren ist es einfach ein Scherz Ryzen2 und Coffee Lake mit unterirdischen RAM-Settings zu testen, wo man genau weiß wie gut Ryzen zwei mit mehr MHz auf der IF und schnellem, reaktionfreudigem RAM in Spielen nach oben skaliert ggü. dem CoffeeLake.
 
@Krautmaster @nospherato @ZeroZerp

Ist es nicht etwas auffällig, dass mein alter Xeon 1231v3 so nah an einen Ryzen 2xxx drankommt? Das spiegelt sich doch in sonst keiner anderen Anwendung wider. Takt und IPC sollten doch ne ganze Ecke besser sein.
 

Anhänge

  • sharpest timings.PNG
    sharpest timings.PNG
    4,3 KB · Aufrufe: 460
  • Superposition_Benchmark_v1.0_22148_1538041678.png
    Superposition_Benchmark_v1.0_22148_1538041678.png
    602,2 KB · Aufrufe: 464
@DonL_ @Flynn82
Hier wird ganz bewusst ein CPU-Limit erzeugt, mehr nicht. Und durch die anderen Einstellungen ist dieser Test auch nicht mit anderen oder vorherigen Tests vergleichbar.
Natürlich ist das sehr konstruiert, aber im CPU-Limit sind die Intel CPUs offenbar noch stärker als im Mittel bei den Spielen.
Vorher gab es immer mal wieder die Tests mit 720p, um es CPU-lastig zu machen. War auch nicht genehm, es spielt ja keiner auf 720p.
Das ist wie @Stunrise bereits ausgeführt hat. Den AMD Usern gefällt das Ergebnis nicht, deshalb geht das hier wieder so ab.

Was wollt ihr noch? AMD mit optimierten RAM und Timings? Den Ryzen am besten noch übertakten, den Intel bei Standardtakt lassen?
CB testet beim RAM mit dem Standard für die Plattform. Alles andere fällt unter OC. Dann bitte OC gegen OC. 8700K@5GHz mit irgendetwas zwischen DDR 3600-4000 CL16. Da wird der Abstand aber eher größer als kleiner ;)
Ja, hätte man für die Übersichtlichkeit und Transparenz auch besser tabellarisch mit Details dargestellt.
 
@dr. lele
Ja das ist schon möglich bei diesem Test. Deshalb war ja auch die Warnung, dass man die Ergebnisse nur auf diesen einen Fall so nutzen kann, da recht speziell.
Das spiegelt für mich z.B. die Überlegenheit der Intel CPUs in älteren Spielen dar wie CS(GO), SC2 oder ähnlichem dar, hat aber wenig wirklichen Einfluss auf moderne Engines.
 
  • Gefällt mir
Reaktionen: Gortha
Zurück
Oben