Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[Taxxor]

Kann es ja auch garnicht, weil keine Publikation mit exakt den gleichen Saves und der gleichen Hardwarekonfiguration/Biosständen/OS- Ständen diesen Test außer CB durchgeführt hat.

Aber das ist doch genau der Punkt. Jede Publikation hat andere Benchmarkszenen(sofern nicht der integrierte genutzt wird) und andere HW Konfigurationen/BIOS-Stände/OS-Stände.

Und trotzdem ist der Unterschied 2700X zu 8700K überall im gleichen Bereich, sowohl bei den Launch Tests als auch auch bei dem vorhin verlinkten YT Video, welches gerade mal 3 Tage alt ist, als auch bei den beiden CB Tests die es dazu vorher gab.

Nur hier bei diesem Test hier nicht.
Selbst wenn es ein CPU "worst case" Szenario sein sollte(welches dann komischerweise vorher noch nie eine andere Seite geschafft hat zu erreichen), so betrifft das die FPS ausschließlich bei AMD, Intel ist nahezu unverändert im Vergleich zu vorherigen Tests.

 

[Joaenna]

Ich habe jetzt den Großteil der Kommentare gelesen und fühle mich genötigt, auch etwas zu schreiben.
Ich möchte hier nicht anzweifeln, dass die Intel-CPUs in Spielen (720p, 1080p und sogar ein wenig in 4k) schneller sind, das ist unstrittig nach vielen gelesenen Tests.
Ich kann den Erklärungsversuch von Zero verstehen und die Latenz mag auch in Einzelfällen ein Grund sein, sogar für 30-50% Unterschied. Allerdings sind diese Szenarien, was aus diversen Tests im Netz abgeleitet werden kann, eher selten ansonsten würden sich diese in allen Tests, zumindest im Durchschnitt, wiederspiegeln.
Ich halte es für unwahrscheinlich, dass hier ausschließlich genau solche Savegames getroffen wurden, die maximal auf die Latenz durchschlagen. Deshalb glaube auch ich, dass hier etwas nicht stimmen kann. Damit will ich nicht unterstellen, dass etwas absichtlich "hingebencht wurde" sondern, dass nicht sorgfältig genug gearbeitet wurde. Es ist ja an vielen Kommentaren zu erkennen, dass dieser Test Viele verunsichert obwohl erstens die Ergebnisse an sich zweifelhaft sind, und zweitens das Testszenario in der Praxis nur äußerst selten ist. Trotzdem verleitet es viele Leser dazu, anzunehmen, dass AMD generell 30% langsamer in Spielen ist als Intel. Und ja, ich verstehe Tests im CPU-Limit. Jedoch frage ich mich immer das folgende dabei: Für wen sind diese relevant?

- Spieler im heutigen CPU-Limit
-->Ja, wer ausschließlich CSGO etc. auf FHD mit einer 1080Ti aufwärts spielen will, für den ist es interessant und die Leistungsunterschiede schlagen durch.

- Besitzer einer jetzigen Midrange Grafikkarte (im GPU-Limit), die eventuell in 2 Jahren aufrüsten wollen auf eine neue (meinetwegen doppelt so schnelle) Grafikkarte
--> Hier muss man denke ich differenzieren
A) Wenn in zwei Jahren exakt die selben Spiele gespielt werden sollen wie heute dann können die 720P
Benches von heute eine valide aussage treffen, welche Leistung zu erwarten ist

B) Wenn in zwei Jahren ganz andere Spiele gespielt werden, dann können die 720P Benches von heute
überhaupt keine Aussage treffen, da die Spiele evtl. noch nicht mal veröffentlicht sind. Und niemand
kann heute mit Sicherheit sagen, wie künftige Spiele mit der Kernanzahl/Latenz/Speichertaktung etc.
skalieren werden.


Was ich ein bisschen schwach finde, ist, dass sich nach 700 Kommentaren noch niemand von Computerbase inhaltlich zu dem Test geäußert oder ein Update publiziert hat. Ich, als langjähriger Leser, erwarte hier kurzfristig eine Stellungnahme und eine Erklärung der Ergebnisse. Außerdem finde auch ich, dass die Savegames und die detaillierte Systembeschreibung in einem solchen Test nicht fehlen dürfen, wenn man als Redaktion halbwegs wissenschaftlich arbeiten und sich nicht den Unmut der halben Community zuziehen will.

Edit: Update wurde publiziert, allerdings wurde inhaltlich nicht wirklich auf die sich ergebenden Fragestellungen eingegangen und im Bericht auch nicht ersichtlich gemacht, dass dieser ein Update erfahren hat.

 

[xexex]

Trotzdem verleitet es viele Leser dazu, anzunehmen, dass AMD generell 30% langsamer in Spielen ist als Intel.

Es haben ja nicht speziell die AMD CPUs schlecht abgeschnitten, sondern grundsätzlich die CPUs mit langsameren maximalen Taktraten.

Ich stimme dir allerdings voll und ganz zu, dass gut 70% des Threads nicht notwendig wären, hätte man wie bei anderen Magazinen üblich die Leistungsdaten der Testsysteme bekanntgegeben.

 

[duskstalker]

der taktunterschied zwischen stock 2700x und stock 8700k liegt bei 10% für single core und 5% für multicore.

 

[.Sentinel.]

@Joaenna
Das hier verpasst? -> https://www.computerbase.de/forum/t...ergebnisse-waren-falsch.1825920/post-21758175

Ich kann es nur nochmal wiederholen. Der der tiefer gräbt und sich der ganzen Materie mal ausführlich widmet wird verstehen, dass diese Ergebnisse möglich sein können.

Ich denke es behauptet niemand (auch der Autor des Artikels nicht), dass da nicht bei irgendeinem der 1000 Hebelchen, die man stellen kann ein Fehler ist.

Es ist eine out of the box Betrachtung des derzeitigen Standes. Da kann man nicht viel falsch machen.
Board auspacken, BIOS reset, BIOS Flash, Windows 10 Referenzinstallation starten, alle Updates einspielen.

Neueste Treiber drauf -> Testen -> Fertig
Das wird ja auch immer betont.

Jetzt nehmen wir mal an, dass alles mit rechten Dingen zugegangen ist. Was hat das dann letztenendes für Konsequenzen auf das Verhalten des Prozessors, den man verbaut hat?

Genau garkeine. Der Beweis für den Einfluss der Architektur könnte zukünftig zwangsweise erbracht werden und zwar, wenn AMD mit der nächsten Generation die IPC und den Takt von Intel hält.

Sollten sie dann in den RAM- Cachelatenzen immernoch auf ähnlichem Niveau sein, wird der Spieler feststellen dass trotz vermeintlichem Gleichstandes in Takt und Gesamtleistung dennoch eine Spieleschwäche bestehen bleibt.

Als Praxisbeispiel kann ich da den Skylake-X aus eigenem Hause anführen, der trotz gleicher IPC und Takt und Kernanzahl in Sachen Spielen nicht mithalten kann.

In manchen Disziplinen ist die Consumer Skylake, Kabylake und Coffe Lake durch das Ringbus- Design inkl. deren niedrigen Latenzen und hohen Taktraten einfach DEUTLICH überlegen.

Testbar, reproduzierbar in realen Gegebenheiten. Der Superposition Benchmark hat eine Game- Engine im Hintergrund, die Techniken benutzt, wie sie heutzutage üblich sind.
Ist also auch kein allzu praxisfremdes Szenario.

Ein synthetischer Test wäre 3d Marks api overhead test. Der zeigt ähnlich "erschütternde" Ergebnisse.

Grüße
Zero

 

[Iscaran]

@Superposition und seine Aussagekraft halte ich für gering es sei denn einer kann mir mal erklären wie der Benchmark skalieren soll. Er scheint weder linear mit GPU noch mit CPU Takt noch sonstwas zu skalieren.

Also was auch immer Superposition misst - ich weiss es nicht. Und wie die Score berechnet wird ist auch Voodoo:

Ich hab dann aufgehört die Daten zusammeln nach diesen paar Beispielen in denen nicht annähernd irgendein Trend ersichtlich war.

Cinebench 15 ist wenigstens skalierbar und erklärbar und verhält sich bei gleichen Daten auch konsistent und näherungsweise linear. Superposition ist dahingehend ein Witz.

 

[Joaenna]

Edit: Update habe ich tatsächlich verpasst. Allerdings kann ich im Bericht selbst nicht sehen, dass der Bericht zwischenzeitlich upgedated wurde. Bin ich blind oder steht das nur in den Kommentaren?

 

[aivazi]

Was ich ein bisschen schwach finde, ist, dass sich nach 700 Kommentaren noch niemand von Computerbase inhaltlich zu dem Test geäußert oder ein Update publiziert hat. Ich, als langjähriger Leser, erwarte hier kurzfristig eine Stellungnahme und eine Erklärung der Ergebnisse. Außerdem finde auch ich, dass die Savegames und die detaillierte Systembeschreibung in einem solchen Test nicht fehlen dürfen, wenn man als Redaktion halbwegs wissenschaftlich arbeiten und sich nicht den Unmut der halben Community zuziehen will.

Was ist echt cool finde, ist dass Absolut niemand von der Redaktion eine Stellungnahme zum System nimmt.
Irgendeine Bios Einstellung ist vermurkst und der Komplette Test Banane, das hätte eigentlich bei den ersten zwei bis drei Testläufen auffallen müssen... und nicht erst am Ende des Testes nachdem die User hier Amok laufen.

Alleine dass der 8400 in den Framtimes fast 10% besser als der 2700X geworden ist hätte zu nachdenken geben müssen.
Energiesparprofil oder Bios Einstellungen, irgendwas drückt die Leistung des 2700X um ~15%.
Der Basistakt des Ryzen ist bei 3,7 GHz, die Differenz zum Singlecoreboost, der sich bei ~4,15 GHz einpendelt ist ist so etwa bei 450 MHz Prozentual sind das ~12%. Alleine das würde soviel erklären und eventuell die Tatsache, dass der Speicher mit 2666 MHz statt 2933 MHz lief. Voila werden aus ehemals 15% plötzlich 30%.

@Joaenna

Ne du bist nicht Blind, der Artikel hat schlicht kein Update erhalten.
sonst wäre er auch im Ticker aufgerutscht... ein Schelm wer böses denkt.

 

[t3chn0]

Der 8700K wird erst richtig brutal wenn man ans OC geht. Nahezu jeder macht 4.8Ghz Allcore mit und noch relativ viele 5Ghz, auch ohne Delid. Das in Kombination mit 3600+ Speicher mit scharfen Timings und der 8700K ist nochmals deutlich schneller als hier im Test, das vergessen aber viele.

 

[DonL_]

Es ist eine out of the box Betrachtung des derzeitigen Standes. Da kann man nicht viel falsch machen.
Board auspacken, BIOS reset, BIOS Flash, Windows 10 Referenzinstallation starten, alle Updates einspielen.

Neueste Treiber drauf -> Testen -> Fertig
Das wird ja auch immer betont.

Das ist doch völliger Quark, die Testsysteme stehen da seit einem halben Jahr rum und wurden für zig andere Artikel verwendet, als wenn CB für jeden Test eine neue CPU, Maiboard und RAM auspackt!
Die Systeme werden ständig aktualisiert und wurden schon zigmal für andere Benchmarks genutzt, die völlig andere Ergebnisse ausgespuckt haben!

 

[sTOrM41]

kann es vllt sein das man es bei nvidia geschafft hat mit den aktuelleren treibern die performance im cpu-limit weiter zu erhöhen?

mir ist grade in pubg zb mal aufgefallen das meine kombination aus i7 8700 und gtx 1080 im cpu-limit mal eben über 200fps raus pustet,
als ich da zuletzt vor einem halben jahr mal drauf geachtet hatte waren es so etwa 140.

 

[Iscaran]

@Joaenna
Steht nur im Kommentar - wobei ich glaube das CB die Werte im Test sogar unverändert gelassen hat ?

Ist immer noch fragwürdig wie eine CPU mit 10% mehr Takt Single Core und gerade mal 5% mehr Multicore Takt auf bis zu 30% avg FPS differenz in Games kommen soll.

Die IPC ist bekanntlich eher ziemlich gleich mittlerweile - und mit den Meltdown/Spectre Fixes eher noch gesunken Intel-seitig.

RAM-Effekt ? Glaube ich nicht - es sind zwar keine Angaben im Text aber man könnte annehmen dass CB mit den Stock clocks der CPU Memory controller gebenched hat (da ja hier in dem Test irgendwie alles "stock" war ?)

Das wären dann 2666@Intel und 2933@AMD ?
(das wären die Stock clocks der spezifizierten RAMs gemäß CPU Memory controller)
https://ark.intel.com/de/products/126684/Intel-Core-i7-8700K-Processor-12M-Cache-up-to-4_70-GHz
https://en.wikichip.org/wiki/amd/ryzen_7/2700x

Evtl. hat man ja auch bei beiden 2666er Dual-Rank genommen, wäre wohl am einfachsten.

Damit sollte man quasi kaum mehr als 10% differenzen in den Avg FPS im CPU-Limit sehen - ES SEI DENN hier stimmt was nicht....

Q.E.D.

 

[Krautmaster]

@Iscaran

was is das für den Rechnung du da anstellst? Schau doch einfach was für nen Score bei welcher CPU bei rumkommt + wie der über Ram skaliert.
GPU kannst du alles über 1060er Niveau quasi ignorieren. Auflösung 720p. Was passt nicht?

GPU Util kannste auch ignorieren.

 

[Iscaran]

@Krautmaster: Dann rechne mal vor was du meinst ? Was skaliert denn an dem Score irgendwie sinnvoll mit der CPU (bei gleichen GPUs mal) ?

Ich sehs nicht wirklich.
EDIT: In dem Bild sind nur ein paar Dinge die ich versucht habe um noch irgendwie Sinn reinzubekommen - aber das passt irgendwie halt einfach so gar nicht.

 

[.Sentinel.]

Das ist doch völliger Quark, die Testsysteme stehen da seit einem halben Jahr rum und wurden für zig andere Artikel verwendet, als wenn CB für jeden Test eine neue CPU, Maiboard und RAM auspackt!
Die Systeme werden ständig aktualisiert und wurden schon zigmal für andere Benchmarks genutzt, die völlig andere Ergebnisse ausgespuckt haben!

Ich meinte mit Board auspacken- Vormontiertes Board auf den Testbench. So läuft das bei uns- Entschuldige die lapidare Ausdrucksweise.

 

[xexex]

Also was auch immer Superposition misst - ich weiss es nicht. Und wie die Score berechnet wird ist auch Voodoo:

Das Problem ist ein anderer, denn du allerdings bei deiner Datensammlung (danke schon mal dafür) nicht sehen kannst. Die aufgeführten Werte sind unvollständig und nicht korrekt!

Meine CPU macht 4,7Ghz auf allen Kernen, dies ist allerdings aus diesem Bild nicht ansatzweise ersichtlich. Auch die Speichergeschwindigkeit lässt sich hier nicht ermitteln, bei meinem Rechner läuft ein vergleichsweise langsamer Kingston Fury DDR4-3200 Speicher.

Alle Werte übrigens ohne jegliches weltbewegendes OC und mit Standardspannungen, die CPU läuft mit 5Ghz <= 3C und 4,7Ghz >3C.

 

[Iscaran]

@xexex: Ja OK - wenn nicht mal die Angaben insoweit richtig sind...was stimmt dann ?

EDIT: Ich geh jetzt sicher nicht her und schreibe jeden einzeln an mir alle Systeminfos zu geben...das soll jemand anders machen. So oder so habe ich das starke Gefühl das der Superposition nur schlecht skaliert mit irgendwelchen sinnvollen Hardwareparameter.

Was auch immer der Testet.

 

[Sleight88]

Sorry, aber die Realität ist eher, dass etwa 95% aller User mit Monitoren unterwegs sind die maximal 60Hz packen und Grafikkarten ala NVidia 1060 oder schwächer. Oft sind die Rechner auch noch mit 8 Gig Ram ausgestattet. Bei den meisten Usern ist die CPU der am wenigsten limitierende Faktor, man siehts ja auch an den typischen Kaufhaus Gaming PCs. Meist eine Mörder CPU und dann wird an allen anderen Ecken gespart.

60 hz in 2018 lol. Kann man gleich konsole spielen.

 

[IXI_HADES_IXI]

Im Superposition ist eher Singlethreadleistung enorm von Vorteil. Da ist Ryzen deutlich langsamer. Das spiegelt sich auch im Cinebench (1 Kern-Test) wieder und in vielen Games kommt es vor allem im CPU-Limit auf so etwas an. Enorm viele Kerne helfen da einfach oft nicht weiter.

In Anwendungen dreht sich das Blatt dann, da ja hier die 2 Kerne optimal mit ausgelastet werden können. Das ist eben in Games nicht immer der Fall und daher ist hier Ryzen einfach teilweise deutlich langsamer, vor allem wenn man eben im CPU-Limit testet.

Superposition ist ja nicht der einzige Benchmark in dem sich das wieder spiegelt. Auch im 3D Mark im kombinierten Test kann sich Ryzen eben nicht so gut in Szene setzen wie Intel.

 

[Sleight88]

Es ist exakt der gleiche Test wie jeder andere CPU Test auch, im absoluten CPU Limit war auch der Releasetest des 2700X.

Welchen großen Taktunterschied siehst du denn? Der Taktunterschied zwischen 8700K und 2700X beträgt im Allcore, der ja bei den Spielen anliegt, gerade mal 7%(4,3GHz zu 4GHz). Dazu kommen noch die besseren Latenzen von Intel und die +11% aus dem 2700X Test machen völlig Sinn. +26% hingegen überhaupt nicht.

Vielleicht haben die aus versehen ihren 5ghz intel eingebaut.