Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch

[aivazi]

@aivazi
ich weiß noch nicht so ganz was ich von dem Kerl und Post da halten soll. Fände es gut wenn da was kommt, aber das is bei CB idR eher "sparsam". Leider. Ich mein man müsste ja schon eher hingehen und auch nen Vermerk dalassen dass nachgebessert wird bevor irgend jemand dann da iwas bei der Konkurrenz ins Forum postet.

Wüsste ich wer das war würde ich ihn kicken. Zumindest ordendlich rüffeln.

Ja klar sollte man das hier auf CB auch vermerken... aber seit gestern hab ich ein ziemlich negatives Bild von der Redaktion hier. Und das überrascht mich um ehrlich zu sein auch gar nicht mehr. Zumindest ein Statement und keine still und heimlich eingepflegten Updates mit neuen Treiber hätte man hinterlassen können.
Das hat definitiv keinen guten Eindruck bei mir Hinterlassen.

Ebenso wird hier seit WOCHEN nach den Grafikeinstellungen für den WOW Test für den Stromverbrauch der Grafikkarten nachgehackt, aber die Redaktion hat scheinbar kein Interesse an Transparenz und Vergleichbarkeit..

Das ist schon ziemlich Fad.....

Im besten Fall hätte man den Artikel Offline genommen und ein Vermerk hinterlassen, dass man diesen überarbeitet. Schließlich ist das hier im wahrsten Sinne des Wortes als falsch Nachricht abzustempeln mit fehlerhafter Information mit einem Fehlerhaften Testsystem.... Aber das hätte der Redaktion eigentlich auffallen müssen. Man hat den Eindruck, dass sie trotz der Diskrepanz zum vorherigen Artikel diesen einfach veröffentlichen wollten, bevor nachgeprüft wird ob dass nicht unrealistisch ist was sie da getestet haben.
Hat was von Clickbait aktuell.

 

[Krautmaster]

vermutlich lief es einfach so:

Liebes Team. Wir veröffentlichen desaströse 1080p AMD Gaming Werte im Test , warten bis der Kurs nachgibt. Dann kaufen wir am Tiefpunkt massig AMD Aktien um dann die Killer Meldung "Bios Fehler, schneller als 8700K" rauszuhauen.

Ne, Flax beiseite. Ich vermisse etwas die kreative Ader in den Tests. Mir is das aktuell etwas zu stumpf - von der fehlenden Transparenz mal abgesehen. Und ja, ich finde CB könnte da deutlich "agiler" auf Kritik reagieren, schneller vermerken, nachbessern, auch mal in den sauren Apfel beißen und nen Test off nehmen. Imho hat man dann 2 mal den "wohoo, neuer Test" Effekt.. was auch was hat...

 

[Kobura]

Oh, habe jetzt erst gesehen, dass 520x520 bei Superposition das Minimum ist. Habe mal nen OC Run mit der Fury auf 1100MHz auf 520x520 gemacht und kratze jetzt mit meinem 1800X auf 4,05GHz an der 25k Grenze.



Edit: Taktbereinigt ist ein 35,6k Punkte 5,2GHz 8700K aus der Liste damit etwa 11,6% schneller. Was ich aufgrund der Latenzen und des IPC-Vorsprungs realistisch halte.

 

[Krautmaster]

noch ne kleine Ergänzung.

Etwas in Schutz nehmen muss man die Redaktion / Mod auch auch. Ich mein ich glaube man unterschätzt den Aufwand eines solchen Test direkt maßlos.

Da man eben nicht alles und jeden Fall nachprüfen kann muss man das auch ein Stückweit auf das Nötigste reduzieren:

-> man macht ein Bios Update
-> Treiber Updates
-> baut die neue HW ein

und dann verlässt man sich, verständlicherweise und wie Zero schon anmerke, zunächst darauf dass der "Standard" passt.

Wenn es nun am BIOS liegt dann hat das CB sicher auch erst vor kurzem rausgefunden, und dann gilt es natürlich auch erstmal zu schauen ob es das wirklich ist. (Vermerk wäre sicher kein Fehler)

Es wurde ja schon gesagt dass so ein Test eher einer Momentaufnahme mit hoher Varianz entspricht. Ob es nun also Bios oder Treiber oder sonstwas ist, es zeigt ja den Einfluss von sowas ohne dass man es selbst zu Hause immer nachtesten würde - oder prüft ihr eure Min Frames nach BIOS Update?

Ich denke man darf es sich da auch nicht zu einfach machen und salopp sagen "da muss doch jemand drüber schauen". Auch die CB Werte waren eher massiv und etwas verwundernd, aber ich meine da vertraut man auch erstmal seiner Methodik und verlässt sich darauf dass so etwas wie das BIOS passt. Vor allem dann wenn man den Test wiederholt und dieselben Ergebnisse bekommt.

Umso spannender was letztendlich noch rauskommen wird.

 

[DonL_]

Äh.... ich will ja nicht angeben, aber ich mache nach jedem Bios Update eine Runde Benchmark Parcours, um zu sehen was Sache ist. Ich date aber auch nicht jede Bios Version ab.

Ist habe aber auch nur eine Kiste, da macht man sich den Aufwand, ich denke du wirst nach einem Bios Update dir doch anschauen, ob du auf der sicheren Seite bist?
Außerdem muss ich nach jedem Bios Update sowieso das Bios neu konfigurieren, weil ich nur mit Defaults flashe.

 

[Heschel]

Etwas in Schutz nehmen muss man die Redaktion / Mod auch auch. Ich mein ich glaube man unterschätzt den Aufwand eines solchen Test direkt maßlos.

Wenn es nun am BIOS liegt dann hat das CB sicher auch erst vor kurzem rausgefunden, und dann gilt es natürlich auch erstmal zu schauen ob es das wirklich ist. (Vermerk wäre sicher kein Fehler)

Sicherlich - dafür müsste man aber auch endlich anfangen auch die Bios-Einstellungen zu veröffentlichen. Somit kann man auch Fehler von der Community erkannt werden. Ist auch nachvollziehbarer. Im Grunde müsste man hier die Hardware und System in tabellarischer Form aufführen (und nicht umschreiben ala "nach Herstellerangaben"). Wirkt einfach übersichtlicher.

Es wurde ja schon gesagt dass so ein Test eher einer Momentaufnahme mit hoher Varianz entspricht.

Nun der Test ist nicht nachvollziehbar und wenn noch vollkommen gegenseitige Aussagen von anderen Benchmarks kommen.........

Umso spannender was letztendlich noch rauskommen wird.

Definitiv

 

[Wirzar]

Dieses Thema ist eine Goldgrube für meine Filterliste. So viele provozierende Beiträge bzw. Einzeiler sehe ich selten.

Es geht schlichtweg darum, dass sich CBs Ergebnisse im CPU-Limit von vergleichbaren Tests diverser anderen, seriösen Hardware-Magazine unterscheiden. Dafür muss irgendeinen Grund vorliegen, denn insbesondere PCGH verkauft seine Benchmarks teilweise für bares Geld. Dementsprechend existieren irgendwelche bedeutenden Unterschiede in der Kofiguration und/oder Testmethodik. Dies sind nicht die ersten merkwürdigen Ergebnisse vom Herrn Rißka, denn ich habe das Problem hier schon mal - leider erfolglos - angesprochen.

Für mich ist das enttäuschend, da ich Computerbase bisher für einer der seriösesten Quellen hielt - vor allem kostenfrei, mit ausführlichen Tests und zusammengefasstem Vergleichsdiagramm. Aufgrund der aktuellen Umstände werde ich wohl wieder verstärkt die Ergebnisse anderer Magazine berücksichtigen müssen, bis diese Geschichte geklärt ist - denn genauere Details der Testmethodik, insbesondere den Ort im Spiel und entsprechende Spielstände, scheinen nach wie vor unbekannt.

 

[aivazi]

und dann verlässt man sich, verständlicherweise und wie Zero schon anmerke, zunächst darauf dass der "Standard" passt.

Das das Standard Bios passen soll ist eigentlich fahrlässig.
Seit Intel die Coffee Lakes rausgehauen hat, sollte man besonders einen Blick aufs Bios werfen, die Auto OC Funktionen die da tw. ab Werk aktiv sind um die FPS und Leistung zum Nachteil des Verbrauches zu maximieren wurde da teils radikal missbraucht und sind auch nicht direkt aufgefallen, erst bei genauerem Hinsehen hat sich ergeben, dass die CPUs teils mit hoher Spannung und Übertaktung mit dem Standard Bios gelaufen sind.
Bei AMD war dann wohl das XFR nicht aktiv... Da hätte ein einfacher Blick im Bios gereicht, abgesehen davon, dass der Speicher eh nicht nach dem einbauen mit der spezifizierten Frequenz läuft. Im besten Fall läuft der mit 2133 oder 2666 außer man stellt in händisch auf die Frequenz für die AMD den Ryzen 2 freigibt.

Aber das sich nach den ersten paar Testläufen sich der Tester nicht gewundert hat, warum die Werte von den EIGENEN vorherigen Werten so stark abweichen ist mir ein Rätsel. Das ist schon leicht fahrlässig das als Objektive Partei nicht zu hinterfragen.

Das ist schon ärgerlich, dass der Komplette Testlauf hier fürn Popo ist, das hätte aber definitiv dem Tester auffallen müssen und nicht erst den Leuten im Forum, alleine als ich die erste Tabelle mit den Werten für Assasins Creed Origins gesehen hab, wusste ich direkt, dass etwas nicht stimmen kann..

 

[McFly76]

oder prüft ihr eure Min Frames nach BIOS Update?

Also da muss ich gestehen, dass ich so penibel bin und die Gesamtleistung der PC's nach jedem BIOS, Treiber oder Windows Update komplett mit dem gespeicherten Protokoll für 3D, 2D, Rendertest, Latenzmessung, Stromverbrauch, Frametimes, Datendurchsatz von HDD / SSD / NVMe etc. vergleiche.
So etwas fällt in vielen Tests oder wird gar nicht mehr berücksichtigt, man braucht dazu auch Zeit und geduld.
Der Detailgrad in den Reviews hat leider mit den Jahren stark nachgelassen und die Zahl der Medien welche für mich noch von Bedeutung sind, sinkt weiter.
Aber mein täglicher Besuch auf CB ist und bleibt seit der Gründung, unverändert.

 

[HaZweiOh]

da ich Computerbase bisher für eine der seriösesten Quellen hielt

Na komm, meinst Du das wirklich ernst? Nach vielen reißerischen Überschriften, der ausbleibenden Korrektur von Fehlern, dem "traditionell" intransparenten Testaufbau (trotz viel Kritik daran!) und tendenziösen Einschlägen (gerade im CPU-Sektor) kann man das nicht mehr "seriös" nennen. Ich wünsche mir ja wirklich, dass sich was ändern würde, verliere aber mit jedem Ausreißer den Glauben daran.

Es fällt auch sprachlich auf, dass ein Golem-Artikel sachlicher klingt (und mehr Infos enthält) als ein ComputerBase-Artikel. Sowas wie HDMI 2.1 bei Raven Ridge hat man hier immer noch nicht lesen können.

alleine als ich die erste Tabelle mit den Werten für Assasins Creed Origins gesehen hab, wusste ich direkt, dass etwas nicht stimmen kann..

Ja, das denke ich auch.

 

[nospherato]

@Krautmaster
Ich würde mal behaupten, das selbst von den Leuten die hier unterwegs sind 30% das Bios gar nicht updaten.
(Und das CB Forum ist schließlich bereits eher IT spezifisch und ist ja nur ein Tropfen auf dem heißen Stein bezogen auf alle IT Nutzer)

Bei den anderen, besonders denen die viel OC betreiben, denke ich schon, dass hier die ein oder andere Prüfung erfolgt, ob nun mit Spielen oder synthetischen Benchmarks.

Ich frage mich bei dem hwluxx Post das gleiche wie die dortigen Poster:
Woher hat der User diese Information? Sicher ja nicht von hier...

Aber gut, wäre ja nicht das erste Mal, dass bei einer Bios Version ein Fehler drin wäre und hier ggfs. schlichtweg z.B. pbo nicht aktiv war (war da nicht sogar beim Ryzen1 launch irgendwo das schonmal?).

Warten wir mal ab, ob da noch etwas kommt oder nicht. Klar könnte die Transparenz hier bei dem ein oder anderen Artikel etwas besser sein, aber Leute:
Die Menschen, die diese Tests durchführen sind genau das: Auch nur Menschen!
Es ist schön diskutiert man hier das Thema sachlich, aber die teilweise fast schon anfeindenden Posts gegenüber dem Tester müssen echt nicht sein!

 

[Krautmaster]

Na komm, das meinst Du nicht ernst, oder? Nach den vielen reißerischen Überschriften, tendenziösen Einschlägen, gerade im CPU-Sektor, der ausbleibenden Korrektur von Fehlern und dem "traditionell" intransparenten Testaufbau (trotz der vielen Kritik) kann man das nicht mehr "seriös" nennen. Ich wünsche mir ja wirklich, dass sich was ändern würde, verliere aber mit jedem Ausreißer den Glauben daran.

in quasi jedem Post den ich in diesem Forum von dir lese gehts doch eig. genau darum wie shitty und parteiisch hier alles ist, weshalb ich mich oft frage wieso du dann überhaupt auf CB aktiv bist

Ergänzung (28. September 2018)

@aivazi

das mit dem Auto OC, XFR usw mag alles stimmen - genau deshalb ist so ein Test auch nur ein Abzug des "Defaults" beider Systeme wie dann hoffentlich mal detaillierter im den Testsettings angegeben. (deswegen nutzt man im Idealfall etwa die gleichen Boards vom selben Hersteller derselben Klasse)

Wenn man da nun anfängt alles mögliche im BIOS umzustellen ist die Frage wo man anfängt und aufhört.

Begrenzt man die TDP bei Long Power Duration? Was macht man mit Optionen wie SpeedShift? XMP? usw...
Das ist zb auch oft im Standard "off".

Wieso sollte XFR2 im Bios Default aus sein? Wäre das nicht dämlich von AMD oder dem OEM? Oder hat es ggf seinen Grund?

Wenn wirklich eine Einstellung ein eklatanten Einfluss hat und wissentlich alle anderen Boards diese auch im Default aktiv haben, dann spricht natürlich nichts dagegen hier manuell einzugreifen. Ansonsten verlässt man sich eben auf den Default.

 

[Flynn82]

Ja die Sache mit dem default ist so eine Sache.
Ich hatte vor dem C7H das X470 Strix-F. Alleine wenn man die beiden Boards nimmt wäre da schon ein Unterschied.
Beim Strix-F mit den Standardeinstellungen bekommt man schon den Performance Enhancer Level 2 eingestellt. Dadurch wird ja der Boost etwas länger gehalten bei MC Anwendungen. Und das versteckt sich da gemeinerweise bereits hinter dem Auto Setting.
Ist beim C7H nicht so...

Falls es aber tatsächlich einen Fehler gegeben und der am UEFI gelegen haben sollte, dann unterstelle ich CB hier keine Schlamperei. Möglicherweise gab es ja auch einen Bug oder eine Änderung in einer neuen Version.
Wir werden's wohl nie erfahren (hab ich das Gefühl)...

 

[Taxxor]

Falls es aber tatsächlich einen Fehler gegeben und der am UEFI gelegen haben sollte, dann unterstelle ich CB hier keine Schlamperei. Möglicherweise gab es ja auch einen Bug oder eine Änderung in einer neuen Version.
Wir werden's wohl nie erfahren (hab ich das Gefühl)...

Wenn so ein Fehler Einfluss auf die Taktraten gehabt hat, hätte es aber auffallen müssen, in einem CPU Limit Test schaut man sich doch die Taktraten an und sollte merken, wenn diese weit unter dem liegen was die CPU sonst so in den Tests hatte

 

[ZeroCoolRiddler]

Wieso sollte XFR2 im Bios Default aus sein? Wäre das nicht dämlich von AMD oder dem OEM? Oder hat es ggf seinen Grund?

Das Problem liegt etwas anders. XFR ist per default aktiv. Im Bios findet man dies meist unter der Bezeichnung "Core Performance Boost". Dummerweise klingt die Auto OC Funktion bei Intel ähnlich, und der (un)versierte Redakteur schaltet dies dann natürlich ab. Ist zum Release von Ryzen bei mehreren Fachmagazinen vorgekommen, und da gab es erstaunlicherweise ähnlich grosse Abstände zu Intel wie in diesem Test...

 

[Krautmaster]

Vielleicht liegts ja auch an was anderem als XFR und Taktrate, sonst dürften die 2 AMD kaum so weit voneinander liegen.

 

[ZeroCoolRiddler]

2C/4T und 100MHz weniger Basistakt. Im Schnitt 7% Unterschied.

 

[Heschel]

Warten wir mal ab, ob da noch etwas kommt oder nicht. Klar könnte die Transparenz hier bei dem ein oder anderen Artikel etwas besser sein, aber Leute:
Die Menschen, die diese Tests durchführen sind genau das: Auch nur Menschen!

Sicherlich, aber ein Test muss transparent, nachvollziehbar und reproduzierbar sein.

Alleine schon ein Laie würde hier bei der Systemaufstellung vor der Wand stehen.
Wenn das CB-Team spätere CPUs testet und die selben Spielstände, etc. nutzt (oder Leser liest), wäre es auch vom Vorteil gleich alle Daten zu haben (und nicht erst Stundenlang die Spez zu vergleichen - geschweige den, was für Savegames verwendet wurden).

1. Im Artikel werden die Spezs in den Text eingebunden - wobei einfache tabellarische Form die Übersicht sehr erleichtern würde.
2. Die Testszenarien werden nicht genannt - und die Savegames haben keine eigene spezielle Bezeichnung. Somit kann man spätere Tests auch nicht miteinnander vergleichen bzw. ältere Tests aktualisieren. Alleine schon, dass die Testszenarien nicht erklärt werden ist Mist.

Auch wenn wir nur Menschen sind, ist Ordnung und Organisation beim Arbeiten das A und O. Das gilt für Programmierer, wie auch für Produktionshelfer. Alles andere führt nur zur Verzögerungen bei Arbeitsabläufen.

 

[w0mbat]

ComputerBase hat sowieso seit einiger Zeit Defizite bei der Transparenz. Bei den ganzen Tests muss man sich immer mühsam zusammen suchen, wie genau jetzt das Testsystem aussieht. Da gibt es dann irgendwelche "So testet CB" Artikel, die aber alle schon alt sind.

Ich fände es gut wenn vor jedem Benchmark nochmal kurz zusammen gefasst wird wie das System aussah. Mainboard mit BIOS-Version, CPU und Kühler, RAM, SSD, welche Windows Version und welche Treiber.

Kein großer Aufwand, würde aber sehr viel helfe.

 

[Wadenbeisser]

Nice 2 know aber solange man nicht im CPU Limit spielt (ich fordere meine Graka..) ist der Nutzen eher eingeschränkt. Könnt ihr aber mal einen anderen Faktor untersuchen der mitr bei dem einen oder anderen Test schonmal unter gekommen ist?

Die Skalierung der CPU Last mit der Auflösung denn hier scheint es nach einigen Tests Unterschiede zu geben.

Die Radeons ließen höhere Auflösungen eher kalt, da änderte sich an der CPU Last recht wenig. Bei den Geforce Karten stieg allerdings mit der Auflösung auch die CPU Last.