Bericht CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch
- Ersteller Volker
- Erstellt am
- Zum Bericht: CPUs von AMD & Intel im Test: Unsere Testergebnisse waren falsch
.Sentinel.
Admiral
- Registriert
- Okt. 2007
- Beiträge
- 8.628
@HaZweiOh
Wo übertreibe ich denn?
Für den Bereich Technik sollten wir uns ja alle einig sein, dass das die zusätzlichen Daten wären, die man bräuchte um einen Test sauber zu dokumentieren.
Da denke ich sind wir uns einig. Es wird ja hier schließlich von allen die Transparenz bemäkelt.
Ich hab Dein Edit grade gelesen...
Sag mal- Willst Du mich eigentlich veräppeln? Welche dieser von mir aufgezählten Dinge sind denn für einen nachvollziehbaren Test nicht essenziell wichtig?
Sonst können wir uns auch noch die nächsten 100 Jahre die Köpfe einschlagen, weil Partei X mit Chipsatztreiber XY gemessen hat, der dann nachweislich in diesen und jenen Bereichen aufgrund von IRQ Problemen Ruckler verursacht.
Oder man vergesse nicht die Treiberserie von nVidia die die DPC Latenzen der Systeme in astronomische Höhen katapultiert hat.
Das mal nur so als Beispiel.
Und zur Definition Fanboy- Ich sehe das einfach so.
Nicht mehr und nicht weniger.
Wen ziehe ich womit ins Lächerliche?
Wo übertreibe ich denn?
Für den Bereich Technik sollten wir uns ja alle einig sein, dass das die zusätzlichen Daten wären, die man bräuchte um einen Test sauber zu dokumentieren.
Da denke ich sind wir uns einig. Es wird ja hier schließlich von allen die Transparenz bemäkelt.
Ich hab Dein Edit grade gelesen...
Sag mal- Willst Du mich eigentlich veräppeln? Welche dieser von mir aufgezählten Dinge sind denn für einen nachvollziehbaren Test nicht essenziell wichtig?
Sonst können wir uns auch noch die nächsten 100 Jahre die Köpfe einschlagen, weil Partei X mit Chipsatztreiber XY gemessen hat, der dann nachweislich in diesen und jenen Bereichen aufgrund von IRQ Problemen Ruckler verursacht.
Oder man vergesse nicht die Treiberserie von nVidia die die DPC Latenzen der Systeme in astronomische Höhen katapultiert hat.
Das mal nur so als Beispiel.
Und zur Definition Fanboy- Ich sehe das einfach so.
Nicht mehr und nicht weniger.
Wen ziehe ich womit ins Lächerliche?
Zuletzt bearbeitet:
Neronomicon
Captain
- Registriert
- Dez. 2009
- Beiträge
- 3.214
ZeroZerp schrieb:
Das ist nicht dein Ernst, oder? Welcher Test hat denn solche Voraussetzungen erfüllt die du verlangst? Zeig mir den mal. Und bitte ein CPU Test der mit dem vergleichbar ist.
Alleine Punkt 1-3 ...da musste ich lachen... ich habe nie Tests gesehen die das erfüllen würden.
Ich finde auch, das CB beim Speicher und Savegames das genauer angeben könnte. Damit Spekulationen nicht so viel Raum gegeben wird.
.Sentinel.
Admiral
- Registriert
- Okt. 2007
- Beiträge
- 8.628
@Neronomicon
Die bist wohl quer- eingestiegen?
Ich wurde nach meiner persönlichen Meinung gefragt, ab wann ich einen solchen Test als durchgängig nachvollziehbar und verwertbar halte, da hier jeder mit einem anderen Maß zu messen scheint.
Ein Katalog, mit dem es keinerlei Rückfragen mehr seitens der Community geben kann.
So arbeitet man wissenschaftlich.
Ich habe meine Meinung dazu dargelegt. Nichts weiter. Genau deshalb habe ich in der ersten Hälfte dieser tollen Diskussion bereits gesagt, dass wenn hier ein nachvollziehbarer und transparenter Test gefordert würde, der Aufwand zu dessen Erstellung explodieren würde.
Ich habe zudem meine Gedanken anhand von selbst erlebten Praxisbeispielen belegt.
Grüße
Zero
Die bist wohl quer- eingestiegen?
Ich wurde nach meiner persönlichen Meinung gefragt, ab wann ich einen solchen Test als durchgängig nachvollziehbar und verwertbar halte, da hier jeder mit einem anderen Maß zu messen scheint.
Ein Katalog, mit dem es keinerlei Rückfragen mehr seitens der Community geben kann.
So arbeitet man wissenschaftlich.
Ich habe meine Meinung dazu dargelegt. Nichts weiter. Genau deshalb habe ich in der ersten Hälfte dieser tollen Diskussion bereits gesagt, dass wenn hier ein nachvollziehbarer und transparenter Test gefordert würde, der Aufwand zu dessen Erstellung explodieren würde.
Ich habe zudem meine Gedanken anhand von selbst erlebten Praxisbeispielen belegt.
Grüße
Zero
Also ganz ehrlich, ich brauche keine übertrieben detaillierten Datenblätter des Testumfangs.
Auch neigt das schon sehr Richtung wissenschaftlicher Ausarbeitung was hier teils gefordert wird.
Wenn das der Anspruch an frei zugängliche Reviews ist, dann würde ich diese Arbeit einstellen wollen.
Da kommen die Redakteure wesentlich besser mit einem Youtube Video davon, wo eh 3/4 der Testumgebung nicht erwähnt wird.
Auch neigt das schon sehr Richtung wissenschaftlicher Ausarbeitung was hier teils gefordert wird.
Wenn das der Anspruch an frei zugängliche Reviews ist, dann würde ich diese Arbeit einstellen wollen.
Da kommen die Redakteure wesentlich besser mit einem Youtube Video davon, wo eh 3/4 der Testumgebung nicht erwähnt wird.
DarknessFalls
Lieutenant
- Registriert
- Feb. 2008
- Beiträge
- 931
Buggi85 schrieb:
...Benennung der Testszene und genaues Aufschlüsseln der verwendeten Systeme sind also eine wissenschaftliche Ausarbeitung und übertrieben detailliert? Für mich sind das Basics.
Du kannst es auch Thesis nennen in dem Kontext, weil man ja offensichtlich hinterfragen muss woher diese Abstände kommen.DarknessFalls schrieb:
Aber was genau erwartet man wenn man all diese Informationen über das exakte System erhält? Kauft man das dann nach und testet gegen?
CPU, RAM, Mainboard, GPU sollten ausreichen. Getestete Spiele und Szene ja okay. Aber doch nicht die vollständigen Eckdaten jeder Softwarerevision und eingestellte Parameter.
Ich will anhand eines Tests erfahren wo wir uns in etwa bewegen.
DarknessFalls
Lieutenant
- Registriert
- Feb. 2008
- Beiträge
- 931
CPU mit Takt, RAM mit Takt / Latenzen (ggfs), Board, GPU, korrekt. Mehr wurde hier IMHO nie verlangt. Und von mehr als den konkreten Spieleszenen spricht doch auch niemand.
Aber eben diese Basics lässt CB schlichtweg vermissen, was nicht unerheblich zum Umfang dieses Threads beiträgt.
Aber eben diese Basics lässt CB schlichtweg vermissen, was nicht unerheblich zum Umfang dieses Threads beiträgt.
.Sentinel.
Admiral
- Registriert
- Okt. 2007
- Beiträge
- 8.628
@HaZweiOh
Das ist eben keine Übertreibung- Ich habe Dir auch zwei Praxis- Beispiele genannt, die das Ergebnis erheblich verfälschen können (Treiberversionen).
Wenn Du das nicht einsehen willst, dass man alle Schwachstellen ausmerzen sollte, damit ein Test für sich bestand haben kann, dann verstehe ich hier die ganze Diskussion nicht.
Man soll zwar mehr Dinge angeben, aber dann andere Dinge die großen Einfluss haben können plötzlich doch nicht mehr? Entscheidet Euch mal!
Hätten wir die Daten, die in meiner Liste stehen, gäbe es hier die Diskussion nicht und der Fehler, wenn es ihn gäbe, wäre schnell gefunden.
Es ist auch kein Hexenwerk, die Daten als Spoiler- XML auf die Testseite zu stellen. Denjenigen, dens Interessiert kann die dann aufklappen. Der andere liest drüber hinweg.
Die Daten sind zudem alle über eine Systemscansoftware wie z.B. Aida zu generieren (sogar per HTML inkl. Navigation) - Dauert vielleicht 5 Minuten.
Da hätte man auch gleich die Standardbenchmarks mit integriert, so dass man auf den ersten Blick annomalien in Sachen Leistung eines Systems sofort entdecken könnte.
Man sähe die Energiespareinstellungen, Treiberversionen, geladene Module etc... Eigentlich fast alles, was in meiner Liste steht.
Sogar die Nebentimings, die beim RAM am meisten Gewicht hätten sind aufgeführt. Den Rest könnte man über Memtweakit nachtragen.
Doch.... Wo fängt man an, wo hört man auf. Das war genau die Frage, die ich in der Mitte des Threads schon einmal gestellt habe.
-Man könnte ein externes Videograbbing eines Testruns mit Frametimemessung integrieren.
-Man könnte dazuschreiben, wieviele Iterationen eines Benches durchgeführt wurden, um die Werte zu Mitteln.
...und...und...und...
Nach dem Geschrei hier, den Forderungen und Anschuldigungen dann meine (konstruktiven) Vorschläge hier ins Lächerliche zu ziehen, ist wirklich ein starkes Stück... Ihr seid doch diejenigen, die Aufklärung und Transparenz gefordert haben.
Ich habe betont, dass der Test so für sich schon stehen kann und man einfach davon ausgehen sollte, dass das dann schon alles seine Richtigkeit hat. Der Volker macht nicht erst seit einem Monat derlei Tests.
Und jetzt kommt von Euch auf einmal eine 180 Grad Wende? Doch alles nicht mehr so wichtig.
Es hätten nur ein par mehr Daten sein sollen?
Grüße
Zero
Genau- Dann bleiben ja nur X andere Stellgrößen übrig, die man nicht einsehen kann und es wird wieder "Betrug" und "glaub ich nicht!" geschimpft, weil man sich auf was anderes stürzt.
Ihr würdet also mit der Forderung von ein par Zusatzinformationen genau nichts ändern. Und auch diese Situation, wie die hier, wäre wieder genau die gleiche.
Wenn schon denn schon...
Ich habe ja oben einen praktikablen Vorschlag gebracht, der niemandem sonderlich wehtun sollte und auch nicht allzuviel Zusatzzeit beim Testen generiert.
Das ist eben keine Übertreibung- Ich habe Dir auch zwei Praxis- Beispiele genannt, die das Ergebnis erheblich verfälschen können (Treiberversionen).
Wenn Du das nicht einsehen willst, dass man alle Schwachstellen ausmerzen sollte, damit ein Test für sich bestand haben kann, dann verstehe ich hier die ganze Diskussion nicht.
Man soll zwar mehr Dinge angeben, aber dann andere Dinge die großen Einfluss haben können plötzlich doch nicht mehr? Entscheidet Euch mal!
Hätten wir die Daten, die in meiner Liste stehen, gäbe es hier die Diskussion nicht und der Fehler, wenn es ihn gäbe, wäre schnell gefunden.
Es ist auch kein Hexenwerk, die Daten als Spoiler- XML auf die Testseite zu stellen. Denjenigen, dens Interessiert kann die dann aufklappen. Der andere liest drüber hinweg.
Die Daten sind zudem alle über eine Systemscansoftware wie z.B. Aida zu generieren (sogar per HTML inkl. Navigation) - Dauert vielleicht 5 Minuten.
Da hätte man auch gleich die Standardbenchmarks mit integriert, so dass man auf den ersten Blick annomalien in Sachen Leistung eines Systems sofort entdecken könnte.
Man sähe die Energiespareinstellungen, Treiberversionen, geladene Module etc... Eigentlich fast alles, was in meiner Liste steht.
Sogar die Nebentimings, die beim RAM am meisten Gewicht hätten sind aufgeführt. Den Rest könnte man über Memtweakit nachtragen.
Doch.... Wo fängt man an, wo hört man auf. Das war genau die Frage, die ich in der Mitte des Threads schon einmal gestellt habe.
-Man könnte ein externes Videograbbing eines Testruns mit Frametimemessung integrieren.
-Man könnte dazuschreiben, wieviele Iterationen eines Benches durchgeführt wurden, um die Werte zu Mitteln.
...und...und...und...
Nach dem Geschrei hier, den Forderungen und Anschuldigungen dann meine (konstruktiven) Vorschläge hier ins Lächerliche zu ziehen, ist wirklich ein starkes Stück... Ihr seid doch diejenigen, die Aufklärung und Transparenz gefordert haben.
Ich habe betont, dass der Test so für sich schon stehen kann und man einfach davon ausgehen sollte, dass das dann schon alles seine Richtigkeit hat. Der Volker macht nicht erst seit einem Monat derlei Tests.
Und jetzt kommt von Euch auf einmal eine 180 Grad Wende? Doch alles nicht mehr so wichtig.
Es hätten nur ein par mehr Daten sein sollen?
Grüße
Zero
Ergänzung ()
DarknessFalls schrieb:
Genau- Dann bleiben ja nur X andere Stellgrößen übrig, die man nicht einsehen kann und es wird wieder "Betrug" und "glaub ich nicht!" geschimpft, weil man sich auf was anderes stürzt.
Ihr würdet also mit der Forderung von ein par Zusatzinformationen genau nichts ändern. Und auch diese Situation, wie die hier, wäre wieder genau die gleiche.
Wenn schon denn schon...
Ich habe ja oben einen praktikablen Vorschlag gebracht, der niemandem sonderlich wehtun sollte und auch nicht allzuviel Zusatzzeit beim Testen generiert.
Zuletzt bearbeitet:
Krautmaster
Fleet Admiral
- Registriert
- Feb. 2007
- Beiträge
- 24.281
- 31189 Punkte / 289 FPS 95% CPU - i9 7980 XE @ 4,3-4,7 Ghz + 3800Mhz CL15 + GTX 980 TI
- 33285 Punkte / 301 FPS 95% CPU - i9 7980 XE @ 4,3-4,7 Ghz + 3800Mhz CL15 + GTX 980 TI (1809)
Neronomicon
Captain
- Registriert
- Dez. 2009
- Beiträge
- 3.214
Also jetzt nochmal alles neu testen, da jetzt das 1809 draußen ist? Geil.... 
.Sentinel.
Admiral
- Registriert
- Okt. 2007
- Beiträge
- 8.628
@Neronomicon
Das wäre ein sehr schönes Beispiel für all das, was ich oben angeführt habe.
Sollte die neue OS Revision aufgrund Verbesserungen des DX12- Pfades Verbesserungen oder verschlechterungen gebracht haben, sind alle bis dahin ermittelten Ergebnisse für die Tonne und man muss ab Punkt X, bei dem man mit neuem OS die Benchmarks durchführt komplett von 0 anfangen.
So wie es CB in ihrem Test gemacht haben.
Auch hilft es dort nämlich nicht, einen einmal ermittelten Faktor in die ursprünglichen Ergebnisse einfliessen zu lassen (wir pimpen die alten Zahlen z.B. mit einem Durchschnittswert aus einem Parcours von 20 Spielen).
Das bleibt dann einfach falsch und der Korrekturfaktor wird sich von Spiel zu Spiel erheblich unterscheiden.
Und dann erzählt mir oben irgendjemand, dass man es nicht übertreiben müsse und so etwas wie die Nennung der Versionsnummern der genannten Softwarepakete, noch wichtiger des Spiels selbst "übertrieben" wären.
Nein- Da provoziert man nur, dass der Zirkus, den wir hier erleben weitergeht...
Grüße
Zero
Das wäre ein sehr schönes Beispiel für all das, was ich oben angeführt habe.
Sollte die neue OS Revision aufgrund Verbesserungen des DX12- Pfades Verbesserungen oder verschlechterungen gebracht haben, sind alle bis dahin ermittelten Ergebnisse für die Tonne und man muss ab Punkt X, bei dem man mit neuem OS die Benchmarks durchführt komplett von 0 anfangen.
So wie es CB in ihrem Test gemacht haben.
Auch hilft es dort nämlich nicht, einen einmal ermittelten Faktor in die ursprünglichen Ergebnisse einfliessen zu lassen (wir pimpen die alten Zahlen z.B. mit einem Durchschnittswert aus einem Parcours von 20 Spielen).
Das bleibt dann einfach falsch und der Korrekturfaktor wird sich von Spiel zu Spiel erheblich unterscheiden.
Und dann erzählt mir oben irgendjemand, dass man es nicht übertreiben müsse und so etwas wie die Nennung der Versionsnummern der genannten Softwarepakete, noch wichtiger des Spiels selbst "übertrieben" wären.
Nein- Da provoziert man nur, dass der Zirkus, den wir hier erleben weitergeht...
Grüße
Zero
Ähnliche Themen
