Zukünftige CB-Testmethoden: Referenzdesign vs. Partnerkarten

[Drullo321]

Die beschriebene neue Variante ließt sich etwas kompliziert. Sofern ich die neue Variante richtig verstanden habe, bin ich dagegen bzw. wünsche mir zumindest eine Beibehaltung des bisherigen Schemas, neue Balken in den Diagrammen können aber gerne hinzugefügt werden. Wichtig ist mir vor allem, dass bei Basis-Tests, d.h. eure Launch-Tests oder Treiber-Update-Tests auf Referenz- und Nicht-OC-Werten beruhen. So kann man diese auch später besser mit neuen Generationen vergleichen.

Wie ihr dagegen in Zwischentests, z.Bsp. zu Nichtreferenzmodellen verfahrt ist mir mehr oder weniger egal. Aber seien wir mal ehrlich, der Leistungsgewinn für den 0815-Nutzer bei Grafikkarten-OC ist marginal. Was ganz was anderes war/ist es, wenn CPUs bei Basistakt von 2-3Ghz um >= 1Ghz übertaktet werden und signifikante Leistungssprünge zu sehen sind (Bsp.: Skyrim, siehe euer Test). Bei Grafikkarten hat man dann vll.t 1 mehr Min-FPS. Wollt ihr euch den Aufwand wirklich antun. Ich habe lieber übersichtlich schnell einsehbare und verständliche Tests. Zudem gerade einige Wochen nach Marktstart es meißt soviele Modelle einer Karte gibt, dass ein aussagefähiger Durchschnittswert (Leistung, Stromverbrauch, Lautstärke) kaum aufgrund von 5-6 getesteten Modellen ermittelt werden kann.

 

[DerDummePunkt]

Die Testergebnisse von Karten mit Standardtaktraten haben nach einiger Zeit, wenn OC Karten verfügbar breite Verfügbarkeit haben, nicht mehr wirklich Aussagekraft, da sie quasi nicht mehr praxisrelevant sind, soviel scheint mir offensichtlich, das zeigt schon Wolfgangs Beispiel mit der 980.
Da muss man sich also wirklich Gedanken um eine andere Testmethodik machen.

Die Idee mit einem Durchschnittswert hat Potential, aber auch viele Probleme.
Meine Fragen zu Variante 2:
Wann genau fließen OC Karten in die Betrachtung ein?
Wenn ihr ein Testmuster vom Hersteller bekommt? Wenn sie im Preisvergleich gelistet sind? Wenn sie bei einer groß genugen Anzahl von Händlern auch tatsächlich verfügbar sind? Bei wie vielen Händlern?
Meiner Meinung nach bringt es nichts, Taktraten von Modellen mit einzubeziehen, die zwar bekannt sind, zB durch eine Pressemitteilung an euch, von dem Modell aber grade mal 50 Stück den Weg in den europäischen Handel finden und die Karte somit niemand hat (das ist jetzt freilich ein extremes Beispiel, soll aber die Problematik am Entscheidungsprozess verdeutlichen, da gibt es einfach viele Unbekannte).

Weiterhin:
Man nehme an, man hätte sich auf einen Durchschnittswert festgelegt.
Mir als Leser soll dieser Durschnittswert nun helfen, die Leistung von Karten mit gewissen Taktraten X abzuschätzen.
Das kann ich aber nur, wenn sich der Leistungsgewinn eines Systems bzw einer Karte linear (oder zumindest näherungsweise linear) zur Steigerung der Taktrate verhält.
Zum Beispiel: es gibt eine ReferenzKarte mit einem Takt X, später gibt es ein OC Modell mit einem Takt von X + 20%, das Leistungsplus, dass die OC Karte erreicht, sei angenommen 10%.
Andere OC Modelle takten niedriger, ihr legt euch auf einen Durchschnittswert der Taktraten von X + 10% fest.
Hat dieses System mit einer Karte mit 10% gesteigertem Takt dann auch einen Leistungszuwachs von 5%, oder zumindest in der Nähe von 5%?

 

[Moep89]

Ich wäre auch dafür, Referenz und Maximum zu nehmen und dazwischen 1 oder 2 Karten. Durchschnittswerte halte ich hierbei für unpassend. Das ist dann nichts halbes und nichts ganzes.

Bei dem Wunsch vereinzelte "alte" Karten zum besseren Vergleich zu nehmen schließe ich mich ausdrücklich an. Vergleiche über 3 Ecken sind wirklich ein Graus. Wenn man 2-3 alte Karten (Low-End, Mittelklasse, High-End) hat kann man seine genaue Karte im alten Test ja einmal in Beziehung setzen, aber eben auf dem gleichen System, und muss über 3 Tests mit 3 verschiedenen System immer wieder halbgare Vergleiche ziehen.

 

[SP1D3RM4N]

Variante 2 klingt spitze, bitte macht das genau so. Jeder weis das es sich hierbei um einen fiktiven Wert handelt, aber er ist bei weitem aussagekräftiger als ein MAX/UBER wert einer Referenzkarte. Ich persöhnlich würde mich sehr freuen wenn es einmal so läuft!

Bei dem Wunsch vereinzelte "alte" Karten zum besseren Vergleich zu nehmen schließe ich mich ausdrücklich an. Vergleiche über 3 Ecken sind wirklich ein Graus. Wenn man 2-3 alte Karten (Low-End, Mittelklasse, High-End) hat kann man seine genaue Karte im alten Test ja einmal in Beziehung setzen, aber eben auf dem gleichen System, und muss über 3 Tests mit 3 verschiedenen System immer wieder halbgare Vergleiche ziehen.

Das kenne ich nur zu gut

 

[Wolfgang]

Zunächst einmal danke für das neue Feedback! Wer fragen zur der Methode hat dem rate ich dazu, die ersten beiden Seiten zu lesen. Dort habe ich schon einige geplante Vorgehensweisen verraten.

Falls zudem Interesse an einer ersten Fassung der "Regeln" für den Durchschnittswert besteht: Diese werde ich im Laufe der nächsten Woche fertigstellen und die Eckpunkte kann ich gerne hier posten.

Die beschriebene neue Variante ließt sich etwas kompliziert. Sofern ich die neue Variante richtig verstanden habe, bin ich dagegen bzw. wünsche mir zumindest eine Beibehaltung des bisherigen Schemas, neue Balken in den Diagrammen können aber gerne hinzugefügt werden. Wichtig ist mir vor allem, dass bei Basis-Tests, d.h. eure Launch-Tests oder Treiber-Update-Tests auf Referenz- und Nicht-OC-Werten beruhen. So kann man diese auch später besser mit neuen Generationen vergleichen.

Das Referenzdesign mit den Standard-Taktraten bleibt auf jeden Fall vorhanden! Die neue Methode wäre eine zusätzliche Information.

Wann genau fließen OC Karten in die Betrachtung ein?
Wenn ihr ein Testmuster vom Hersteller bekommt? Wenn sie im Preisvergleich gelistet sind? Wenn sie bei einer groß genugen Anzahl von Händlern auch tatsächlich verfügbar sind? Bei wie vielen Händlern?

Siehe oben. Besteht Interesse?

 

[Valeria]

Wird Zeit dass Partnerkarten-Taktraten in den Tabellen erfasst werden bei Vergleichen.

Offtopic:
Viel wichtiger finde ich aber, dass ihr bei Vergleichen von CPUs das Übertakten der K-CPUs nicht vergesst (normale Übertaktung unter Luft z.b. 4,3Ghz bei Intel), sowohl bei den Anwendungen, bei denFPS Balken als auch beim Preis-Leistungs-Graphen.
Sonst stehen die K-CPUs die die selben Taktraten haben wie die non-K nur schlecht da.

 

[Tapion3388]

Ich empfinde Variante 2 in jedem Fall als Fortschritt. Problematisch ist natürlich, dass man mit den Durchschnittswerten kein reales Modell abbildet und man die Leistungsfähigkeit konkreter Karten nur abschätzen kann. Nichtsdestotrotz ist diese Variante besser, da sie die Marktsituation berücksichtigt und damit eine bessere Einordnung der am Markt verfügbaren Leistung ermöglicht.

Ein Beispiel ist meine aktuelle GPU (HD7950). Zu Release waren die Taktraten sehr niedrig, durch Boost-Editionen und OC-Karten ist der Referenztakt am Markt praktisch nicht vorhanden, ein Durchschnittswert über die Partnerkarten würde eine wesentlich realistischere Beurteilung der GPU erlauben.

 

[3v0lut!0n]

An sich finde ich das einbeziehen der ReferenzKarten (Basis Version) eher nutzlos da sich wohl kaum ein Nutzer diese Karte kaufen würde. (evtl. WaKü nutzer aber diese ändern die Taktraten im Normalfall auch nach dem Umbau)

Im Test sollten meiner Meinung nach die "üblichen Verdächtigen" vorhanden sein.

Bei AMD Karten z.B

MSI Twin Frozr / Lightning
Gigabyte Windforce
Sapphire Vapor-X / Tri-X
ASUS DirectCU / Matrix

Das sind im Endeffekt die Karten die von den Kunden gekauft werden.

Ähnlich sieht es bei NV aus.

Die Referenz mit Standart-Kühllösung und (im Normalfall ) geringeren Leistungsdaten kann man einbeziehen, jedoch sind Ergebnisse auf Basis der Referenz nicht unbedingt allzu Aussagekräftig da die Partnerkarten doch meist was GPU- und Speichertakt angeht im 2 Stelligen prozentualen Bereich höher angesiedelt sind.

 

[fanatiXalpha]

Würde überhaupt keine Durchschnittswerte oder sonst irgendwas bilden....

muss da Cris zustimmen
finde die zweite Variante etwas undurchsichtig
zudem ist ja auch wieder ein Mehraufwand bei dem ich nachher dem Ergebnis etwas skeptisch gegenüber stehe

einfach die Referenzkarte testen (sofern vorhanden) wie ihr das vor hattet
und dann nach etwas Zeit und sofern die Hersteller mitspielen eben noch andere Custom-Modelle testen
zudem dann noch schauen wie die Karten auf OC reagieren usw.

mehr finde ich muss man nicht machen

 

[RaptorTP]

irgend nen Schnitt nehmen ist eigentlich Schmu ..

Referenztakt finde ich sinnvoll - um eben den OC Mehrwert zu vergleichen

Was ich persönlich auch mal sehr sinnvoll finde

Wäre ein Test mir einer schwächeren CPU

Also einen Xeon vielleicht - bzw einem i5 ohne OC

Also mehr für die Massen - die eben den direkten Vergleich haben und wirklich die selben Punkte erreichen müssten

Mir ist auch klar das es extra eine starke CPU ist um eben diese nicht als Flaschenhals zu haben
Reicht ja auch ein Bench - zuvor vielleicht ne Umfrage starten welche CPU(s) in Frage kommen würde

 

[Matzegr]

Mein Vorschlag:
Referenzdesign + die schnellste verfügbare Partnerkarte. Beim Diagramm den "Takt nach 30 Minuten (Standard)" mit angeben und fertig. Da hat man dann das langsamste Modell und das Schnellste, jeweils mit den Taktraten auf einen Blick und man kann seine eigene Karte anhand des Taktes selber einordnen.


Zum Beispiel:

Da würde man auf einen Blick sehen, das dass Referenzmodell mit 1.127MHz lief und die schnellste mit 1.366 MHz. Hab ich nun z.B. eine Asus GTX 980 Strix, die mit 1.252 MHz läuft, dann kann man mal kurz selber überschlagen, dass die so ziemlich in der Mitte liegen müßte und tatsächlich wäre es mit 51,4 FPS auch so. Gleichzeitig sieht man auch was möglich wäre mit mehr Takt, was bei einem Durchschnittswert etwas untergehen würde.

 

[Sekronom]

Als ich angefangen habe den Thread zu lesen dachte ich "Durchschnitts OC-Werte" irgendwie bescheuert, die Karte die ich kaufe ist dann entweder drueber, drunter oder ungefähr beim angegeben Wert, aber nicht konkret(einfacher) abzulesen, wie einige bereits angemerkt haben.

Wenn man dadurch aber 10 OC(Partner) Karten weglassen kann und nur noch das Referenzdesign mitnimmt sind das lediglich zwei Balken pro Karte die in Summe doch einen guten Überblick geben. Eben ungefähre OC Varianten und das Referenzdesign. Ich denke das lässt sich dann bei der nächsten Generation ganz gut vergleichen da ja wie bereits gesagt sehr viele Partnerkarten haben wegen mehr OC/Leiser/Sonstige extras.

Unabhängig davon würde ich mir immer noch den einzeltest anschauen, nicht das "meine" Karte dann ganz unten in der Leistungsskala rumhängt, ansonsten nehmen die sich ja nicht wirklich soviel.
Also solange Einzelpartnerkarten tests weiterhin gemacht werden ist die Abkürzung über einen Partnerkartendurschnitt durchwegs sinnvoll.

In diesem Simme, Variante 2!

 

[Gamefaq]

Eigentlich interessiert immer nur der IST WERT im Gegensatz zum REFERENZ MODELL.

Damit meine ich euer PC System wird zusammengestellt und die einzige Änderung ist dann für Jahre die Grafikkarte. Dieses sollte mit den 3 Spieler Modellen (Beispiel Nvidia x60 , x70 , x80 und später eventuell Budget x50 , das Gleiche dann Analog von AMD) mit der Vorgabe von Chipsatz Hersteller AMD/nVidia was die Taktraten dieser Modelle angeht getestet werden und wenn möglich der Referenzkarte oder wenn das nicht geht einer 0815 Karte wie sie fast alle Karten Hersteller anbieten (Referenztakt + Standard Radial Kühler). Damit hätte man eine BASIS die nicht erneut getestet werden muss und die in JEDEM Test als Referenz zum vergleichen steht.

Alle nun erscheinenden Custom Modelle der Hersteller kann man nun so wie sie sind = mit dem vom Karten Hersteller gewählten Standard Takt und Übertakt testen da keine Vergleichstests mehr zu einer Referenz Karte nötig sind.

Dadurch kann jeder sofort in jedem Test auch sehen wo sich die Karte zur (eventuell früher bereits) getesteten Konkurrenz sowie der Modell Referenz von AMD/nVidia einordnet.


Diese REFERENZ Karten solltet ihr auch so wie sie sind behalten und in einen Schrank packen und nach ein Jahr nochmals einsetzen und den Referenz Testlauf wiederholen um eventuelle mittlerweile entstandene Treiber/Versions Unterschiede bei den Benchmarks, Spielen, Grafikkarten auszugleichen. Oder damit die alte Generation mit einer neuen Generation an Referenz Modellen unter aktuellen Bedingungen verglichen werden kann.

Da es sich hier um vergleichsweise günstige Referenz Modelle handelt solltest ihr diese als Firmen Ausgabe finanzieren können oder dauerhafte Leihgabe eines Händlers der dafür in JEDEM Test eine kostenlose Werbung in Form einer größeren Erwähnung für die Stellung der Refenzkarte/n bekommt. Dies sollte bei der Menge an Tests sich eigentlich ausgehen für große Händler wie Mindfactory , Caseking , Alternate usw.

 

[guru meditation]

Leute, nicht alles so kompliziert sehen. Die meisten verstehen sowieso nicht, was da mit diesen Balken dargestellt wird.

Welcher Algorithmus zum heiligen Gral wird, ist bei einer Hardware die maximal ein Jahr medialen Bestand hat, gar nicht so entscheidend.

Wolfgang, sehr guter Vorschlag von Dir, diskutieren und korrigieren kann man immer

 

[C4non]

Was ich immer lese ist ein aktuelle Test der Grafikkarten. Ein Vergleich zu "bekannten Grafikkarten(hier kann intern ein Auswahl getroffen werden" der letzten 1-2Jharen würde ich gerne im Test wiederfinden. So muss ich aktuell mehrerer Test durchlesen um "etwa" zuwissen wo mein alter Graka im Vergleich zu den neueren steht.

So ähnlich wie die Tests hier zu einer CPU. Da finde ich auch mein i7-2600k obwohl die schon paar Jährchen alt ist.

 

[Padawan]

Mein Vorschlag:
Referenzdesign + die schnellste verfügbare Partnerkarte. Beim Diagramm den "Takt nach 30 Minuten (Standard)" mit angeben und fertig. Da hat man dann das langsamste Modell und das Schnellste, jeweils mit den Taktraten auf einen Blick und man kann seine eigene Karte anhand des Taktes selber einordnen.


Zum Beispiel:

Da würde man auf einen Blick sehen, das dass Referenzmodell mit 1.127MHz lief und die schnellste mit 1.366 MHz. Hab ich nun z.B. eine Asus GTX 980 Strix, die mit 1.252 MHz läuft, dann kann man mal kurz selber überschlagen, dass die so ziemlich in der Mitte liegen müßte und tatsächlich wäre es mit 51,4 FPS auch so. Gleichzeitig sieht man auch was möglich wäre mit mehr Takt, was bei einem Durchschnittswert etwas untergehen würde.

das ist für mich die interessanteste lösung, die bisher angeboten wurde. einfach und sehr übersichtlich. und falls dann noch ein modell mal noch nachträglich schneller sein sollte, macht es ja nichts, dank der taktzahl im balken kann man ja nun wirklich eine faire schätzung abgeben, dass sie vielleicht nen hauch schneller ist usw...
vorteil ist, es geht um reale zahlen realer karten, und ein "von bis" ist doch eine super sache.

edit: schade, hatte erst nach dem erstellen des beitrags abgestimmt und gesehen, dass 2/3 der leute für lösung 2 sind. also wird sie wohl kommen

 

[DerDummePunkt]

Mein Vorschlag:
Referenzdesign + die schnellste verfügbare Partnerkarte. Beim Diagramm den "Takt nach 30 Minuten (Standard)" mit angeben und fertig. Da hat man dann das langsamste Modell und das Schnellste, jeweils mit den Taktraten auf einen Blick und man kann seine eigene Karte anhand des Taktes selber einordnen.


Zum Beispiel:

Da würde man auf einen Blick sehen, das dass Referenzmodell mit 1.127MHz lief und die schnellste mit 1.366 MHz. Hab ich nun z.B. eine Asus GTX 980 Strix, die mit 1.252 MHz läuft, dann kann man mal kurz selber überschlagen, dass die so ziemlich in der Mitte liegen müßte und tatsächlich wäre es mit 51,4 FPS auch so. Gleichzeitig sieht man auch was möglich wäre mit mehr Takt, was bei einem Durchschnittswert etwas untergehen würde.

Das ist exakt das, was ich mit "Linearität" meinte.
Wenn die gegeben ist, langt eigentlich ein zusätzlicher Wert zum Standard Takt, den Rest kann man selbst errechnen/raten, der Informationsgehalt zusätzlicher Werte geht damit gen Null.

Der Übersichtlichkeit tuen zusätzliche Werte aber andererseits finde ich auch keinen allzu großen Abbruch, ich finde die Leistungsdiagrame, grade mit dem MouseHover für die prozentuale Angabe, auch bei einer Vielzahl von Angaben noch recht übersichtlich.

Zusammengefasst: Variante 1 halte ich für nicht mehr tragbar, ob jetzt Variante 2 oder hier im Thread beschriebene Methoden verwendet werden ist relativ egal, Hauptsache es wird offen gelegt, wie die Werte zustande kommen.
Aber um Transparenz mache ich mir bei CB ehrlich gesagt nicht viele Sorgen, bisher hat man entweder direkt im oder durch extra Artikel die Testprozedur genau dargelegt, oder der Autor stand im Forum mit Antwort zur Seite.

 

[h3@d1355_h0r53]

Ich würde mich über Mobile Grafikkarten freuen. Natürlich schwer zu testen unabhängig vom Rest des Systems, aber vielleicht fällt da ein paar schlauen Köpfen was ein.

 

[Onkelhitman]

Das von Matzegr aufgezeigte Prozedere halte auch ich für optimal.

Einen kleinen Punkt würde ich jedoch noch mit einbringen. Und zwar den Preis. Wenn man die Frames sowie Taktraten am Preis mit ausmachen könnte.
Ergo 55,2FPS bei 1366Mhz und 630€;
46,4FPS bei 1127Mhz und 490€

Natürlich steht das immer am Ende oder Anfang des Tests. So jedoch könnte man einfach selber ausrechnen:
8,8FPS für 140€ mehr bei diesem Spiel. Eine Karte mit 1250Mhz kostet 550€. Also lohnt es sich, 60€ mehr auszugeben, dafür aber ca. 50FPS zu haben. (oder auch nicht)

Das würde bei einigen Spielen direkt aufzeigen, welches man ganz speziell spielen will. Ich kaufe also keine Grafikkarte für Gesamtleistung, sondern nach dem Kriterium von einem Spiel.

Wo wir beim nächsten Punkt wären, weiss aber nicht wie kompliziert das wäre - eine selber ausgewählte Mehrfachauswahl in euren Tests, sodass man z.B. mehrere Spiele anklicken könnte, und er einem dann nach den Angaben automatisch eine Auswahl an Grafikkarten präsentiert. Mit Preisrahmen und man hätte die ultimative Suchmaschine für jeden Anwender.

PS: Was ihr ja selber durchführt mit dem Preis/Leistung und Leistungsdiagramm. Nur halt, dass man sich sein Fazit demnach selber zusammenstellen könnte. Es ändert ja nichts an der allgemeinen Aussage, die ihr trefft, es hilft nur explizit jedem, der eine Grafikkarte sucht.

Wenn man das dann später noch kombiniert mit Prozessoren weiss man, was limitieren würde. In dem Falle braucht man sich keine Grafikkarte für 500€ kaufen, da er anzeigen würde: "Achtung, ihre CPU limitiert die Grafikkarte!"

 

[Wolfgang]

Hier mal eine erste Fassung der Regeln für den Durchschnittstakt. Kommentare sind gerne gesehen. Fehlt was? Ist was unklar?

- Mindestens je ein Modell von vier verschiedenen Herstellern muss im deutschen Handel bestellbar (ob lieferbar spielt keine Rolle) sein.

- Ist dies nicht der Fall, wird entweder ausschließlich das Referenzdesign weiter getestet oder aber einer der OC-Partnerkarten, wenn sich diese in der Redaktion befindet. Sind zu einem späteren Zeitpunkt genügend Modelle bestellbar, wird die Einzelkarte durch den Durchschnitts-Wert ersetzt.

- Hat ein Hersteller mehrere Grafikkarten desselben Typs im Portfolio, fließen diese ebenso in den Durchschnitts-Takt ein. Dennoch müssen mindestens vier verschiedene Hersteller Modelle im Angebot haben, um diesen zu bilden.

- Hat ComputerBase bereits vier verschiedene Partnerkarten getestet, basiert der Takt-Durchschnitt auf den selbst ermittelten, anliegenden Taktraten nach einer 30 minütigen Lastphase.

- Wurden noch keine vier Partnerkarten getestet, wird der Durchschnittstakt anhand der vom Hersteller angegebenen Taktrate (AMD) beziehungsweise durchschnittlichen Turbo-Taktrate (Nvidia) gebildet. Wenn AMD oder Nvidia die Turbo-Arbeitsweise bezüglich des anliegenden Taktes ändern, wird die Berechnungsweise angepasst. Dies wäre zum Beispiel der Fall, wenn bei Nvidia der durchschnittliche Turbo bei den Partnerkarten plötzlich stärker vom tatsächlichen Takt abweichen würde als bisher.

- Ist ein Durchschnittstakt gebildet und daraufhin werden weitere Modelle vorgestellt, bleiben diese bis zum nächsten Benchmark-Durchlauf ignoriert. Die einzige Ausnahme ist, wenn sich der Durchschnitts-Takt um fünf Prozent (oder ein anderer Wert?) oder mehr ändern würde. In dem Fall wird die entsprechende Grafikkarte neu getestet.

- Für den Durchschnitt-Takt werden sämtliche Limitierungen (aktuell Power- und Temperatur-Target) abgeschaltet beziehungsweise auf ein Minimum reduziert.

- Der Durchschnitts-Takt wird für jede einzelne Grafikkarte bekannt gegeben, sodass dieser zu jeder Zeit einsehbar ist.