Zukünftige CB-Testmethoden: Referenzdesign vs. Partnerkarten

[Wolfgang]

Ich habe jetzt mal den durchschnittlichen Takt der GTX 980 anhand der neun getesteten Partnerkarten ausgerechnet. Dieser liegt bei 1.319 MHz. Rechnet man manuell den von den Herstellern angegebenen durchschnittlichen Boost zusammen, kommt man auf 1.322 MHz - in dem Fall also genau dasselbe. Anhand von Metro: Last Light einmal ein Beispiel, wie das aussehen würde.

Die zusammengerechnete GTX 980 ganz minimal unter der Gainward Phantom einordnen, die quasi genauso hoch taktet wie die Durchschnittskarte.

Wie soll dieser Takt gestetest werden? Ich gehe davon aus es wird das Powertarget maximiert und der Takt festgepinnt. Das ist jedenfalls sinniger als nur das Powertarget, wie jetzt, zu erhöhen.
Ich würde trotzdem eher mal die Vorgängergeneration im Test sehen.

Ja, Takt festgepinnt und PT/TT auf max, damit der Takt auch immer anliegt. Ansonsten wäre es wenig sinnvoll.
Dein letztes Anliegen ist eine unabhängige Sache davon

Mit Turbo und Boost Takt ist es doch gar nicht möglich einen Durchschnitt zu ermitteln zumal hierfür alle Karten ihren maximalen Takt halten müssten und nicht durch Temperatur oder Power target drosseln.

Wenn wir den Durchschnitt nicht von eigens ermittelten Partnerkarten festlegen können, berechnen wir diesen mit den von den Herstellern angegebenen durchschnittlichen Boost-Taktraten. Die Erfahrung zeigt, dass die Angabe bei den Partnerkarten sehr ähnlich bis identisch zu dem tatsächlichen anliegenden Takt ist - siege GTX 980 zum Beispiel.
Natürlich muss man im Auge behalten, ob es in Zukunft dort nicht doch plötzlich Abweichungen gibt.

Der Durchschnitt wird bei ausreichend Werten beim hinzufügen eines weiteren Wertes wenig verfälscht, richtig. So viele Werte werden in eure Statistik aber kaum einfließen, so dass sich dieser Effekt stark ausprägt.
Ich verstehe schon, dass ihr euch mit dieser Methode von der Konkurrenz differenzieren wollt, aber lieber adaptierte ich ein gutes Verfahren, bevor ich mein eigenes schlechteres durchdrücke. So viele alternativen Möglichkeiten gibt es nun auch nicht mehr.

Glaube mir bitte, unser Ziel ist es nicht, uns von anderen Webseiten mit dem Verfahren abzusetzen. Wir wollen dem Leser einfach die besten Ergebnisse präsentieren, mit diesen man am meisten anfangen kann und die sich auf die meisten, vorhandenen Karten beziehen. Darum fragen wir hier im Forum ja auch nach und geben die Möglichkeit, Alternativen zu nennen (und auch zu diskutieren)

Nunja, wir würden den Durchschnitt ja erst bilden, wenn Taktraten von einer gewissen Anzahl an Grafikkarten bekannt ist. Sagen wir einfach mal, vier Grafikkarten sind das Minimum. Und sagen wir mal, drei karten takten ähnlich, und eine ein gutes (realistisches) Stück höher. Sagen wir mal fiktiv: 1.280 MHz, 1.300 MHz und 1.320 MHz. Eine Karte fällt aus dem Rahmen, die arbeitet mit 1.420 MHz. Der Durchschnitt würde dann bei 1.330 MHz liegen. Das ist eine Differenz von 2,31 Prozent zu den 1.300 MHz von den anderen drei Karten. Ich finde das nun echt nicht gerade viel. Vor allem, wenn man bedenkt, dass es nur vier karten sind. Bei mehr wäre der Einfluss ja noch kleiner.

 

[_Cloud_]

Dann müsste man aber sagen es Musen mindestens 2 standard custom karten und mindestens 2 OC karten dabei sein.

Evga zbhat von acx über acx SC ,SSC,ftw, bis classie ja alles.

Oder aus mit dc2 dc2 OC und Matrix

Also müsste man sagen es müssen mindestens dc2 und evga acx oder acx SC und dc2 OC oder Matrix und evga SSC oder ftw dabei sein

Dann würde dal wirklich ein wert knapp überden kleinen OC Karten raus kommen mit dem kann man leben.

 

[Cris-Cros]

Dann glaube ich euch mal

Wir wollen dem Leser einfach die besten Ergebnisse präsentieren, mit diesen man am meisten anfangen kann und die sich auf die meisten, vorhandenen Karten beziehen

Ihr bildet einen Durchschnitt aus erhältlichen Partnerkarten, inwiefern ist das jetzt besser für den Leser, Rückschlüsse auf die eigene Karte zu ziehen? Wenn ein Käufer Karte x besitzt, welche sehr nahe an den Referenzwerten liegen, ist das Ergebnis genau so wenig vergleichbar, wie wenn ein anderer Käufer Karte y erworben hat, welche sehr stark übertaktet ist, da eure Werte nur errechnet und nicht zwangsläufig am Markt vertreten sein müssen. Dann kann man genau so gleich eine Partnerkarte testen, da man hier auch Rückschlüsse auf seine eigene Karte ziehen kann.

An sich finde ich eure Idee nicht mal so verkehrt, nur bin ich kein Freund von fiktiven Annahmen im Benchmarking. Benchmarking sollte auch im Computer Hardware Segment auf fundierten Werten basieren, gerade weil diese dort massig vorhanden sind.

 

[SuddenDeathStgt]

Eure/Deine Idee in allen Ehren, aber das ist doch absolut zeitfressend & mit "dem Rechnen hast Du es eh nicht so", folglich eine Fehlerquelle mehr.^^
Ich finde ja PCGH hat da gut vorgelegt & da ist alles schön transparent, da die Modelle & die Taktraten genannt werden. Folglich bedarf es da "eigentlich keinen Schnittwert" ... :-)

 

[poi]

GraKa XY
Die Karte selber, sprich die Gigabyte/ASUS/MSI/was auch immer voll testen (wie immer).

Test mit gleichen Taktraten wie Ref. Design (oder falls es sowas nicht gibt auf niedrigste verfügbare non-passiv gekühlte Version runtertakten): Testumfang wie immer.
Takt "standard"(wie Referenzdesign), Speicher OC: Leistungsdifferenz in ausgewählten Spielen, d.h. nicht so zwingend so umfangreich wie die ersten beiden Tests. (Ggf. speziell speicherhungrige Spiele wählen).
Speicher "standard" (siehe oben), Takt OC: Wieder ein kleinerer Test mit ein paar ausgewählten Spielen. Also wieder nicht zwingend so Umfangreich wie der Test mit dem Referenztakt.
Takt OC, Speicher OC, wieder einmal nur um eine Idee der Leistungsdifferenz zu erhalten, also kürzerer Test.

Das ganze könnte man natürlich verkürzen wenn sagen wir einmal der "Takt OC, Speicher OC" Test mit dem ersten Test quasi schon gemacht ist.

Die endgültigen Vergleichsbildchen dann mit den Werten der nicht-Referenzkarten um ein besseres Bild der auf dem Markt verfügbaren Karten zu bekommen. Ich denke da die meisten Leute holen sich eine vom Werk aus übertaktete Karte und diese liegen im Endeffekt nicht weit auseinander.

 

[YellowDynamite]

Also die Idee mit der Verwendung der Durchschnittwerte von Taktraten, finde ich sehr subjektiv.
Gerade bei Hernahme von nur 5 Modellen, kann dies anfangs schnell in die eine oder in die andere Richtung gehen (980 Differenz von ca. 200MHz).

Ich würde das Referenzdesign testen, um somit eine Basis zu haben, welche Antwort die jeweilige Grafikkkarten Generation liefert.
Die unterschiedlichen Taktraten würde ich im Bereich OC erwähnen.

Custom Modelle finden zu einem späteren Zeitpunkt dann sowieso ihren Platz.

Btw bin ich mittlerweile sowieso deutlich mehr von PCGH überzeugt, da die Tests transpranter und objektiver wirken. Vor allem da mittlerweile der Ruf von Nvidiabase nicht gerade der tollste ist

 

[Wolfgang]

Dann müsste man aber sagen es Musen mindestens 2 standard custom karten und mindestens 2 OC karten dabei sein.

Wie viele Karten von welcher Version vorhanden sein müssen um einen Durchschnitt zu basteln, ist sicherlich diskussionswürdig. Mein erster (aber sicher nicht finaler) Gedankengang ging mal von vier Modellen aus. Da achten wir dann auch drauf, dass nicht wie von dir beschrieben, alles vom selben Hersteller kommt. Die Fastregel lautet dann eher: Mindestens Vier verschiedene OC-Karten von vier Herstellern müssen vorhanden sein.

Beim Durchschnittstakt rechnen wir aber nur die OC-Modelle ein. Für den normalen Takt gibt es ja weiterhin die genutzte Referenzkarte.

Ihr bildet einen Durchschnitt aus erhältlichen Partnerkarten, inwiefern ist das jetzt besser für den Leser, Rückschlüsse auf die eigene Karte zu ziehen? Wenn ein Käufer Karte x besitzt, welche sehr nahe an den Referenzwerten liegen, ist das Ergebnis genau so wenig vergleichbar, wie wenn ein anderer Käufer Karte y erworben hat, welche sehr stark übertaktet ist, da eure Werte nur errechnet und nicht zwangsläufig am Markt vertreten sein müssen. Dann kann man genau so gleich eine Partnerkarte testen, da man hier auch Rückschlüsse auf seine eigene Karte ziehen kann.

Rückschlüsse auf die eigene Karte lässt ein Durchschnitts-OC-Wert natürlich nicht zu. Das soll er aber auch gar nicht. Der Durchschnitts-OC-Wert hat ja den Sinn dem Leser zu zeigen, wie hoch die Leistung eines OC-Modells in etwa ausfällt - bezogen auf alle OC-Karten und nicht ein spezielles. Der Sinn ist es nicht, "die eigene Karte" in den Benchmarks wieder zu finden. Dazu sind die großen Partnerkarten-Roundups da.

Eure/Deine Idee in allen Ehren, aber das ist doch absolut zeitfressend & mit "dem Rechnen hast Du es eh nicht so", folglich eine Fehlerquelle mehr.^^
Ich finde ja PCGH hat da gut vorgelegt & da ist alles schön transparent, da die Modelle & die Taktraten genannt werden. Folglich bedarf es da "eigentlich keinen Schnittwert" ... :-)

Transparent, ja (das wird es bei uns auf jeden Fall auch sein. Aber auch wirklich sinnvoll sinnvoll? Schauen wir mal in den Benchmark-Test zu Lords of the Fallen bei den Kollegen.
http://www.pcgameshardware.de/Lords-of-the-Fallen-PC-255760/Tests/Benchmark-Test-1141344/
Dort gibt es von den meisten Modellen eine OC-Partnerkarte im Test. Ohne mir eine Taktrate angesehen zu haben, sehe ich das Problem, dass es keine Karten mit einem Referenztakt gibt. Bei manchen Modellen ist das zwar nicht Kriegsentscheidend, bei anderen aber nicht ganz unwichtig. Siehe zum Beispiel die GTX 980. Dort nutzen die Kollegen die EVGA Superclocked. Ignorieren wir jetzt mal, dass die Bezeichnung nicht ausreicht, um zu wissen, welche Karte sich dahinter verbirgt. Wahrscheinlich ist es aber die ACX 2.0 SuperClocked. PCGG gibt an, dass die Karte in den Benchmarks mit 1.379 MHz taktet. Das Referenzdesign taktet bei uns im Vergleich mit 1.126 MHz mit den Standardeinstellungen.

Das sind schonmal 22 Prozent unterschied. Maximiere ich das Referenzdesign auf 1.227 MHz, sind es noch 12 Prozent. Damit ist bei den Kollegen ausschließlich eine Karte vorhanden, die nicht nur je nach Sichtweise 12 bis 22 Prozent schneller ist als das Referenzdesign, sondern auch noch schneller als die meisten anderen Partnerkarten. Das ist jetzt ja toll für alle Besitzer der EVGA GTX 980 SC. Für alle anderen sehe ich da aber auch Nachteile, weil eine Leistung suggeriert ist, die die meisten anderen GTX 980 Karten nicht bieten. Das macht in meinen augen der Durchshcnitts-Wert besser (auch wenn es zweifellos ein Nachteil ist, dass man die "Durchschnitts-Karte" eben nicht kaufen kann).


Und bevor jetzt alle kommen, dass das Referenzdesign keiner hat: Dieses kann man immer noch kaufen und zudem zu Beginn für einige Wochen einzig und alleine. Sprich, das haben durchaus so einige.

Btw bin ich mittlerweile sowieso deutlich mehr von PCGH überzeugt, da die Tests transpranter und objektiver wirken. Vor allem da mittlerweile der Ruf von Nvidiabase nicht gerade der tollste ist

Den Ruf hat (genauso unbegründet) PCGH übrigens auch
Was ist dir denn bei uns nicht transparent und objektiv genug?

 

[Cris-Cros]

Für mich bringt das System keinen Mehrwert, nur zusätzlichen Aufwand. Der Kunde kann genau so wenige Rückschlüsse auf seine Karte ziehen wie bei der PCGH Variante, wenn er nicht genau die geteste Variante besitzt. Eure Werte sind evtl. je nach Modell mal näher an den im Besitz befindlichen Karten, je nach Kunde. Wissen Sie, auf was ich hinaus möchte?

 

[Ron Reviewt]

Der Durchschnittswert ist das einzig realistische Szenario.
Jeder kann dann selbst 1-2 fps dazuzählen, wenn sein eigener Wert um 30-40 Mhz zur CB Durchschnittskarte differiert.
Schwierig wird's dann, wenn nur eine Standardtakt Karte am Start ist und die Customs um Welten höher takten.

Bitte hängt euch doch nicht an lausigen paar MHz auf, die ein Durchschnittswert dann von eigenen Werten abweicht.
Das neue Testszenario wäre wegweisend, um endlich Realität in den Benchmarkmühlen abzuzeichnen.

 

[Wolfgang]

Für mich bringt das System keinen Mehrwert, nur zusätzlichen Aufwand. Der Kunde kann genau so wenige Rückschlüsse auf seine Karte ziehen wie bei der PCGH Variante, wenn er nicht genau die geteste Variante besitzt. Eure Werte sind evtl. je nach Modell mal näher an den im Besitz befindlichen Karten, je nach Kunde. Wissen Sie, auf was ich hinaus möchte?

Natürlich weiß ich das. Aber wie du selbst sagst, ist die PCGH-Variante am Ende nur besser für denjenigen, der genau diese eine Karte hat. Wenn wie im Fall der EVGA ACX SC aber eine zum Einsatz kommt die schneller als viele andere Takten, haben alle nicht EVGA-Käufer das Nachsehen. Genau das wollen wir mit dem Durchschnitts-Takt verhindern. Das ist der alleinige Sinn davon.

 

[SuddenDeathStgt]

Das macht ja auch Sinn, nur bedenke, evtl. ~eine Fehlerquelle mehr & ggf. noch mehr Gesprächsstoff für eine (Fan-)Diskussion.^^
Ich finde wichtig ist eine gewisse Transparenz, in denen sämtliche Settings, Testszene(n), Hardware_X mit Taktraten_Y genannt werden & der versierte User kann idR ganz gut ableiten, wo er sich denn mit seiner Hardware platziert/in etwa befindet. Wenn das weiterhin gegeben ist bzw. noch ausgebaut wird, dann spricht da auch nichts dagegen. Daher wäre die Idee eigentlich schon sinnvoll & für manch einen evtl. auch dienlich/hilfreich ...:-)

 

[Fr34k.2]

Gute Idee, dennoch sicher schwierig umzusetzen. Gerade in Punkto Performance sind durchaus beachtliche Gewinne zu verzeichnen, wie aber auch in den in letzter Zeit häufig kritisierten Punkten Lautstärke und Stormverbrauch. Wie wird das gehandhabt? Die OC-Karten der GTX 980 sind zwar deutlich schneller erkaufen sich diesen Vorsprung aber auch mit höherem Stromverbrauch.

 

[Wolfgang]

Das macht ja auch Sinn, nur bedenke, evtl. ~eine Fehlerquelle mehr & ggf. noch mehr Gesprächsstoff für eine (Fan-)Diskussion.^^
Ich finde wichtig ist eine gewisse Transparenz, in denen sämtliche Settings, Testszene(n), Hardware_X mit Taktraten_Y genannt werden & der versierte User kann idR ganz gut ableiten, wo er sich denn mit seiner Hardware platziert/in etwa befindet. Wenn das weiterhin gegeben ist bzw. noch ausgebaut wird, dann spricht da auch nichts dagegen. Daher wäre die Idee eigentlich schon sinnvoll & für manch einen evtl. auch dienlich/hilfreich ...:-)

Mir ist bewusst, dass das ganze die Tests undurchsichtiger und komplexer machen würde. Das ist es meiner Meinung nach aber wert, wenn die Aussagekraft dadurch verbessert wird - was es meiner Meinung nach wird. Diesbezüglich wird es auch eine volle Transparenz geben. Sprich, würden natürlich öffentlich machen, welchen Takt die Durchschnitts-OC-Modelle nutzen.

Darüber hinaus wird in Zukunft die weitergegebenen Infos über die Benchmarks noch ein wenig ausgebaut. Aber ich denke, die sind auch jetzt schon ziemlich transparent. Von vielen Testsequenzen bieten wir ja z.B. Videos an.

Gute Idee, dennoch sicher schwierig umzusetzen. Gerade in Punkto Performance sind durchaus beachtliche Gewinne zu verzeichnen, wie aber auch in den in letzter Zeit häufig kritisierten Punkten Lautstärke und Stormverbrauch. Wie wird das gehandhabt? Die OC-Karten der GTX 980 sind zwar deutlich schneller erkaufen sich diesen Vorsprung aber auch mit höherem Stromverbrauch.

Ja, Lautstärke und Stromverbrauch sind natürlich ebenso wichtig. Eine Lautstärke in den Tests mit anzugeben wäre jedoch sinnlos. Wenn wir eine Referenzkarte übertakten, hat von dem Wert ja niemande was, außer jemand hat die Ref-Karte und übertaktet auf genau dasselbe Niveau. Wenn es einen Partnerkartentest von uns bereits gibt, können/werden wir diesen natürlich verlinken. In den Partnerkartentests werden wir die Lautstärke der kaufbaren OC-Karten aber natürlich weiter ermitteln.

Leistungsaufnahme ist dagegen etwas einfacher und sinnvoller. Wir werden dann einfach den Wert von der Karte abbilden, die wir benutzt haben. Haben wir das Ref-Design übertaktet, dann die Leistungsaufnahme von der Karte. Bei der Partnerkarte dann von der. Diese wird dann natürlich wieder nur als "OC*" (oder was auch immer) gekennzeichnet, um zu verdeutlichen, dass der Wert auf der "Durchschnittskarte" basiert.

 

[Wolfgang]

Weitere Meinungen und Umfrage-Stimmen sind gerne gesehen

 

[ronny_kruse]

bitte das referenzdesign testen. freilich gibt es en masse karten, die nicht mit dem referenzKÜHLER erhältlich sind, aber darum geht es ja hier nicht, sondern schlicht um die leistungsmessung in einem benchmark. karten, die nicht mit dem referenzTAKT erhältlich sind, gibt es hingegen schlicht NICHT. die meisten karten setzen zwar nicht auf einen referenz-kühler, wohl aber auf den referenztakt.

 

[Cris-Cros]

Das halte ich in Zeiten von Power Target und Turbo für ein Gerücht. Die Kühlung und das Platinenlayout haben wesentlichen Einfluss auf die Taktraten.

@Wolfgang
Würde das Thema anpinnen oder ,wie bereits vorgeschlagen, auf die Startseite bringen.

 

[Moselbär]

Neuerungen - auch bei den Testmethoden, Darstellungen usw. sind immer gerne willkommen mMn.

Toll finde ich, dass CB es seinen "Kunden" ermöglicht, eine neue, mögliche Version des künftigen Tests mit anzudenken.

 

[NEO-GEO]

Bitte die GTX 690 wieder mit reinnehmen.

Bei den FPS-Balken sollten endlich mal die min. FPS-Werte mit aufgeführt werden

 

[Daniel D.]

Ich würde bei der einfacheren Variante 1 bleiben. Wenn ich eine OC-Karte kaufe, weiß ich ja, dass sie schneller wie der Standard ist.

 

[charmin]

Ich würde Variante 2 sehr begrüßen, unter anderem da ich aktuell eine "Gigahertz Edition" der GTX780 habe und es bei aktuellen Benchmarks teils schwierig ist diese genau einzuschätzen. Eben ein Zwischending zwischen GTX780 und GTX780Ti.