Grafikkarten-Tests: Methodik, Einstellungen und Savegames
tl;dr: Wie testet ComputerBase Grafikkarten und wie laufen die Benchmarks ab? Das klärt der Artikel im Detail und liefert dazu Screenshots und Videos zur Testsequenz. Und wer möchte, der findet auch Spielstände im Artikel – für eigene Benchmarks und um die Redaktionsmethodik nachzuvollziehen.
Der Markt für Grafikkarten verändert sich ständig. Schon nach einem Jahr ist so gut wie nichts mehr aktuell. Das gilt nicht nur für die Grafikkarten selbst, sondern auch für die Art, wie moderne 3D-Beschleuniger getestet werden sollten. Nur wenn diese Testmethoden ständig aktualisiert werden, können korrekte Empfehlungen ausgesprochen werden.
Im Folgenden wird Einblick in die einheitliche Testmethodik für AMD- und Nvidia-Grafikkarten gegeben, wie sie seit Mai 2019 zum Einsatz kommt. Im Fokus stehen die Testverfahren, also wie zum Beispiel Lautstärke und Leistungsaufnahme geprüft werden, und natürlich die Benchmarks an sich.
Erstmals auch Savegames zum Download
Das fängt bei der technischen Seite an, also wie die Messungen durchgeführt werden und welche Messwerte wichtig sind. Die Spiele selbst werden ebenfalls behandelt: Der Artikel geht genau darauf ein, welche Grafikdetails genutzt werden, es gibt Videos der eigentlichen Testszenen und – falls möglich – einen Spielstand für die Benchmark-Sequenz, sodass Leser diese nachstellen können.
Das Testsystem mit Core i9-9900K
Abgesehen von dem Arbeitsspeicher, den SSDs und dem CPU-Kühler unterscheidet sich die Hardware vom ab sofort eingesetzten Grafikkarten-Testsystem vollkommen vom Vorgänger. Das fängt bei der CPU an: Der Core i9-9900K bietet aktuell die beste Spieleleistung und entsprechend wird der Intel-Prozessor eingesetzt. Dieser wird allerdings im Werkszustand betrieben, denn die Taktraten sind bereits bei Single-Core- und Volllast sehr hoch.
Alle mit Stand Mai 2019 verfügbaren Gegenmaßnahmen gegen CPU-Sicherheitslücken (sei es per BIOS oder Windows 10) sind aktiv. Hyper-Threading wird genutzt.
Als passendes Mainboard greift die Redaktion auf ein Asus ROG Maximus Xi Hero WiFi mit dem Z390-Chipsatz zurück. Fast alle BIOS-Optionen sind auf Standard geblieben, die Option „Multicore Enhancement“ ist aktiviert. Auch wenn es anders klingt: Bei den Einstellungen verhält sich der Prozessor wie von Intels Spezifikationen vorgesehen, „Auto OC“ ist also aus. Gleich geblieben ist der Speicher: Zwei je 16 GB große G-Skill-Riegel, die mit einer Geschwindigkeit von DDR4-3200, den Primär-Timings von 16-16-16-38-1T und automatischen Sekundär-Timings angesteuert werden. Es handelt sich um Dual-Rank-Riegel.
Die Belüftung ist ein Kompromiss aus Kühlleistung und Lautstärke
Da sämtliche Tests mit geschlossenem Gehäuse stattfinden, spielt dessen Belüftung eine entscheidende Rolle bei den Grafikkarten-Temperaturen. Hierfür wird auf das Phanteks Enthoo Evolv X zurückgegriffen, das mit der Standardbelüftung ausgestattet ist. Das bedeutet, dass vorne zwei im Durchmesser 140 mm breite Lüfter kühle Luft ansaugen und diese hinten durch einen 140-mm-Lüfter wieder rausgepustet wird.
Da die Ventilatoren bei voller Drehzahl laut sind, wird sie für alle Tests reduziert. Bei den Messreihen touren sie noch mit 900 Umdrehungen in der Minute, was einen guten Kompromiss aus Lautstärke, Luftdruck und Anforderungen an das Kühlsystem der Grafikkarten darstellt. Als CPU-Kühler wird ein Noctua NH-D15S mit einem 140-mm-Lüfter genutzt, aber auch bei diesem werden die Drehzahlen reduziert: Mit 850 U/min agiert der NF-A15 bei den Tests.
| Komponente | ||
|---|---|---|
| Prozessor | Intel Core i9-9900K, nicht übertaktet | |
| CPU-Kühler | Noctua NH-D15S (140 mm bei ~850 U/Min.) | |
| Motherboard | Asus ROG Maximus Xi Hero WiFi (BIOS: 1005) | |
| Arbeitsspeicher | 2 × 16 GB G.Skill TridentZ, DDR4-3200, 16-16-16-38-1T, Dual-Rank | |
| Netzteil | Corsair AX1500i (1.500 Watt, semipassiv, 80Plus Titanium) | |
| SSD | 2 × Crucial MX500 mit 1.000 GB | |
| Gehäuse | Phanteks Enthoo Evolv X | |
| Lüfter | 2 x 140-mm-Lüfter, 900 UpM an der Vorderseite 1 x 140-mm-Lüfter, 900 UpM an der Rückseite |
|
Als Betriebssystem wird Windows 10 in der Version 1903 genutzt. Sämtliche weiteren Updates zur Hauptversion sind installiert. Als Auslese-Tools für die Grafikkarten wird sowohl auf den MSI Afterburner als auch auf GPU-Z zurückgegriffen.
Die Grafikkartentreiber
Die Treiber spielen bei Grafikkarten-Tests immer eine wichtige Rolle. Welche Versionen bei welchem 3D-Beschleuniger eingesetzt werden, verrät folgende Tabelle. Zu Beginn der Testparcours wird nur jeweils ein Treiber genutzt. In Zukunft neu vorgestellte Grafikkarten werden aber neuere Treiber benötigen.
| Treiber | |
|---|---|
| AMD-Grafikkarten | |
| Radeon RX 570, RX 580, RX 590 | Adrenalin 19.4.3 |
| Radeon RX Vega 56, RX Vega 64 | Adrenalin 19.4.3 |
| Radeon VII | Adrenalin 19.4.3 |
| Radeon RX 5700, RX 5700 XT | Adrenalin 19.7.1 Beta |
| Nvidia-Grafikkarten | |
| GeForce GTX 1060, GTX 1070, GTX 1080, GTX 1080 Ti | GeForce 430.39 |
| GeForce GTX 1660, GTX 1660 Ti | GeForce 430.39 |
| GeForce RTX 2060, RTX 2070, RTX 2070, RTX 2080 Ti | GeForce 430.39 |
| GeForce RTX 2060 Super, RTX 2070 Super | GeForce 431.16 |
Für Rage 2 wurden mit dem Adrenalin 19.5.1 beziehungsweise dem GeForce 430.64 für das Spiel angepasste Treiber verwendet. Das gilt nicht für spätere Tests, die mit einem neueren Treiber durchgeführt worden sind. Dasselbe gilt für F1 2019. Bei dem Rennspiel werden die Versionen Adrenalin 19.6.2 und der GeForce 430.86 genutzt.
Die genaue Testmethodik
ComputerBase hat im neuen Testparcours mehrere Umstellungen vorgenommen. Dies fängt bei den eingesetzten Grafikkarten-Modellen an, geht über die Messreihen der Frametimes bis hin zur Spieleauswahl. Die folgenden Abschnitte gehen detailliert auf die Änderungen ein.
Die eingesetzten AMD- und Nvidia-Grafikkarten
Bei den Benchmarks werden nur Grafikkarten eingesetzt, die sich an AMDs oder Nvidias Referenzvorgaben halten. In den meisten Fällen ist es also das Referenzdesign, bei Nvidia in der Regel die Founders Edition. Zu einem späteren Zeitpunkt werden auch einige von Haus aus übertaktete Partnerkarten hinzugefügt.
Da es nicht zu jeder Grafikkarte ein Referenzdesign gibt, kommen bei den Lautstärke- und Temperaturmessungen unabhängig vom oberen Punkt bereits Partnermodelle zum Einsatz. Dabei handelt es sich dann ebenso um übertaktete Modelle. Für die Benchmarks und Messungen der Leistungsaufnahme werden diese sowohl bei dem Powerlimit als auch den Taktraten auf das von AMD beziehungsweise Nvidia vorgegebene Niveau angepasst.
AMD-Grafikkarten
| Modell | anliegender „Testtakt“ in Metro: Exodus, UHD, Worst-Case-Szenario |
|---|---|
| Referenzkarten | |
| AMD Radeon RX Vega 56 Referenzkarte (8 GB) | ~1.290 MHz |
| AMD Radeon RX Vega 64 Referenzkarte (8 GB) | ~1.400 MHz |
| AMD Radeon RX VII Referenzkarte (16 GB) | ~1.650–1.770 MHz |
| AMD Radeon RX 5700 Referenzkarte (8 GB) | ~1.585-1.655 MHz |
| AMD Radeon RX 5700 XT Referenzkarte (8 GB) | ~1.670-1.745 MHz |
| Partnerkarten | |
| PowerColor Radeon RX 570 Red Devil* (4 GB) | 1.244 MHz |
| Sapphire Radeon RX 580 Nitro+* (8 GB) | 1.340 MHz |
| Sapphire Radeon RX 590 Nitro+* (8 GB) | 1.545 MHz |
| *Für Benchmarks der Referenzkarte auf offizielle Spezifikationen angepasst | |
Nvidia-Grafikkarten
| Modell | anliegender „Testtakt“ in Metro: Exodus, UHD, Worst-Case-Szenario |
|---|---|
| Referenzkarten | |
| Nvidia GeForce GTX 1060 Founders Edition (6 GB) | ~ 1.770–1.785 MHz |
| Nvidia GeForce GTX 1070 Founders Edition (8 GB) | ~ 1.680–1.710 MHz |
| Nvidia GeForce GTX 1080 Founders Edition (8 GB) | ~ 1.670–1.695 MHz |
| Nvidia GeForce GTX 1080 Ti Founders Edition (11 GB) | ~1.670–1.683 MHz |
| Nvidia GeForce RTX 2060 Founders Edition (6 GB) | ~1.710–1.740 MHz |
| Nvidia GeForce RTX 2060 Super Founders Edition (8 GB) | ~1.725–1.740 MHz |
| Nvidia GeForce RTX 2070 Super Founders Edition (8 GB) | ~1.830–1.845 MHz |
| Nvidia GeForce RTX 2080 Founders Edition (8 GB) | ~ 1.785–1.815 MHz |
| Nvidia GeForce RTX 2080 Ti Founders Edition (11 GB) | ~1.635–1.680 MHz |
| Partnerkarten | |
| Zotac GeForce GTX 1660* (6 GB) | ~1.830–1.860 MHz |
| Asus GeForce GTX 1660 Ti Strix OC* (6 GB) | ~1.755–1.785 MHz |
| Asus GeForce RTX 2070 Turbo (8 GB) | ~1.635–1.683 MHz |
| *Für Benchmarks der Referenzkarte auf offizielle Spezifikationen angepasst | |
Die APIs
Die meisten neuen Spiele nutzen immer noch die DirectX-11-API. Dennoch gibt es Titel, die DirectX 12 oder Vulkan unterstützen, und mittlerweile auch welche, die mit einer Low-Level-API umgehen können und damit durchweg – teils deutlich – besser damit laufen.
Die im Test genutzten Spiele Anno 1800, Battlefield V, Hitman 2, Metro: Exodus, Resident Evil 2, Shadow of the Tomb Raider und The Divison 2 unterstützen allesamt DirectX 12. Vulkan wird dagegen von keinem der Spiele geboten. Und Metro: Exodus, Shadow of the Tomb Raider sowie The Division 2 laufen unabhängig von der Grafikkarte durchweg besser mit DirectX 12, weshalb wir dort stets diese API verwenden.
Auch gemischte Diagramme sind möglich
Nun gibt es aber Spiele, die immer mit DirectX 11 besser arbeiten, oder solche, die zum Beispiel auf einer Nvidia-Grafikkarte mit DirectX 11 und auf einem AMD-Beschleuniger mit DirectX 12 flotter sind. Dann nutzt jede Grafikkarte die API, mit der ein besseres Ergebnis erzielt wird – so, wie schlussendlich auch gespielt werden würde. Entsprechend kann es in einem Titel gemischte Ergebnisse mit DirectX 11 und DirectX 12 im selben Diagramm geben.
Benchmarks mit OCAT
Das beliebte Tool FRAPS funktioniert mit DirectX 11 gut, die Low-Level-APIs DirectX 12 und Vulkan bereiten dagegen Probleme oder funktionieren gar nicht. Um eine einheitliche Basis über alle APIs hinweg zu haben, nutzt ComputerBase daher das Tool OCAT, das von AMD entwickelt wird und zum Abgreifen der Messdaten auf PresentMon setzt – für das wiederum ein Intel-Mitarbeiter verantwortlich zeichnet.
Jeder Grafikkarten-Benchmark ist genau 25 Sekunden lang, was in OCAT eingestellt werden kann. Darüber hinaus wird das Overlay abgeschaltet, da es die Performance beeinflussen kann. Nach dem Benchmark erstellt OCAT mehrere CSV-Dateien, die unter anderem die Bilder pro Sekunde und noch weitere Messwerte enthalten. Die Dateien können zum Beispiel mit LibreOffice geöffnet werden. Alternativ bietet sich das Tool CapFrameX an, das die Messwerte optisch hübsch und zudem sehr detailliert aufbereitet. Auch Vergleiche verschiedener Messreihen sind möglich.
FPS und Frametimes als Ergebnis
Neben den Durchschnitts-FPS-Werten nutzt ComputerBase zusätzlich in Percentile angegebene Frametime-Werte – genauer gesagt das „99,8th Percentile“, das zur besseren Vergleichbarkeit jedoch in FPS und nicht in Millisekunden angegeben wird. Doch was ist das überhaupt genau?
Bei den Messwerten handelt es sich um klassisch in Millisekunden gemessene Frametimes, also die zeitlichen Abstände von Frame zu Frame. Die Percentile-Werte haben nun den Sinn, vereinzelte Ausreißer zu ignorieren. Das „99,8th Percentile“ besagt folglich, dass 99,8 Prozent aller Messwerte schneller als der angegebene Messwert sind. Lautet ein Wert im Percentile-Diagramm 60 FPS, laufen 99,8 Prozent mit einer höheren Framerate als mit 60 FPS. 0,2 Prozent sind dagegen langsamer als 60 FPS.
Höhere Anforderungen: 99,8th Percentile statt 99,0th Percentile
Damit hat ComputerBase die Anforderungen an die Hardware mit dem neuen Testparcours angezogen. Bis jetzt wurde das „99,0th Percentile“ genutzt, allerdings konnte damit ein ziemlich großer Anteil an „schlechten Frames“ durchrutschen – genauere Analysen der Frametimes verschiedener Spiele haben gezeigt, dass dies oft passiert ist. Das „99,8th Percentile“ ist dagegen deutlich anspruchsvoller, lässt sich aber nicht von einem einzelnen Ausreißer durcheinanderbringen. Von 1.000 Frames dürfen maximal 2 Frames Probleme bereiten, ohne dass dies in dem Diagramm gezeigt wird. Nach der alten Methode durften von 1.000 Frames 10 problematisch sein.
Frametimes werden zur optischen Gleichheit in FPS umgerechnet
Damit in einem Diagramm nicht zwei unterschiedliche Werte (FPS und Millisekunden) stehen, von denen ein längerer Balken (FPS) und ein kürzerer Balken (Frametimes) jeweils ein besseres Ergebnis bedeuten, wird das Ergebnis von Frametimes in Millisekunden auf einen traditionellen FPS-Wert umgerechnet.
Schlussendlich ist ein normales Frametime-Diagramm immer noch am genauesten. Allerdings werden solche Diagramme sehr schnell unübersichtlich. Bereits bei zwei Grafikkarten kann ein optisches Chaos entstehen. Spätestens bei dreien sind die Diagramme fast immer unbrauchbar. Der 99,8th-Percentile-Wert ist zwar weniger genau, zeigt jedoch anders als die Durchschnitts-FPS auch Ausreißer in der Performance, die den Spielfluss stören. Darüber hinaus bleiben solche Diagramme übersichtlich.
Kühlung und Lautstärke
Die Lautstärke ist einer der wichtigsten Aspekte bei einer Grafikkarte. Für die entsprechende Messreihe unter Last kommt Metro: Exodus zum Einsatz. Die Auflösung beträgt dabei 3.840 × 2.160 Pixel. Die Messung erfolgt nach einer 30-minütigen Aufwärmphase, wobei abgesehen vom CPU-Lüfter sämtliche anderen Lüfter (der des Netzteils inbegriffen) für die eigentliche Messung angehalten werden. Der CPU-Lüfter wird auf 250 Umdrehungen in der Minute reduziert und ist damit für das Messgerät (Voltcraft 322) nicht mehr wahrzunehmen. Sie wird im Abstand von 30 cm zur Grafikkarte durchgeführt, wobei das Gehäuse, anders als bei der Aufwärmphase, geöffnet ist.
Ähnlich den Messungen zur Lautstärke werden auch die Temperaturmessungen durchgeführt. Die Kerntemperatur der Grafikkarte wird im Ruhezustand auf dem Windows-Desktop und unter Last nach 30 Minuten Metro: Exodus ermittelt. Zur Messung der Temperatur auf der Kartenrückseite kommt ein Infrarotthermometer (UNI-T UT301C) zum Einsatz.
Leistungsaufnahme
ComputerBase misst isoliert die Leistungsaufnahme der Grafikkarte. Wie viel die restlichen Komponenten des Systems benötigen, wird damit nicht berücksichtigt. Um dies zu erreichen, wird auf ein speziell modifiziertes System zurückgegriffen. Dieses ermöglicht es, die Spannungen und Stromstärken des PCIe-Slots und der PCIe-Stromstecker separat abzugreifen.
Um ein breiteres Anwendungsszenario zu veranschaulichen, wird zusätzlich zur Leistungsaufnahme im Desktop- und im Lastmodus auch jene bei der Wiedergabe von YouTube-Videos gemessen. Im Desktop ist als Auflösung 3.840 × 2.160 mit 60 Hz aktiv. Das YouTube-Video liegt ebenso in Ultra HD vor und weist eine Framerate von 60 FPS auf.
Da je nach 3D-Engine die Grafikkarten unterschiedlich ausgelastet werden und jede Architektur anders auf die Belastungen reagiert, werden drei verschiedene Spiele bezüglich des Energiehungers getestet: Battlefield V, Metro: Exodus und Shadow of the Tomb Raider. Alle Titel laufen in der Auflösung 3.840 × 2.160. Die Hauptrolle spielt dabei der gebildete Durchschnitt der drei Spiele, wobei die Einzelergebnisse genauso ausgegeben werden.
Da nur die Leistungsaufnahme der Grafikkarte gemessen wird, ist es ebenso möglich, ein Performance-pro-Watt-Diagramm zu erstellen. Dieses bezieht sich auf die Durchschnitts-Strommesswerte der drei Spiele sowie auf die einzelnen Performance-Ratings der bis zu drei getesteten Auflösungen.
Übertakten
Ein probates Mittel, der Grafikkarte noch mehr Geschwindigkeit zu entlocken, ist die Übertaktung der Hardware. Als Stabilitätsprobe für die Übertaktbarkeit dient Metro: Exodus. Die Framerate wird zusätzlich in Battlefield V und Shadow of the Tomb Raider ermittelt.
Die Übertaktung selbst wird mit dem Tool MSI Afterburner vorgenommen. Für die Testreihe wird die maximal erlaubte Leistungsaufnahme eingestellt, sodass diese möglichst wenig (oder gar nicht) limitiert. Daraufhin werden die maximal möglichen Taktraten der GPU und des Speichers ausgelotet. Die Spannungen bleiben dabei auf dem Standardwert und werden höchstens für spezielle Testreihen geändert. Auch die Lüftersteuerung bleibt unverändert.
Da sich aufgrund unterschiedlicher Chipgüten von GPU und Speicher selbst Grafikkarten derselben Baureihe häufig unterschiedlich gut übertakten lassen, muss jedoch angemerkt werden, dass sich die erzielten Ergebnisse nicht zwangsläufig auf jede Grafikkarte desselben Typs übertragen lassen.
Preis-Performance-Rating
Neben der Leistung, der Bildqualität und den sonstigen Eigenschaften einer modernen Grafikkarte spielt der Preis eine entscheidende Rolle. Was nützt schon die schnellste GPU, wenn sie unbezahlbar ist? Im Preis-Performance-Rating wird aus diesem Grund in Form eines Streudiagramms die in den Benchmarks ermittelte Leistung der Grafikkarten den günstigsten Preisen aus dem Preisvergleich gegenübergestellt. Beim günstigsten Preis fließt in die Betrachtung mit ein, dass die jeweilige Grafikkarte bei einem renommierten Onlineshop erhältlich und auch lieferbar sein muss. Bei noch nicht verfügbaren Produkten wird auf die unverbindliche Preisempfehlung des Herstellers zurück gegriffen.
Aus Gründen der besseren Übersicht können sich die im Streudiagramm dargestellten Grafikkarten je nach Test unterscheiden.