3DMark Steel Nomad: Nutzer sind von „Bug runs“ genervt, UL wägt Maßnahmen ab

Der neue 3DMark Steel Nomad (Analyse, Community-Benchmark) dürfte über die kommenden Jahre der führende Benchmark sein, wenn es darum geht, Leistungsrekorde mit Gaming-Bezug aufzustellen. Dass so genannte „Bug runs“ immer noch validiert werden, stößt dabei auf Kritik. Die Entwickler erwägen nun immerhin Gegenmaßnahmen.

Das sind „Bug runs“ (im 3DMark)

Unter „Bug runs“ versteht man Benchmark-Durchläufe, die ein valides Ergebnis liefern, obwohl es im Benchmark zu Fehlern gekommen ist und diese Fehler dafür gesorgt haben, dass das Ergebnis höher ausgefallen ist, als es auf dem System hätte ausfallen dürfen. Das ist beispielsweise dann der Fall, wenn im Benchmark gewisse Objekte, Texturen oder Shader nicht geladen und damit auch nicht berechnet werden.

Der Benchmark als solcher und ein System, das innerhalb der Spezifikationen betrieben wird, sollten solche Läufe grundsätzlich nicht auslösen, doch Nutzer auf der Jagd nach dem High Score können sich diese „Bug runs“ zu Nutze machen, indem sie es darauf anlegen, dass solche Fehler auftreten: Beispielsweise durch Übertakten, allem voran „VRAM OC“.

Das nachfolgende Video zeigt ein besonders krasses Beispiel für einen solchen „Bug run“. Aufgenommen hat es der Nutzer InvictuSZN aus der Community von Hardwareluxx.

Kein neues, aber ein nerviges Thema

Das Thema ist nicht neu, wurde mit dem neuen 3DMark Steel Nomad und den weltweit auf der Suche nach dem High Score an die Grenze getriebenen GeForce RTX 4090 aber mal wieder auf die große Bühne gehoben – denn so manches Ergebnisse passte und passt nichts ins Bild.

Eine RTX 4090 mit weniger Takt liegt deutlich vor einer RTX 4090, wie kann das sein? Die Frage stellte sich nicht nur mit Blick auf die Liste der validierten Ergebnisse bei UL selbst, sondern auch im ComputerBase-Community-Benchmark-Test.

Bei der RTX 4090 gäbe es dabei eine einfache Möglichkeit, viele dieser Ergebnisse von vornherein auszuschließen: ECC beim Speicher im Treiber manuell zu aktivieren. Das würde die Speicherfehler, die dazu führen, dass Assets nicht oder nicht korrekt geladen werden, erkennen und versuchen zu beheben – was Leistung kostet.

Weil das nicht der Standardeinstellung der Grafikkarte entspricht und Spieler diesen Weg in der Regel nicht gehen, weil er im Gaming-Alltag keine Vorteil bietet und Leistung kostet, entspräche es auch nicht dem Betriebszustand, in dem die RTX 4090 in Gaming-PCs Verwendung findet.

Einen im Benchmark integrierten Mechanismus, um solche Läufe von der Validierung auszuschließen, gibt es bisher hingegen nicht. Und auch in der Liste der validierten Rangliste reagiere UL Solutions bist dato wenn überhaupt nur, wenn unplausible Ergebnisse gemeldet werden. Nutzer, auch die, die auf der Jagd nach High Scores sind, zeigen sich davon genervt.

UL Solutions hat „ein paar Ideen“

ComputerBase hat bei UL Solutions nachgefragt, ob sich daran in Zukunft etwas ändern wird, und hat eine Antwort erhalten. Der Entwickler erklärt derzeit abzuwägen, wie dagegen vorgegangen werden könnte. „Ein paar Ideen“ habe man schon. Konkreter wird UL zurzeit aber noch nicht.

Denkbar wäre beispielsweise das Erstellen von Screenshots während des Benchmarks, die zusammen mit dem validierten Ergebnis eingesendet werden, in der Cloud könnte UL die erstellten Screenshots dann (automatisiert) mit Referenz-Screenshots vergleichen. Das könnte allerdings Leistung kosten und somit einen Einfluss auf das Ergebnis haben.

ComputerBase wird an dem Thema dran bleiben und freut sich bis dahin über Erfahrungen der Community mit so genannten „Bug runs“ in diesem oder anderen Benchmarks.