Nvidia DLSS 4 im Detail: Multi Frame Generation und ein neues neuronales Netzwerk
Nach DLSS 3 folgt wenig verwunderlich DLSS 4. Der Grundgedanke wurde dabei weiter gestrickt und die Anzahl der künstlichen Frames erhöht. Doch das ist nicht die einzige Änderung, DLSS 4 kommt auch mit einem neuen neuronalen Netzwerk daher, das auch für die älteren Technologien Verbesserungen bringen soll.
DLSS 4: Altes und Neues im Update
So werden DLSS Ray Reconstruction, DLSS Super Resolution und DLAA nun von einem neu antrainierten neuronalen Netzwerk berechnet, wobei es sich um ein Transformer-Model handelt und damit derselben Grund-Architektur wie zum Beispiel ChatGPT. Vorher wurde dagegen ein „Convolutional Neural Networks“ (CNNs) genutzt, was laut Nvidia aber am Limit des Machbaren angekommen ist.
Denn während das CNN primär die Bewegungen von Pixeln in einer festgelegten Region über mehrere Frames hinweg überwacht. War das Pixel aus dieser Region verschwunden, waren auch die vorher gewonnenen Informationen weg. Das neue neuronale Netzwerk auf Basis von „Vision Transformer“ dagegen kann Pixel über den gesamten Frame und mehrere Frames hinweg beobachten und bewertet deren Wichtigkeit selbstständig. Es sollen doppelt so viele Parameter wie bei dem alten Netzwerk genutzt werden, damit das neue Netzwerk das gerenderte Bild besser verstehen kann.
DLSS SR und RR werden hübscher, DLSS FG wird schneller und sparsamer
Entsprechend nennt Nvidia bei DLSS 4 für den Super-Resolution-Algorithmus eine bessere Bildstabilität, mehr Details in Bewegung und weniger Ghosting als zu erwartende Verbesserungen. Bei DLSS Ray Reconstruction wird ebenso eine bessere Bildstabilität und ein besserer Umgang in Umgebungen mit einer komplexen Beleuchtung genannt.
DLSS 4 Frame Generation soll schneller als das originale DLSS 3 FG werden. Das neue neuronale Netzwerk soll die Aufgabe 40 Prozent schneller bewerkstelligen können. Damit könnte ein Nachteil von DLSS FG behoben werden, den es immer mal wieder in Spielen gegeben hat: Ein ziemlich geringer FPS-Anstieg. Diese Änderung wurde erreicht, indem nun nicht mehr die Optical-Flow-Hardware in den Tensor-Einheiten genutzt wird, stattdessen wird die Optical-Flow-Funktion von dem neuronalen Netzwerk durchgeführt. Ferner soll der Speicherverbrauch reduziert worden sein, 30 Prozent weniger VRAM soll das neuronale Netzwerk bei der Frame Generation benötigen. Nvidia nennt als Beispiel Warhammer 40,000: Darktide, wo das neue Netzwerk 10 Prozent mehr FPS liefern soll und zugleich 400 MB weniger VRAM benötigt.
Nvidia DLSS 4 Super Resolution, DLSS 4 Ray Reconstruction und DLSS 4 Frame Generation wird es nicht nur auf den neuen GeForce-RTX-5000-Grafikkarten geben, sondern von allen GeForce-RTX-Grafikkarten unterstützt werden. DLSS 4 FG bleibt dabei den RTX-4000-Karten oder neuer vorbehalten.
DLSS SR und RR sind erstmal eine Beta
Während DLSS 4 FG bereits final ist, erscheint DLSS 4 SR und DLSS 4 RR erstmal als eine Beta-Version. Das daraus gewonnene Feedback soll dann in die finale Version eingehen, wann auch immer diese so weit sein wird. Die Beta-Versionen sollen optional mittels der Nvidia App und der „DLSS Override“-Option pro Spiel aufgespielt werden können.
DLSS 4 Multi Frame Generation – Nur mit RTX 5000
Das nächste neue Feature, DLSS 4 Multi Frame Generation, läuft dann nur auf den neuen GeForce-RTX-5000-Grafikkarten und damit der angekündigten GeForce RTX 5090, GeForce RTX 5080, GeForce RTX 5070 Ti und GeForce RTX 5070.
DLSS MFG nimmt dabei den Gedanken von DLSS Frame Generation und spinnt diesen einfach etwas weiter. Es wird nicht mehr nur ein Bild künstlich generiert, sondern gleich drei zwischen zwei gerenderten Bildern platziert. Sprich, von 5 ausgegebenen Frames mit DLSS MFG sind nur 2 Bilder gerendert und 3 Bilder werden künstlich generiert.
Möglich werden sollen die pro Frame 5 gleichzeitig ausgeführten neuronalen Netzwerke durch das neue neuronale Netzwerk von DLSS 4 und durch die neuen Tensor-Einheiten bei der Blackwell-Architektur. Ohne diese würde das Berechnen der zusätzlichen Bilder die Framerate nicht ansteigen, sondern fallen lassen. Laut Nvidia sollen mit DLSS 4 SR + MFG nun bis zu 93 Prozent der Pixel auf dem Bildschirm künstlich erstellt werden können.
Das Frame Pacing soll besser werden
DLSS 4 MFG soll dabei ein besseres Frame Pacing als DLSS 3 FG haben, denn dieses wird nun nicht mehr von der CPU durchgeführt. Stattdessen soll so genanntes „Hardware Flip Metering“ genutzt werden, was die Frameausgabe nun von der Display-Engine der GPU durchführen lässt. Das erlaubt Nvidia deutlich mehr Kontrolle über das Frame Pacing, das nun sehr gleichzeitig mit DLSS 4 Multi Frame Generation ablaufen soll.
Etwa 70 % mehr FPS nennt Nvidia
Nvidia nennt einen Leistungsvorteil von DLSS 4 MFG gegenüber dem „normalen“ Frame Generation von 70 Prozent. Nvidia zeigt Benchmarks von 6 verschiedenen Spielen und dort zeigen sich Schwankungen beim Nutzen von MFG. Zwischen 39 Prozent und 133 Prozent betragen die Vorteile in den einzelnen Benchmarks. Wie bei Frame Generation kann der Vorteil also auch hier von Titel zu Titel variieren.
Das neue neuronale Netzwerk von DLSS Super Resolution, DLSS Ray Reconstruction und DLSS Frame Generation ist Abwärtskompatibel mit bereits verfügbaren DLSS-Spielen und kann zum Beispiel durch die Nvidia-App (Bericht) aktualisiert werden, dasselbe gilt für DLSS Multi Frame Generation: Unterstützt ein Spiel DLSS FG, kann unter Umständen mit einer GeForce-RTX-5000-Grafikkarte DLSS MFG daraus gemacht werden. Nvidia nennt explizit diese Möglichkeit und spricht von 75 Titeln, die ab dem ersten Tag mit DLSS 4 MFG funktionieren sollen. Entsprechend kann es sich aber nicht um alle Titel handeln, ganz klar ist die Situation nicht.
Neben der Möglichkeit, Spiele per Nvidia App „MFG-tauglich“ zu machen, wird es auch Spiele geben, die DLSS MFG auch nativ unterstützen. Das Feature wird dort dann entsprechend im Grafikmenü ausgegeben. Alan Wake 2, Cyberpunk 2077, Indiana Jones und der große Kreis sowie Star Wars Outlaws werden DLSS 4 MFG von Tag 1 an nativ unterstützen, Black Myth: Wukong, Baraka: Bladepoint, Marvel Rivals und Microsoft Flight Simulator 2024 sollen später folgen. Von Start an sollen auch die noch nicht erschienenen Spiele Black State, Doom: The Dark Ages und Dune: Awakening DLSS 4 MFG unterstützen.