News Ada Lovelace: Nvidia DLSS 3 soll bis zu 4× mehr FPS als nativ liefern

[Booby]

Ohne DLSS und RT "nur" 60-70% mehr FPS. Vielleicht gibt es hier einen CPU-Bottleneck.
"Next-Gen" läuft wahrscheinlich mit 10FPS auf der 3090.
AC ist das einzige Spiel ohne DLSS und RT.

 

[HierGibtsNichts]

@Taurus104
Der Unterschied im Implementierungsaufwand erschließt sich mir nicht. Worin liegt dieser denn konkret? FSR 2 will alle Inputs von DLSS und ein paar weitere Angaben. Wenn überhaupt sollte FSR 2 (minimal) mehr Aufwand erfordern.

Ganz vereinfacht ausgedrückt ist der Mehraufwand bei DLSS du die AI Anbindung bzw der Schnittstelle für das Neurale Netzwerk komplexer bzw gibt es hier mehrere Layer der Implementierung je mehr Layer desto komplexer, desto besser dann Endergebnis. Zudem reicht nicht die Einbindung alleine der AI bzw dem Netzwerk sondern es muss auch erst mit Datensätzen der Engine "angelernt" werden. Wenn FSR 3.0 auch wie bisher vermutet Echtzeit AI gestützt ist und per Hardware beschleunigt wird die Implementierungszeit hier auch steigen. Wobei AI Schnittstelle/Anbindung nicht mit einem neuronalen Netzwerk gleichzusetzen ist. Das ist tatsächlich nochmal etwas zusätzliches.

 

[.Sentinel.]

Ohne DLSS 3.0: Bild 1 gerendert -> Ausgabe. 20ms warten. Bild 2 gerendert -> Ausgabe. 20 ms warten.
Mit DLSS 3.0: Bild 1 gerendert. Speichern. Bild 2 kommt. Zwischenbild 1.5 Berechnen. Bild 1 nach 40ms Ausgeben, Zwischenbild 1.5 10 ms nach Bild 1 ausgeben. Bild 2 10 ms nach 1.5 ausgeben.

1. DLSS 3 Bild1 low- res gerendert - statt ohne DLSS 20ms zur Bildausgabe sind es dann noch 10ms. Analyse ob bereits ein oder mehrere Vorgängerframes verfügbar sind - Wenn nein, verschieben des folgenden Bildinhaltes mit Angleich der Pixel an die vorhandenen Motion Vectors 10 ms wenn ja generierung Echter zwischenframes anhand der vorhandenen Pixelinformationen, Motion Vektoren aber auch einer AI gestützten Screenspace- Analyse, je nach Anzahl der generierten Zwischenframes (meist Faktor 2) dann 5ms.

Bei Szenenwechsel in welchen der Bildinhalt komplett neu aufgebaut werden muss -> Loop von 1.

Und nicht vergessen- Mit jedem Frame was erfolgreich synthetisiert werden kann, entstopft man die Pipelines der Game- Engine, so dass deren interne Loops schneller bzw. gleichmäßig arbeiten können, was auch wieder der Input-> Ausgabe - Latenz zu Gute kommt.

DLSS3 ist übrigens zum Experimentieren für Entwickler schon verfügbar.

 

[ThomasK_7]

Zudem wurde DLSS 3 in die Unreal- und die Unity-Engine integriert. DLSS 3 soll im Laufe des Oktobers in das erste Spiel integriert werden.

Finde ich sehr gut, gerade auch für Unity!
Zumindest in alle geeignete Spiel-Neuentwicklungen in noch nicht fertigem Stadium sollte es leicht von Anfang an integrierbar sein. Das ist für die low budget Titel schon ein enormer qualitativer Schub.

 

[csch92]

schon traurig das das ne neue GPU voraussetzt, das kann AMD besser

 

[Killerattacks]

@csch92 Besonders wenn man bedenkt dass in der selben Präsentation als Einstiegs- und Mittelklasselösungen die 30er-Karten als Teil des Produktportfolios beworben wurden.

 

[IC3M@N FX]

Ein sehr großer Fehler das die RTX 30XX/20XX Generation ausgeschlossen wird.

Ich bin mir sicher es wäre auch mit diesen Chips möglich gewesen zwar nicht so effizient und schnell wie RTX 40XX Generation, aber sicherlich ein Mehrwert zur DLS 2.X!

So wird es für die Entwickler nur komplizierter und nehmen den einfachsten Weg wie z.b AMD's Lösung falls Nvidia nicht wieder Spielschmiede XY finanziert.

 

[Suspektan]

Das glaube ich nie im Leben, dass diese "Zwischenbilder Generierung" nicht auch weniger Hardware spezifisch umsetzen kann und auch auf älteren Tensorcores laufen könnte. Vielleicht etwas langsamer, weniger FPS, aber möglich

Zwischenbilder müssen nach Möglichkeit gleichmäßig eingefügt werden, ansonsten hätte man ein schwankend flüssiges Bewegtbild. Es will ja auch niemand mit z.B. regelmäßig zwischen 45 und 60 schwankenden fps spielen.
Bedeutet 60fps werden zu 120fps interpoliert, 70 zu 140 usw., da zwischen jeden Frame ein "Fakeframe" eingesetzt werden muss.
Kann sein, dass mit älterer Hardware zmdst. noch 40 zu 80 möglich wäre, k.A., aber dann gelangen wir glaube ich auch in den Bereich, welcher bereits ausreichend von dlss 2.1 abgedeckt wird?
Die Zwischenbildberechnung kann sich auch nicht beliebig Zeit lassen, da sonst die Latenz zu sehr ansteigt.

Ergänzung (21. September 2022)

Es wird Bild 1 gerendert > Bild 2 gerendert. Der Bewegungsvektor extrapoliert, daraus Bild 2.5 berechnet, noch bevor Bild 3 gerendert wird.

Ok, also dann müsste nicht erst auf den nächsten Frame gewartet werden.

 

[Dai6oro]

Ok ich denke ich überspringe diese Generation doch nicht und kaufe mir eine RDNA3 Karte. Hab die schnauze voll von nvidias dick moves. In 5 Jahren vielleicht wieder.

Ein sehr großer Fehler das die RTX 30XX/20XX Generation ausgeschlossen wird.

This

 

[Mimir]

DLSS3 ist übrigens zum Experimentieren für Entwickler schon verfügbar.

Wahrscheinlich nur für ausgewählte Partner oder?

Zumindest das öffentlich zugängliche SDK (man braucht ja nur nen kostenlosen Entwickleraccount anlegen) ist noch nicht verfügbar.

Mich würde halt interessieren, ob die nvngx_dlss.dll jetzt in version 3.x.x.x vorliegt und wenn ja, ob der Autausch bei alten Spielen die Qualität verbessert oder gar inkompatibel ist.

 

[.Sentinel.]

Mich würde halt interessieren, ob die nvngx_dlss.dll jetzt in version 3.x.x.x vorliegt und wenn ja, ob der Autausch bei alten Spielen die Qualität verbessert oder gar inkompatibel ist.

Es wird wieder bibliotheksbasiert integriert werden können. Die Chancen stehen auch gut, dass alle DLSS2.x Titel mit kleinen Einschränkungen das neue DLSS3 fahren können.

 

[Suspektan]

Also wenn das eine Zwischenbildberechnung ist, könnte sie nicht auch in einer neuen nvidia shield tv eingesetzt werden?
Bisher war man da immer vom tv Hersteller und seiner mcfi abhängig oder man hat amd motion fluid am pc verwendet.

Könnte mir vorstellen, dass die dlss Weiterentwicklung für nvidia auch mit Blick auf den switch Nachfolger vorangetrieben wird, ich geh weiterhin vom orin Chip aus.

 

[Daddi89]

DLSS 3 processes the new frame and the prior frame to discover how the scene is changing [...] Pairs of frames from the game, along with the geometry and pixel motion vectors, are then fed into a neural network that generates the intermediate frames

Ich fänd Extrapolation auch sinnvoller und cooler, aber wahrscheinlich ist es zu schwer.

So schwer wäre das möglicherweise gar nicht. Und muss auch nicht unbedingt zu Artefakten führen.

Ich glaube es ist doof geschrieben und sie meinen den letzten und den jetzigen ("neuen") Frame, um daraus den Bewegungsvektor zu errechnen und auf dessen Basis das nächste Zwischenbild.

Sonst bin ich bei euch, wäre das großer Quatsch. Andernfalls müssten sie aber auch keinen Pixel Motion Vector berechnen, ich gehe also davon aus, dass sie hier nicht nur die simple Fernseher-Zwischenberechnung eingebaut haben.

Und wie man das ganze ohne Artefakte macht? Indem DLSS 3.0 Zugriff auf die Engine hat. Ggf. ähnlich wie mit Nvidia Ansel, was ja auch die Kamera wild durch die Welt bewegen konnte: https://www.nvidia.com/de-de/geforce/geforce-experience/ansel/. In dem Falle könnte DLSS für das neue Bild die Kamera anhand des Motion Vectors weiterschieben und das neue Bild rendern. Ist aber vielleicht nur Wunschdenken.

Eine sehr ähnliche Technik wird schon seit einiger Zeit in VR verwendet. Steam nennt es Motion Smoothing, Oculus nennt es Asynchronous Spacewarp, kurz ASW (siehe https://www.computerbase.de/2019-04/oculus-asw-2/). Die hatten dabei aber nichmal Zugriff auf die Engine sondern nur auf die VR Renderbuffer und haben die dann Anhand der Kopfbewegung im 3D-Raum vor den Augen verschoben, entsprechend erhoffe ich mir durch DLSS 3.0 eine noch bessere Umsetzung.

Motion Smoothing hat dann selbst bei 0 FPS noch funktioniert (also einem eingefrorenen Bild), weil das Headtracking unabhängig davon auf die Ausgabe gerechnet wurde. Ist natürlich nochmal ein ganz anderer Ansatz, aber etwas ähnliches kann ich mir hier gut vorstellen.

 

[DRVNabsolute]

Hab schon das blöde Gefühl das es Programmiertechnisch 2 verschiedene Paar Schuhe sind und dann sagt der Entwickler... Ach was 3.0 reicht der Rest soll zu sehen.

Deshalb sollte man sich eben wenigstens etwas informieren bevor man so etwas dazu sagt. Wenn ein Spiel bereits DLSS 2.0 unterstützt ist es verhältnismäßig sehr einfach DLSS 3.0 zu implementieren. Warum sollte dann irgendein Entwickler nur auf 3.0 setzen wenn die meisten 2.0 nutzen um dann in den Reviews mit schlechter Performance da zu stehen? DLSS ist ja schon ein Game Changee, das beste Beispiel wäre Cyberpunk.

 

[h3@d1355_h0r53]

Nein, das ist nicht so einfach möglich. FSR 1.0 war eine reine Post Processing Lösung, FSR 2.0 braucht Informationen wie Bewegungsvektoren für die Interpolation. Die kriegt man ohne explizite Engine-Integration nicht.


Das ist halt einfach objektiv falsch. Klar gibt es hier und da mal Grafikfehler, aber genau so gibt es Szenen und Spiele, wo DLSS 2 und FSR 2 auf Quality ein detailreicheres und ruhigeres Bild als nativ hinkriegen.

Äh nein. Es gibt genug Spiele bei denen es einfach schlecht ausschaut. Und genug bei denen es Fehler produziert. Und Spiele bei denen es ein Mehrwert bietet. Objektiv betrachtet ist es also ein Sammelsurium und abhängig vom Spiel.

 

[0ssi]

Uhhh... Witcher 3 mit DLSS 3... da bin ich mal gespannt, und vor allem ob das auch mit RayTracing Mods funktioniert.

TW3 wird auf einer RTX4080 12GB auch ohne DLSS in 4K mit 120FPS laufen aber wenn die FPS mit einem
RT Mod auf 60 einbrechen dann wären mit DLSS3 wieder 120FPS möglich als macht es auch nur dann Sinn.

 

[FreedomOfSpeech]

TW3 wird auf einer RTX4080 12GB auch ohne DLSS in 4K mit 120FPS

Meine 3090 droppt manchmal unter die 120FPS und ich hab schon Schatten und Sichtweite um einen Punkt reduziert. Einziger Mod momentan ist das HD Texture Pack. Die 4080 12GB (4060ti richtiger Name) wird langsamer als die 3090.

 

[0ssi]

Die 4080 12GB wird langsamer als die 3090.

Niemals

 

[Ardadamarda]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[BGnom]

@Ardadamarda hab's mir auch gerade Angeschaut, Latenz sieht ja wirklich besser aus als gedacht. Artefakte sind noch so Naja, geht in Bewegung bestimmt klar aber schön ist es nicht. Für eine erste Implementierung aber ganz ordentlich, mal sehen ob die das in Zukunft noch verbessern können.