News Nvidia DLSS 4 im Detail: Multi Frame Generation und ein neues neuronales Netzwerk

[FrozenPie]

@Wolfgang

Denn während das CNN primär die Bewegungen von Pixeln in einer festgelegten Region über mehrere Frames hinweg überwacht. War das Pixel aus dieser Region verschwunden, waren auch die vorher gewonnenen Informationen weg. Das neue neuronale Netzwerk auf Basis von „Vision Transformer“ dagegen kann Pixel über den gesamten Frame und mehrere Frames hinweg beobachten und bewertet deren Wichtigkeit selbstständig.

Der erste Satz endet irgendwie sehr abrupt, als wolltest du diesen und die beiden nachfolgenden eigentlich in einem Satz zusammenfassen.

Das erlaubt Nvidia deutlich mehr Kontrolle über das Frame Pacing, das nun sehr gleichzeitig mit DLSS 4 Multi Frame Generation ablaufen soll.

Entweder "sehr gleichmäßig" oder nur "gleichzeitig" oder verstehe ich das falsch?

 

[phanter]

Dafür hast du Upscaling. DLSS Performance vs Native kann mit pathtracing die FPS in 4K bereits um Faktor 2-3 anheben. Dann kommst du in Bereiche bei denen Frame Generation dann den Rest erledigen kann.

Den Bereich gibt es nicht. Der Bereich ab dem Frame Gen genug Daten hat um brauchbare Frames zu generieren ist der Bereich wo FPS sowieso vollkommen irrelevant sind

 

[relaxed_Guy]

Und AMD hat dem nichts entgegenzustellen

Hier sollte man abwarten bevor man urteilt.
FSR4 muss sich erst unabhängig angeschaut werden Im Vergleich.

Ray Reconstruction ist wenig verbreitet.

"Multi Frame Generation" gibt es bereits im 3rd Party Tool Lossless Scaling als LSFG x2/ x3 Mode und das für alle GPUs.

Wünschenswert wäre wenn Nvidia ein Pendant zu AMD Fluid Motion Frames 2 bieten könnte.

Hier kann ich mir vorstellen das man x3/x4 Mode recht schnell nachreichen könnte für AFMF2 ähnlich wie es Lossless Scaling bietet. Schneller als für FSR. Wie die Bildqualität, Latenz wäre etc. muss dann dann wieder in Test anschauen.

Am Ende bleibt es aber Frame Generation mit seinen Nachteilen. Es werden keine tatsächlichen neuen Frames erzeugt sondern ausschließlich das Gefühl bzw. die Smoothness von mehr FPS.

Interessanter finde ich hier Reflex 2 mit Frame Warp.

Ob die Technologie dann die Latenz Steigerung von FG schafft zu negieren müssen ebenfalls die Tests zeigen.

 

[Fyrex]

Als Kunde will ich eher einen Test mit vergleichbarer Bildqualität in normalen Spielbedingungen.

Was will ich mit einem theoretischen Vergleich in niemals genutzten Bereichen (native Ausgabe).

Wird doch ständig bei CPU Benchmarks gemacht. Da laufen dann Spiele in 720p usw. , also überhaupt keine realistischen Szenarien für High-End-CPUs. Da stört es auch keinen.

 

[Mimir]

Den Bereich gibt es nicht. Der Bereich ab dem Frame Gen genug Daten hat um brauchbare Frames zu generieren ist der Bereich wo FPS sowieso vollkommen irrelevant sind

Also ich würde sagen, bis 1000 FPS ist eine Steigerung der FPS nicht irrelevant. Davon sind wir selbst mit MFG noch weit entfernt.

 

[Fraggil]

In den kurzen Video Clip ist auch erkennbar wie jede DLSS Version das Bild dunkler macht.

 

[ElisaMüller]

Ich persönlich würde mir übrigens ein System wie FSR wünschen, womit man quasi mit dem Treiber in jedem Spiel dann die etwas einfachere Technik einsetzen könnte, ohne auf eine explizite Unterstützung vom Hersteller im Spiel abhängig zu sein.

Naja, mal schauen was aus FSR4 wird.
Alte Hardware haben sie ja schon mal aufgegeben.
AMD hat erkannt, dass ihr Weg in einer Sackgasse geendet hat.
Würde mich also nicht wundern, wenn FSR4 auch explizite Unterstützung benötigt.

 

[Xood]

Der Trend scheint wirklich in Richtung KI-simulierte "Umgebungen" zu gehen. Ob für Spiele oder Filme, sie werden dann on-demand erzeugt.

Es wird weiterhin Designer geben, aber ihre Rolle verändert sich: Sie legen die Spielregeln fest, während die KI diese nutzt, um alles andere zu generieren.

Wenn wir uns daran nach ein paar Jahren sattgesehen haben - mittlerweile vielleicht mit Quest X, könnte dies nahtlos in eine komplett virtuelle Welt übergehen.

Zwischenzeitlich wissen immer mehr Menschen immer weniger, sodass man quasi auf KI angewiesen ist und entsprechend abhängig wird.

Die Grundlage für diesen Wandel lässt sich in der Spielentwicklung erkennen: Von ASM über Hochsprachen, zu Engines, zu Roblox und Fortnite Creator - es wird immer einfacher, etwas zu erstellen, während gleichzeitig immer weniger Wissen und Erfahrung benötigt werden.

 

[SavageSkull]

Wird denn mit der neuen Berechnung auch das Ghosting und die Artefaktbildung beim "normalen" Frame Generation verbessert? Nvidia schreibt nur schneller und weniger VRAM Bedarf.

Das ist ggf. das interessante Killer Feature hier, über das viele gar nicht gestolpert sind 👍

Wann kommt das denn für uns normale Nutzer?

 

[phanter]

Also ich würde sagen, bis 1000 FPS ist eine Steigerung der FPS nicht irrelevant. Davon sind wir selbst mit MFG noch weit entfernt.

Doch 1000 FPS sind absolut irrelevant

In competitive/ E-sport games sind vielleicht 100+FPS sinnvoll, aber da ist Frame-Gen irrelevant, da es die Latenz verschlechtert

Und in einem single player spiel gebe ich nicht den geringsten **** ob ich 100 oder 200 FPS habe, da ich den Unterschied eh nicht Merke/ er meinen Spielspaß nicht beeinträchtigt

 

[Turrican101]

Das kann vielleicht aus 60-90 FPS halbwegs glaubbare 200+ FPS machen, aber halt nicht 20 FPS auf 60 heben, weil einfach zu wenige Daten da sind.

Also ich spiele CP2077 mit meiner Uraltkarte mit 75fps und bin damit glücklicher als ohne mit ca. 30-40fps. Oder noch weniger FPS wenn ich "diese KI-Scheiße" Upscaling ausschalte, die ich ja auch noch nutze.

Was bringen mir "echte" Pixel, wenn meine Karte davon viel zu wenig generieren kann? Und warum sind negative Nebeneffekte durch FG böse, aber schlechtere Darstellung durch kleinere Texturen, schlechterem AA oder generell fehlenden Effekten usw. in Ordnung, um mehr FPS zu bekommen?

 

[Mimir]

Doch 1000 FPS sind absolut irrelevant

In competitive/ E-sport games sind vielleicht 100+FPS sinnvoll, aber da ist Frame-Gen irrelevant, da es die Latenz verschlechtert

Und in einem single player spiel gebe ich nicht den geringsten **** ob ich 100 oder 200 FPS habe, da ich den Unterschied eh nicht Merke/ er meinen Spielspaß nicht beeinträchtigt

Die Schärfe steigt halt deutlich an, wenn das Bild in Bewegung ist. Das sieht man schon. Flüssig ist ein Spiel bereits mit 80-90 FPS. Aber wirklich scharf wird es eben erst bei extrem hohen Bildraten.

Verstehe deinen Punkt aber nicht. Wenn das Feature verfügbar ist, macht man es eben an und hat ein deutlich schärferes Bild in Bewegung. Gibt doch keinen Grund, sich darüber zu ärgern, nur weil es existiert und man damit ne Verbesserung bekommt. Du versuchst dem ganzen irgendwie grundlos die Daseinsberechtigung nehmen zu wollen....

Natürlich ist das nicht überlebenswichtig, um ein Spiel genießen zu können. Aber das zählt auch allgemein für aktuelle Grafikkarten....

 

[gustlegga]

Das Problem sehe ich eher darin, dass sich die Spieleentwickler auf den neuen Technologien wie DLSS, FSR und FG ausruhen und ihre Games nicht mehr vernünftig "nativ" optimieren.

Oder es wird in das alles erschlagende RT Argument gesteckt.
Dass heutzutage gefühlt in jedem 2. Game Regenwetter herrscht und/oder überall Pfützen sind oder gar das Wasser spiegelglatt am Boden steht nur damit sich ja der Himmel/Umgebung so schön darin spiegelt ist sowas von albern.... da kann ich gern auf dieses Gimmick verzichten.
Mir fällts nicht mehr ein welches Spiel das war was hier vor einiger Zeit getestet wurde, aber da stand in Screenshots sogar das Wasser auf Sandböden und Kopfsteinpflaster... aber hey, es ist ja RT.... WTF....
Gegen DLSS/FSR hab ich im Grunde erst mal nichts einzuwenden wenns denn für flüssige FpS hilft und die Bildruhe verbessert und das AA-Kantenflimmern verhindert.

 

[<jACKtHErIPPER>]

"Denn während das CNN primär die Bewegungen von Pixeln in einer festgelegten Region über mehrere Frames hinweg überwacht."
Da fehlt was.

 

[Serphiel]

Hhhmmm gut das im Video zu sehen. Macht ja den Anschein wir werden schärfer und stabiler. Das find ich erstmal gut. Nur die 5000er bekommen MFG aber wichtiger ist mir erstmal dieses neue Model mit besserer Bildqualität.
Auch das überschreiben der DLSS Version find ich erstmal gut. Spiele DCS und DLSS kannst da wegen krassem Ghosting eigentlich vergessen. ED ist nicht gerade der schnellste bei Core-Updates wenn also diese App erlaubt DLSS 4 in DCS zu verwenden und DLSS 4 dieses Ghosting verliert und an Bildqualität gewinnt dann wäre ich schon begeistert.
Mal sehen wie es sich verhält wenn CB das Testet bzw. wie es live aussieht.

 

[Taxxor]

Interessanter finde ich hier Reflex 2 mit Frame Warp.

Ob die Technologie dann die Latenz Steigerung von FG schafft zu negieren müssen ebenfalls die Tests zeige

Die Latenz von FG negiert schon Reflex 1.

Reflex 2 wird für MFG interessant.

Und wenn es die Latenz nochmal für der mit Reflex 1 halbieren kann, wären zumindest theoretisch die 4-fachen FPS bei gleicher Latenz drin

 

[FreedomOfSpeech]

Viel interessanter finde ich das man mit dem Treiber quasi das Spieleigene DLSS überschreiben kann um es zu verbessern.

Geht auch jetzt schon von Hand:
https://www.techpowerup.com/download/nvidia-dlss-dll/
https://www.techpowerup.com/download/nvidia-dlss-3-frame-generation-dll/
https://www.techpowerup.com/download/nvidia-dlss-3-ray-reconstruction-dll/
Die *.dll einfach im Spieleordner überschreiben.

Mit DLSS TWEAK https://www.nexusmods.com/site/mods/550 kann mach auch die Auflösungen der einzelen Qualitätsstufen einstellen, oder DLAA forcen.

 

[Blackfirehawk]

@FreedomOfSpeech Das weis ich, aber das ist immer noch nicht "via Treiber" überschreiben
und vorallem kann man damit (noch) nicht das "KI - Rechenmodel" überschreiben

und vorallem ist die DLSS Tweak lösung nicht Anticheat tauglich

das macht schon einen unterschied ob man das offizell oder per extra tool macht

 

[Ganjafield]

Danke für die detaillierten Infos 🤓 👍

 

[ElliotAlderson]

In competitive/ E-sport games sind vielleicht 100+FPS sinnvoll, aber da ist Frame-Gen irrelevant, da es die Latenz verschlechtert

Nein, die Latenz wird nicht zwangsweise verschlechtert. Wir haben die Technik jetzt seit über 2 Jahren und einige raffen es einfach immer noch nicht.