News Upsampling: Vier von Fünf RTX-Spielern nutzen DLSS – auch auf CB?

[cypeak]

DLSS Performance ist schon voller Problemchen.... Würde ich nur in Spezialfällen absegnen.
DLSS Quality hat nur wenige Problemchen und löst viele Probleme des nativen Bildes.. Würde ich in fast jedem Spiel TAA vorziehen...und dem nativen Bild ohne TAA sowieso.

dlss quality ist tatsächlich in vielen fällen recht akzeptabel - gerade wenn der titel ansonsten mit forciertem taa arbeitet.
wenn ich aber die wahl hätte, würde ich lieber in nativer auflösung, ohne taa, aber dafür z.b. mit tssaa oder von mir aus smaa spielen; das problem ist eigentlich immer wie die jeweilige engine für das flimmern anfällig ist und ob methoden ohne temporale komponente das gut abkönnen. aber meistens wird inzwischen garkeine option mehr dazu angeboten - oder man kann sich zwischen dem übel mit taa oder (anderem) über ohne aa entscheiden...
und inzwischen schiebe ich das vor allem auf die faulheit der entwickler oder einfach defaults welche über bestimmte engines drübergebügelt werden; frei nach motto: warum sollen wir uns von vornherein bei unseren visuals auf optimierung von aa problematik einlassen, wenn am ende sovieso taa tabula rasa macht und dann z.b. low res decals schlicht geblurt werden; wenn specular details (oft glänzende objekte im bild, welche weiß-anteile haben) weggesmoothet werden...naja, da häufig niemand einen vergleich ohne taa hat, fällt es quasi kaum auf..

 

[mibbio]

ist seit über 40 Jahren bekannt und wird seit dem von NASA und DoD verwendet um Bilder mit höherer Auflösung aus niedriger aufgelöstem Quellmaterial zu erhalten. Beide Behörden sind nicht dafür bekannt, dass sie an "erratenen" Details in Bildern interessiert wären.

Wobei der von der NASA verwendete Prozess aber auch nicht in Echtzeit ablaufen muss. Da steht ein möglichst fehlerfreies Ergebnis im Vordergrund und es interessiert recht wenig, ob die dafür nötige Berechnungen 5 Minuten, 5 Stunden oder den ganzen Tag brauchen. Auch macht die Hardware im PC oder Server auch dediziert nur das und nichts Anderes nebenher.

Bei DLSS SR wird zwar an sich ein ähnlicher Ansatz umgesetzt, aber da muss der in Echtzeit stattfinden und noch dazu ist die Hardware schon zu großen Teilen mit dem eigentlichen Berechnen und Rendern des Spiel beschäftigt. DLSS SR stehen also um einige Größenordnungen weniger Rechenzeit & -leistung zur Verfügung als bei dem, was die NASA bei ihren Bildern macht. Entsprechend stark sind dann eben auch die Kompromisse beim Ergebnis, die damit einhergehen.

 

[Nolag]

DLSS SR stehen also um einige Größenordnungen weniger Rechenzeit & -leistung zur Verfügung als bei dem, was die NASA bei ihren Bildern macht. Entsprechend stark sind dann eben auch die Kompromisse beim Ergebnis, die damit einhergehen.

Und dennoch "errät" DLSS die Details nicht, sondern wendet im Prinzip das gleiche grundsätzliche Verfahren an um zu einem höher aufgelösten Ergebnis zu kommen. Bei DLSS hilft zudem, dass der Betrag des Jitter genau bekannt ist und auch die Tiefeninformation für jeden Pixel verfügbar ist. Die Algorithmen, die auf Bildern zum Einsatz kommen, müssen in der Regel mit der reinen Bildinformation arbeiten.

 

[Baal Netbeck]

Aber was ich geschrieben habe gilt für DLSS 2:
Siehe hier: https://en.wikipedia.org/wiki/Deep_learning_super_sampling#DLSS_2.0

Ja, du beschreibst was Wikipedia schreibt.

Ich gehe davon aus, dass DLSS 2/3 deutlich komplizierter arbeiten, als der Wiki Artikel es beschreibt.

Wenn es nur eine Form von TAA wäre, müsste kein CNN Modell antrainiert werden und man hätte auch nicht die Rekonstruktion von z.B. entfernten Stromkabeln, so wie ich sie beobachte.

Das sieht aus meiner Sicht schon so aus wie CNN Rekonstruktion von Strukturen.... manchmal entscheidet sich das Modell, dass das mit höherer Wahrscheinlichkeit eine echte Struktur ist und stellt so ein Kabel dicker und durchgängig da ..und manchmal entscheidet es sich, dass es unwahrscheinlich ist und das Kabel fehlt.

Wie auch immer Nvidia es macht.
Das Ergebnis überzeugt mich meist.

DLSS macht es nicht viel anders,

Als MSAA?
Das eine bekommt seine Zusatzinfos aus mehr Bildern und das andere daraus dass es Teile mit höherer Auflösung rendert...ist aus meiner Sicht schon ziemlich anders.

Aber ist ja auch egal, was wie ähnlich ist.

Die Ergebnisse sind sehr unterschiedlich.

Nein, DLSS errät nichts. Es verrechnet nur die Daten geschickt und natürlich auch mit Erfahrungswerten, aber immer aus dem selben Spiel und in einem vergleichsweise kurzem Zeitraum (weniger als 1s) "erlernten" Daten.

Also der Wiki Artikel sagt was anderes.

Der sagt, dass das CNN mit DLSS 2 allgemein antrainiert würde und nicht mehr für jedes Spiel aufs neue.

Und das Modell erlernt bestimmt nicht irgendwas neues live... Dass dauert doch viel zu lange.

Nur der Input ins Modell ist aus dem kurzen Zeitraum.

Das ist ja gerade ein Vorteil von KI...man wendet viel Zeit für das antraineren auf und in der Anwendung geht es dann extrem schnell.

Und ob man das jetzt "erraten" oder "versuchen zu rekonstruieren" nennt ist doch egal.

 

[matmartin]

Ich spiele eigentlich so gut wie alles auf DLSS Quality bei einer 1440p Auflösung.

Frame Gen entscheide ich von Spiel zu Spiel. In Hogwarts Legacy sah Frame Generation abartig hässlich aus aufgrund einer Schlierenbildung.

In Spielen wie Rachtet & Clank, Ghost of Tsushima, RoboCop & Co. habe ich damit aber gute Erfahrungen gemacht.

 

[Hungerstreit]

Habe DLSS Quali fast immer an wenn verfügbar da die meisten Engines/Spiele sonst furchtbar aussehen heutzutage.

DLDSR sieht meistens gefühlt besser aus als DLAA ich kann es aber mit meinem 7800x3d und ner 3080 @1440p nur selten nutzen da ich hohe fps/niedrige Latenz bevorzuge. Im Singleplayer mit Gamepad ist es manchmal ok wie z.B. in Elden Ring.

FSR als TAA nur in nativer Auflösung wenn es kein DLSS gibt. Ich kann mich nur an einen Titel erinnern wo ich FSR DLSS bevorzugt habe da Elemente am Horizont sauberer gerendert wurden (CoD:MW2 2022 Multiplayer).

DLSS FG hat die 3080 nicht. AMD FG habe ich nur in CP2077 ausprobiert und war nicht zufrieden, bekomme da ein deutlich besseres Ergebniss mit der aktuellen Lossless Scaling Version. Tatsächlich ist LLS so gut in dem Spiel dass ich DLSS MFG wahrscheinlich öfter mal nutzen werde/würde in Singleplayer Spielen, vermute mal es ist noch deutlich besser was Latenz und Framepacing anbelangt? Wir werdens ja bald erfahren 🧐

 

[Grestorn]

Das eine bekommt seine Zusatzinfos aus mehr Bildern und das andere daraus dass es Teile mit höherer Auflösung rendert...ist aus meiner Sicht schon ziemlich anders.

Das Prinzip des "Jitters" und des verrechnen mehrerer Bilder ist der Teil, der von beidem verwendet wird. Worin die Unterschiede sind, habe ich ja ausführlich beschrieben und muss es nicht wiederholen.

Und ob man das jetzt "erraten" oder "versuchen zu rekonstruieren" nennt ist doch egal.

Nein, weil "erraten" impliziert, dass Teile hinzuerfunden werden, die native gerendert, auch in höherer Auflösung, nicht da wären. So funktioniert das aber nicht.

Was der Algorithmus "erlernt", wie ja auch heute in diesem Artikel beschrieben wird, ist wie bestimmte unerwünschte Artefakte (eben Moires, Shimmering, Smearing) verhindert werden können. Ansonsten bezieht der Algorithmus nur Daten ein, die vom native Renderer auch erzeugt werden, OHNE etwas zu "erfinden".

Dieses "Erfinden" ist ja etwas, was die DLSS Gegner dem Alogrithmus immer andichten, und ihm damit Unterstellen, dass er ertwas erzeugt, was da gar nicht hingehört. Das ist aber schlicht falsch.

 

[Baal Netbeck]

"Erraten" war aus meiner Sicht nicht abwertend gemeint.

Aber eine KI ist nunmal nicht als deterministisches System angelegt. Da passieren Entscheidungen aufgrund von Wahrscheinlichkeiten und Trainingsdaten.
Da können Fehler passieren und das tun sie auch bei DLSS. Siehe Ghosting, was mit DLSS seltener vorkommt, aber eben trotzdem nicht ausgeschlossen ist.

Nvidia hat das System so gut optimiert, dass es sehr gut funktioniert, aber trotzdem "rät" die KI nur, dass das was sie da in höhere Auflösungen skaliert, in dieser hohen Auflösung auch so aussehen soll.
Von 1440 mit mehreren Frames auf 4K zu scalieren, erfordert eben wenig raten.
Aber von 720p auf 4K funktioniert nicht, ohne da etwas "hinzuzuerfinden". Das sieht man dann ja auch an dem Rauschen, dass da bei feinen Strukturen auftritt....es funktioniert überraschend gut und sehr viel besser als FSR, aber wenn da keine Zufallseinflüsse dabei wären, würde es nicht unruhig werden.

Ist aber auch Wortklauberei...."Erraten" mag abfällig geklungen haben....es war nicht negativ gemeint....eher ehrfürchtig, wie gut das Ergenis trotz "raten" ist.

 

[mibbio]

Man könnte auch sagen, die KI füllt die fehlenden Details im finalen, hochskalierten Bild mit den Pixeln auf, die dort auf Basis vorheriger Frame am wahrscheinlichsten hingehören. Und das Flimmern oder Bildfehler kommen schlicht daher, weil sich die Eingabedaten für die Wahrscheinlichkeit, wo welcher Pixel hinkommt könnte, mit jedem Frame ändert.

 

[Baal Netbeck]

wo welcher Pixel hinkommt könnte, mit jedem Frame ändert.

Ja, wobei ich das so verstanden habe, dass die vorheringen Frames auch die hochscalierten Frames einschließt.
Dadurch kann die KI durchaus berücksichtigen, wie sie sich das letzte Mal entschieden hat und damit konsistent weiter machen.

Geht halt schief, wenn die Frames sich zu sehr unterscheiden oder wenn die Ausgangsauflösung einfach viel zu niedrig ist.

 

[Grestorn]

Und schon wieder wird die Unterstellung genährt, DLSS würde irgendwelche Pixel hinzuerfinden.

NEIN, das tut es nicht.

Aertefakte, die durch Schwächen des Basisalgorithmus entstehen - wie Ghosting, Moire und Shimmering, als solche zu erkennen und zu unterdrücken, ist nicht das gleiche wie "Pixel stochastisch dazuerfinden".

Ghosting entsteht nicht durch die AI, @mibbio, sondern durch den Basisalgorithmus, der mehrere aufeinanderfolgende Frames verrechnet. Weswegen auch FSR, das bislang kein AI nutzt, von diesem Problem massiv betroffen ist.

 

[_ROG_]

Meine 4070 macht in Forza 5 Episch Einstellungen, DLSS Quality an 3440x1440 100 FPS.

Wenn ich den FPS Limiter bei 100 setzen und Frame Generation aktiviere, verbraucht die 4070 nur 50% ohne optischen Verlust. Die 100 FPS werden durch FG gehalten.


DLSS Performance mit FG ist grausig. Aber DLSS Quality mit FG kann ich empfehlen.
Verstehe, wenn man da bei Online Shooter eher Abstand nimmt. Für mich als Gelegenheitsspieler optimal.

 

[Gravlens]

Entsprechend stark sind dann eben auch die Kompromisse beim Ergebnis, die damit einhergehen.

Das Ergebnis hängt doch denke ich auch davon ab wie man DLSS SR nutzt?^^

Also z. B. wenn man eine native Monitor-Auflösung von nur 1920 x 1080 hat und dann 2880 x 1620 auswählt, dann hat man doch zumindest auf dem Monitor ein wesentlich besseres Bild als man nativ hätte?^^

Klar, wenn man einen Screenshot macht mit der höheren Auflösung von SR und dann mit einem Bild in der gleichen Auflösung aber in nativ vergleicht dann natürlich nicht.^^

Ich hatte DLSS SR zuletzt in Elex 1 genutzt, das wertet die mittlerweile etwas angestaubte Grafik meiner Meinung nach deutlich auf, kann die Kritik an DLSS SR nicht verstehen, einziger Nachteil daran ist für mich das mehr Leistung benötigt wird.^^

 

[mibbio]

Ich glaube, du verwechselst zwei Sachen bzw. wirst die durcheinander. Das, wovon du redest, nennt sich DLDSR und dass damit das Bild deutlich besser wird, ist auch logisch. Denn genau das ist der Zweck von DLDSR. Dabei werden die Frames des Spiel mithilfe von KI in einer höheren Auflösung als nativ erzeugt und dann auf die native Auflösung runtergerechnet. Das sorgt dann für den Qualitätsgewinn, braucht aber auch etwas mehr Leistung. DLDSR ist quasi die Umkehrung von DLSS SR.

Denn bei DLSS SR soll den Leistungsbedarf senken bzw. die FPS erhöhen. Dafür wird dort das Spiel in einer geringeren Auflösung als nativ gerendert und dann per KI auf die native Auflösung hochskaliert.

Elex unterstützt auch gar kein DLSS SR, und entsprechend kannst du auch nur DLDSR meinen, denn das funktioniert unabhängig vom Spiel über den Grafiktreiber.

 

[Gravlens]

@mibbio Ok, stimmt, DSR steht für Dynamic Super Resolution und SR steht nur für Super Resolution.^^

Hätte man vielleicht namentlich etwas besser abgrenzen können, ich versuch es mir zu merken.^^

Und danke für die Erklärung, das habe ich halt bisher immer als DLSS (Upscaling) bezeichnet.^^

 

[Bloodwalker]

@Bloodwalker

Das bei SH würde mich viel mehr stören in der Tat. Vor allem das Flackern des Heizkörpers. Oder ist das nur bei dem YT Video ein Artefakt?

Ich muss leider noch mal auf das Thema eingehen, auch weil ich persönlich wirklich gehofft habe das DLSS 4 gerade bei FG nochmal Qualität rausholen kann.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wie hier zu sehen sind die Probleme mit MFG eigentlich nur noch schlimmer geworden. Die Artefakte die durch das beleuchten der Umgebung mit der Taschenlampe in Verbindung mit (M)FG entstehen sind so hässlich dass ich mich wirklich Frage wie scheinbar ein Großteil der User das nicht sehen.

Diese Artefakte waren wirklich so schlimm dass ich ursprünglich davon ausgegangen bin das meine 4080 schlicht defekt ist. Solche Videos beruhigen mich aber dahingehend dass es einfach die noch extrem unausgereifte Software ist.

 

[HageBen]

Vor zehn Tagen völliges Unverständnis, sieben Tage später schreibt Computerbase inhaltlich exakt das gleiche.

DLSS 4 MFG überzeugt, wenn die Basis passt (ruhig das ganze Kapitel lesen, nicht nur das folgende Fazit)

Ein sehr schneller Monitor ist Voraussetzung​

Wer DLSS 4 MFG ausprobieren möchte, dem muss aber auch klar sein, dass ein Monitor mit einer hohen Bildwiederholfrequenz notwendig ist. Im Falle der RTX 5090 ein Exemplar mit einer sehr hohen. Ein 144-Hz-Display ist dazu nicht ausreichend – das ist Territorium von normalen Frame Generation. Ein 240-Hz-Display (oder mehr) ist optimal für das Spielen mit DLSS MFG.

Ergänzung (26. Januar 2025)

Wie hier zu sehen sind die Probleme mit Mit freundlichen Grüßen eigentlich nur noch schlimmer geworden

 

[HageBen]

Weil es in dem Video von @Hardwareunboxed schön drin ist.

Aber bei FG ergibt das mit halber Kraft meines Erachtens keinen Sinn. Außer man hat ohne schon weit über 120 fps, weil wenn die nativen frames weit unter 60 fps fallen die Latenz grundsätzlich zu hoch wird.

Verstehe das Argument mit der Latenz aufgrund von Reflex nicht.

Hier schön zu sehen, frame gen taugt nicht wirklich um Energie / Hitze / Lärm zu sparen, weil dann die Latenz schlimm wird. Außer man hat trotz FG noch über 70 native fps, das wird allerdings spätestens mit MFG eher selten der Fall sein.

 

[xexex]

Hier schön zu sehen, frame gen taugt nicht wirklich um Energie / Hitze / Lärm zu sparen, weil dann die Latenz schlimm wird.

So weit so richtig, weil eine wichtige Komponente nicht fertig geworden ist, Reflex 2. Die ganzen Diskussionen und einige der Behauptungen die ständig anhand der aktuellen Situation aufgestellt werden, müssen dann eh neu bewertet werden.

 

[HageBen]

Auf Reflex 2 bin ich auch sehr gespannt, aber auch noch skeptisch. Wenn am "fertigen" Bild für aktuelle Eingabedaten nochmals geschoben/gezerrt wird, schreit das förmlich nach Bildfehlern. Mal sehen wie gut Predictive Rendering das wieder gerade biegen kann. Evtl kann es sogar die frame gen Bildfehler richten.