News FidelityFX Super Resolution: DLSS-Konkurrenz ab 22. Juni für AMD- und Nvidia-GPUs

[Nolag]

Bei einem statischen Bild, was ich jetzt wirklich als einzelnes Bild aufgefasst habe

Das gibt es in Games aber eigentlich selten. Wenn dort ein Bild gezeigt wird, dann ist das i.d.R. eine Textur, auf der über den Jittered Viewport auch wieder Super Sampling stattfinden kann. Wenn ein Bild nicht im 3D Engine gerendert wird, dann funktioniert DLSS natürlich nicht.

 

[.Sentinel.]

Wenn ein Bild nicht im 3D Engine gerendert wird, dann funktioniert DLSS natürlich nicht.

Ja- Das Material muss in Engine vorliegen. Sonst ists nichts mit Abtastung mit versetzten Samples...
DLSS wirds also nicht zur Technik für eine Bildnachbearbeitung am Fernseher bringen.

 

[Nolag]

Ja- Das Material muss in Engine vorliegen. Sonst ists nichts mit Abtastung mit versetzten Samples...

In der Photographie gibt es aber auch verwandte Verfahren, wo man dann halt manuell für die Bewegung der Kamera sorgen muss:
A Practical Guide to Creating Superresolution Photos with Photoshop
Es gibt natürlich auch Kameras, die den Sensor bewegen, um das gleiche zu erreichen: Pixel-Shift

 

[Colindo]

Somit sieht es rechnerisch so aus:
3840x2160=8.294.400 Pixel nativ

2560x1440=3.686.400 x 8 = 29.491.200 Pixel mit DLSS Quality auf 4K im Standbild

Vorsicht, der Faktor 8 gilt ja nur für 4xUpscaling, also von FHD auf UHD. Außerdem verstehe ich die Folie von dir so, dass man 8x Jittern muss um den Effekt zu bekommen, den man nativ mit 2x Jittern hätte. Siehe Wikipedia
So gesehen würde ich gar nicht anfangen, die Anzahl Pixel auszurechnen, bevor man nicht weiß, wieviele Frames bzw. Jittervorgänge pro finalem Frame benutzt werden. Kennst du die Zahl?

 

[B3nutzer]

Ich würde "immer und jederzeit" streichen. Ich würde mal als Frage in den Raum werfen, ob DLSS überhaupt effektiv bei statischen Bilder ist?

Warum? Also das mit dem statischen Bild wurde ja schon erklärt. Durch das Jittern wird das Bild auch bei statischer Kamera mehrfach abgetastet. Mit einem einzelbild klappt es natürlich nicht.
Ansonsten will ich natürlich nicht behaupten, dass DLSS zu jeder zeit besser aussieht als nativ, denn das tut es nicht. Ich spreche ja ganz bewusst vom Potenzial, das in Temporal Reconstruction in Kombination mit Deep Learning noch stecken könnte.

Rein theoretisch lassen sich durch die temporale Verrechnung ja nahezu beliebig viele Details bzw. Samples generieren und sammeln, die zum aufwerten eines Bildes genutzt werden können.
Ich könnte mir ja schon vorstellen, dass man alleine den Buffer für die gesammelten Bildinformationen von aktuell vermutlich einigen Frames, auf einige hundert oder tausend Frames vergrößern könnte.

Gerade wenn man hier eh schon dedizierte Hardware wie die Tensor Cores hat, könnte ich mir vorstellen, dass Nvidia hier künftig in die Vollen geht und einfach noch mehr Hardware verbaut, die speziell die möglichen Bedürfnisse eines z.B. DLSS 3.0 bedient. Ich hab natürlich auch keine Ahnung, wie es ganz im Detail funktioniert. Ich verstehe nur das grundlegende Prinzip. Ich weiß z.B. auch nicht, für was genau nun Deep Learning bei DLSS verwendet wird...

Ich frage mich einfach nur, was da in Zukunft noch möglich sein kann. Ich glaube Nvidia kratzt aktuell nur an der Oberfläche und hat lange nicht das erreicht, was theoretisch möglich ist. Aber das ist nur eine Vermutung.

In der Photographie gibt es aber auch verwandte Verfahren, wo man dann halt manuell für die Bewegung der Kamera sorgen muss:
A Practical Guide to Creating Superresolution Photos with Photoshop
Es gibt natürlich auch Kameras, die den Sensor bewegen, um das gleiche zu erreichen: Pixel-Shift

Genau über dieses Verfahren hab ich schonmal vor ca. 15 Jahren in einer Computerzeitschrift nen Artikel gelesen. Das Verfahren ist uralt.
Genauso Rauschreduktion, was auch aus der Nachrichtentechnik kommt, um Störungen zu filtern.
Man legt einfach mehrere, in diesem Fall Bilder des selben Inhalts übereinander. Die Bildinformationen die bei jedem Frame identisch sind werden verstärkt (Details), die Bildinformationen, die bei jedem Bild unterschiedlich sind, löschen sich automatisch raus (rauschen). Aktuelle Smartphones nutzen dieses Verfahren ausgiebig. Ich vermute mal, dass sich aktuelle TAA Verfahren auch dieses Prinzip zunutze machen.

Hach ja, ich finde das Thema schon ziemlich spannend..

 

[.Sentinel.]

Rein theoretisch lassen sich durch die temporale Verrechnung ja nahezu beliebig viele Details bzw. Samples generieren und sammeln, die zum aufwerten eines Bildes genutzt werden können.

Ja, nur dass Du bei jedem Kameraschwenk mit hoher Schnelligkeit und z.B. einen Szenenwechsel erstmal die gesamte Pixel- Historie wegwerfen kannst. Da hast Du, wenn Du Dich in Bewegung befindest oder die Szene wechselt eben schon den Nachteil, dass du im Extremfall in Frame #1 mit der ersten Jitterabstastung, also einer Teilauflösung leben musst. Das wird zwar teilsweise mit prerendering wieder eingefangen, aber das kostet halt dann wieder Leistung.

Und dass der Fehlerfaktor mit jedem Frame bei dem Du ein Pixel ohne Positionsbestimmung mit Brute- Force- rastern nicht 100% Dingfest machst, ein gewisser Fehlerfaktor hinzuaddiert, der dann irgendwann so hoch ist (und jetzt kommt die AI in DLSS ins Spiel), dass diese aufgrund von Erfahrungswerten und allerlei Zusatzannahmen sagt, dass das Pixel nicht mehr "zuverlässig" ist und neu berechnet werden muss (history clamping/rectification).

Und genau darin ist die KI einer streng nach algorithmus programmierten routine überlegen, weil Du durch x- Faches Durchexerzieren dem Verfahren eine immer höhere Treffsicherheit mitgeben kannst.

 

[foxio]

Wieviele Frames verwendet DLSS denn als Eingabe? Das dürfte ja dann maßgeblich sein dafür, wie schnell DLSS eine "gute" Qualität wiederherstellen kann. Die Wirkung ist dann mit AMD Boost vergleichbar, das in Bewegung die Qualität reduziert?

 

[Zwiebelsoße]

Und das kannst Du an einer Sequenz in einem Spiel sehen, was FSR kann oder nicht?

Na, was heißt schon Sequenz. Der Ausschnitt ist und offenbart eine deutlich geringere Schärfe und weniger Details, ich sehe jetzt nicht warum sich das in einer anderen Szene des Spiels anders sein sollte.

 

[Daggy820]

Cool, dann kann meine Übergangs RX 580 ja doch noch bissl länger drin bleiben bis die Preise wieder fallen.

 

[.Sentinel.]

Vorsicht, der Faktor 8 gilt ja nur für 4xUpscaling, also von FHD auf UHD. Außerdem verstehe ich die Folie von dir so, dass man 8x Jittern muss um den Effekt zu bekommen, den man nativ mit 2x Jittern hätte. Siehe

Exakt- Die Folie behandelt standard TAA gegen DLSS. In nativ hast Du nämlich normalerweise garkein Jitter.

Halton schneidet deshalb etwas schlechter ab, in manchen szenarien aber besser, weil es eingeschränkt randomisiert ist, was sich aber wiederum in Bewegung als effektiver erweist.

So gesehen würde ich gar nicht anfangen, die Anzahl Pixel auszurechnen, bevor man nicht weiß, wieviele Frames bzw. Jittervorgänge pro finalem Frame benutzt werden. Kennst du die Zahl?

Die Zahl kriegtst Du nur zuverlässig mit Standbildern.

Alles andere liegt dann an der Treffsicherheit der pixel prediction routine.

Man kann da einen einfachen Test machen, indem man um den Faktor ein DSR betreibt. Man kommt dann qualitativ bei einem Standbild ungefähr in der gleichen Region raus. So um den Faktor 3 - 3,5 wenn ich mich recht erinnere.

Ist aber schon ein Weilchen her, dass ich das geprüft hab, deswegen würde ich jetzt da nicht mehr meine Hand dafür ins Feuer legen...

Ergänzung (6. Juni 2021)

Wieviele Frames verwendet DLSS denn als Eingabe? Das dürfte ja dann maßgeblich sein dafür, wie schnell DLSS eine "gute" Qualität wiederherstellen kann. Die Wirkung ist dann mit AMD Boost vergleichbar, das in Bewegung die Qualität reduziert?

Das kommt darauf an, wie man das sieht.
Grundsätzlich verwendet es Pixelinformationen so lange durchgängig, solange die KI der Meinung ist, dass der Fehlerfaktor eines Pixels im Toleranzbereich liegt.
Meines Wissens gibt es dafür auch keinen clear oder eine art Keyframing bei welchen das Ergebnis grundsätzlich wieder genullt wird.

 

[daknoll]

Warum kommst Du dann überhaupt in den Thread? Nur um hier in Twitter- Manier der Menschheit den Furz, der Dir quer sitzt anzukündigen und dann selbst nur undifferenziert die Technik schlecht zu machen?

Also manchmal möchte man verzweifeln...

Stimmt, manchmal möchte man verzweifeln wie Threads von zwei bis vier leuten systematisch mit Geschwurbel kaputt gemacht werden. Die wären wahrscheinlich hervorragende Missionare geworden.

 

[SimsP]

Wenn DLSS auf den Shadern 8ms braucht und auf den Tensor Cores nur 1-2ms benötigt, dann führt das zu deutlich höheren Frameraten von denen der User direkt profitiert. DLSS kann sich doch nur lohnen, wenn es sich deutlich schneller berechnen lässt als das Rendering selbst.

Naja jain. Ich mein das ganze heißt nicht umsonst Grafik-Pipeline.
Das sind einzelne Stufen, die abgearbeitet werden und die Stufe die am längsten braucht bestimmt letztlich maßgeblich wie lange das ganze im Schnitt dauert. Solange ich mit meinem DLSS Schritt nicht länger brauche, als mit meiner langsamsten Pipeline-Stufe bin ich immer noch genauso schnell wie davor, ich hab nur unter Umständen eine etwas längere Latenz.

Tensor-Core und RT-Core zusammen haben bei Turing nur 10% zusätzliche Waferfläche gekostet. Das, was die Chips so groß macht, sind die doppelte Anzahl ALUs, die Nvidia seit Turing nutzt.

Naja Turing hatte keinen so wirklich großen Sprung bei den FP-ALUs gegenüber Pascal. Integer Einheiten warens deutlich mehr, aber die sind auch wesentlich kleiner.
Wenn ich mich nicht irre gehen insgesamt ca. 6-7% der Chip Fläche allein auf die Tensor Cores zurück. Für ALUs ist das nicht wenig. Ausgehend von aktuellen Die-Shots nehmen die Tensore Cores ca. 14% der kompletten ALU-Fläche ein.

Mir fällt gerade ein, was ich nicht beürcksichtigt habe. Der Hauptgrund neben DLSS für Tensor Cores ist natürlich Raytracing. Wenn mich nicht alles täuscht werden bei NVidia hierfür die Tensor Cores zur Beschleunigung verwendet, damit man auch bei wenig Strahlen mittels DL-Algorithmus noch ein gutes Bild bekommt. Ob und in wie fern das bei aktuellen DXR Titeln Verwendung findet, weiß ich aber gerade nicht.
Im Compute Bereich findet das aber defintiv teilweise schon Anwendung (Stichwort: OptiX -> Blender).

 

[.Sentinel.]

Stimmt, manchmal möchte man verzweifeln wie Threads von zwei bis vier leuten systematisch mit Geschwurbel kaputt gemacht werden. Die wären wahrscheinlich hervorragende Missionare geworden.

Bis zu einem gewissen Grad gehört das Geschwurbel ja in der heutigen Zeit zur Forenkultur.

Aber einfach in einen Thread gehen, ankündigen, dass man das alles sowieso nicht liest, es einen "eigentlich" garnicht interessiert, aber man XY schei**e findet und sowieso nicht braucht.... das ist halt doch suboptimal.

Man stelle sich mal vor, das würde jeder so machen. Dann kannst Du die Foren allesamt offline nehmen.

Wenn man nichts beizutragen hat, sollte man meines Erachtens schon rein anstandshalber sein eigenes Mitteilungsbedürfnis im Zaum halten.

Just my 2 cents...

 

[Colindo]

Der Hauptgrund neben DLSS für Tensor Cores ist natürlich Raytracing. Wenn mich nicht alles täuscht werden bei NVidia hierfür die Tensor Cores zur Beschleunigung verwendet, damit man auch bei wenig Strahlen mittels DL-Algorithmus noch ein gutes Bild bekommt. Ob und in wie fern das bei aktuellen DXR Titeln Verwendung findet, weiß ich aber gerade nicht.

Wird in DXR nicht gemacht. Nvidia bietet die Tensor-Cores zwar fürs Denoising an, aber nur in der professionellen Lösung Optix.

 

[naicorion]

https://www.notebookcheck.com/AMD-F...e-Qualitaet-von-Nvidia-DLSS-2-0.543856.0.html

Erste Analysen zur von AMD selbst gezeigten Bildqualität. Ich finde das nicht überraschend: Wie soll - ohne zusätzliche Rechenleistung - eine massiv bessere Bildqualität erzeugt werden? Die "KI-Lösung" von NVIDIA - oder was immer dahintersteckt - ist halt von Anfang an hardwareunterstützt und hat auch seine Zeit gebraucht zum reifen.

Hoffen wir, dass die Pixelpampe vom AMD noch etwas besser wird. Ich würde ja 10-20% Mehrleistung bei fast identischer Bildqualität bevorzugen ggü. "Dreifacher Leistung immer in allen Spielen für alle" mit Pixelmatsch. Schon DLSS finde ich nicht überzeugend und spiele lieber nativ.

 

[Jesterfox]

Wobei ich möglichweise nen Anwendungsfall genau dafür seh, muss das aber dann testen. Vor allem erst mal sehen wie FF XIV auf 4k aussieht, aber das Spiel hat keine wirklich gutes AA. Da auf 4k die high Quality Stufe FSR rein und ich gewinn nicht nur ein paar FPS, das Bild dürfte sogar durch den minimalen Blur besser werden ;-)

 

[Taxxor]

Wird in DXR nicht gemacht. Nvidia bietet die Tensor-Cores zwar fürs Denoising an, aber nur in der professionellen Lösung Optix.

Huh, war in den Slides bei den Vergleichen zwischen RT rein auf Shadern, RT mit Shadern + RT Cores und RT mit Shadern + RT Cores + Tensor Cores nicht immer ein Tensor Core Workload am Ende? Ich meine da Stand auch Denoising. Und da ging es mWn um ganz normales Gaming.

Ergänzung (7. Juni 2021)

"Dreifacher Leistung immer in allen Spielen für alle" mit Pixelmatsch.

Laut AMD ist es ja schon nur 2x(im Schnitt) mit der Einstellung die den größten Match produzieren wird und die wir bisher noch gar nicht gezeigt bekommen haben^^

 

[Colindo]

Huh, war in den Slides bei den Vergleichen zwischen RT rein auf Shadern, RT mit Shadern + RT Cores und RT mit Shadern + RT Cores + Tensor Cores nicht immer ein Tensor Core Workload am Ende?

Nee, das ist Konsens. Habe ich mit Sentinel mal durchexerziert, wieviele Hinweise es für Tensor-Denoising in Spielen gibt. Das Turing-Whitepaper spricht gar nicht erst davon, und am Ende sind es nur die Medien zur Turing-Vorstellung gewesen, die das öfter erwähnt haben. In den Folien, die du meinst, kam nur ganz am Ende das DLSS für die Tensor-Cores. Ich glaube, Folien ohne DLSS gab es damals nicht.

 

[Taxxor]

In den Folien, die du meinst, kam nur ganz am Ende das DLSS für die Tensor-Cores. Ich glaube, Folien ohne DLSS gab es damals nicht.

Hmm diese Folie hier meinte ich, da steht jetzt erstmal nicht speziell von DLSS, außerden, zur Zeit der Turing Präsentationen gab es doch nur DLSS 1.0, welches doch gar nicht auf den Tensor Cores lief, oder?

Das hier findet sich dann zu Ampere, wo es schon anders aussieht und die Tensor Cores an einer ganz anderen Stelle eingesetzt werden.

 

[foo_1337]

Wenn ich mich richtig erinnere: DLSS1 lief auf den TC, nur DLSS 1.9 (Control) nicht.