DevPandi schrieb:
Darauf aufbauend ist dann halt der KI Impact fragwürdig, besser ob es das wirklich braucht.
Das neural Network wird soweit ich es bisher verstanden habe, genutzt, um zu entscheiden, welche Samples aus alten Frames verwendet werden können und falls nicht, wie man fehlende Werte am besten herleiten kann.
Das sorgt primär dafür, dass DLSS in Bewegung ein optisch höherauflösendes Bild erzeugt, als TSR.
TSR hingegen neigt in Bewegung eben ähnlich wie andere Temporal Upsampler stärker zu Ghosting, Aliasing, Aufpixeln oder wie auch immer man die Artefakte beschreiben möchte.
TSR und FSR 2.0 werden wohl mit zum besten gehören, was aktuell mit Temporal Upsampling möglich sein wird, aber die Schwäche und die große Herausforderung der temporalen Verrechnung liegt eben darin, auch in Bewegung gute Ergebnisse zu erzielen. Und genau hier setzt Nvidia eben mit Deep Learning an und ist da eben auch nachweislich besser, wie z.B. der Vergleich von Ghostwire von Digital Foundry auch gezeigt hat.
Bei deren Vergleich hat man auch deutlich gesehen, dass TSR in Bewegung eben aufpixelt und seine niedrige Grundauflösung sichtbar wird, während DLSS das eben fast gar nicht macht. (hier gibts mit fast jeder neuen DLSS Version Verbesserungen)
Denn der Punkt ist eben, im Stillstand wird man selten signifikante Unterschiede zwischen dem besten Temporal Upsampler und dem schlechtesten feststellen, weil das die mit abstand einfachste Übung für so ein Verfahren ist. Da reicht es schon aus, vier Bilder mit leichtem Kamera jitter zu kombinieren, um die vierfache auflösung ohne Schärfeverlust zu rekonstruieren. Erst in Bewegung trennt sich die Spreu vom Weizen.
Sieht man auch ganz gut in Red Dead Redemption 2. Das Spiel hat auch TAA und TAA Upsampling. Und in dem Spiel sieht man fast schon übertrieben deutlich, dass bei Kamera Stillstand das Bild knack scharf ist und sobald man nen Meter vorwärts läuft wird das Bild unscharf und braucht einige Sekunden bis es wieder 100% scharf ist.
Genau das ist das grundlegende Problem. Bei RDR2 ist es natürlich übertrieben schlecht umgesetzt und nicht vergleichbar mit aktuellen Spielen. Aber zur Veranschaulichung trotzdem ganz interessant.
Am Ende wird es interessant zu sehen, wo die Grenzen mit und ohne Deep Learning liegen werden.
Letztendlich gibt es halt drei Verfahren.
- Spatial Upscaling (Räumliche Vergrößerung eines einzelnen Bildes)
- Temporal Upsampling (Kombination mehrere Bilder zu einem hochauflösenden Bild)
- Temporal Upsampling mit Deep Learning (Versucht die mathematischen Probleme von Temporal Upsampling mit Deep Learning zu lösen)
Die Frage die sich stellt ist: Ist Nvidia hier einen Schritt weiter (so macht es den Anschein) oder wird man auch ohne Deep Learning so gut wie DLSS oder sogar besser sein können. Aktuell würde ich das noch bezweifeln.