tox1c90 schrieb:
Das Knackpunkt ist, dass die hinzugefügten Details, die in der Originalaufnahme halt nicht vorhanden/erkennbar waren, eben nicht der Realität entsprechen müssen.
Zweiteres ist korrekt, da auch das neuronale Netz falsch gewichten kann. Ersteres eher nicht.
Die Details werden dadurch generiert, indem mehrere Frames gepuffert und miteinander vergleichen werden.
Zwei Aufgaben sind hierbei getrennt voneinander zu behandeln.
1. Analyse des Bildes auf typische kompressionsartefakte und deren Korrektur bzw. Glättung:
Quelle:
https://www.pcgameshardware.de/Grafikkarte-97980/News/Nvidia-CUDA-Software-zur-Video-Verbesserung-fuer-Geforce-Nutzer-im-Anmarsch-661331/galerie/904687/
Wir sehen- Das Prinzip ist schon uralt, wobei man eben damals nicht die Rechenpower hatte, so etwas in Realtime durchzuführen.
2. Wiederherstellung von Details über temporale Akkumulation
Durch die Kamerabewegung wird ein Pixel in einer gewissen Position noch einmal von einer anderen Position erfasst und dargestellt. Auch die Kompression stellt Frame für Frame die Pixel oftmals ein wenig anders dar.
Über die dauer von mehreren Frames erhält man also, sofern es keine ausufernden Kamera- Schwenks gibt oder gar einen Szenenwechsel von einem Bildpunkt mit jedem gesammelten Frame eine immer genauere Beschreibung, wie dieser Pixel im Original ausgesehen haben muss.
Das neuronale Netz hat hierbei die schwierige Aufgabe die Position des Pixels bei Kamerabewegung nachzuverfolgen und die über die Zeit dadurch gewonnenen Zusatzinformationen im Ursprungsframe zu verrechnen.
Es funktioniert (noch) nicht so, dass das neuronale Netz weiss, wie z.B. ein Blatt auszusehen hat, dann per Mustererkennung prüft, was auf dem Input- Bild ein Blatt gewesen sein könnte und dann aus dem eigenen Informationspool aus dem vorhandenen Matsch wieder ein Blatt rekonstruiert.
Der Referenzdatensatz, der dafür benötigt würde und auch die Verarbeitungslast wären enorm.
tox1c90 schrieb:
Geht es rein um die "technische" Bildqualität, also dass alles knackscharf ist, und die dargestellten Objekte von hohem Detailreichtum sind, dann kann die KI das leisten, ein Bild zu erzeugen, dass weitaus mehr Inhalt und Details hat als das Eingangsmaterial. Nur halt eben frei erfundene Details.
Siehe oben. Aktuell arbeitet die Superresolution- Lösung mit temporaler Akkumulation. Wie DLSS. Da wird also nichts dazuerfunden. Es kann maximal eine geglättete verfälschung des Pixelwertes entstehen, wenn die Gewichtung versagt hat, oder der Pixel aus welchem Grund auch immer nicht richtig nachverfolgt werden konnte.
tox1c90 schrieb:
Wenn in einer schlechten Aufnahme mit niedriger Auflösung das Blattwerk eines Waldes nur als diffusiver grüner Matsch erkennbar ist, nur für die Information hinreichend, dass es sich um irgendeinen Wald handelt, dann kann ein KI-Algorithmus diesen Wald bis ins einzelne Blatt in 4K-Auflösung knackscharf durchzeichnen, sodass man dann sofort denkt "Wow, die Qualität ist auf einmal grandios!".
Wieder- Siehe oben.
Wobei Du gut beschreibst, wie viele offline- AI Bildverbesserer arbeiten.Dafür gibts ein Like.
Da hat nVidia in den Consumer- Karten rechentechnisch den Hintern aber noch deutlich zu weit unten. Von anderen Karten oder gar einer CPU Software Fallback- Lösung garnicht zu sprechen.
Auch Microsoft kocht hier nur mit Wasser und arbeitet temporal beim Bildverbessern.