@Kacha
Ich weiss worauf Du
Kacha schrieb:
Moment, da verwechselst du etwas. Die "neugewonnenen" Informationen sind sehr wohl neu berechnet und der Output des Neuronalen Netzes (Wobei das wohl sehr viel eher Convoluational Layers sein werden).
Wenn Du das aus Richtung der Stage betrachtest, wo die KI das Bild aufschlüsselt, dann ja- Die Farbwerte, die da analysiert und geändert werden sind, wie Du es schon sagst, eher ein educated guess.
Und genau in dem Output sind Fehler drin. Die sind nicht komplett vermeidbar. Was wichtig ist, das Netz besitzt keine Informationen selber, sondern nur Wege wie von Input zu Output etwas berechnet wird.
Genau- Aber darauf beziehe ich mich mit meinen Aussagen garnicht. Der Ursprung der Diskussion ist ja, dass bei vielen die Meinung vorherrscht, dass man ein 520p Bild nimmt, dann die große unbekannte KI kommt und anfängt Zaunlatten, Wegdetails und was weiss ich noch alles dazu zu denken.
So läuft der Hase aber nicht. Denn das 520p Bild ist nach 3- Facher Iteration eben kein 520p Bild mehr, sondern besitzt durch die Abtastung, die wiederum gejittert ist bereits einen erheblich höheren "echten" Informationsgehalt, auf dem dann prinzipbedingt eher ein DSR auf die native Auflösung denn ein Upscaling stattfindet. Ein Upscaling versucht ja, fehlende Zwischeninformationen über einen Mittelwert, der durch das Sampling umgebender Punkte errechnet wird zu füllen.
DLSS2.0 als Derivat von nennen wir es 3- Fach Checkerboarding mit Motion- Vector- Korrektur, denkt sich den Wert nicht aus, sondern übernimmt den tatsächlichen Wert z.B des Vorgängerbildes und setzt ihn durch die Bewegungsvektoren positionskompensiert an dem Platz, der ihm bei der höheren Auflösung zugedacht ist.
Dadurch ergibt sich eine echte, physisch greifbare Auflösungssteigerung, die durch den Nachteil des Rechenaufwands und des Lags von einem Frame generiert wird.
Ist wie in meinen Beispielen wie bei modernen 4K Beamern im Niedrig/Mittelklassesegment.
Da wird ein 1080P Bild projeziert und dann werden die Spiegel in affenartiger Geschwindigkeit 4x um einen Pixel im Kreis verschoben. Da das Auge träge ist (deshalb ist das Beispiel so schön, weil eben auch dort dir Temporale Komponente eine Rolle spielt), sieht es dann nur das hochauflösende Bild.
Ich kenne mich allerdings im Data Science/Machine Learning Bereich etwas aus. Was auch mein Kritikpunkt an deinem Post war. Wenn das Input Material fuer das Netz natuerlich veraendert wird und staerker abweicht von dem was das Netz aus dem Training gewohnt ist, dann ist es kein Wunder, dass das Ergebnis schlechter ist.
OK- Ich glaube ich habe Dich da etwas missverstanden. Es ist jedoch so, dass eben das Ausgangsmaterial bevor es an den KI Part weitergereicht wird, in vielen Teilen bereits mehr "echten" Informationsgehalt hat, als das native Bild. Dadurch kann man der KI natürlich schon ordentlich auf die Sprünge helfen, da sie eben nicht mehr so viel "dazuraten" muss.
Ich denke, dass die Version 1 tatsächlich erheblich mehr auf das KI und Trainingsmodell gebaut hat, wohingegen ich inzwischen den Verdacht hege, dass die KI in DLSS2.0 tatsächlich eher zur Mustererkennung nach Charakteristika von Artefakten bzw. Aliasing sucht und die dann glättet.
Ja, du brauchst halt einen zusaetzlichen Schritt um problematische Stellen zu erkennen und zu korrigieren. Hier koennen aber erneut Fehler auftreten.
Es ist ja eine Frage der Wahrnehmung. Auch mit 16K Auflösung gäbe es noch Aliasing. Nur würde man es physisch nicht mehr wahrnehmen.
Die gesamte künstliche Bilderzeugung ist so gesehen eine Aneinanderreihung von Schummeleien, die die starke Kompensationsfähigkeit des Gehirns und im Gegenzug die Schwächen des Sehapparates ausnutzt.
Die Frage ist halt immer, welche Fehler das Auge eher verzeihen kann. Der ein oder andere durch die KI falsch geratene Farbwert im Bild wird wohl erheblich weniger auffallen als fortwährendes Kantenflimmern oder Monte Carlo Rauschen.
Insofern ist der Tradeoff gerade in Hinblick der doch erheblichen Leistungssteigerung durch dieses Verfahren ein No- Brainer.
Es geht mir rein um das Netz und was das zum leisten im Stande ist. DLSS 1.0 ist auf einzelne Spiele trainiert, DLSS 2.0 genereller. Das bringt Vort ... mehr Daten drauf schmeissen, aber es ist derzeit noch nicht gesichert ob man damit wirklich eine komplette Generalisierung erreicht.
So ist es, weswegen nvidia mit DLSS2.0 der KI durch eine deutlich erweiterte Datenbasis erheblich weniger Rateaufwand zumutet
Ne, eher die Versprechen die Nvidia abgibt. Die spiegeln sich etwas in deinem Beitrag wider.
Das prinzip funktioniert verblüffend gut. Während es mit DLSS 1 tatsächlich nur nette Worthülsen waren, haben sie sich mit DLSS 2.0 meines Erachtens ein wenig rausgeschummelt. Dennoch- und das muss man neidlos zugestehen- mit beeindruckendem Endergebnis.
Und das ist ja letztenendes das was zählt.
Ist das eigentlich komplett proprietaer oder ueber eine DirectX Schnittstelle moeglich? Ansonsten bleibt der Hybridansatz noch sehr lange erhalten. Ausser natuerlich man will seine Kundengruppe gezielt einschraenken.
Die DLSS- Bibliotheken sind propretär. In gewisser Art und Weise eine Blackbox. Ich bin am experimentieren, ob ich innerhalb der Bibliothek Hooks oder Breaks setzen kann, so dass man denjenigen, die das Prinzip verstehen wollen, die Einzelschritte in Bildform aufschlüsseln kann.
Dann lägen die Fakten mal transparent und bildlich nachvollziehbar auf dem Tisch.
