.Sentinel. schrieb:
@Kacha
Ich weiss worauf Du
Ich hoffe mal, dass du keinen Schlaganfall zu dem Zeitpunkt hattest sondern nur etwas vergessen hast.
.Sentinel. schrieb:
Wenn Du das aus Richtung der Stage betrachtest, wo die KI das Bild aufschlüsselt, dann ja- Die Farbwerte, die da analysiert und geändert werden sind, wie Du es schon sagst, eher ein educated guess.
Ging mir rein darum, denn das kam sehr kurz in deinem Post. Das eine Bild, das angibt was reingeht und was rauskommt zeigt halt recht deutlich, dass es eine Magic Black Box ist fuer die meisten. Was man davor und danach macht ist mir relativ egal, das ist ueberhaupt nicht mein Gebiet.
.Sentinel. schrieb:
Genau- Aber darauf beziehe ich mich mit meinen Aussagen garnicht. Der Ursprung der Diskussion ist ja, dass bei vielen die Meinung vorherrscht, dass man ein 520p Bild nimmt, dann die große unbekannte KI kommt und anfängt Zaunlatten, Wegdetails und was weiss ich noch alles dazu zu denken.
Das wuerde komplett keinen Sinn machen da die KI auf Pixelebene arbeitet. Hat schon seinen Grund warum Nvidia Pixel- mit zuzaetzlichen Informationen nimmt. Das ist mitunter eines der groessten und besten erforschten Deep Learning Gebiete. Wobei selbst Objektgenerierung recht gut funktionieren sollte.
.Sentinel. schrieb:
So läuft der Hase aber nicht. Denn das 520p Bild ist nach 3- Facher Iteration eben kein 520p Bild mehr, sondern besitzt durch die Abtastung, die wiederum gejittert ist bereits einen erheblich höheren "echten" Informationsgehalt, auf dem dann prinzipbedingt eher ein DSR auf die native Auflösung denn ein Upscaling stattfindet. Ein Upscaling versucht ja, fehlende Zwischeninformationen über einen Mittelwert, der durch das Sampling umgebender Punkte errechnet wird zu füllen.
Ist der Jitter als Wert oder Matrix Input oder sind mehrere gejitterte Bilder Input zu DLSS? So wie es in der Graphic aussieht ist es eine Matrix. Grosse Unterschiede wird es aber wahrscheinlich nicht machen.
.Sentinel. schrieb:
DLSS2.0 als Derivat von nennen wir es 3- Fach Checkerboarding mit Motion- Vector- Korrektur, denkt sich den Wert nicht aus, sondern übernimmt den tatsächlichen Wert z.B des Vorgängerbildes und setzt ihn durch die Bewegungsvektoren positionskompensiert an dem Platz, der ihm bei der höheren Auflösung zugedacht ist.
Dafuer brauchst du aber kein Neuronales Netz, sondern kannst es mit simplen Formeln ausfuehren. Deswegen bezweifle ich, dass das alles ist. Auch fuer das Jittern brauchst du kein Neuronales Netz. Das hoert sich eher so an als wuerde durch den Jitter Wert eine hochaufloesendes Bild erzeugt, dass durch das Netz dann "scharf" gestellt wird. Die zusaetzlichen Informationen helfen dabei natuerlich.
.Sentinel. schrieb:
Ist wie in meinen Beispielen wie bei modernen 4K Beamern im Niedrig/Mittelklassesegment.
Da wird ein 1080P Bild projeziert und dann werden die Spiegel in affenartiger Geschwindigkeit 4x um einen Pixel im Kreis verschoben. Da das Auge träge ist (deshalb ist das Beispiel so schön, weil eben auch dort dir Temporale Komponente eine Rolle spielt), sieht es dann nur das hochauflösende Bild.
Damit erhoeht man zwar die Aufloesung, aber nicht unbedingt die Schaerfe. Wie wird das korrigiert? Oder nutzen die mehrere 1080p Bilder?
.Sentinel. schrieb:
OK- Ich glaube ich habe Dich da etwas missverstanden. Es ist jedoch so, dass eben das Ausgangsmaterial bevor es an den KI Part weitergereicht wird, in vielen Teilen bereits mehr "echten" Informationsgehalt hat, als das native Bild. Dadurch kann man der KI natürlich schon ordentlich auf die Sprünge helfen, da sie eben nicht mehr so viel "dazuraten" muss.
Klar, Jitter, Positionsvektor, und sonst noch was, das ich vergessen habe. Je mehr Input desto besser, so lange die Feature nicht korrelieren. Ansonsten hat man eher Noise. Bringt in der Regel immer was, ausser die Komplexitaet wird zu gross.
.Sentinel. schrieb:
Ich denke, dass die Version 1 tatsächlich erheblich mehr auf das KI und Trainingsmodell gebaut hat, wohingegen ich inzwischen den Verdacht hege, dass die KI in DLSS2.0 tatsächlich eher zur Mustererkennung nach Charakteristika von Artefakten bzw. Aliasing sucht und die dann glättet.
Uhm, die Terminologie passt nicht so ganz. Trainieren musst du so oder so, egal was die KI macht. Du hast also immer ein Modell, dass auf einem Trainingsset trainiert wurde. Was die KI macht ist was anderes. Bilder sind hervorragend dazu geeignet Mustererkennung durchzufuehren. Wuerde mich wundern wenn das nicht schon in der ersten Version dabei war. Sie haben es halt nur verbessert und moeglicherweise mehr Features hinzugefuegt. Schau dir GPT-1, GPT-2, GPT-3 an. Das sind alles Modelle zur Textgenerierung inklusive Syntax und Semantik. Die haben alle das gleiche Ziel, sind aber eben Weiterentwicklungen.
.Sentinel. schrieb:
Es ist ja eine Frage der Wahrnehmung. Auch mit 16K Auflösung gäbe es noch Aliasing. Nur würde man es physisch nicht mehr wahrnehmen.
Die gesamte künstliche Bilderzeugung ist so gesehen eine Aneinanderreihung von Schummeleien, die die starke Kompensationsfähigkeit des Gehirns und im Gegenzug die Schwächen des Sehapparates ausnutzt.
Ja, klar, weil Pixel halt Vierecke sind.
Gibt aber durchaus auch andere Erzeugunsmoeglichkeiten. Die fressen allerdings laecherlich viel an Ressourcen und eignen sich deshalb noch nicht wirklich. Deswegen: Rastering mit allen seinen Spaessen.
.Sentinel. schrieb:
Die Frage ist halt immer, welche Fehler das Auge eher verzeihen kann. Der ein oder andere durch die KI falsch geratene Farbwert im Bild wird wohl erheblich weniger auffallen als fortwährendes Kantenflimmern oder Monte Carlo Rauschen.
Insofern ist der Tradeoff gerade in Hinblick der doch erheblichen Leistungssteigerung durch dieses Verfahren ein No- Brainer.
Der Pixel muss halt nah genug an der Farbe der Umgebung sein. Rauschen und Flimmern wird man aber auch mit DLSS nicht komplett weg bekommen. Verringern, ja, aber Wunder kann es dann doch nicht verbringen.
.Sentinel. schrieb:
So ist es, weswegen nvidia mit DLSS2.0 der KI durch eine deutlich erweiterte Datenbasis erheblich weniger Rateaufwand zumutet
Joah, das ist so die einfachste Vorgehensweise in Machine Learning. Einfach mehr Daten und Ressourcen auf das Problem schmeissen.
.Sentinel. schrieb:
Das prinzip funktioniert verblüffend gut. Während es mit DLSS 1 tatsächlich nur nette Worthülsen waren, haben sie sich mit DLSS 2.0 meines Erachtens ein wenig rausgeschummelt. Dennoch- und das muss man neidlos zugestehen- mit beeindruckendem Endergebnis.
Und das ist ja letztenendes das was zählt.
Joah, sieht schon ganz nett aus. Aber die Methode eignet sich halt nur fuer einen gewissen maximalen Faktor zwischen den Aufloesungen. Je groesser der wird, desto eher treten Fehler auf.
.Sentinel. schrieb:
Die DLSS- Bibliotheken sind propretär. In gewisser Art und Weise eine Blackbox. Ich bin am experimentieren, ob ich innerhalb der Bibliothek Hooks oder Breaks setzen kann, so dass man denjenigen, die das Prinzip verstehen wollen, die Einzelschritte in Bildform aufschlüsseln kann.
Dann lägen die Fakten mal transparent und bildlich nachvollziehbar auf dem Tisch.
Naja, aus Nvidias Sicht verstaendlich, aber mal schauen wie das dann in Zukunft wird. Wenn AMD, Nvidia, und Intel seine eigenen Sueppchen kochen wird das recht wenig Spass. Wobei, hat Microsoft nicht sogar irgendeine Machine Learning API fuer DirectX? Dachte da gibt es was.
pietcux schrieb:
Bloß weil ich mich an die Foreregel halte, die besagt, dass man komplett Zitate vermeiden soll habe ich sehr wohl deinen gesamten Beitrag gelesen. Meine Aussage bezieht sich auf dein Gesamtwerk.
Ah, kritisiere ich also technisches soll ich das doch gefaelligst unterlassen, weil es ja voll gut ist. Ganz direkt: nein.
KlaraElfer schrieb:
Du siehst DLSS ziemlich eindimensional und beschränkst dich eigentlich nur auf die Nachteile/Probleme der Technologie ohne das Gesamtbild zu sehen, welches einfach mittlerweile - kleinere Artefakte mal ausgeklammert - besser glättet als bisherige Methoden und das inkl. herbem Performanceboost.
Und deswegen darf ich die Probleme nicht ansprechen?! Was ist denn das fuer eine Argumentation?
KlaraElfer schrieb:
Abgesehen der seltenen Schlieren, die mittlerweile besser in Death Stranding geworden sind, ist das im Vergleich zu anderen verfügbaren Glättungsmethoden + dem Performancezuwachs über jeden Zweifel erhaben. Deal with it.
Du scheinst DLSS zu feiern, ok, schoen fuer dich. Ich kenne mich in dem technischen Bereich aus und eroertere die Probleme. Deal with it.