foo_1337 schrieb:
DLSS 2.0 liefert weiterhin die beste Bildqualität – in den meisten Fällen sogar mehr Details als das native Rendering
Das macht, objektiv gesehen, oder zumindest minimal von der Technik verstehend, keinen Sinn. Damit sagst du, die Genauigkeit des neuronalen Netzes ist ueber 100%. Mal abgesehen davon, dass man selbst 100% nie im Leben erreicht.
Wenn es "mehr" Details zeigt, bzw. man es als "mehr" empfindet, dann macht es seinen Job nicht sondern packt irgendwas rein, dass passen kann oder auch nicht. Ja, ich weiss, man nutzt 16k Aufloesungen fuers Training, damit brauchst du mir nicht kommen. Das macht es aber nicht besser. Informationen hinzufuegen kann gewaltig schief gehen. Kommt aber auch schwer darauf an wie gut das Netz generalisieren kann. Gibt zu wenige Titel um das zu beantworten und generelles DLSS im Treiber braucht wohl noch ein paar Iterationen. Leider macht Hardwareluxx keine Plaubilitaetsanalyse, sondern analysiert nur subjektiv basierend auf "empfinden". Das Gehirn ist sehr gut im korrigieren von Informationen.
Was mich aber prinzipiell bei DLSS interessieren wuerde, sind die Texturen fuers Training die gleichen die am Ende im Spiel genutzt werden oder haben sie absichtlich mehr Details um das Maximum aus dem Netz zu holen/die Performance im Training nicht so wichtig ist, bzw. bessere Performance in nativ 4k zu haben (indem man Details weglaesst).
KlaraElfer schrieb:
Es ist aber kein einfaches Hochskalieren des Bildes, Herrgott.
Stichwort KI, Bewegungsvektoren, Jittered Pixels. Autoencoder, 16K Material.
So kommt man eben ganz anders als mit einfachem Hochskalieren an die "ground truth" heran.
Aber wozu informieren, wenn man weiter schwurbeln kann was?
DLSS ist sehr wohl "einfaches" hochskalieren. Der groesste Unterschied zum "standard" skalieren ist, dass die Funktion die skaliert nicht explizit angegeben wird, sondern gelernt wird. Das neuronale Netz macht nicht mehr als eine Funktion abzubilden, die den Vorgang approximiert. Die Funktion kann man auch manuell nachvollziehen wenn man will. Macht nur keinen Spass und dauert ewig. Deine "ground truth" ist auch nur im Training vorhanden und sie ist das Bild, dass man nach der Funktion erhalten will. So wie du es formulierst waere sie beim Inference/"Vorhersage" auch vorhanden, womit aber das skalieren keinen Sinn mehr macht, da man es eben nicht braucht. Man macht eine Vorhersage und hat diese dann, fertig. Wie weit die im Spiel dann weg von nativ ist weisst du schlicht nicht. Von nahe an "ground truth" im Training zu hoffentlich nahe dran beim "vorhersagen" nennt sich generalisieren und ist schwerer als man denkt.
Zu deinem, anders kann man es nicht nennen, Bullshitbingo:
Bewegungsvektoren und Jitter kann man genauso in klassische Skalierung mit einbringen. Man macht es nicht, weil es die Komplexitaet massiv erhoeht fuer manuell designte Funktionen. Womit "KI" ins Spiel kommt, man Daten draufschmeisst, und hofft, dass es eine gut genuge Approximation rausschmeisst. Natuerlich mit all den Tuecken die bei KI auftreten koennen. Aber mal eine ernsthafte Frage, weil du bisher nicht unbedingt mit technischem Hintergrundwissen geglaenzt hast, weisst du was ein Autoencoder ist? Ich finde es immer irritierend wenn irgendwas erwaehnt wird, das man mal auf einer Marketingfolie gelesen hat, ohne wenigstens knapp zu verstehen um was es sich handelt.
Zwei Sachen die mich bei DLSS interessieren:
Wie sieht die Performance gegen die eigentliche "ground truth" in 16k aus? Ich habe das Gefuehl "grauenvoll" wird es wohl ganz gut beschreiben wenn man fuer 4k 16k nimmt.
Zum anderen, nutzen sie Techniken um die Datasets massiv zu reduzieren wie Engineering von Bildern um mehr Informationen im Bild zu haben? (Gibt da ein Team, dass Datasets von 60k Bildern in 10 Bilder zusammenpackt. Muesste nur wieder den Namen und Artikel finden...)
foo_1337 schrieb:
Ich kann mich irren, aber ich würde sagen, dass der nVidia RT Core Ansatz am Ende (deutlich) performanter sein wird als der hybride Ansatz von AMD. Das Patent kann man hier einsehen:
https://www.freepatentsonline.com/20190197761.pdf
Naja, aufpassen, es ist nicht nur ein Patent. Du warst glaube ich auch in dem Thread aktiv in dem es um L1 Cache Sharing und Clustering ging, richtig? Die beiden sollten recht gut zusammenspielen. Damit kann man auch "einfach" die komplette Pipeline Render + RT + "DLSS" abarbeiten. Wenig Overhead, wenig Kommunikation und Transfer. Und man bekommt auch eine gewisse Gleichzeitigkeit hin wenn sich verschiedene CUs im Cluster um andere Dinge kuemmern. Ist eben ein komplett anderer Ansatz wenn man es mit Nvidia vergleicht. Ich frage mich auch was besser funktioniert wenn man zu Chiplets uebergeht. Lichtgeschwindigkeit ist gar nicht mal so schnell wenn es um Kommunikation geht.
Und jede Nanosekunde mehr ist eben teuer. Und Skalierung ist auch so eine Sache. Nvidia hat da mit Ampere gezeigt wie schnell das schief gehen kann.
Und direkt noch mit Track Record, damit man sicher gehen kann, dass die Aussage auch korrekt ist.
