News RTX Video Super Resolution: Nvidia skaliert Videos in Chrome in Echtzeit auf 4K

[Pumpi]

Upscaling + Zwischenbildberechnung + Black Frame Insertion. Von 30 FullHD Frames auf 120 4k Frames. Das wäre der Brüller.

 

[Looniversity]

Auch hier- Welche Nachteile entstehen durch DLSS und welche Vorteile stehen dem gegnüber.

Link
Hier ist das Ergebnis Grütze und sieht aus als hätte V-Sync nie die Welt erblickt und Tearing wäre der letzte Schrei. In Spiderman entstehen extra Gliedmaßen die nicht da sind, weil DLSS sie aus der Vergangenheit holt und als Ghosting ins neue Bild einfügt. Das ist nicht "ordentlich", wie du es ausdrückst. Es gibt endlos mehr Beispiele für Artefakte, der geneigte Leser braucht nicht mir zu glauben sondern kann selbst googlen.

Auch hier liegt eine Fehldarstellung nicht an der Technik selbst, sondern an der Integration. Somit hast Du letztendlich nur die möglichen Folgen einer Fehlintegration der Technik aufgezählt, nicht jedoch die Nachteile der Technik selbst.

Das ist ein unehrliches Totschlagargument - "die Technik funktioniert, und Fehler sind nicht der Technik zuzurechnen" ist weder beleg- noch widerlegbar (und damit fast religiös) und da die Technik nicht ohne Implementierung funktioniert, muss sie sich auch die Folgen der Implementierung zurechnen lassen.

Wenn jemand diese Nachteile in Kauf nehmen will ist das okay. Aber das

Es gibt objektiv dem Punkt an dem es eben keine Geschmackssache mehr ist. Enthält das hochgerechnete Bild mehr bzw. korrektere Information als das Ursprungsbild, ist es grundsätzlich als überlegen anzusehen.

zu nennen ist genau das, was ich angesprochen habe:

Bloß wird gerade Upscaling als allzu leistungsfähig dargestellt (vielleicht weil es ein shiny new toy ist?) und, anstatt es kritisch zu hinterfragen und entsprechend zu würdigen, mit überschwänglichem Technik-Enthusiasmus gegen jeden Hinweis auf Fähigkeiten und Grenzen verteidigt.

DLSS etc wird genau dann "objektiv korrekter", wenn die Parameter der Modelle zusammen mit den vorhergehenden (=veralteten) Frames ALLE denkbaren Videoszenen beinhalten, ergo alles denkbare Gameplay oder Filmmaterial Video 1:1 gespeichert haben. Alles andere ist zwangsläufig eine Art Interpolation. Das wäre aber keine Kunst mehr, denn wenn das zu zeigende Bild schon gespeichert ist braucht man auch kein Upscaling mehr um es zu erzeugen...

Warum das anders sein sollte müsstest du erklären. Bisher hast du nur behauptet. Behauptungen brauche ich nicht, NVidia's Marketingmaterial kann ich selbst lesen.

 

[.Sentinel.]

Link
Hier ist das Ergebnis Grütze und sieht aus als hätte V-Sync nie die Welt erblickt und Tearing wäre der letzte Schrei. In ..... Es gibt endlos mehr Beispiele für Artefakte, der geneigte Leser braucht nicht mir zu glauben sondern kann selbst googlen.

Verstehe- Du beziehst Dich hier rein auf die Frame- Generation.
Na dann sind wir doch mal alle froh, dass nVidia die KI weiter hat trainieren lassen:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Wird in einer der nächsten Patches integriert.

Das ist ein unehrliches Totschlagargument - .. ung zurechnen lassen.

Nein- Ich habe die Referenzen und Belege dafür in einem weiteren Beitrag eingefügt.

DLSS etc wird genau dann "objektiv korrekter", wenn die Parameter der Modelle ... Das wäre aber keine Kunst mehr, denn wenn das zu zeigende Bild schon gespeichert ist braucht man auch kein Upscaling mehr um es zu erzeugen...

Du hast DLSS und die AI dahinter nicht im Ansatz verstanden.

Ich kann das unterfüttern:
https://www.computerbase.de/forum/t...und-rtx-4090-ist-riesig.2107530/post-27397739

 

[Nolag]

Mich stört hier einerseits das Marketing, das suggeriert, man könnte mit weniger Rechenaufwand aus altem Bildmaterial viel mehr rausholen als drin ist (man kann Pixel berechnen, aber nicht das, was der Kamerasensor dort nicht gesehen hat), und andererseits, dass es Menschen gibt, die das als Tatsache glauben und weiter verbreiten.

Natürlich kann man Details aus bewegten Bildern extrahieren. Das machen NASA und DoD seit 40 Jahren. Das erste öffentliche Paper über Multi-Frame Super-Resolution wurde 1984 veröffentlicht.
Papers: Multi-Frame Super-Resolution

When multiple images of the same view are taken from slightly different positions, perhaps also at different times, then they collectively contain more information than any single image on its own. Multi-Frame Super-Resolution fuses these low-res inputs into a composite high-res image that can reveal some of the original detail that cannot be recovered from any low-res image alone.

 

[ragnarok666]

Funktioniert das nur bei lokalen Videodateien oder auch über den Browser?

Anime4k kommt als ein Packet aus glsl Shadern daher, ich verwende es mit MPV, da mir kein anderer Player bekannt ist, der glsl Shader unterstützt. Von daher vermute ich, dass man es nicht in einem Browser verwenden kann; definitiv nicht als Plugin verfügbar.
Fuer Videos im Browser könnte ja Nvidias Lösung hoffentlich was taugen, sollte man ja einfach ausprobieren können, sobald verfügbar.

 

[Ayo34]

Zu den Leuten die bedenken haben. Es gibt wirklich gute AI Video Upscaler und man kann auch wunderbar seine 1080p Videos selbst hochskalieren und dann auf Youtube hochladen. Das dauert aber häufig Stunden. Ich bin gespannt wie das Echtzeit-Ergebnis von Nvidia dagegen aussehen wird.

Funktionieren wird es also definitiv, die Frage ist nur wie es im Gegensatz zu Alternativen ausschauen wird.

 

[Replay86]

2. Ghosting
Auch hierzu gibt es eine ausführliche Troubleshooting Sektion im Entwicklerguide.
Ghosting bei DLSS und FSR findet vornehmlich statt, wenn man Objekte auf dem Screen nicht sauber berechnet und mit irgendwelchen Tricks ohne Tiefeninformation (z- buffer) oder Motionvektoren versieht.

Ein guter Monitor spielt da auch noch eine Rolle. Ghosting wird noch verstärkt durch schlechte Panels, die schon von Haus aus Ghosting ziehen oder sagen wir einfach minderwertig sind und davon gibt es nach wie vor einige.
Auch ein Grund, warum ich am PC Bildschirm nicht sparen würde.

 

[0xffffffff]

Wow, wundert mich schon lange wieso man nicht den Upscaler von der NVidia Shield in den GPUs als Einstellung bei Videobeschleunigung freigibt. Aber vielleicht ist der Upscaler hier ja etwas fortgeschrittener, Tests werden es zeigen. Spannend wird sein, ob die Einschränkung auf 30xx'er und 40xx'ger GPUs wirklich technische oder Produktpolitische Gründe hat. Der Upscaler in der Shield läuft schließlich auf einer GPU der Maxwell Architektur (9xx'er Serie)...

Wie auch immer. Wird Zeit, dass NVidia mal seine ganzen "Features" in eine Vernünftige Anwendung konsolidiert welche:

a) Nicht die träge NVidia Systemsteuerung mit dem Windows XP UI aus den 90'gern ist
b) Nicht GeForce Experience ist und keine Registrierung & Anmeldung erzwingt

Unter anderem die Treibereinstellungen, das GeForce-Experience-Overlay und auch NVidia Broadcast (eheml. RTX Voice) hätte ich gerne mal aus einem Guss. Genauso die Funktionen aus dem MSI Afterburner. AMD ist hier mit seinem Treiber(-UI) Lichtjahre voraus.

 

[DocWindows]

will man Information, die nicht da ist, nicht generieren kann.

Natürlich kann man das. Genau dafür ist AI da.
Schau dir mal auf Youtube die Videos zur nVidia Canvas App an.

So wie dort Objekte aus einfachsten Informationsbrocken erzeugt werden, können auch Informationen in anderen Medien ergänzt werden die eigentlich nicht da sind. Nur sind die Wege ein bißchen anders.

 

[Mimir]

Höhere Qualität... Diese Lüge lebt immer weiter. Uprising bleibt upscaling, die Qualität wird nicht besser nur weil es nicht mehr interpolieren heißt, will man Information, die nicht da ist, nicht generieren kann.

Genauso wie bei TAA und DLSS kann man auch bei Videomaterial mehrere Frames in Folge analysieren und gewinnt damit eine große Menge an Bildinformationen über die Szene und kann diese Informationen dann nutzen um das aktuelle Bild zu verbessern oder um Bildfehler und Kompressionsartefakte herauszufiltern.

Rein rechnerisch funktioniert das mit dem Informationsgewinn also tatsächlich, solange es sich eben um mehrere Bilder handelt, aus denen man Informationen gewinnen kann.

Bei Einzelbildern ist das schon deutlich schwieriger. Hier kann man keine neuen Informationen gewinnen.
Es ist aber hier durchaus möglich, dass man Kanten feiner zeichnen kann (das geht auch ohne sichtbare Nachschärf Artefakte) begradingen kann oder Artefakte erkennt und korrigiert. Auch kann man den Detailgrad mit Machine Learning etwas erhöhen. Bei Einzelbildern ist das aber noch eher "hit or miss". Manchmal klappt es gut, manchmal siehts künstlich aus. Hier bleibt letztendlich ja auch nichts anderes übrig, als das Bild zu interpretieren und irgendwas dazu zu erfinden.

Bei Video ist das aber wie gesagt anders. Dadurch dass man ziemlich viele Einzelbilder und damit viele Informationen hat, kann man schon sehr viel damit anstellen, ohne dass Details erfunden werden müssen.

 

[Bright0001]

Nachdem Susan mir auf YouTube das 4K abgedreht hat, wäre das tatsächlich ein brauchbares Feature.

Wobei man richtige Tests abwarten sollte, das Demo-Vid hatte FHD@8Mbit/s mit h.264 als Source, damit ist es qualitativ schon ordentlich und der Codec fast schon veraltet.

 

[0x8100]

ich bin ja mal auf den stromverbrauch gespannt. rtx voice braucht 30W extra, beim video wird es bestimmt nicht weniger sein. laptop-benutzer werden sich sicherlich freuen. auf der einen seite freut man sich über jeden codec in hardware, weil es strom spart und auf der anderen seite haut man das wieder raus, damit jedes belangloses youtube-video hochskaliert wird.

 

[Virtramp]

Ich hoffe, das kommt für Firefox auch.

Ich hoffe TV hersteller bauen es ein. Hab so die schnauzze voll von tv sendern mit 1080i auflösung

 

[Chiaki]

rtx voice braucht 30W extra, beim video wird es bestimmt nicht weniger sein. laptop-benutzer werden sich sicherlich freuen.

Nur weil eine GPU mit drölfhundert Watt TDP 30W extra dafür braucht, heißt das noch lange nicht, dass eine GPU mit 80W TDP auch 30W braucht.

 

[wern001]

Höhere Qualität... Diese Lüge lebt immer weiter. Uprising bleibt upscaling, die Qualität wird nicht besser nur weil es nicht mehr interpolieren heißt, will man Information, die nicht da ist, nicht generieren kann.

Die Qualität von Upscalling hat in den letzten Jahren deutlich zu genommen. Bestes Beispiel ist Topaz Gigapixel AI
Ist zwar nicht so gut wie eine echte hohe Auflösung aber jedenfalls besser als das was in den letzten Jahren in umlauf war.

 

[0x8100]

Nur weil eine GPU mit drölfhundert Watt TDP 30W extra dafür braucht, heißt das noch lange nicht, dass eine GPU mit 80W TDP auch 30W braucht.

mein notebook braucht ~7W beim abspielen eines youtube-videos, selbst wenn man nur 10W addieren würde, wäre das mehr als das doppelte.

 

[Hito360]

unnoetiger stromverbrauch? meine leitung hat fixpreis, da stell ich einfach video um.....und wenn nicht verfueugbar: so viel 360/480/720p gibts ja auch nicht mehr...


vor 10-20jahren waer das was gewesen als DSL langsam war

 

[DieRenteEnte]

4k als Maximum ist schon schade.
Gerade jetzt, wo 4k immer mehr und mehr genutzt wird und 8k bereits seit Jahren verfügbar ist, sollte man die Software auf 8k hochrechnen lassen können.

Die einzigen Gründe, warum ich keinen 8k Fernseher habe, ist die schlechte Verfügbarkeit von Inhalten und Bildwiederholrate von nur 60 Hz.
Ein 8k @ 120 Hz TV als Monitorersatz zu haben, ist für mich das Minimum. 4k @ 240 Hz würde ich vorziehen.
Dieses Supersampling auf 8k zu optimieren, sollte meiner Meinung nach mittlerweile dazu gehören.

Letztens schwärmte ich vor meiner Freundin über einen möglichen Neukauf.

Sie fragte mich, was ich denn für die 800Fr. bekomme?
Eehmm, mehr fps uuund.... . Ja genau , videobeschleunigung auch 🥴

Fühlte sich arg dünn an das Eis.

Solche Fragen musst du mit einer Gegenfrage beantworten:
Was bekommt sie von der teureren Marke Schminke, Handtasche, Kleidung, etc.

Firefox benutzen doch nur noch die hard fans. Jeder andere ist auf einem Chromium basierenden Browser.

Muss es denn nur ein Browser sein?
Ich nutze seit vielen Jahren mehr als nur einen Browser.

Aktuell: Edge, Firefox, Brave, Chrome, Vivaldi, Tor
Die besten sind meiner Meinung nach Edge und Firefox. Tor gehört einfach dazu. Chrome und Vivaldi werden selten, aber trotzdem genutzt.

 

[Virtramp]

bei 4k 75 zoll fernseher musst du schon 1,5m entfernt sitzen um die pixel zu merken. bei 8k wäre das was, 0.75? das ist so bescheuert, 8k ist ein meme. Kann mir 8k nur bei VR headsets als sinvoll vorstellen.

 

[Unti]

Höhere Qualität... Diese Lüge lebt immer weiter. Uprising bleibt upscaling, die Qualität wird nicht besser nur weil es nicht mehr interpolieren heißt, will man Information, die nicht da ist, nicht generieren kann.

Oh doch, und wie das funktioniert.
DLSS FG etc. alles ähnliche Prinzipien.

Damit kann man sich ja schon fast den Kauf einer RTX schönrechnen, wenn man nur die Laufzeit lange genug betrachtet.
Ein bisschen Ironie ist dabei.

Ach komm, vergiss es... vermutlich wird die RTX dann Strom ziehen ohne Ende.... lieber gscheites 4K Streaming über nen Effizientes Device und gut ist.

Nette Idee, abseits von Spielerei kaum zu gebrauchen...