Video-Upscaling (in Echtzeit?)

[Xes]

Hallo zusammen,

über DLSS, FSR und NIS hört und liest man ja aktuell viel zum Thema Echtzeit-Upscaling von Videospielen.

Gibt es denn vergleichbare Technologien um Videos von z.B. DVD-Qualität auf FullHD upzuscalen oder FullHD auf 4K?

Mit „Topaz Labs Video enhance Ai“ habe ich schon tolle Ergebnisse hinbekommen, aber das rechnet selbst auf meiner RTX 3070 ewig. Ganze Filme können da schonmal einen kompletten Tag dauern, ganze Serienstaffeln brauch man auf diese Weise eigentlich garnicht erst anfangen.
Das ist für mich und meinen usecase daher nur bedingt praxistauglich.

Bekommt man denn zumindest im Ansatz vergleichbare Ergebnisse mit anderen Programmen auch in Echtzeit hin?

Google spuckt mir nur recht bescheidene Ergebnisse aus:
Eine Nvidia Shield scheint das zu können, aber ich möchte mir eigentlich keine extra Hardware anschaffen denn eine schnelle GPU ist ja schon vorhanden.
Softwareseitig wird hier und da Madvr genannt aber da scheint mir das Setup ein Graus zu sein. Da scheiterte meine Geduld schon daran einen kompatiblen kostenlosen, nicht eol Videoplayer zu finden.

Kennt sich hier jemand mit dem Thema aus und könnte mir Vorschläge nennen? Danke vorab :-)

 

[Nolag]

Die Stichworte sind hier MadVR nnedi, ngu und AviSynthAiUpscale oder mpv und FSRCNNX (Mathematically Evaluating mpv's Upscaling Algorithms).

 

[madmax2010]

Jein, wirklich gut und relativ beliebt ist der hier: https://github.com/bloc97/Anime4K
Für Animes ist so etwas jedoch deutlich leichter, da die Texturen hierbei durch das NN substituiert werden. Wenn Texturen genutzt werden, auf die nicht trainiert wurde, wird gern das "nachstbeste" eingesetzt.

Dieses und andere netze betrachten auch den Zeitlichen verlauf, den texturen nehmen, was ein konsistentes bild gibt, jedoch viel Rechenleistung kostet. 4k in echtzeit wäre Mutig.

Klassisches upscaling ist ganz nett, aber da wird die Bildqualität halt kaum besser



Was super sein soll, ist das hier: https://github.com/K4YT3X/video2x
Habs mir aber noch nicht angesehen

 

[t0oastaa]

konnte nicht der Nvidia Shield sowas? Dachte da mal was gelesen zu haben.

 

[Nolag]

Softwareseitig wird hier und da Madvr genannt aber da scheint mir das Setup ein Graus zu sein.

Mir ist leider kein Software-Player bekannt, der einen guten AI Scaler mitbringt. Hier ist aber eine deutsche Seite, die sich mit den Einstellungen und auch externen AI Scalern für MPV beschäftigt: MPV Player als Alternativer Player z.B. in Kodi

 

[gidra]

Mit mpc-be und schärfe Filter, lässt sich einiges rausholen und zwar ohne besondere Belastung für die Hardware in Echtzeit. Auch denoise Filter kann bei starken Rauschen helfen. Im mpc-be selbst, lässt sich mit bicubic auch der Grad der Schärfe von 0,6-1,0 einstellen. In Verbindung mit 2 pass schärfe Filter, kann man auch die Schärfe reduzieren falls es zuviel sein sollte.

 

[Xes]

Danke schonmal für eure Antworten. Ich sehe mir das heute Abend mal alles an.