AI-Upscaling 640x480 zu 1920x1080 mit GTX 4070

[Dino93]

Hallo zusammen,

ich besitze eine Sammlung alter Animes mit einer Auflösung von 640x680 und nutze eine RTX 4070 GPU.

Durch den eigens entwickelten RTX VLC Player Vetinari sowie die Verwendung der RTX Super Auflösung auf Stufe 4 lässt sich die Bildqualität bereits spürbar verbessern. Dennoch tritt im VLC Player ein Problem mit dem Seitenverhältnis auf – Anpassungen sind schwierig, und selbst wenn sie gelingen, werden Teile des Bildes abgeschnitten.

In Anbetracht dessen kam mir die Idee, die Videos einfach mithilfe von AI-Upscaling auf das doppelte oder vierfache bzw. achtfache hochzurechnen.

Leider kenne ich kein zuverlässiges Tool, das dazu in der Lage ist. Meiner Meinung nach dürfte dies bei Animes weniger problematisch sein als bei realen Videos. PS: Das Tool darf auch ruhig was kosten, wenn es das tut was ich möchte

Ich hoffe, jemand kann mir helfen oder Alternativen vorschlagen. Vielen Dank im Voraus!

EDIT: Ich denke man weiß was gemeint ist.. er soll einfach auf das doppelte oder vierfache dessen Hochskalieren und zwar in das gleiche Format 4:3

 

[kachiri]

640x680 ist halt kein 16:9... (Vermute auch, du meinst 640x480 - das ist aber auch kein 16:9)
Entweder er schneidet oder streckt.

 

[Dino93]

Ja ich weiß grad nicht ob es 5:4 oder 4:5 oder 4:3 Format ist, aber ist ja egal, ich denke man weiß was gemeint ist.... er soll halt einfach Hochskalieren auf die doppelte oder vierfache größe des Formats...

EDIT: Es müsste 4:3 sein

EDIT: also wenn er es bis 1.600 x 1.200 schafft, wäre ich schon sehr Glücklich:

 

[Anon1216]

Vielleicht hilft das ja: https://github.com/chaiNNer-org/chaiNNer

 

[Dino93]

Hey danke für den Tipp, aber irgendwie komisch... egal welche Auflösung ich nehme, dass Video wird nicht Qualitativ besser! Im Mediacodec steht zwar 4000x irgendwas , aber die Qualität ist trotzdem die gleiche.

Suche ich nach dem falschen Begriff ?

 

[Anon1216]

Befolge am besten mal dieses Video (ab der markierten Stelle):

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[Dino93]

Hey, das klingt sehr interessant! jedoch hab ich es so verstanden, dass es nur für image's ist aber nicht für Videos oder?

 

[Anon1216]

Ich habe leider auch nicht so viel Wissen über dieses Programm. Deswegen weiß ich nicht ob man auch direkt ein Video upscalen kann. Da müsstest du dich dann mal schlau machen. Aber wie im Video zu sehen ist, kann man eine image sequence upscalen. Ein Video besteht ja aus vielen Bildern. Wenn dir der Aufwand wert ist, kannst du dein Video in einzelne Bilder rendern, diese upscalen und die HD Bilder wieder als Video rendern.

 

[Gravlens]

Es gibt doch Programme für Videos? Beispielsweise die hier:
https://filmora.wondershare.de/video-editing/ai-upscaling-video.html

Allerdings habe ich diese Seite auch nur gegoogled, ob die wirklich gut funktionieren kann ich nicht beurteilen, aber die Nr. 2 in dieser Liste z. B. ist wohl kostenlos.^^

 

[rw21]

Ich würde es mal mit Davinci Resolve´s "Superscale" versuchen.

 

[Teeschlürfer]

Ich hoffe ich habe die Frage richtig verstanden und es wird nicht nach einem Realtime-Upscaler gesucht

Für alte Cartons oder Animes empfehle ich Real-ESRGAN mit Profil Animevideo V3 (Schneller)
Oder für bessere Kantenglättung und denoising Real-CUGAN (langsamer)
Gibts beides für Pytorch oder als windows Version. Brauch aber etwas einarbeitung und ffmpeg Kenntnisse.
ESRGAN: https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan
CUGAN: https://github.com/bilibili/ailab/tree/main/Real-CUGAN

Wenns quick & dirty sein soll: https://github.com/AaronFeng753/Waifu2x-Extension-GUI
Hat beides drinn und ist einfach zu bedienen. Wenn man etwas nicht versteht einfach drüber hovern.
Hab damit zahlreiche Serien und Filme aufgewertet: Avatar, Akira, Prinzessin Mononoke etc.

Im allgemeinen arbeiten alle diese Upscaler nur mit Bildern (Wie Chainner).
Zuerst wird das Video durch ffmpeg Frame für Frame aufgesplit und abgelagert, die Tonspur und andere Inhalte seperat gespeichert, dann scaliert ein Algorithmus die einelnen Bilder und am ende wird alles wieder zusammengeführt.
Aber nein: Wie man alles in einem mit Chainner bewerkstelligen kann konnte ich selbst noch nicht rausfinden. Es gibt dutzende Anleitungen für einzelne Bilder, aber nie für Videos. Wahrscheinlich muss dann trotzdem wieder etwas wie ffmpeg zum Einsatz kommen.

 

[Maviba]

Ich würde es mal mit Davinci Resolve´s "Superscale" versuchen.

Dafür brauchst Du aber die Vollversion. Ansonsten hat er ein dickes, fettes Wasserzeichen im Video.
Aber ansonsten ist daVinci eine gute Wahl, mit allerlei Restaurationstools - nur eben nicht in der free-version.

Ansonsten kenne ich auch nur kostenpflichtige Tools, die halbwegs brauchbar sind.
Und diese sind meist cloud gestützte Dienste, die über ein abo-modell laufen.

@op Erwarte aber keine Wunder, zumal man ein 4:3 nicht so ohne weiteres in 16:9 konvertieren kann, ohne Bildmaterial zu verlieren, oder Bildverzerrungen in Kauf zu nehmen.
Das kann auch KI nicht, ohne irgendetwas dazu zu erfinden, was zu komischen Ergebnissen führen wird.

 

[rw21]

Dafür brauchst Du aber die Vollversion. Ansonsten hat er ein dickes, fettes Wasserzeichen im Video.
Aber ansonsten ist daVinci eine gute Wahl, mit allerlei Restaurationstools - nur eben nicht in der free-version.

Sicher?
Hier:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Da müßte doch im Video, unten Rechts Davinci Resolve Studio stehen oder ist das bei der Apfel-Version anders?

 

[Maviba]

Jap. Sehr sicher sogar.
Das normale upscaling geht auch in der free. Aber fürs eigentlich interessante KI gestützte superscaling brauchst du die studio-version..

"Resolve Super Scale
With DaVinci Resolve 18, a new kind of upscaling algorithm has been introduced. Super Scale (or SuperScale, both used by Blackmagic Design) uses the DaVinci Neural Engine to generate more details in an upscaled image. This feature is available in the paid Studio version only and is ideal for scaling archival footage or upscaling HD footage to 4K or even 8K resolution."
https://elements.tv/blog/davinci-resolve-super-scale-turn-hd-footage-into-4k-or-even-8k-footage/

 

[rw21]

OK, aber der KI gestützte dürfte, da er "nur" für 2x vorhanden ist, dann wohl auch nicht, bei einer Auflösung von 640x480, ausreichend sein.

 

[Maviba]

Ich denke, es kommt darauf an.
Ein 480p Video auf 1080p hochzuskalieren halte ich schon wegen dem unterschiedlichen Bildverhältnis für recht ambitioniert. da wäre es besser, bei 4:3 zu bleiben

Aber da es sich in diesem Fall um Animes handelt, dürfte selbst ein normales upscaling dann schon gute Ergebnisse erzielen.

 

[Dino93]

Servus zusammen,

vielen Dank für die Ideen und Vorschläge. Scheint ja wohl doch alles komplizierte zu sein.
Ich habe mit verschiedene AI Tools mal die Videos hochskalieren lassen, aber außer das die Kurven etc. geschmeidiger werden, wird die Bildqualität nicht wirklich schäfer... das habe ich tatsächlich nur mit dem VLC RTX Player und Video-Verbesserung auf Stufe 4 - jedoch ist das alles noch etwas verbuggt...

Glaub außer abwarten oder sich intensiv mit der Materie zu beschäftigen bleibt nix anders über

 

[Anon1216]

Also ich habe mal fix ein Bild hochskalieren lassen und das ist mein Resultat:

Original: 448x252
Upscale: 1792x1008

 

[Teeschlürfer]

Habs mal durch ein paar Dinger durchgejagt:

Spoiler: Close up

CUGAN

++ schnell
+Quali

ESRGAN x4 plus

+sehr gute Qualität
-langsam

ESRGAN animevideov3
++Sehr schnell
+Brauchbare Qualität

Und zumindest mit ESRGAN ändert sich nix an dem Seitenverhältniss.
Mal aus dem Neon Genesis Trailer ein bild gemoppst und es auf Full HD scaliert. Das Seitenverhältnis bleibt gleich.

Spoiler: Neon

 

[Dino93]

Hey also die Bilder sehen echt Top aus, richtig gut ! aber es ging ja eigentlich um Videos und da hab ich noch kein Tool entdeckt, was es automatisch so gut hochskaliert, dass man auch ein richtigen Unterschied erkennt. Außer man macht es sehr aufwendig selbst über die oben genannten Tools.

HALT! ich erinnere mich, dass ich mir vor ca. 4 Jahren mal zum Testen ein Samsung QLED TV gekauft hatte. Der hatte meine Serien künstlich von FullHD auf 4k hochskaliert und das sah ultra gut aus! auch ohne Verzögerung usw. Keine Ahnung mehr was da für eine Technik war, aber es war Bombe!

Den TV hatte ich direkt mit meinen PC per HDMI angeschlossen und die Serien über VLC abgespielt.

Naja egal, ich werde einfach noch etwas warten - da kommt sicherlich in Zukunft noch geeignete Tools für raus