Warum verblassen die Farben so stark bei meiner Videobearbeitungs-Konfiguration?

[Cinematic]

Hallo miteinander,

ich probiere gerade Frame Interpolation aus (d.h. ein Video z.B. von 24 auf 48 FPS erhöhen, indem Zwischenbilder berechnet werden).
Dazu verwende ich Waifu2x (aktuell noch ohne Premium).

Die FPS wurden dabei wie gewünscht erhöht: es läuft viel flüssiger.
Jedoch sind die Farben total verblasst:

(um Missverständnisse zu vermeiden: das sind zwei Screenshots, mit Bildbearbeitung zusammengefügt)

Habt ihr eine Idee wie ich die Frame Interpolation nutzen kann, ohne dass dabei die Farben so stark verändert werden?

Bei den Setting Presets habe ich das erste ausgewählt:

Die Original-Videodatei ist ein 5s Clip von der Arcane-Serie mit:

• Kodierung: x264
• Auflösung: 3840x1632

Bitte Spoiler aufklappen, um die vollständigen Einstellungen sehen zu können:

Spoiler: Waifu2x Settings

Ich habe bereits folgendes versucht bei den Video Settings:

• Frame Codec: "PNG"
• Video Encoder Preset: "veryslow" (der Tooltip dazu erklärt, dass dies maximale Qualität liefern soll), aber es entstehen dadurch Artefakte

---> Bei beiden Versuchen waren die Farben genau so verblasst wie ganz oben auf dem Bild gezeigt.

 

[ghecko]

Seltsam. Womit hast du die Bilder gemacht? Also womit spielst du die Dateien ab?
Kann auch sein das hier was schief läuft.

 

[Cinematic]

Mit VLC spiele ich die Videodateien nacheinander ab.
Das erste Bild in meinem Post ist von mir mit Bildbearbeitungssoftware erstellt aus zwei einzelnen Screenshots:
die linke Hälfte ist in kleiner Bereich vom Original-Video und die rechte Hälfte ein kleiner Bereich vom bearbeiteten Video.. ich hab das so zusammengefügt, damit man die Farben besser vergleichen kann.

Beantwortet das deine Fragen, oder habe ich deine Fragen falsch verstanden? @ghecko

 

[ghecko]

Mit VLC spiele ich die Videodateien nacheinander ab.

Versuch mal einen anderen Player. Ich glaube, VLC macht hier wieder VLC-Sachen.
https://mpv.io/
S auf der Tastatur drücken, dann macht mpv einen Screenshot für dich.

 

[Cinematic]

@ghecko Mit dem mpv-Player sind die Farben leider exakt genau so verblasst bei den bearbeiteten Videodateien.

 

[ghecko]

Mit dem mpv-Player sind die Farben leider exakt genau so verblasst

Gut, dann scheint es wirklich aus dem Encoding-Prozess zu kommen und wir können das ausschließen.
Versuch zur Sicherheit trotzdem mal das:

Mir scheint fast als wäre das ne missglückte Umwandlung von HDR-Material.

 

[Cinematic]

Auch mit full dynamic range ist es leider immer noch genau so wie vorher.

 

[ghecko]

Und die Original-Datei ist sicher keine mit HDR-Videomaterial?

Also das einzige was ich in den Settings ausmachen kann ist da hier:

Steckt aber hinter eine Paywall. Wenn die Originaldatei HDR ist, könnte man den Farbraum extern konvertieren, bevor man sie mit w2x interpoliert.

 

[Cinematic]

HDR scheint es nicht zu sein, allerdings sehe ich gerade, dass die Original-Videodatei H.265-kodiert ist:

Und das ist der Codec von der bearbeiteten Datei:

Ich versuch mal beim Bearbeiten den gleichen Codec zu wählen, also auch H.265

Ergänzung (Heute um 17:43)

Hat leider auch nicht geholfen. Jetzt schaut der Codec von der bearbeiteten Videodatei wiefolgt aus:

Jedoch sind die Farben immer noch genau so verblasst.

 

[Lord Gammlig]

Das Original ist in HDR: Color-Primaries BT.2020 und dein Video ist in SDR: BT.709

 

[Cinematic]

@Lord Gammlig Ah okay, das wusste ich nicht - danke für die Korrektur.

Um das Problem zu beheben, müsste ich dann so wie von @ghecko vorgeschlagen vorgehen?
->

Also das einzige was ich in den Settings ausmachen kann ist da hier:
[IMG]https://www.computerbase.de/forum/attachments/screenshot-2024-12-22-at-17-30-27-warum-verblassen-die-farben-so-stark-bei-meiner-videobearbei-png.1559452/[/IMG]
Steckt aber hinter eine Paywall. Wenn die Originaldatei HDR ist, könnte man den Farbraum extern konvertieren, bevor man sie mit w2x interpoliert.

Wenn ja, was genau muss ich tun?
Wie konvertiere ich den Farbraum extern? Ist damit gemeint, dass ich mit anderer Software zuerst meine Original-Videodatei konvertieren muss?
Und danach noch Premium kaufen bei Waifu2x, um dann das Video Color Management zu konfigurieren?

 

[ghecko]

Wie konvertiere ich den Farbraum extern? Ist damit gemeint, dass ich mit anderer Software zuerst meine Original-Videodatei konvertieren muss?

Exakt. Zb. mit ffmpeg in ein verlustfreies Format konvertieren und dabei den Farbraum konvertieren. Damit dann in w2x weiter.

https://www.videohelp.com/software/clever-FFmpeg-GUI
x264 crf = 0 ist dann lossless.

 

[Lord Gammlig]

Ich kenne das Programm leider nicht und weiß daher nicht, was mit dem internen Color-Management möglich ist (wenn du Premium kaufst). Wenn waifu auch HDR beherrscht, solltest du vorher extern nichts konvertieren müssen, dann kannst du das Ausgabematerial auch in HDR haben. Der andere Weg (den @ghecko wohl meint) wäre, das Original in SDR wandeln (eventuell mit Resolve möglich? Hab ich noch nie probiert) und dann die SDR Version in waifu bearbeiten.

 

[x264.exe]

Kann HDR nicht beibehalten werden, indem du einen Codec verwendest, der HDR unterstützt? HEVC, AV1...
Ansonsten muss ein SDR Tonemapping durchgeführt werden. Für sehr gute Ergebnisse in der Regel mit libplacebo(Spline, bt2446-a sind zu empfehlen) oder HDR-Tools(bt2446-c)

Bei Animationen könnte es aber gut sein, dass andere Tonemapping Algorithmen besser funktionieren. Reinhard. Mobius, Hable...

 

[Cinematic]

mit ffmpeg in ein verlustfreies Format konvertieren und dabei den Farbraum konvertieren.

Okay danke, dazu erstmal zwei Fragen:
1) ist das eine rechenaufwendige Operation? Farbraum konvertieren klingt für mich nach sehr rechenaufwendig.
2) würde bei der Farbraumkonvertierung ein Qualitätsverlust entstehen?

@x264.exe Ich habe mal AV1 getestet, Farben leider immer noch verblasst und bevor das Video startet flackert in VLC flackert es komischerweise ganz am Anfang so für 0.3s.
So sehen die Codec-Infos aus:

Ansonsten muss ein SDR Tonemapping durchgeführt werden. Für sehr gute Ergebnisse in der Regel mit libplacebo(Spline, bt2446-a sind zu empfehlen) oder HDR-Tools(bt2446-c)

Ist Tonemapping genau das gleiche was @ghecko und @Lord Gammlig vorgeschlagen haben, also das was sie Farbraumkonvertierung genannt haben?

 

[ghecko]

ist das eine rechenaufwendige Operation? Farbraum konvertieren klingt für mich nach sehr rechenaufwendig.

Nö, das geht eigentlich. Ein Encode in einem lossless-setting geht auch recht schnell, da nicht komprimiert wird. Das hat den höchsten Rechenaufwand. Die Datei wird halt extrem groß dabei, du brauchst also entsprechend freien Speicher auf der SSD.

also das was sie Farbraumkonvertierung genannt haben?

Genau.

 

[Cinematic]

Die Datei wird halt extrem groß dabei, du brauchst also entsprechend freien Speicher auf der SSD.

Würde ich die Datei ganz am Ende wieder komprimieren können ohne einen Qualitätsverlust zu erleiden, oder muss die so groß bleiben?

Ich denke ich schaue erstmal nach alternative Videobearbeitungs-Software, welche mit HDR umgehen kann, sodass ich mir die Farbraumkonvertierung sparen kann.
Oder könnte es evtl. auch sein, dass Waifu2x mit HDR umgehen kann, wenn ich Video Color Management freischalte mittels Premium-Zugang?
Falls ja, was für Einstellungsmöglichkeiten müssten dazu bei Video Color Management existieren?
Vielleicht schreibe ich dann den Entwickler mal an, ob das vorhanden ist.

 

[nutrix]

Das wäre ja genau die richtige Software für latiose88 zum Aufhübschen seiner ganzen gesammelten Zeichentrickserien.

 

[ghecko]

Würde ich die Datei ganz am Ende wieder komprimieren können ohne einen Qualitätsverlust zu erleiden, oder muss die so groß bleiben?

Das lossless encoding zur Farbraumconvertierung dient dazu, dass du bei diesem zusätzlichem Encode-vorgang keine Qualität verlierst. Anschließend kannst du es mit w2x wieder konvertieren wie du es für richtig hältst und hast dann halt an der stelle denselben Qualitätsverlust wie vorher auch.

 

[qiller]

Guck dir mal Staxrip an.

Hab mal eben nen kurzen Ausschnitt in den fps verdoppelt, wirklich gut funktioniert das aber selten. Hab z.B. in meinem kurzen Ausschnitt direkt flimmernde Wolken gesehen. Für HDR-Content hatte ich jetzt auch nur das mv.FlowFPS-Plugin funktional gefunden. Alle anderen wollten immer YV12 (4:2:0, 8bit) haben.

Edit: Vlt. muss man da auch noch was tunen, aber man sieht immer wieder hier und da Artefakte. Eventuell gibts auch mittlerweile was besseres. Mit SVP4 und MPC-HC sieht das jedenfalls schon deutlich besser aus. Und dann gibts ja auch noch RIFE für Leute mit Nvidia-Karten mit Tensorkernen, das hab ich mir aber noch nicht so genau angeguckt.