Software mit AI um Videos lokal zu übersetzen gesucht

[latte4711]

Hi,

gibt es von von NVIDIA oder eine andere Software mit der man Videos lokal übersetzen lassen kann? Das es dafür Online Anbieter gibt ist mir bekannt aber um damit mal zu „spielen“ bin ich zu geizig.
Wie weit ist eigentlich die Sache von Microsoft das in Edge zu integrieren?

 

[madmax2010]

Zum spielen ist das genau richtig, wird aber arbeit erfordern..

Tonspur extrahieren:
https://ffmpeg.org/
Text extrahieren:
https://github.com/openai/whisper
Text übersetzen:
https://github.com/DeepLcom/deepl-python
Text to speech:
https://github.com/collabora/whisperspeech
Und dann die Tonspur wieder mit ffmpeg einfuegen

ein paar haben da schon was zusammen getackert..

e.g:
https://github.com/pranauv1/AI-Video-Translation
https://github.com/R3gm/SoniTranslate
https://github.com/ruslanmv/Video-Translator

 

[Rickmer]

Wie meinst du übersetzen?
Willst du die Tonspur in derselben Stimme aber anderer Sprache haben?

Speech to Speech Translation (S2ST) gibt es schon einige Anfänge:
https://speechify.com/blog/speech-to-speech-translation/
https://slator.com/live-speech-to-speech-ai-translation-goes-commercial/

Ich weiß aber nicht, wie viel davon den Umweg über S2T -> T2T Translate -> T2S gehen und welche komplett multimodal sind. Und wie viele davon die original-Stimme direkt übernehmen können.

Die einzelnen Komponenten existieren definitiv, aber ein 'all in one package' wo man ein Video reinpackt und ein übersetztes Video mit ansonsten identischen Stimmen gibt es mWn (noch) nicht.

Dazu dann noch direkt Lip Sync anpassen im Video gibt es mWn nicht.

 

[latte4711]

Hi,

danke schonmal.

Mit übersetzen meinte ich das ein z.B. englisch sprachiges Video in deutsch wiedergegeben wird ob jetzt mit original Stimme oder Lipsync ist eigentlich egal.

So ein All in one Paket wäre natürlich nicht schlecht aber das wird wohl noch etwas dauern.
Für die RTX Karten mit ihrer Power wäre das was.

 

[madmax2010]

siehe meine letzten 2-3 links

Dazu dann noch direkt Lip Sync anpassen im Video gibt es mWn nicht.

der Drittletzte bei mir behauptet er kann das

 

[latte4711]

Hi,

@madmax2010
keine Angst, habe ich doch gesehen und bin schon am lesen. :-)