Konkurrent für OpenAIs Sora-Modell: Adobe stellt Text-zu-Video-Modell für Firefly vor

Adobe hat heute das Firefly Video Model vorgestellt, das den generativen Bildeditor Firefly und Premiere Pro um Text-zu-Video- und Bild-zu-Video-Funktionen erweitert. Nachdem bereits die Grafikprogramme generative KI erhalten haben, rüstet Adobe nun bei den Videoprogrammen nach.

Mit den neuen Funktionen will Adobe eine Vielzahl von Anwendungsfälle unterstützen. Das Ziel: Videoeditoren den Alltag erleichtern. So lassen sich etwa Lücken in Timelines füllen und zusätzliche Elemente zu vorhandenem Filmmaterial hinzufügen. Steuerelemente wie Kamerawinkel und Kamerabewegung sind zudem nutzbar, um Animationen und Effekte zu erzeugen.

Vorlage für die generierten Inhalte können sowohl Prompts als auch Referenzbilder sein. Ausgehend von diesen Eingaben erstellt die generative KI-Funktion dann Videomaterial oder verändert existierende Szenen.

Verfügbarkeit im Laufe des Jahres

Noch im Laufe des Jahres soll der Startschuss erfolgen, Firefly wird also noch 2024 um eine Text-zu-Video- und Bild-zu-Video-Funktion erweitert. Nutzen lassen diese sich über den Webdienst von Adobe, die generativen Videofunktionen werden somit Teil der Creative Cloud. Der Videoeditor Premiere Pro erhält indes die Funktion „Generative Erweiterung“.

Die neuen Videofunktionen sind Teil des Pakets, das Adobe im April vorgestellt hatte. Interessierte, die das Firefly Video Model in der Beta-Version testen wollen, können sich auf eine Warteliste eintragen.

Adobe verspricht Sicherheit bei Copyright-Frage

Was Adobe wie bei den weiteren generativen KI-Funktionen verspricht, ist kommerzielle Sicherheit. Adobe hat alle Modelle – neben Firefly Image 3 zählt dazu auch das Firefly Vector Model und das Firefly Design Model – ausschließlich mit Inhalten trainiert, für die das Unternehmen die Nutzungsrechte hat. Inhalte der Kunden würden nicht verwendet.

Rechtliche Sicherheit bei der Copyright-Frage ist ein Aspekt, der Adobe von konkurrierenden Anbietern wie OpenAI, Google und Microsoft unterscheidet. Vor allem OpenAI steht bei den laufenden Klagen im Mittelpunkt. Im Kern geht es um die Frage, ob es legitim ist, Modelle auch mit urheberrechtlich geschütztem Material zu trainieren, ohne dass die Rechteinhaber eingewilligt haben.

Adobe ist einer von mehreren Text-zu-Video-Anbietern auf dem Markt. Tools wie Runway folgten rasch nach dem ChatGPT-Start, OpenAI selbst sorgte mit Sora für Aufsehen. Bis heute ist das Tool aber nur für ausgewählte Tester verfügbar. Adobe ist im Vergleich zur Konkurrenz jedoch im Vorteil, weil sich die KI-Funktionen direkt in die Tools wie Premier Pro integrieren lassen, die in der Film- und Medienbranche weit verbreitet sind.