Bald in Premiere und Co? Adobe Dubbing and Lip Sync - Lippensynchrone Videotranslation mit KI

Adobe hat eine weitere Sneak Peek aus seiner internen Forschung veröffentlicht, die auf generativer KI basiert: "Dubbing and Lip Sync".

Bei dieser Technologie handelt es sich um ein generatives KI-Modell, mit dem sich Specher:innen und Darsteller:innen in einem Video ohne viel Aufwand in verschiedene Sprachen "rendern" lassen. Das Tool übersetzt dabei nicht nur die im Videoclip vorkommenden Sätze, sondern passt dabei auch die Originalstimme, Tonfall, Kadenz und Lippenbewegungen an die Übersetzung an.

Gedacht ist das Werkzeug nicht primär für die Filmproduktion, sondern mindestens ebenso für Vlogger und Youtuber, die hiermit sehr einfach ihre Clips in mehrsprachigen Versionen erstellen und hochladen können - und dies weitgehend vollautomatisiert.

In der gezeigten Demo lädt man einfach den gewünschten Clip im Browser hoch und wählt aus einer Tabelle die gewünschten Zielsprachen. Nach einer kurzen Berechnung in der Adobe Cloud stehen die so "übersetzten" Clips zum Download bereit.

Auch andere KI-Forscher haben bereits in der Vergangenheit eine ähnliche Funktionalität in diversen Papers veröffentlicht. Zudem hat Adobe "Dubbing and Lip Sync" noch in keiner verfügbaren Beta-Version (s)einer Creatve Cloud Anwendungen implementiert.

Adobe betont jedoch explizit, dass man diese Funktion unbedingt "im Einklang mit Adobes verantwortungsvollem KI-Ansatz" einführen will. Dass die Funktionen ein offizielles Feature werden soll, scheint dagegen schon prinzipiell festzustehen - denn weitere Details zu "Dubbing and Lip Synch" sollen schon bald folgen.

Offen bleibt noch (wie auch bei anderen Forschungsprojekten in dieser Richtung), was man als Anwender tun kann, wenn die Ergebnisse nicht dem gewünschten Ergebnis entsprechen. Aktuell funktionieren diese Modelle noch nach der Methode "take it oder leave it". Wenn inhaltlich eine Übersetzung nicht gelingt, lässt sich dies bislang auch nicht mehr nachträglich manuell korrigieren.

Wir könnten uns allerdings gut vorstellen, dass Adobe mit seiner Video-Transkriptionserfahrung genau in diesem Problembereich auch mit einer entsprechenden Lösung aufwarten wird. Und vielleicht bekommen wir ja schon eine erste Implementation in einem Monat auf der NAB zu sehen.