Adobe hat eine weitere Sneak Peek aus seiner internen Forschung veröffentlicht, die auf generativer KI basiert: "Dubbing and Lip Sync".
Bei dieser Technologie handelt es sich um ein generatives KI-Modell, mit dem sich Specher:innen und Darsteller:innen in einem Video ohne viel Aufwand in verschiedene Sprachen "rendern" lassen. Das Tool übersetzt dabei nicht nur die im Videoclip vorkommenden Sätze, sondern passt dabei auch die Originalstimme, Tonfall, Kadenz und Lippenbewegungen an die Übersetzung an.
Gedacht ist das Werkzeug nicht primär für die Filmproduktion, sondern mindestens ebenso für Vlogger und Youtuber, die hiermit sehr einfach ihre Clips in mehrsprachigen Versionen erstellen und hochladen können - und dies weitgehend vollautomatisiert.
In der gezeigten Demo lädt man einfach den gewünschten Clip im Browser hoch und wählt aus einer Tabelle die gewünschten Zielsprachen. Nach einer kurzen Berechnung in der Adobe Cloud stehen die so "übersetzten" Clips zum Download bereit.
// Top-News auf einen Blick:
- Sony A7R VI vorgestellt mit 66,8MP, Dual Gain und bis zu 120min 8K-Videoaufnahme
- Canon stellt EOS R6 V und RF 20-50mm F4 als PowerZoom-Kombination vor
- Panasonic Lumix L10 - Kompaktkamera mit GH7-Sensor und V-Log vorgestellt
- ZineControl - Monitoring und Fernsteuerung per App für die Nikon ZR
- Insta360 Luna Ultra mit dualer 8K-Kamera und abnehmbarem Display geleakt
- DJI Osmo Pocket 4P mit Dual-Kamera und 3x Zoom kommt am 14. Mai - nach Cannes
Adobe betont jedoch explizit, dass man diese Funktion unbedingt "im Einklang mit Adobes verantwortungsvollem KI-Ansatz" einführen will. Dass die Funktionen ein offizielles Feature werden soll, scheint dagegen schon prinzipiell festzustehen - denn weitere Details zu "Dubbing and Lip Synch" sollen schon bald folgen.
Offen bleibt noch (wie auch bei anderen Forschungsprojekten in dieser Richtung), was man als Anwender tun kann, wenn die Ergebnisse nicht dem gewünschten Ergebnis entsprechen. Aktuell funktionieren diese Modelle noch nach der Methode "take it oder leave it". Wenn inhaltlich eine Übersetzung nicht gelingt, lässt sich dies bislang auch nicht mehr nachträglich manuell korrigieren.
Wir könnten uns allerdings gut vorstellen, dass Adobe mit seiner Video-Transkriptionserfahrung genau in diesem Problembereich auch mit einer entsprechenden Lösung aufwarten wird. Und vielleicht bekommen wir ja schon eine erste Implementation in einem Monat auf der NAB zu sehen.
