Neues aus der Forschung: Automatische, lippengenaue Sprachsynchronisation

In einem aktuellen Paper stellt die Forschungsabteilung von Disney eine neue Methode vor, um sprechenden Personen in Videos mehr oder weniger automatisch neuen Text in den Mund zu legen, und zwar so, daß die neuen Laute exakt mit der Mundbewegung übereinstimmen. Dafür werden die im Orignal gesprochenen Laute analysiert bzw. auf kleinste Einheiten aufgeteilt und dann neue Wortmöglichkeiten für entsprechende Kombinationen gesucht. Das Ganze basiert jedoch nicht auf identisch klingenden Phonemen (den Lauten an sich), sondern auf sogenannten Visemen, also Lauten, die sehr ähnlich aussehen, wenn sie ausgesprochen werden. Beispielsweise kann ein "clean swatches" etwa aussehen wie "like swats", "then swine", "need no pots" oder "tikes rush", wie eine Roboterstimme im Video vorführt.

Der Schwerpunkt liegt hier ganz klar auf der exakten Entsprechung der Lippenbewegungen -- der Inhalt des Gesprochen bleibt dabei wohl meist auf der Strecke. Als Haupteinsatzgebiet für Audiosynchronisierung werden ausdrücklich Film-, TV- und Videospielübersetzungen aufgeführt, gerade dort allerdings wäre es wohl die Frage, ob exakt lippensynchroner Nonsens einer visuell nicht ganz passenden, aber inhaltlich stimmigen Übersetzung vorzuziehen ist. (Obwohl so mancher Film von dieser Behandlung vielleicht sogar profitieren würde...) Allerdings wird auch ein weiterer Anwendungsbereich genannt, nämlich das nachträgliche Übersprechen von "offensive Phrases" mit harmlosen Ersatzflüchen, was angesichts der Sinnleere vieler solcher Beispiele aus dem echten Leben (zB. Armleuchter) vielleicht eher funktionieren wird...

mehr Infos bei
www.disneyresearch.com

Auf Socials teilen: