Neues aus der Forschung: Automatische, lippengenaue Sprachsynchronisation

[slashCAM]

In einem aktuellen Paper stellt die Forschungsabteilung von Disney eine neue Methode vor, um sprechenden Personen in Videos mehr oder weniger automatisch neuen Text in den Mund zu legen, und zwar so, daß die neuen Laute exakt mit der Mundbewegung übereinstimmen


Hier geht es zur Newsmeldung mit Link und Bildern auf den slashCAM Magazin-Seiten:
Neues aus der Forschung: Automatische, lippengenaue Sprachsynchronisation

[Skeptiker]

In einem aktuellen Paper stellt die Forschungsabteilung von Disney eine neue Methode vor, um sprechenden Personen in Videos mehr oder weniger automatisch neuen Text in den Mund zu legen, und zwar so, daß die neuen Laute exakt mit der Mundbewegung übereinstimmen

Im Prinzip nichts Neues, ausser dass die Auswahl geeigneter Wörter offenbar automatisiert wird (also anhand der Mundbewegung mittels optischer Mustererkennung oder so ein dazu passender Laut identifiziert wird, zu dem wiederum ein passender Text aus einer Datenbank geholt wird, der, in einen Laut zurückverwandelt, dem Sprecher dann neu unterlegt wird - so stelle ich es mir etwa vor).

Nicht Anderes passiert doch, wenn ein amerikanischer TV- oder Kinofilm deutsch synchronisiert wird. Allerdings mihilfe des Könnens der Dialogschreiber und der Synchronsprecher. Wenn im Englischen der Mund zum 'o' geformt wird, dann sollte in der deutschen Übersetzung an dieser Stelle auch ein 'o' stehen, damit der Zuschauer nicht optisch den Eindruck erhält: *Da stimmt doch etwas nicht mit dem, was der da sagt".


Man denke z.B. an die legendäre Nachsynchronisation von "Die Zwei" mit Roger Moore und Tony Curtis und an die coolen Sprüche, die den Beiden da vom Synchron-Team in den Mund gelegt wurden!

[handiro]

Wir Deutschen sind es doch gewohnt falsche Lippenbewegungen zu sehen, andere vielleicht nicht.

Die Fälschungsoption ... hmm naja, nachdem ich weiß, wieviele an scripted reality glauben....