Logo Logo
/// News

Visuelles Dubbing per KI macht jeden Schauspieler zum Mehrfach-Muttersprachler

[09:20 Di,25.Mai 2021 [e]  von ]    

Viele Zuschauer stören sich bei fremdsprachigen Filmen, die nachträglich synchronisiert (gedubbed) sind, an den nicht zu den gehörten Lauten passenden Lippenbewegungen. Wir hatten schon letztes Jahr über den DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams berichtet, welcher in der Lage war, die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Echtzeit anzugleichen, das klappte ganz universell mit jedem Gesicht, jeder Sprache und jeder Stimme. Das Londoner Startup Flawless AI verspricht ähnliches jetzt für Kinofilme.





Der TrueSync getaufte DeepFake Algorithmus für Mundbewegungen soll es als weltweit erstes kommerzielles System Filmemachern ermöglichen, nachsynchronisierte Versionen ihrer Filme zu erstellen, bei denen nicht mehr visuell zu erkennen ist, dass die Sprache geändert wurde.

Flawless-AI-Nicholson



Flawless AIs True Sync Algorithmus


Laut eigenen Angaben klappt dies fotorealistisch - die Lippensynchronisation soll so nahtlos sein, dass die Mimik des Schauspielers erhalten bleibt und Zuschauer so nicht mehr von Unstimmigkeiten zwischen den Lippenbewegungen des Schauspielers und dem Text des Synchronsprechers (und den inutitiv erwarteten Lippenbewegungen) abgelenkt werden.

Demo des Flawless AIs True Sync Algorithmus:



Dazu analysiert der Algorithmus, der auf einer Forschungsarbeit von 2019 beruht und in Zusammenarbeit mit dem Max Planck Institut für Informatik entwickelt wurde, alle Mundbewegungen, welche ein Schauspieler in der Orginalversion eines Films beim Aussprechen unterschiedlicher Laute macht, um diese für die Fremdsprachenversion mit dem Synchrontext nachträglich zu synthetisieren und mit dem Rest des Gesichts möglichst lückenlos zu verschmelzen.

Uns erscheint das Ergebnis noch nicht ganz perfekt zu sein, aber eine verbesserte Version des TrueSync Algorithmus dürfte schon in Arbeit sein. Auch ist die Automatisierung nicht vollständig, zwar klappen 85% des visuellen Dubbings automatisch, aber noch müssen 15% der Arbeit manuell erledigt werden.

Interessant für die großen Filmstudios, Netflix und mehr


Flawless AI zielt, wie schon im Demovideo zu sehen ist, auf große Film- und Serienproduktionen und arbeitet mit Filmstudios wie Paramount zusammen - für die Kontakte sorgt der Mitbegründer von Flawless AI, der Filmemacher Scott Mann, der unter anderem 2015 den Film "Heist" Mit Robert De Niro gedreht hat. Der erste große Film, der die Methode einsetzt, soll in rund einem Jahr erscheinen.

Neben den großen Filmstudios wäre ein solcher Algorithmus natürlich auch für die Streaming-Anbieter wie Netflix oder Amazon Prime höchst interessant, die dann die vielen Fremdsprach-Versionen ihrer Filme und Serien ganz automatisiert (und relativ kostengünstig) visuell an die jeweilig gesprochene Sprache angleichen könnten.

Tom-Hanks


Profitieren würden neben den Filmemachern und Zuschauern auch die Übersetzer von Synchrontexten, deren Arbeit deutlich erleichtert werden würde, wenn sie nicht mehr darauf achten müssten, dass die gesprochene Übersetzung möglichst nah an den Lippenbewegungen des Originals bleibt. Denn oft wird bei der Synchronisation der Dialog stark verändert, um ihn besser an die Lippenbewegungen der Schauspielers anzupassen, was den Sinn jedoch sehr entstellen kann. Allerdings müsste auch beim Lip-Syncing per KI (noch) die Länge der Übersetzung exakt mit der des Orginals stimmen und der Text von einem Synchronspecher in der Fremdsprache eingesprochen werden.

Für Filmemacher könnte die Technologie auch eine einfache Alternative zu kostspieligen Nachdrehs bieten, etwa wenn nachträglich der gesprochene Text einer Szene geändert werden soll.



Automatische Fremdsprachversionen auf YouTube?


In Zukunft wäre es auch denkbar, anderssprachige Versionen von beliebigen Clips zum Beispiel auf YouTube ganz automatisiert anzubieten. Eine automatische Transkription samt Untertiteln liefert YouTube ja schon jetzt, die nächsten Schritte sind auch schon möglich mithilfe verschiedener Deep Learning Algorithmen: die Übersetzung des transkribierten Textes in eine andere Sprache, die Sprachsynthese mit der Stimme der Originalstimme und dann die Lippensynchronisation des Videos mit dem neuen Ton.

Link mehr Informationen bei www.flawlessai.com

  
[10 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
klusterdegenerierung    20:10 am 25.5.2021
Wow, ich lasse mein ganzes dämliches Slashcam gequatsche in japanisch synchronisieren. ;-)))
tom    13:07 am 25.5.2021
Ich hab das im Artikel jetzt nochmal verdeutlicht. Thomas
Frank Glencairn    13:03 am 25.5.2021
Dann schau dir nochmal den Clip an, den ich oben verlinkt hatte.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildDJI-Konkurrenz: Neue 4K 60p Footage von Sony´s Airpeak Drohne mit montierter A7S III bildPanasonics neue GH Serie: Mehr Infos heute um 16:00 …


verwandte Newsmeldungen:
Machine Learning:

KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2 30.Juni 2022
DaVinci Resolve 18 Beta 5 bringt KI-Stabilizer für Gyro-Metadaten und 10 Bit Vorschau 25.Juni 2022
In der Dunkelheit farbig sehen: KI gibt schwarz-weißen Infrarotbildern die Farbe zurück 22.Mai 2022
Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 5.Juli 2022 - 16:42
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*