Logo Logo
/// News

Visuelles Dubbing per KI macht jeden Schauspieler zum Mehrfach-Muttersprachler

[09:20 Di,25.Mai 2021 [e]  von ]    

Viele Zuschauer stören sich bei fremdsprachigen Filmen, die nachträglich synchronisiert (gedubbed) sind, an den nicht zu den gehörten Lauten passenden Lippenbewegungen. Wir hatten schon letztes Jahr über den DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams berichtet, welcher in der Lage war, die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Echtzeit anzugleichen, das klappte ganz universell mit jedem Gesicht, jeder Sprache und jeder Stimme. Das Londoner Startup Flawless AI verspricht ähnliches jetzt für Kinofilme.





Der TrueSync getaufte DeepFake Algorithmus für Mundbewegungen soll es als weltweit erstes kommerzielles System Filmemachern ermöglichen, nachsynchronisierte Versionen ihrer Filme zu erstellen, bei denen nicht mehr visuell zu erkennen ist, dass die Sprache geändert wurde.

Flawless-AI-Nicholson



Flawless AIs True Sync Algorithmus


Laut eigenen Angaben klappt dies fotorealistisch - die Lippensynchronisation soll so nahtlos sein, dass die Mimik des Schauspielers erhalten bleibt und Zuschauer so nicht mehr von Unstimmigkeiten zwischen den Lippenbewegungen des Schauspielers und dem Text des Synchronsprechers (und den inutitiv erwarteten Lippenbewegungen) abgelenkt werden.

Demo des Flawless AIs True Sync Algorithmus:



Dazu analysiert der Algorithmus, der auf einer Forschungsarbeit von 2019 beruht und in Zusammenarbeit mit dem Max Planck Institut für Informatik entwickelt wurde, alle Mundbewegungen, welche ein Schauspieler in der Orginalversion eines Films beim Aussprechen unterschiedlicher Laute macht, um diese für die Fremdsprachenversion mit dem Synchrontext nachträglich zu synthetisieren und mit dem Rest des Gesichts möglichst lückenlos zu verschmelzen.

Uns erscheint das Ergebnis noch nicht ganz perfekt zu sein, aber eine verbesserte Version des TrueSync Algorithmus dürfte schon in Arbeit sein. Auch ist die Automatisierung nicht vollständig, zwar klappen 85% des visuellen Dubbings automatisch, aber noch müssen 15% der Arbeit manuell erledigt werden.

Interessant für die großen Filmstudios, Netflix und mehr


Flawless AI zielt, wie schon im Demovideo zu sehen ist, auf große Film- und Serienproduktionen und arbeitet mit Filmstudios wie Paramount zusammen - für die Kontakte sorgt der Mitbegründer von Flawless AI, der Filmemacher Scott Mann, der unter anderem 2015 den Film "Heist" Mit Robert De Niro gedreht hat. Der erste große Film, der die Methode einsetzt, soll in rund einem Jahr erscheinen.

Neben den großen Filmstudios wäre ein solcher Algorithmus natürlich auch für die Streaming-Anbieter wie Netflix oder Amazon Prime höchst interessant, die dann die vielen Fremdsprach-Versionen ihrer Filme und Serien ganz automatisiert (und relativ kostengünstig) visuell an die jeweilig gesprochene Sprache angleichen könnten.

Tom-Hanks


Profitieren würden neben den Filmemachern und Zuschauern auch die Übersetzer von Synchrontexten, deren Arbeit deutlich erleichtert werden würde, wenn sie nicht mehr darauf achten müssten, dass die gesprochene Übersetzung möglichst nah an den Lippenbewegungen des Originals bleibt. Denn oft wird bei der Synchronisation der Dialog stark verändert, um ihn besser an die Lippenbewegungen der Schauspielers anzupassen, was den Sinn jedoch sehr entstellen kann. Allerdings müsste auch beim Lip-Syncing per KI (noch) die Länge der Übersetzung exakt mit der des Orginals stimmen und der Text von einem Synchronspecher in der Fremdsprache eingesprochen werden.

Für Filmemacher könnte die Technologie auch eine einfache Alternative zu kostspieligen Nachdrehs bieten, etwa wenn nachträglich der gesprochene Text einer Szene geändert werden soll.



Automatische Fremdsprachversionen auf YouTube?


In Zukunft wäre es auch denkbar, anderssprachige Versionen von beliebigen Clips zum Beispiel auf YouTube ganz automatisiert anzubieten. Eine automatische Transkription samt Untertiteln liefert YouTube ja schon jetzt, die nächsten Schritte sind auch schon möglich mithilfe verschiedener Deep Learning Algorithmen: die Übersetzung des transkribierten Textes in eine andere Sprache, die Sprachsynthese mit der Stimme der Originalstimme und dann die Lippensynchronisation des Videos mit dem neuen Ton.

Link mehr Informationen bei www.flawlessai.com

  
[10 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
klusterdegenerierung    20:10 am 25.5.2021
Wow, ich lasse mein ganzes dämliches Slashcam gequatsche in japanisch synchronisieren. ;-)))
tom    13:07 am 25.5.2021
Ich hab das im Artikel jetzt nochmal verdeutlicht. Thomas
Frank Glencairn    13:03 am 25.5.2021
Dann schau dir nochmal den Clip an, den ich oben verlinkt hatte.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildDJI-Konkurrenz: Neue 4K 60p Footage von Sony´s Airpeak Drohne mit montierter A7S III bildPanasonics neue GH Serie: Mehr Infos heute um 16:00 …


verwandte Newsmeldungen:
Machine Learning:

In Farbe und 4K: Pornhub restauriert über 100 Jahre alte Pornofilme per KI 11.Juni 2021
Flim: KI-basierte Filmstillsuche bekommt Intelligenz-Upgrade 4.Juni 2021
Professionelle KI-Sprecher für Jedermann? MARVEL.ai 27.Mai 2021
Bald leisere Drohnen durch neues KI-gestütztes Rotoren-Design? 2.Mai 2021
Colourlab Ai 1.2: Neues Kameraprofil-Tool und neue Formate 30.April 2021
Dynascore Musik-Engine -- KI passt Musikstücke an Videoprojekte an 19.April 2021
Simon Says: Audio-Transkription per KI jetzt auch in Adobe Premiere Pro 18.April 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
1. April - 30. September / Düsseldorf
Young Film Lab
19-30. Juni / Düsseldorf
24h to take
1-10. Juli / München
Filmfest München
14-18. Juli / Ludwigsburg
NaturVision Filmfestival
alle Termine und Einreichfristen


update am 24.Juni 2021 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*