Logo Logo
/// News

KI hilft beim Nachsynchronisieren von Kinofilm "The Champion"

[15:15 Sa,16.April 2022 [e]  von ]    

Filme in Fremdsprachen haben immer einen großen Nachteil gegenüber Filmen, welche in der jeweils lokalen Sprache gedreht wurden, denn entweder müssen sie untertitelt werden, was von vielen Zuschauern als ablenkend von der Handlung empfunden wird, oder aufwändig gedubbt werden, d.h. die Originalstimmen werden durch Sprecher ersetzt, welche die Originaldialoge in der jeweiligen Landessprache - möglichst Lippensynchron übersetzt - nachsprechen. Mit dem Vorteil, daß es keinen ablenkenden Text parallel zu lesen gibt, der allerdings mit dem Nachteil erkauft wird, daß es sich nicht mehr um die Originalstimme des/der Schauspielers/in handelt und der neue Sprechertext nicht lippensynchron wiedergegeben werden kann. Zudem ist das Ganze recht teuer, d.h. es lohnt sich nur bei größeren Filmen/Märkten, wenn mit einem ausreichend großen Erfolg gerechnet wird, um die Ausgaben für das Dubbing wieder einzuspielen.


Champio-poster


Neue Entwicklungen im Bereich DeepLearning versprechen hier eine Lösung - so kann passend zur Stimme der Synchronsprecher die Mimik und Lippenbewegungen der Schauspieler angepasst werden. Das Startup Flawless AI bietet eine solche automatische nachträgliche Anpassung der Mundbewegungen per KI passend zum Dubbing schon seit einem Jahr an.


Der Trailer enthält leider keine der nachsynchronisierten englischen Szenen, diese finden sich nur im Artikel von FXGuide


Der polnische Film "The Champion of Auschwitz" (2021) von Regisseur Maciej Barczewski ist nun der erste Kinofilm, der mit einer ähnlichen Methode synchronisiert wurde. Hier wird allerdings nicht vollkommen auf eine DeepLearning-Lösung gesetzt, welche die typischen Mundbewegungen der Schauspieler aus Filmmaterial erst lernt und dann synthetisiert (wie bei Flawless AI). Statt dessen müssen die Schauspieler selbst den Synchrontext neu einsprechen und werden dabei gefilmt. Mittels eines dank der Daten dieser Performance ermittelten digitalen Modells des Gesichts kann der Algorithmus dann die Bilder im fertigen Film ändern, um die Gesichts- und Lippenbewegungen des Schauspielers dem neuen Synchrontext anzupassen.

Face-Model
Digitales Gesichtsmodell zum anpassen der Gesichtszüge


Die "Platon Prozess" getaufte Technik wurde von Pinscreen Technology entwickelt, der Firma eines weltführenden Experten für Neural Rendering Dr. Hao Li (übrigens ein deutscher Forscher mit taiwanesischen Wurzeln), zusammen mit der israelischen Firma Adapt Entertainment, welche die Rechte für die weltweiten englischsprachigen Vermarktung des Film erworben hatte.

Der "Platon Prozess" besteht aus einer Reihe verwobener Algorithmen und beruht auf maschinellem Lernen und neuronalem Rendering. Als Trainingsdaten für die Gesichtsneuanimation reichen die Bilder des fertigen Films. Das Einsprechen der neuen Texte erfolgt in einem neutralen Setting und wird von mehreren normalen Kameras aufgenommen, es werden keine speziellen Lichter oder Gesichtsmarker benötigt.

Die nachträgliche Änderung der Gesichtsbewegungen im fertigen Film funktioniert bei allen Arten dramatischer Beleuchtung, unterschiedlichen Kopf- und Kamerawinkeln und auch wenn der Schauspieler Spezialeffekt-Makeup trägt. Ein weiterer Vorteil ist, daß der Prozess der Lippensynchronisation auch mit großen Massen an Material funktioniert und keine aufwändige manuelle Nachbearbeitung benötigt. Im verlinkten Artikel von FXGuide finden sich einige Beispiel-Clips.

Dub-Studio
Capturingaufnahmen im Studio für Synchronisation


Wir sehen diese Technologie als einen ersten Schritt an; die weiteren Entwicklungsstufen sind schon vorgezeichnet, da die dafür notwendigen Methoden schon existieren und nur noch so weit in ihrer Qualität verbessert werden müssen, daß ihre Ergebnisse auch auf einer großen Leinwand bestehen können.

So besteht beim "Platon Prozess" noch - im Gegensatz zu anderen Methoden - die Notwendigkeit, daß die Schauspieler selbst ihren Synchrontext für in andere Sprachen einsprechen müssen und dabei gefilmt werden. Das ist nicht nur aufwändig, sondern auch unschön, da die meisten Schauspieler eher selten mehrere andere Sprachen akzentfrei beherrschen.

TheChampion
Mehrsprachlich per DeepDub


Eine Alternative dazu bietet zum Beispiel DeepDub, ein ebenfalls auf DeepLearning beruhender Startup, der den Dubbingprozess stark vereinfacht. Hier reichen nur zwei bis drei Minuten Material einer Stimme, um ein Sprechmodell zu erstellen, welches die Eigenschaften der Originalstimmen in eine andere Sprache überträgt und so auch synthetisieren kann. So können Filme mit den Stimmen der ursprünglichen Schauspieler in einer anderen Sprache gedubbt werden. Hier allerdings fehlt die nachträgliche Anpassung der Mundbewegungen, um die Performance vollkommen stimmig zu machen.



Klar ist, daß die entsprechenden Technologien für das Dubbing von Filmen sich schnell entwickeln. Dadurch vereinfachen, verbilligen und beschleunigen sie die Möglichkeit, Filme auch in anderen Ländern und damit in einem noch größeren Markt anzubieten, was eine große Chance für Filmemacher darstellt. Gerade auch weil Filme mit Untertiteln bei vielen Zuschauern nicht sehr gerne gesehen werden und ein Dubbing, besonders wenn es in der Originalstimme erfolgt, den Film besser erfahren läßt.

Bei fortschreitendem Einsatz solcher Technologien wird allerdings auch ein Problem entstehen: Synchronsprecher bzw. Schauspieler, die vielfach auch vom Dubbing von Filmen leben, könnten immer mehr Jobs durch solche Algorithmen verlieren. In Zukunft könnte der ganze Prozess per KI für viele Videos auch ganz automatisiert werden (zum Beispiel von YouTube), angefangen von der automatischen Erkennung von Sprache, über die Übersetzung, der Synthetisierung der Stimmen in einer neuen Sprache samt Anpassung der Lippenbewegung, um das ganze natürlicher aussehen zu lassen. (Danke an Frank Glencairn).

Link mehr Informationen bei www.fxguide.com

  
[4 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
tom    10:58 am 17.4.2022
Leider gibt es keine der englisch nachsynchronisierten Szenen auf YouTube, die finden sich nur im verlinkten Artikel von FXGuide. Der Trailer ist nur für den Kontext...weiterlesen
Alex    15:49 am 16.4.2022
Ich verstehe den im Artikel verlinkten Trailer von "The Champion Of Auschwitz" im Kontext nicht. Was soll dieser zeigen? Einstellungen von (lippensynchron) sprechenden Leuten gibt...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNikons neue Video-Strategie - Remote-Handgriff (MC-N10) für Z-Kameras in Entwicklung bildSmallHD Cine 18: weiterer portabler 4K-Produktionsmonitor vorgestellt


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
DeepFake Video als Kriegspropaganda - vermeintliche Kapitulation von Zelensky 18.März 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

Wer will zum Film? Hamburger Filmwirtschaft bildet Quereinsteiger aus 17.Mai 2022
Die Workflows der Oscar-nominierten Filme - welche Technik nutzen die Profis und wie 10.April 2022
DJI Mic: Drahtloses 2-Kanal Clip-on Mikrofonsystem mit zwei Sendern 5.April 2022
Oscars 2022: "Coda" von Apple TV+ bester Film - Dune mit den meisten Einzeltiteln 28.März 2022
Disney entwickelt modulare Technik für holographische Filme in Kinogröße 20.März 2022
Amazon übernimmt MGM, inkl. zahlreicher Film- und Serienrechte 18.März 2022
Windows 11: Kostenloser Videoschnitt per Movie Maker Nachfolger nur bis 640x480 16.März 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 21.Mai 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*