[14:44 Mi,23.September 2020 [e] von Thomas Richter] |
Der neue DeepLearning Algorithmus "Wav2Lip" eines indischen Forscher-Teams kann die Lippenbewegungen eines Sprechers an die Worte aus einer beliebigen Audioaufnahme in Echtzeit angleichen. Er zeigt schön die ständigen Fortschritte auf, welche die Machine Learning Technologie macht, denn die neue Methode liefert deutlich bessere Ergebnisse als
Der Nutzen eines solchen Algorithmus für die Arbeit mit Video ist offensichtlich - wie schon im Demovideo gezeigt, kann mit seiner Hilfe die Lippenbewegung einer sprechenden Person in einem Video an eine in einer anderen Sprache erstellte Synchronversion angepasst werden, um die für viele Zuschauer sonst störenden Asynchronizität von Mundbewegungen und Worten zu beseitigen. Praktisch ist das sowohl für nachsynchronisierte Filmversionen als auch für die Lippensynchronisation von Vorlesungen, Pressekonferenzen oder von Figuren animierter Filme in anderen Sprachen. Und nicht zuletzt könnte diese Technologie auch grundsätzlich dabei helfen, statt O-Ton in szenischen Produktionen die Stimmen in der Postproduktion einfacher per Overdub nutzen zu können. Auch kleinere Sprachfehler (die sonst eine Szene gleich unbrauchbar machen würden) ließen sich hiermit bequem ausbügeln, indem die Lippen mal kurz automatisiert "nachgeführt" werden. ;) Wav2Lip Algorithmus Per Deep Learning Algorithmen wäre es so auch denkbar, anderssprachige Versionen von beliebigen Clips zum Beispiel auf YouTube automatisiert anzubieten. Eine automatische Transkription liefert YouTube ja schon jetzt, die nächsten Schritte sind auch schon möglich mithilfe verschiedener Deep Learning Algorithmen: die Übersetzung des transkribierten Textes in eine andere Sprache, die Sprachsynthese mit der Stimme der Originalstimme und dann die Lippensynchronisation des Videos mit dem neuen Ton. Natürlich kann die Technik aber auch dazu missbraucht werden, um Clips zu generieren, in denen Personen Sachen zu sagen scheinen, die sie nie gesagt haben - das neue Audio kann ebenfalls per neuronalem Netzwerk generiert werden, um die echte Stimme nachzuahmen. Wie gut der Wav2Lip-Algorithmus ist, kann jeder auf der  Demo-Website des Projekts selbst ausprobieren und einen kurzen (maximal 20 Sekunden) Videoclip einer sprechenden Person plus Sprachaudioclip hochladen, um dann eine Ausgabe des neu lippensynchronisierten Clips zu erhalten. Wer mehr ausprobieren will, findet auf GitHub den entsprechenden Programmcode. (Danke an unser Forenmitglied Ruessel für die News) mehr Informationen bei bhaasha.iiit.ac.in |
 |
|
|
Zwei neue Flexscan Monitore mit USB-C von Eizo: EV2795 und EV2495
Canon Cinema EOS C70 - S35 RF-Mount mit optionalem EF-Speedbooster
