Logo
/// News

Per Texteditor die Worte eines Sprechers in einem Video verändern // Siggraph 2019

[10:19 Mo,24.Juni 2019 [e]  von ]    

Ein neuer DeepFake-Algorithmus ermöglicht Filmemachern und Cuttern bald völlig neue Freiheiten beim Editing von Clips mit sprechenden Personen. Konnte bisher nur ein neuer Take eine Szenen retten, in welcher ein Schauspieler ein gesprochenes Wort verhaspelte oder vergaß, könnten mithilfe der neuen Methode in der Postproduktion weitreichende Änderungen am gesprochenen Text einfach nachträglich vorgenommen werden.

Dabei reicht es, nur mit einer Art Texteditor ein Transkript des gesprochenen Textes zu editieren, um Worte zu ändern, zu löschen oder in eine neue Reihenfolge zu bringen - der Algorithmus besorgt dann automatisch den Rest: er synthetisiert die neuen Worte mit der Stimme des jeweiligen Schauspielers und paßt analog dazu auch die Lippenbewegungen an.



Voraussetzung für eine überzeugende Arbeit des Algorithmus der Forschern der Stanford University, des Max Planck Institute für Informatik, der Princeton University und Adobe Research ist ein Minimum von 40 Minuten an Trainingsmaterial des Sprechers sowie ein Transkript der gesprochenen Worte (das aber durch immer bessere Tools auch automatisch erstellt werden kann). Anhand des Trainingsmaterials lernt der Algorithmus, welche Gesichtsausdrücke ein Sprecher beim Sprechen jeder phonetische Silbe macht und wie er diese ausspricht - die Grundlage der synthetischen Aussprache neuer Worte. Bei Tests mit 138 Teilnehmern wurden die Manipulationen in fast 60 Prozent der Fälle als "echt" eingestuft. Die visuelle Qualität der neuen Stellen ist so gut, dass sie dem Original sehr nahe kommt, aber sie bieten auch noch viel Raum für Verbesserungen.

Speech-Editjpg
Die Methode des Algorithmus genauer aufgeschlüsselt


Neben dem offensichtlichen Nutzen für die professionelle Arbeit mit Videos wie zum Beispiel der nachträglichen Änderung von Dialogen ohne neue Aufnahmen, kann solch eine einfache Manipulationsmöglichkeit natürlich auch mißbraucht werden, um Videos zu fälschen. Es werden zwar auch Algorithmen entwickelt, um solche Fälschungen - seien es Bilder, Videos oder Audio - zu erkennen, aber natürlich werden im Gegenzug auch die Fakes immer realistischer - neuronale Netzwerke können sogar im Zusammenspiel trainiert werden, um immer schwerer zu identifizierende Fälschungen zu produzieren (Generative Adversarial Networks).

Link mehr Informationen bei news.stanford.edu



Zur Übersicht aller unserer News zur Siggraph 2019

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
balkanesel    21:50 am 24.6.2019
brauchts nur noch Storyboard und Besetzung
Framerate25    18:02 am 24.6.2019
Hm, fällt mir das zu ein: https://youtu.be/w7KA2LSvsfM
balkanesel    17:58 am 24.6.2019
in 5 Jahren gibts keine Kameras mehr
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildVimeo kündigt Unterstützung für freien AV1 Codec an bildBremst Chrome Final Cut Pro X?


verwandte Newsmeldungen:
Compositing:

Blender 2.8 ist (fast) da… 12.Juli 2019
Blackmagic DaVinci Resolve 16 Beta 6 bringt viele Bugfixes 10.Juli 2019
Extrabreite Videobilder aus benachbarten Frames extrapolieren // Siggraph 2019 6.Juli 2019
Voukoder - kostenlose FFMpeg Encoder in Adobe Premiere Pro und After Effects nutzen 3.Juli 2019
Backmagic DaVinci Resolve 16 Beta 5: so gut wie fertig! 3.Juli 2019
Virtuelle 3D Ansichten aus wenigen Photos berechnen // Siggraph 2019 2.Juli 2019
Fotoserien aus der Hand werden zu einem Bild mit Superresolution -- zB. im Google Pixel 3 // Siggraph 2019 29.Juni 2019
alle Newsmeldungen zum Thema Compositing


[nach oben]

















passende Forenbeiträge zum Thema
Compositing:
Blackmagic DaVinci Resolve Update 15.2.4 bringt u.a. besseres H.264/H.265 Encoding
Problem mit Orbitalen in After Effects CS6
Visual Effect Society Awards 2019: "Avengers" und "Spider-Verse" räumen ab
Ein Rechner Davinci Resolve 15 Studio mit AMD Radeon VII
Blackmagic DaVinci Resolve 15.2.3 Update bringt mehrere Perfomance Verbesserungen
Das Sterben der Stand-Alone Compositing Programme - Fusion und Natron vor dem Aus
AMD oder NVidia GPU für Photoshop/DaVinci Resolve?
mehr Beiträge zum Thema Compositing


Archive

2019

Juli - Juni - Mai - April - März - Februar - Januar

2018
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 23.Juli 2019 - 18:02
slashCAM
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*