In den Mund gelegt: Live Video Manipulation von Gesichtern

Wie leicht inzwischen die Manipulation von Video fällt, dürfte jedem klar sein, der mit Bewegtbild arbeitet - bisher schien aber zumindest die Liveübertragung noch eine gewisse Unverfälschbarkeit der Bilder für sich zu beanspruchen. Diese dürfte spätestens mit dieser Arbeit eines Team aus Forschern der Universität Erlangen-Nürnberg, dem Max-Planck-Institut (MPI) für Informatik und der Universität von Stanford widerlegt sein.

Das auf der SIGGRAPH ASIA 2015 vorgestellte Verfahren ermöglicht in Echtzeit den Austausch der Mimik samt Lippenbewegungen einer Person durch die einer anderen Person in einem RGB-D-Videostream (Video plus Tiefeninformationen), d.h. die Gesichtsausdrücke einer Person können live durch die einer anderen marionettengleich gesteuert werden, was ziemlich gespenstisch aussieht.

Ermöglicht wird das durch eine ganze Reihe von einzelnen Prozessschritten, wie dem exakten Ausmessen und Modellieren beider Gesichter (inklusive kleiner Fältchen bei einem besonderen Gesichtsausdruck und des Mundinnenraums samt Zähnen) und dem Übertragen der erfassten Mimik von einem auf das andere Gesicht. Auch eine etwaig stark differierende Ausleuchtung von Quell- und Zielgesicht stellt dabei kein Problem dar. Die erforderliche Rechenleistung dafür ist nicht einmal besonders groß, die CPU (bzw. GPU)-Power eines Standardrechners soll dafür ausreichen.

Mithilfe dieser Technik könnten z.B. während einer Videokonferenz in verschiedenen Sprachen, die Mimik eines Sprechers an die Worte seines Übersetzers angepasst werden oder die Lippenbewegungen eines Schauspielers an seine Synchronstimme - oder es könnten natürlich live übertragene Reden live gefälscht werden, um den Sprecher Dinge sagen zu lassen, die er nicht sagt.

Andere, einfachere Anwendungen der verwendeten Techniken wie der Erstellung eines 3D-Modells eines Gesichts ermöglichen etwa einen virtueller Spiegel, mit dessen Hilfe Schminke ausprobiert werden könnte oder der zeigt, wie ein Gesicht unter anderen Lichtbedingungen aussehen würde. Danke an camworks für die News

mehr Bilder zur News: