Das Ändern des Alters oder der Mimik von Personen in Videos oder die Anpassung der Lippenbewegungen an neue Worte war früher ausschließlich in Hollywood möglich. Mit FaceFusion 3.0 ist dies jedoch kein Privileg der Filmindustrie mehr – solche Aktionen lassen sich nun auch einfach auf dem eigenen PC (Mac/Windows/Linux) mit einem kostenlosen Tool durchführen. Die neueste Version von FaceFusion bietet nicht nur die Möglichkeit, Gesichter in Bildern oder Videos durch andere auszutauschen (Face Swapping), sondern ermöglicht auch das Altern/Verjüngen von Gesichtern, die Anpassung der Lippenbewegungen an neuen Text (Lip Syncing) und die Änderung der Mimik eines bewegten Gesichts. Auf Wunsch kann Face Swapping sogar live per Webcam erfolgen.
Die Neuerungen in FaceFusion 3.0
Die neue Version 3 bringt eine Vielzahl von Neuerungen mit. So kann ein Gesichtsausdruck mittels des Face Editors jetzt nachträglich geändert werden und zwar sehr detailliert, indem etwa die Blickrichtung oder der Öffnungsgrad der Augen, die Ausrichtung der Augenbrauen oder der Mundausdruck manipuliert werden kann.
Der Age Modifier ermöglicht es, das Alter eines Gesichts nachträglich zu ändern und so eine Person älter oder jünger zu machen. Das neue Workflow Feature ist eine Art Job Queue System und ermöglicht die automatische Bearbeitung einer vorgegebenen Aufgabe nach der anderen. Per Wecam Swapping ist es möglich, das Gesicht in einem Webcamfeed Live auszutauschen. Die Qualität der Face Swaps ist dank Pixel Boost noch besser (schärfer) geworden.
Das Ergebnis schaut oft ganz gut aus, Probleme bereiten dem Algorithmus aber schnelle Kopfbewegungen - dann klappt das Face Swapping oft nicht durchgehend. Bei manchen Funktionen wie dem Lip Syncing ist auch oft noch Feinarbeit notwendig, um optimale Ergebnisse zu bekommen.
Was ist FaceFusion?
Zwar gibt es bereits seit einiger Zeit verschiedene Face Swapping Tools, jedoch sind viele von ihnen auf die Nutzung per Kommandozeile beschränkt. Das bedeutet, sie sind nur für Nutzer zugänglich, die sich intensiver damit beschäftigen wollen. Das Open-Source-Projekt FaceFusion bietet hingegen eine benutzerfreundliche Oberfläche für leistungsstarke aktuelle Tools, die Funktionen wie Face Swapping, Lip Syncing und (De-)Aging auf dem neuesten Stand der Technik in höchster Qualität bereitstellen.
FaceFusion für Filmemacher
Für Filmemacher ist FaceFusion 3.0 sind manche Funktionen besonders praktisch: so kann etwa per LipSync nachträglich in der Postproduktion die Lippenbewegungen ausgetauscht und so an einen neu eingesprochen Text nachträglich angepasst werden. Oder eine Person in einem per KI generierten Clip kann lippensynchron einen beliebigen Text sprechen.
Eine ganze Vielzahl von Möglichkeiten ergeben sich im Zusammenspiel mit KI-generierten Videos - so kann in einem generierten Clip, das Gesicht einer virtuellen Person per Face Swap gegen das eigene ausgetauscht werden oder umgekehrt, das Gesicht in einem selbst gedrehten Clip durch ein per KI-generiertes. Zusammen mit einem Video-to-Video Modell wie es Runway Gen-3 Alpha bereitstellt, könnte man so zum Beispiel einen einfachen "Puppenspieler"-Clip filmen, seinen Look und die gezeigten Personen per KI ändern und dann das eigene Gesicht in den neuen Clip wieder einsetzen.
Auch praktisch ist die Möglichkeit, per Face Editor einfach nachträgliche Gesichtsausdrücke zu manipulieren - ideal, um in der Postproduktion die Mimik eines Schauspielers gezielt zu ändern ohne die Szene neu drehen zu müssen.
Installation
Die Installation ist gegenüber früheren Versionen dank des KI Browsers Pinokio (Windows, Mac und Linux) noch einfacher geworden. Im folgenden Video wird aber auch die manuelle Installation beschrieben:
Missbrauchspotential für DeepFakes
Natürlich ist das Potential für Missbrauch eines solchen Tools enorm hoch, die Macher sind sich der möglichen ethischen Probleme bewusst (wie etwa Porno-DeepFakes) und haben Maßnahmen ergriffen, um zu verhindern, dass die Software für unangemessene Inhalte, wie z. B. Nacktheit, verwendet wird. So wurden an mehreren Stellen technische Filter in das Projekt eingebaut, welche die Erzeugung von DeepFakes mit expliziten Inhalten unterbinden sollen.
Dazu auch noch ein weiterer Hinweis für alle Leser, die mit solchen Modellen experimentieren: Wer echte Gesichter verwendet, sollte sich IMMER vorher die Zustimmung der jeweiligen Person einholen. Ebenso sollten Deepfakes IMMER als solche deutlich gekennzeichnet werden. Schließlich können Clips heute auch über sehr unkontrollierte Wege ins Internet gelangen, weil sie sich unkompliziert über diverse Plattformen unbedacht teilen lassen.
