Ziemlich spektakulär (aber auch noch etwas roh) sieht diese Demonstration von Facetracking aus, mit dessen Hilfe ein Gesicht in Echtzeit durch ein beliebig anderes ersetzt wird - wie zum Beispiel Porträts (toter) Berühmtheiten, die so durch die Mimiksteuerung wieder zum Leben erweckt werden, beziehungsweise ferngesteuert werden können. Dabei werden vom Gesicht des Quellvideos (das zur Steuerung verwendet wird) ebenso Änderungen der Mimik auf das andere Gesicht übertragen wie Bewegungen des Kopfes.
Besonders interessant dabei: die ganze Operation erfolgt mit Hilfe von frei zugänglichem Code, nämlich der FaceTracker Library und dem methodart.blogspot.com/ (Image Clone Code). Die Open Source FaceTracker Bibliothek läuft (je nach Prozessor) in Echtzeit mit 20-30 Bildern pro Sekunde, sie benötigt kein Training (Trainingsdaten werden mitgeliefert) und arbeitet mit dem Live-Input einer Kamera, ohne dass von Userseite aus weitere Einstellungen notwendig wären.
Der Code wird auch in einigen weiteren netten Projekten genutzt, die auf der Projektseite von FaceTracker aufgeführt sind. Das Projekt "Being John Malkovich" (in Anspielung auf eine bekannte Szenen aus dem gleichnamigen Film) zum Beispiel ähnelt dem obigen: die Mimik einer Person eines Videos (hier Cameron Diaz) steuert ein anderes Gesicht (hier: John Malkovich) oder wird selbst durch einen User wie ein Puppenspieler gesteuert.
// Top-News auf einen Blick:
- Erste Black Friday Angebote von Atomos, Nanlite, DZOFILM und mehr
- SanDisk stellt Extreme Fit vor: Aktuell kleinster 1TB USB-C-Speicherstick
- Apple plant OLED-MacBook Pro, Mac Studio M6 Ultra und Mini-LED Studio Display
- DJI Avata 360 - Leaks zeigen DJIs neue 360°-Drohne
- ARRIs Color KnowHow könnte Millionen Wert sein - als Workflow Lizenz für Dritte
- Canon EOS C50 im Praxistest: Kompaktes Arbeitstier mit 7K 50p Raw - die neue FX3 Konkurrenz
Das Facemapping klappt auch mit Comicgesichtern oder Masken:
Die zunehmende Perfektionierung (und bald wohl auch Verbreitung - am "Being John Malkovich"-Projekt war zum Beispiel auch ein Adobe Mitarbeiter beteiligt) der Gesichtstracking-Technik wird einige Konsequenzen zeitigen, denn wenn jedes Gesicht (nur auf der Grundlage weniger Photos) mit einfacher Technik fremdgesteuert weden kann, werden Bilder auf ganz neue Art lügen können. So können Gesichter in Echtzeit aus einem Videostrom einfach ausgetauscht werden ("Facehijacking").
Mithilfe der Technik könnten natürlich aber bald auch im Amateurbereich die Gesichter animierter Charaktere auf eine ganz einfache Art gesteuert werden, ganz analog zum noch aufwendigen Facetracking im Profibereich, wie es zum Beispiel in Avatar verwendet wurde.
