Gesichts-Capturing -- Stand der Dinge auf der Siggraph

Anläßlich der Siggraph kündigt Faceware ein Plugin für Epic Games Unreal Engine 4 an, welches es Entwicklern ermöglicht, die Gesichtsmimik einer Person mit einer simplen Kamera und ohne Marker quasi in Echtzeit auf eine 3D-Figur zu übertragen (die Technik - Faceware Live - selbst ist schon länger verfügbar, und auch andere bieten ähnliche einfaches Motion Capture an, siehe zB. hier). Nicht einmal eine längere Kalibrierung wird benötigt, lediglich ein neutrales Geschau für eine Sekunde.

Studiert man die Demovideos in der Pressemeldung näher, sind uE. jedoch die Grenzen des Verfahrens recht offensichtlich: aus den 2D-Bewegungsdaten werden zweidimensional wirkendende Gesichtsbewegungen an die Figuren weitergegeben: Der Mund bewegt sich und die Augen/-brauen, aber ein subtiles Muskelspiel ist nicht zu sehen. Der Kopf selbst bewegt sich auch nicht, was zu einer Mimik ja eigentlich dazugehört. Dafür läuft man aber natürlich auch nicht Gefahr, im Uncanny Valley zu landen, und wenn man bedenkt, daß der Prozeß in Echtzeit abläuft und das Plugin laut Heise ab 395 Dollar kosten soll, sollte man vielleicht nicht meckern.

Auf fxguide findet sich dazu passend bzw. anläßlich der Siggraph ein sehr ausführlicher Artikel zum Thema "Performance driven facial animation", welcher zwei Systeme näher vorstellt, Faceshift (kommerziell) sowie die nicht produktgebundene Forschung von Hao Li, welcher zwei Papers auf Siggraph vorstellt. Er arbeitet selbst (wie auch Faceshift) mit Kameras, die auch Tiefeninformationen aufnehmen (wie zB. Kinect oder Intel RealSense), meint jedoch, daß 2D-Aufnahmen an sich für das Capturing von Gesichtsausdrücken ausreichen können bzw. Dank neuer Algorithmen zu immer besseren Resultaten kommen. Beide besprochenen Systeme kommen ohne Marker aus, und lassen sich zT. mit wenig Kalibrierung einsetzen.

mehr Infos bei
www.khronos.org

Auf Socials teilen: