KI generiert Mimik Ersetzt Runway das Motion Capturing? Act-One lässt Bilder schauspielern

Runway hat gestern mit Act-One einen weiteren Meilenstein im Bereich generativer Video-KI Tools vorgestellt. Das neue Tool in in Gen-3 Alpha soll bei der Generierung ausdrucksstarker Charakterdarstellungen helfen. Die ersten Demo-Videos machen dabei einen mehr als guten Eindruck.

Als Input erwartet das Modell eine gefilmte Szene eines Darstellers sowie ein Referenzbild eines Charakters für den Output. Blicklinien, Mikroausdrücke, Tempo und Vortrag werden in der Folge auf das Referenzbild übertragen und machen aus diesem Standbild dann einen kompletten Videoclip.

Dies ist insofern bahnbrechend, da herkömmliche Pipelines für Gesichtsanimationen bislang komplexe, mehrstufige Arbeitsabläufe wie Motion Capture erfordern. Bei Act-One werden dagegen die Darbietungen der Schauspieler mit einer einfachen 2D-Kamera aufgezeichnet - mehr ist an Hardware nicht notwendig. Das Modell bewahrt realistische Gesichtsausdrücke und überträgt alle Darstellungen präzise und nuancenreich in Charaktere mit anderen Proportionen als im Originalvideo. Diese Vielseitigkeit dürfte komplett neue Möglichkeiten für einfallsreiches Charakterdesign und Animation eröffnen, da man nur noch ein weiteres Referenzbild für den Output benötigt, den Rest erledigt das KI-Modell. Ein Democlip zeigt unter anderem, wie mehrere Charaktere einer Szene so von ein und demselben Schauspieler "gespielt" werden können:

Runway ist sich natürlich auch der Probleme mit der Sicherheit des Modells bewusst und will noch robustere Funktionen zum Erkennen und Blockieren von Versuchen implementiert haben, Inhalte mit Persönlichkeiten des öffentlichen Lebens zu generieren. Dies schützt jedoch nicht vor Fakes mit "unbekannten" Personen, solange von ihnen nur ein Foto existiert.

Zudem will Runway seine Tools sowie die gesamte Plattform kontinuierlich überwachen, um potenzielle Missbrauchsfälle zuverlässig erkennen und eindämmen zu können.

Sieht man jedoch die Möglichkeiten dieser Technologie grundsätzlich positiv, so werden Tools wie Act-One auch komplett neue Formen des kreativen Geschichtenerzählens mit sich bringen und wirklich jedermann ermöglichen, Charaktere in beliebigen Szenarien durch eine einfache Videoaufzeichnung zum Leben zu erwecken. Dass solche Möglichkeiten in den Händen der Masse jedoch mittelfristig das Erzählmedium Film mit belanglosem Müll fluten und damit letztendlich entwerten werden, ist leider nicht unwahrscheinlich. Trotz allem bleibt generative Video-KI erst einmal nur ein Werkzeug - im Guten wie im Schlechten.

mehr Infos bei
runwayml.com

Auf Socials teilen: