KI Motion Capture Runway Act-Two verfügbar für bessere Figurenanimation

Mit generativer KI erstellte Figuren bewegen sich nicht immer so, wie man es selbst gerne möchte - wer mehr Kontrolle über animierte Charaktere haben möchte, greift zu Motion Capture und dafür hatte Runway bereits seit längerem ein KI-Tool. Es wurde vor kurzem aktualisiert und kann unter dem Namen "Act-Two" nun Bewegungsvorgaben aus einer Videovorlage noch besser auf eine Figur übertragen. Diese muss dafür nicht als 3D-Modell existieren, wie bei traditioneller Animation, sondern es reicht ein einzelnes (ggf. generiertes) 2D-Bild.

Unterstützt wird ein "Tracking" von Kopf, Gesicht, Körper und Händen - folgendes Video zeigt eindrucksvoll, was mit wenigen Klicks möglich ist:

Tatsächlich waren solche MoCap-Animationen vor Ankunft der generativen KI ziemlich aufwendig umzusetzen. Um die Mimik von einer Person auf ein künstliches Modell zu übertragen, mussten Marker im Gesicht getrackt und auf das 3D-Modell gemappt werden. Bei Runways Motion-Capture-Modell sind die KI-Algorithmen offensichtlich in der Lage, das abgefilmte Mienenspiel einer Person ohne weitere Hilfsmittel sogar auf sehr andersförmige Figuren anzuwenden.

Dafür hat man bis auf einen Regler, mit dem sich einstellen lässt, wie eng sich die KI an die Vorgabe halten soll, keine Eingriffsmöglichkeiten. Die besten Resultate lassen sich laut Runway erzielen, wenn die Person im Vorlagevideo eine ähnliche Position im Bild einnimmt wie die Zielfigur, also aus dem gleichen Winkel zu sehen ist bei ähnlicher Einstellungsgröße.

Runway Act-Two soll ab sofort für alle Enterprise-Kunden sowie "Kreativpartner" zur Verfügung stehen (also wie es scheint noch nicht für normale Abonnenten).