Realtime Avatar-Animation Motion-Capturing in Echtzeit - ohne Marker

Move AI hat das neue Motion-Capturing-System Move Live vorgestellt, welches in Echtzeit die Bewegungen einer Person einfangen und daraus ein digitales Modell erstellen kann. Gedacht ist Move Live für virtuelle Produktionen, Live-Events, fürs Fernsehen oder für besondere Marketing Events. Die Besonderheit des Move Live Systems: es benötigt keine speziellen Marker oder einen umständlichen Mocap-Anzug - um Bewegungen einzufangen reichen vier Kameras.

Das Echtzeit-MoCap System mit einer Latenz von weniger als 100ms funktioniert mittels eines speziellen Deep Learning Modells, welches darauf trainiert wurde, die wichtigsten Schlüsselpunkte des menschlichen Körpers aus den 2D-Bildern von mehreren Kameras zu erkennen und daraus Bewegungsdaten in 3D zu rekonstruieren. Diese Daten werden dann durch eine lokales neuronales Netz in Echtzeit mittels biomechanischer und kinematischer Modelle ergänzt, um eine naturgetreue Darstellung des bewegten Körpers und seiner Bewegung zu erhalten. Diese Daten können dann in die 3D-Engine Unreal 5 gestreamt werden, um einen virtuellen Avatar in Echtzeit zu animieren.

Move Live wird von der Kreativagentur OMM schon in den Nike Stores in London, Paris und Berlin im Rahmen des Euro 2024 Erlebnisprojekt eingesetzt, von welchem auch der obige Clip stamt, der gut die Qualitäten des Systems demonstriert.

Move Live benötigt mindestens vier Kameras fürs Capturing einer Person, mit sechs Kameras können sogar die Bewegungen zweier Personen auf einer Fläche von bis zu 10 x 10 Metern digitalisiert werden. Die Hardware-Anforderungen fürs Live-Capturing sind relativ hoch, der zuständige PC sollte mindestens mit einem Intel i9-12900K mit 16 Kernen oder AMD Threadripper Pro 7965WX mit 24 Kernen sowie 96 GB DDR4 RAM und einer Nvidia RTX A6000 Grafikkarte ausgestattet sein.

Move AI bietet auch eine iPhone App an, mit deren Hilfe sich die Bewegungen eine roder auch mehrerer Personen mit Hilfe 2-6 iPhones tracken lassen - allerdings per Berechnung in der Cloud und nicht in Echtzeit.