Gerade geistern mehrere Videos durch diverse KI-Gruppen, die vielleicht einen weiteren Meilenstein in der generativen KI-Video-Welt darstellen.
Kurz gesagt, hinter dem Video steht ein neues KI-Modell, welches es erlaubt, aus einem Standbild über Vektor Posen ein animiertes Video zu erstellen. Ab besten ihr schaut euch das Projekt-Video einmal selbst an:
Noch sind im Netz allerdings Zweifel groß, dass hier alles mit rechten Dingen zugeht - denn eine derart realistische Animation von fotorealistischem Ausgangsmaterial gab es bis heute noch nicht. Und das Projekt hat noch keinen Code veröffentlicht.
Doch das bereits vorliegende Paper gibt vielleicht schon den entscheidenden Hinweis darauf, wie die extrem gute und konsistente Qualität erreicht werden kann:
"Um die Konsistenz komplizierter Erscheinungsmerkmale aus dem Referenzbild zu erhalten, entwickeln wir ReferenceNet, um Detailmerkmale durch räumliche Aufmerksamkeit zusammenzuführen. Um Kontrollierbarkeit und Kontinuität zu gewährleisten, führen wir einen effizienten Pose-Guider ein, um die Bewegungen des Charakters zu steuern, und setzen einen effektiven zeitlichen Modellierungsansatz ein, um sanfte Übergänge zwischen Videobildern zu gewährleisten. Durch die Erweiterung der Trainingsdaten kann unser Ansatz beliebige Charaktere animieren, was zu besseren Ergebnissen bei der Charakteranimation im Vergleich zu anderen Bild-zu-Video-Methoden führt."
Einfach gesagt: Es muss vor dem Einsatz das Modell mit den gewünschten Output Modellen nachtrainiert, also "ge-finetuned" werden. Zumindest könnte man so "Erweiterung der Trainingsdaten" verstehen.
Es dürfte jedoch nicht mehr allzu lange dauern, bis die Community über die Github-Projektseite Zugang zum Code bekommt. Und dann werden wir sehen, ob das Animieren von fotorealistischem Material bald durch eine einfache digitale Gliederpuppe möglich sein wird.
