AnimateAnyone - Foto und animierte Pose macht Video

Gerade geistern mehrere Videos durch diverse KI-Gruppen, die vielleicht einen weiteren Meilenstein in der generativen KI-Video-Welt darstellen.


Kurz gesagt, hinter dem Video steht ein neues KI-Modell, welches es erlaubt, aus einem Standbild über Vektor Posen ein animiertes Video zu erstellen. Ab besten ihr schaut euch das Projekt-Video einmal selbst an:






Noch sind im Netz allerdings Zweifel groß, dass hier alles mit rechten Dingen zugeht - denn eine derart realistische Animation von fotorealistischem Ausgangsmaterial gab es bis heute noch nicht. Und das Projekt hat noch keinen Code veröffentlicht.



Doch das bereits vorliegende Paper gibt vielleicht schon den entscheidenden Hinweis darauf, wie die extrem gute und konsistente Qualität erreicht werden kann:



"Um die Konsistenz komplizierter Erscheinungsmerkmale aus dem Referenzbild zu erhalten, entwickeln wir ReferenceNet, um Detailmerkmale durch räumliche Aufmerksamkeit zusammenzuführen. Um Kontrollierbarkeit und Kontinuität zu gewährleisten, führen wir einen effizienten Pose-Guider ein, um die Bewegungen des Charakters zu steuern, und setzen einen effektiven zeitlichen Modellierungsansatz ein, um sanfte Übergänge zwischen Videobildern zu gewährleisten. Durch die Erweiterung der Trainingsdaten kann unser Ansatz beliebige Charaktere animieren, was zu besseren Ergebnissen bei der Charakteranimation im Vergleich zu anderen Bild-zu-Video-Methoden führt."





Einfach gesagt: Es muss vor dem Einsatz das Modell mit den gewünschten Output Modellen nachtrainiert, also "ge-finetuned" werden. Zumindest könnte man so "Erweiterung der Trainingsdaten" verstehen.



Es dürfte jedoch nicht mehr allzu lange dauern, bis die Community über die Github-Projektseite Zugang zum Code bekommt. Und dann werden wir sehen, ob das Animieren von fotorealistischem Material bald durch eine einfache digitale Gliederpuppe möglich sein wird.


Leserkommentare // Neueste
Frank Glencairn  //  09:17 am 4.12.2023
Uhhh - Elastic Reality hatte ich ganz vergessen (wahrscheinlich eher verdrängt). Auch so ein teures one trick pony, das nach dem Michael Jackson Video jeder haben wollte (wir...weiterlesen
macaw  //  21:30 am 3.12.2023
In meiner Erinnerung sah das nicht ganz so schlimm aus, aber wenn ich diese Bilder so sehe...schauder... ich erinnere mich noch daran, dass Kai Krause damals überall in...weiterlesen
Darth Schneider  //  19:16 am 3.12.2023
Was ist eigentlich mit Bryce und dem Poser passiert ? Ich fand die Tools damals schon toll, hab aber dann den Faden diesbezüglich voll verloren weil ich damals sehr viel getanzt...weiterlesen
Ähnliche News //
Umfrage
    Was hältst du von den neuen Bild/Video-KIs?





    Ergebnis ansehen
RSS Facebook Twitter slashCAM-Slash