KI-Videosynthese Bytedance/TikTok zeigen aktuellen KI-Clipgenerator mit Bewegungskontrolle

// 15:06 So, 11. Feb 2024von

Boximator ist ein KI-Modell von Bytedance Research - also aus dem geschäftlichen Umfeld von TikTok. Dieses neue Tool dient wie schon viele Vorgänger zur Generierung von realistischen und und zugleich kontrollierbaren Bewegungen in der KI-Videosynthese.


Traditionell wird die KI-Videosynthese durch einen Textprompt ("Text zu Video") gesteuert. Neuerdings lässt sich auch noch ein demonstratives Bild hinzufügen, welches als Ausgangsbild dienen soll. Aus diesem Input generiert ein KI-Modell dann einen bewegten Videoclip. Da man mit Text jedoch nicht immer alles exakt beschreiben kann, bzw. viele Möglichkeiten mehrdeutig bleiben, fällt das Ergebnis oft nicht nach den eigenen Erwartungen aus.



 Bytedance/TikTok zeigen aktuellen KI-Clipgenerator mit Bewegungskontrolle
Bytedance/TikTok zeigen aktuellen KI-Clipgenerator mit Bewegungskontrolle


Boximator geht dabei einen neuen Weg der Eingabe: Über Boxen oder Pfadangaben lässt sich dem Modell genauer zeigen, was man sich an Bewegung im Bild wünscht. Dies ist nicht bahnbrechend neu, jedoch wirken die Ergebnisse der erfundenen Bewegungen State of the Art. Beine von laufenden Personen scheinen oft schon sehr gut gelungen (was bei anderen aktuellen KI-Modellen meist noch problematisch ist). Das folgende Video gibt eine gute Übersicht über die Funktionsweise und die Qualität der Ergebnisse:






In 2-3 Monaten soll eine Demo-Webseite veröffentlicht werden, um Boximator mit eigenen Daten ausprobieren zu können. Wer dies nicht mehr abwarten kann, kann aber auch mit dem Team per Email in Kontakt treten, um das Tool sofort auszuprobieren. Genaueres findet sich (am unteren Ende der verlinkten Github-Projektseite). Das zugrunde liegende KI-Modell PixelDance findet sich übrigens hier.



Ein Arxiv-Paper steht ebenfalls schon bereit, allerdings gibt es noch keinen öffentlichen Code zu dem Projekt.


Leserkommentare // Neueste
Darth Schneider  //  14:59 am 12.2.2024
Mit dem Neuralink werden dann die Leute von einer KI gesteuert…;)))) Gruss Boris
teichomad  //  14:33 am 12.2.2024
Vermutlich wird es so kommen. Gibt ja schon AI/ Digitale Influencer. Die werden irgendwann mindestens genau so guten Content liefern, was bei 90 % der Leude sicher kein großes...weiterlesen
DKPost  //  14:19 am 12.2.2024
Virtuelle Influencer gibt es ja schon länger.
Ähnliche News //
Umfrage
    Was hältst du von den neuen Bild/Video-KIs?





    Ergebnis ansehen
RSS Facebook Twitter slashCAM-Slash