Passend zur Weihnachts- und damit Geschichten-Zeit stellt Google Research VideoPoet vor. Hierbei handelt es sich auf den ersten Blick einfach nur um ein weiteres KI-Modell zur Videogenerierung, das jedoch bei näherer Betrachtung dann doch ein paar Besonderheiten aufweist. Grundsätzlich soll besonderer Wert darauf gelegt worden sein, "kohärente große Bewegungen zu erzeugen". Denn vergleichbare Modelle erzeugen bislang noch meistens nur "kleine Bewegungen" oder weisen bei größeren Bewegungen sehr auffällige Artefakte auf.
Genauer betrachtet ist VideoPoet, ein großes Sprachmodell (LLM - Large Language Model), das in der Lage ist, eine Vielzahl von Videogenerierungsaufgaben auszuführen, einschließlich Text-zu-Video, Bild-zu-Video, Videostilisierung, Video Inpainting und Outpainting sowie Video-zu-Audio.
Dies ist insofern bemerkenswert, weil die meisten SOTA-Modelle fast ausschließlich ausschließlich diffusionsbasiert arbeiten. Dagegen hat man bei einem LLM den Vorteil, dass sich hier mehrere Modalitäten (also auch Sprache, Code oder Audio) zur Generierungs-Steuerung nutzen lassen. Und ebendiese sorgen für bislang kaum gesehene Eingriffsmöglichkeiten bei der Generierung. Vielleicht sollte man sich zum Einstieg die folgende Geschichte zu Gemüte führen, die mittel VideoPoet entstanden ist:
// Top-News auf einen Blick:
- Graphite - kostenloser Grafik-Editor von Photoshop bis Motion
- Affinity Photo, Designer und Publisher ab sofort in einer kostenlosen App
- DJI Neo 2 bringt Rundum-Hinderniserkennung samt LiDAR
- Künftige Xbox Next: Vollwertiger Windows-PC mit Potenzial für Videobearbeitung
- LG UltraFine 40U990A-W - 40 5K2K Monitor mit Thunderbolt 5
Das Drehbuch für diese Kurzgeschichte über einen reisenden Waschbären hat übrigens Googles KI Bart geschrieben - mit einer Aufschlüsselung der einzelnen Szenen und einer Liste von begleitenden Aufforderungen. Anschließend hat VideoPoet daraus dann Videoclips für jeden Take generiert.
Um sich eine vielzahl an so entstanden Videos zu gemüte zu führen, hat Google Research wie üblich eine dedizierte Webseite zum Projekt erstellt, die einen zeitraubenden Überblick über die Fähigkeiten von VideoPoet gibt - was durchaus positiv gemeint ist.
