Logo Logo
/// News

Nach der Bild- die Videorevolution: Neue KI "Make-a-Video" generiert Videos nach Text

[14:11 Fr,30.September 2022 [e]  von ]    

bildKIs generieren immer bessere Bilder nach Textbeschreibungen und es war klar, was der nächste Schritt sein würde: das Erstellen von Videos. Jetzt hat Meta AI, die KI Forschungsabteilung von Meta (ehemals Facebook) genau einen solchen Algorithmus vorgestellt. Die "Make-a-Video" getaufte Text-to-Video KI ähnelt den Text-zu-Bild KIs DALL-E 2 und Stable Diffusion, die in den letzten Monaten Furore gemacht haben.



Wie diese hat sie anhand Milliarden von Bildern samt Textbeschreibung gelernt, wie die reale Welt aussieht, aus welchen Objekten sie besteht und wie diese von Menschen beschrieben wird. Zusätzlich dazu allerdings wurde das neuronalen Netzwerk mittels zusätzlicher Schichten für die zeitliche Abfolgen von Bildern noch mit rund 20 Millionen Videos trainiert, um zu lernen wie sich verschiedene Objekte typischerweise bewegen.



So kann die Make-a-Video KI jetzt nur anhand von Textbeschreibungen beliebige kurze Videoclips erzeugen, wie zum Beispiel "Ein Teddybär malt ein Porträt" oder "Ein flauschiges Babyfaultier mit einer orangefarbenen Strickmütze, das versucht, einen Laptop zu bedienen, wobei sich in seinem Auge ein detailliertem Studiolichtschirm spiegelt". Ähnlich wie bei den bildgenerierenden KIs kann auch hier der Bildstil (realistisch, surreal, abstrakt, stilisiert, ...) beliebig definiert werden.



Erweckt Bilder zum Leben


Als Input kann anstatt eines Textes aber auch ein Einzelbild verwendet werden (analog zur Image-2-Image Methode bei den Bilder KIs), um dieses zu animieren. Werden zwei Bilder (ein Start- und ein Endbild) definiert, generiert der Make-a-Video Algorithmus dann die Zwischenbilder. Alternativ, quasi per Video-2-Video, kann auch ein Video als Input fungieren, von dem Make-a-Video dann Variationen erzeugt.



Meta AI hat zwar die Forschungsarbeit von Make-a-Video veröffentlicht, allerdings nicht den dazugehörigen Code oder das Modell - es dürften aber bald Versuche folgen, einen darauf basierenden Algorithmus nachzubauen.

Die Qualität der erzeugten Videos läßt zwar noch etwas zu wünschen übrig, sie entsprechen eher kleinen Bildanimationen als echtem (komplexen) Video und sind auch nur wenige Sekunden lang, aber Make-a-Video macht deutlich, wohin die Reise geht. Generierung von Videos und objektbasiertes Editing per Text auch für Consumer rückt immer näher.



Phenaki KI erstellt sogar noch längere Videos


Wie schnell die Entwicklung gerade voranschreitet beweist auch die Tatsache, daß zeitgleich mit Metas "Make-a-Video" noch ein weiteres Projekt namens Phenaki eines (noch) anonymen Forscherteams erschienen ist, daß nochmal eine deutlich geringere Auflösung aufweist, aber in einem wichtigen Aspekt sogar noch interessanter ist, weil es es die Generierung mehrminütiger Videos erlaubt. So wurde im folgenden Beispiel anhand einer längeren Textbeschreibung ein beeindruckendes 2 Minuten langes Video erzeugt:



Interessant sind die für zur Generierung des Videos verwendeten Prompts (samt Anweisungen für die virtuellen Kamerabewegungen):
"Viel Verkehr in einer futuristischen Stadt. Ein außerirdisches Raumschiff kommt in der futuristischen Stadt an. Die Kamera geht in das Innere des Raumschiffs der Außerirdischen. Die Kamera bewegt sich vorwärts, bis sie einen Astronauten in einem blauen Raum zeigt. Der Astronaut tippt auf der Tastatur. Die Kamera bewegt sich von dem Astronauten weg. Der Astronaut verlässt die Tastatur und geht nach links. Der Astronaut verlässt die Tastatur und geht weg. Die Kamera bewegt sich über den Astronauten hinaus und blickt auf den Bildschirm. Auf dem Bildschirm hinter dem Astronauten sind Fische zu sehen, die im Meer schwimmen. Crash zoomt auf den blauen Fisch. Wir folgen dem blauen Fisch, wie er im dunklen Ozean schwimmt. Die Kamera zeigt durch das Wasser nach oben in den Himmel. Der Ozean und die Küstenlinie einer futuristischen Stadt. Crash-Zoom in Richtung eines futuristischen Wolkenkratzers. Die Kamera zoomt in eines der vielen Fenster. Wir befinden uns in einem Büroraum mit leeren Schreibtischen. Ein Löwe rennt auf den Schreibtischen herum. Die Kamera zoomt auf das Gesicht des Löwen im Inneren des Büros. Zoom auf den Löwen, der einen dunklen Anzug trägt, in einem Büroraum. Der Löwe im Anzug schaut in die Kamera und lächelt. Die Kamera zoomt langsam auf das Äußere des Wolkenkratzers hinaus. Zeitraffer des Sonnenuntergangs in der modernen Stadt"

Hier finden sich noch viele weitere Beispiele von per Phenaki animierten kurzen Clips. Auffällig ist, daß weder die Beispielclips bei Phenaki noch bei Make-a-Video Menschen beinhalten, zu erklären ist das durch die Schwäche der zugrundeliegenden Blidgenerierungs-KIs mit menschlichen Körpern und Gesichtern (ein Clip, auf dem Menschen zu sehen sind ("ein Paar im Regen") demonstriert diese Schwäche eindrucksvoll). Es bleibt zu hoffen, daß der Sourcecode von Phenaki bald veröffentlicht wird, um der KI Community die Weiterentwicklung zu ermöglichen.


Link mehr Informationen bei makeavideo.studio

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildIntel ARC A770 Desktop-Grafikkarte ab 12.Oktober für ca. 400 Euro im Handel bildDeepfake: Bruce Willis digitaler Zwilling tritt in Werbeclips auf


verwandte Newsmeldungen:
Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 5.Dezember 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*