Meta setzt neue Maßstäbe Neue Video-KI Movie Gen kommt mit Killerfeature

Meta hat Movie Gen vorgestellt, ein neues KI-Modell zur Generierung von Videos, welches gleich mehrere interessante Funktionen mitbringt. Neben der Möglichkeit, hochwertige Videos mit passendem Soundtrack oder Soundeffekten per Text-Prompt zu erstellen, können auch personalisierte Videos durch ein Portraitfoto generiert werden. Das Killerfeature aber ist die Möglichkeit, Objekte in Videos präzise per Prompt zu manipulieren.

Tatsächlich besteht Metas Movie Gen aus einer Sammlung modernster KI-Modelle, die in Kombination die genannten Funktionen ermöglichen. Die von Movie Gen erzeugten Videos sind bis zu 16 Sekunden lang und in verschiedenen Formaten verfügbar. Mit einer Auflösung von 1080p und 16 Bildern pro Sekunde samt Audio, erreicht die Videoqualität laut Meta das Niveau der besten aktuellen Video-KI. Mehr dazu unten.

Movie Gen "versteht" die typischen Bewegungsmuster verschiedenster Objekte, die Interaktionen zwischen Objekten und kann auch spezifische Kamerabewegungen vollführen - all das, was eine aktuelle Video-KI also ausmacht und von OpenAIs Sora sowie den aktuellen chinesischen Top Modellen wie ByteDances Seaweed, Minimax Hailuo und Kuaishous Kling ebenfalls überzeugend demonstriert wird.

Die offizielle Demo (siehe oben) macht klar, dass die Qualität von Movie Gen tatsächlich extrem gut ist - menschliche Bewegungen wirken sehr realistisch, die Bilddetails sind gut und die visuellen Fehler sehr wenige - zumindest in diesen von Meta vorselektierten Clips der Demo. Wie gut Movie Gen tatsächlich ist, wird sich erst zeigen, wenn Nutzer es frei verwenden können.

And yes, we released a full paper! https://t.co/Rsz5YedAuE

It was a mammoth effort with such an amazing team :)

Here&s the first line (one of my favorites) of our paper as a video pic.twitter.com/4kh83zOnpV

— Ishan Misra (@imisra_) October 4, 2024

Meta geht dabei - wie bislang schon mehrfach - deutlich offener mit seinen Forschungsergebnissen um, als die anderen Anbieter von Video-KIs und macht das zugehörige Paper - wenn auch nicht die Modelle selbst - öffentlich. Dies ermöglicht es auch anderen Entwicklern, anhand der Erkenntnisse von Meta - die nötigen Trainingsdaten und Rechenleistung vorausgesetzt - bald ähnlich gute Ergebnisse zu erzielen.

Was sind die besonderen Funktionen von Movie Gen?

Präzise Videobearbeitung per Prompt

Das herausragende Feature und ein Blick in die Zukunft der Videobearbeitung ist die Funktion zum präzisen Bearbeiten von Videos per Prompt: Objekte wie auch der gesamte Hintergrund können per Prompt ganz gezielt verändert ebenso der visuelle Stil eines Videos - ohne dass die Darstellung angrenzender Objekte darunter leidet oder andere Bildelemente ihr Aussehen ändern.

Das ähnelt der Video-to-Video Funktion von Runway Gen-3 Alpha, aber ist im direkten Vergleich viel präziser, denn es werden tatsächlich nur die gewünschten Objekte verändert, der Rest bleibt - anders als bei Runway - völlig unberührt. Hier Runway Gen3 Alpha Video-2-Video zum Vergleich:

Gen-3 Alpha Video to Video is now available on web for all paid plans. Video to Video represents a new control mechanism for precise movement, expressiveness and intent within generations. To use Video to Video, simply upload your input video, prompt in any aesthetic direction… pic.twitter.com/ZjRwVPyqem

— Runway (@runwayml) September 13, 2024

Im folgenden Video wird Movie Gens Editing-Funktion (aka Video-to-Video) explizit mit Runway Gen-3 verglichen und schneidet deutlich besser ab - der Hintergrund etwa bleibt unangetastet und die Integration neuer Objekte wirkt viel nahtloser.

I couldn’t be more excited to share our latest AI research breakthrough. We call it Meta Movie Gen and it’s a collection of state-of-the-art models that combine to deliver the most advanced video generation capability ever created.

Check it out: https://t.co/K4IxAVPO3y pic.twitter.com/HawreKeavy

— Ahmad Al-Dahle (@Ahmad_Al_Dahle) October 4, 2024

Movie Gen übernimmt komplexe VFX-Aufgaben, wie das Ersetzen von Hintergründen, das Austauschen oder Entfernen von Charakteren und das Hinzufügen von Partikeleffekten, und das alles nur per Text-Prompt.

Thrilled to share results from the Movie Gen models we&ve been working on these past few months, and particularly the Movie Gen Edit model for precise editing! https://t.co/MV2k5fH9em pic.twitter.com/7Ux9fcLHJB

— amitz (@amit_zhr) October 4, 2024

Interesting extra finding 5:

There are too many to list - please see our 92 page tech report for more findings. And also to learn about how we trained AMAZING editing and personalization models pic.twitter.com/ZXrR9r3rMt

— Andrew Brown (@Andrew__Brown__) October 4, 2024

Hier ein Video, das Meta-CEO Mark Zuckerberg auf Instagramm gepostet hat mitsamt der Ankündigung, dass Movie Gen nächstes Jahr in Instagram integriert werden:

Mark Zuckerberg created this video using the new Meta Movie Gen.
He also confirmed it’s coming to IG next year 🔥
📹 via IG pic.twitter.com/BJjyXM6BwM

— AshutoshShrivastava (@ai_for_success) October 4, 2024

Movie Gen Audio: Soundtracks und SFX

Das für Audio zuständige Video-to-Audio Modell heißt Movie Gen Audio - es kann zu einem Video plus optionalem Text-Prompt den passenden Sound wie etwa Umgebungsgeräusche, instrumentale Hintergrundmusik und Geräuscheffekte (Foley) generieren. Bisher kann als einzige Video-KI nur Pika automatisch zu einem Video passende Soundeffekte erstellen.

Interesting extra finding 6:

I learnt so much from working with the lead research experts on audio (Wei-Ning + team @mhnt1580 ). Check out the report for the details on how we gave videos SOUND

"Rain pours against the cliff and the person, with music playing in the background." pic.twitter.com/ah7IibPnNF

— Andrew Brown (@Andrew__Brown__) October 4, 2024

Personalisierte Videos

Eine weitere interessante spezielle Funktion stellt die Möglichkeit dar, anhand eines Fotos einer Person und eines Text-Prompts ein beliebiges Video zu generieren, in welchem diese Person zu sehen ist.

Qualitätsvergleich

Interessant ist der Vergleich von Movie Gen mit den anderen aktuellen Video-KIs wie Runway Gen3, Lumas Dream Machine, OpenAIs Sora und Kling 1.5 (allerdings fehlen noch die zwei neuesten chinesischen Modelle, ByteDances Seaweed und Minimax Hailuo).

Verglichen wird unter anderem die Konsistenz, die Natürlichkeit der Bewegungen, Prompt-Interpretation und der Realismus. So ist Movie Gen in der Gesamtwertung in etwa gleichauf mit Kling 1.5, etwas besser als OpenAIs Sora, deutlich besser als Runway Gen3 und sehr viel besser als Lumas Dream Machine. Die Zahlen in der Tabelle zeigen an, um wieviel öfter ein Clip von Movie Gen im Vergleich zu einer anderen KI von menschlichen Testern als besser (oder schlechter) beurteilt wird.

Dieser Vergleich ist natürlich nur ein Schnappschuss in der sich extrem schnell entwickelnden Welt der aktuellen Video-KIs, spiegelt aber sehr gut die aktuelle Qualitätsrangliste wieder:

1. Kling 1.5/Movie Gen

2. Sora

3. Runway Gen3

4. Luma Dream Machine.

Wann ist Movie Gen öffentlich zugänglich?

Momentan ist das Movie Gen noch - ähnlich wie OpenAIs Sora - quasi "unter Verschluss", d.h. es ist nur einem kleinen Kreis von Kreativen zugänglich, die Feedback geben können. Laut Mark Zuckerberg soll es nächstes Jahr in Instagram verfügbar gemacht werden. Ob es auch als einzelnes Tool veröffentlicht werden wird, ist noch nicht bekannt - wahrscheinlich erreichen bis dahin auch andere Video-KIs das Niveau von Movie Gen und bietet dann auch ein vergleichbares KI-Editing-Feature. Aber natürlich entwickelt sich auch Movie Gen weiter in der Zwischenzeit - und wird dann auch vielleicht Features wie Schärfeverlagerung und Clips aus verschiedenen Kameraeinstellungen samt harer Schnitte und konsistenten Objekten beherrschen wie ByteDances/TikToks neue Seaweed Video-KI.