Der chinesische Internetgigant Alibaba hat eine neue Video-KI veröffentlicht, die den Erfolg von DeepSeek im Bereich LLM wiederholen könnte. Denn Alibabas neues Wan2.1-Modell ist nicht nur sehr gut, sondern es ist auch als Open Source veröffentlicht, d. h. es ist frei zugänglich und kann kostenlos genutzt und so weiter optimiert werden.
Der Clou: Die Qualität der von Wan2.1 generierten Videos ist extrem gut und zudem erfolgt die Generierung auch noch sehr schnell. Wan2.1 kann laut Alibaba sehr realistische Videos generieren, auch bei schwierigen Motiven, etwa mit komplexen Körperbewegungen, Drehungen, dynamischen Szenenübergängen und fließenden Kamerabewegungen.
Wan2.1 soll auch ein Verständnis des Modells für reale Physik (wie etwa Fluiddynamiken) und realistische Objektinteraktionen aufweisen, um so realistisch Bewegungen simulieren zu können. Wichtig für gute Bilder ist natürlich auch die Fähigkeit, cinematische Effekte darstellen zu können, also besondere Lichtsituationen, Bildstile und Kamerabewegungen. Und in de Tat schauen die verfügbaren Demos und die von Usern generierten Videos sehr gut aus.
Optimierte Version: 8,19 GB VRAM reichen
Bereits jetzt, nur wenige Tage nach dem Start, gibt es sogar schon eine optimierte Version namens Wan2.1 GP, die nur 8,19 GB VRAM benötigt und so auf vielen Consumer-Grafikkarten läuft, wie etwa Nvidias RTX-Grafikkarten ab der 4060/5060 Ti. Allerdings gilt: je kleiner das Modell, desto schlechter die Qualität.
Big News from @alibaba_cloud!
— Wan (@Alibaba_Wan) February 20, 2025
Meet WanX - our next-gen AI model redefining video generation !
Presenting mind-blowing demos from WanX 2.1！
Even more exciting:
WanX 2.1 will be OPEN-SOURCE !
Coming soon …#AIart #OpenSource pic.twitter.com/R1laOyJYAL
Auf einer Nvidia RTX 4090 dauert die Generierung eines 5-Sekunden-Videos mit einer Auflösung von 480p ungefähr 4 Minuten (ohne Optimierungstechniken wie Quantisierung). Mit der neuesten Version von Wan2.1 GP können sogar 720p-Clips mit einer Länge von bis zu 12 Sekunden auf einer RTX 4090 mit 24 GB VRAM bzw. 10 Sekunden 480p-Videos auf einer GPU mit weniger als 12 GB VRAM erzeugt werden.
Wan2.1 umfasst nicht nur ein Text-zu-Video-, sondern auch ein Bild-zu-Video-Modell mit 14 Milliarden Parametern (14B), beide können Videos sowohl mit 480p als auch 720p Auflösung erzeugen. Ein weiteres Text-zu-Video-Modell mit 1,3 Milliarden Parametern (1,3B) ist so klein, dass es auch auf Consumer-GPUs mit mindestens 8,19 GB VRAM läuft.
Automatische SFX und Objekt-basiertes Videoediting
Ferner ist Wan2.1 zudem in der Lage, Texte in Videos darzustellen und beinhaltet auch ein Video-zu-Audio-Modell, das automatisch für die passende Sounduntermalung eines Videoclips sorgt – eine Fähigkeit, die von allen anderen großen Video-KIs (nur seit kurzem) erst Lumas Dream Machine beherrscht.
Dabei kann Wan2.1 sowohl Soundeffekte, als auch musikalische Soundtracks generieren – thematisch und rhythmisch passend zum Clipinhalt. Das Modell kann auch dazu genutzt werden, Videos per KI anhand von Bild- oder Videovorlagen zu editieren oder per In- oder Outpainting gezielt zu verändern.
Das Wan2.1-Modell kann samt Gewichten auf Hugginface oder GitHub heruntergeladen werden und wird auch von ComfyUI unterstützt. Für manche User könnte auch interessant sein, dass Wan2.1 freizügiger in Bezug auf nackte Haut zu sein scheint als andere Modelle.
Besser als Sora, Runway und Luma?
Wan2.1 schneidet auch in einem Qualitätsvergleich mit anderen Video-KIs wie Sora, Runway Gen 3, MiniMax, Luma Dream Machine und Pika sehr gut ab und erreicht im VBench, einem Benchmark für Video-KIs, der Faktoren wie die Bildqualität, Konsistenz, menschliche Bewegungen und Bildästhetik berücksichtigt, den ersten Platz, allerdings ist der aktuelle Spitzenreiter Google Veo 2 nicht mit dabei.
