Was ist die momentan beste Video-KI? Der einstmalige (aber noch immer nicht verfügbare) Spitzenreiter OpenAI Sora hat ernsthaft Konkurrenz bekommen - der chinesische Konzern Kuaishou/Kwai hat seine neue Video-KI Kling veröffentlicht, Luma AIs Dream Machine ist erschienen und Runway, die schon Anfang 2023 eine der ersten kommerziellen Video KIs veröffentlicht hatten, haben ihr neues Runway Gen 3 Modell herausgebracht.
Runway, Luma AI und Kling sind erfreulicherweise alle öffentlich (und für die ersten Clip-Generierungen auch kostenlos) zugänglich, wobei für Kling noch Tricks notwenig sind, weil zur Registrierung eine chinesische Telefonnummer notwendig ist. Pika und Stable Video Diffusion sind in der Qualität etwas ausserhalb der Konkurrenz.
Video-KIs im direkten Vergleich
Sora wird leider von OpenAI immer noch größtenteils unter Verschluss gehalten - Zugang haben nur ausgewählte Kreative, von denen OpenAI jetzt immerhin einige neue Clips online gestellt hat. Interessant ist aber natürlich ein Vergleich der drei Modelle bezüglich Interpretation der Prompts und Qualität der Videos. Möglich ist also ein direkter Vergleich nur anhand von Soras Democlips, deren Prompt dann Kling, Luma AI und Runwway Gen3 eingegeben wird. Erfreulicherweise haben einige User auf X/Twitter genau das getan.
Ein Caveat allerdings sei den ganzen Sora-Vergleichen vorangestellt: OpenAI hat vermutlich nur die besten Beispiele als Demos (nach mehreren Versuchen) ausgewählt und diese Demos sind vermutlich mit deutlich mehr Prozessorpower gerendert worden, als die User-generierten Clips der anderen KIs - das Setup ist also nicht ganz fair. Erst wenn Sora frei zugänglich ist, könnte ein echter Vergleich mit ganz neuen Prompts erfolgen. Bis dahin aber sind die Clips der User ganz aufschlussreich, zeigen sie doch gut die Schwächen und Stärken der verschiedenen Modelle unter anderem bezüglich Bildqualität, Konsistenz (von Objekten bei Bewegung) und Prompttreue.
Also Bühne frei für den Video-KI Shootout:
Runway Gen 3 vs Sora
Sora vs Runway. pic.twitter.com/PflU3sEhri
— Explorador Creativo 📚 📖 🗞 (@CooperCxCx) July 3, 2024
Runway Gen-3 (left) vs. OpenAI Sora (right), side-by-side.
— Matt Shumer (@mattshumer_) July 2, 2024
Prompt #1: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors. pic.twitter.com/KYObwUDZa5
Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes. pic.twitter.com/dhXpr3GAjy
— Matt Shumer (@mattshumer_) July 2, 2024
A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street… pic.twitter.com/1LObFv9Z2Z
— Matt Shumer (@mattshumer_) July 2, 2024
Sora vs Kling
// Top-News auf einen Blick:
- Apple AirPods als Kamera-Fernbedienung und für Audioaufnahme in Studioqualität
- Sony WH-1000XM6 bringt noch besseren Klang und Noise Cancelling
- Seagate liefert 40 TB Festplatten aus - aber noch nicht für jedermann
- Neue LTO-10 Generation mit 30 TB - eine Alternative zum Festplattenarchiv?
- Acer ProCreator PE320QXT - 6K Monitor für nur 1.199 Euro!
🚨#Kling vs #Sora🚨
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
These past few days, everyone has been talking about Kling and Sora.
🔥Here are the 10 best comparisons you absolutely shouldn&t miss to determine which AI is the best.🔥 pic.twitter.com/aFWlAbboY1
2) Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance,… pic.twitter.com/WuXmSjQ0p3
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
3) Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the… pic.twitter.com/L0EVSUDKm7
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
4) Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors. pic.twitter.com/kFJ15iQXbR
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
5) Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with… pic.twitter.com/9hg3kLwNUa
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
7) Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around. pic.twitter.com/dpFsMkFrv7
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
9) prompt: Historical footage of California during the gold rush. pic.twitter.com/gGJ29J6kHx
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
8) Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book. pic.twitter.com/h3aXzTnlNm
— Pierrick Chevallier | IA (@CharaspowerAI) June 9, 2024
Luma AI Dream Machine vs Sora
Luma Labs launched Dream Machine, a new AI model that can generate 5-second video clips from text and image prompts.
— Brett Adcock (@adcock_brett) June 16, 2024
It&s already available to the public, with users getting 10 free credits
Here’s a side-by-side comparison of Luma vs. OpenAI’s Sora pic.twitter.com/UOq3yUg02f
