Mit Bytedance (dem Betreiber von TikTok) hat nach Kuaishous Kling und Minimax Hailuo nun ein weiterer chinesischer Konzern eine State-of-the-Art Video-KI vorgestellt. Der YouTuber und Video-KI-Spezialist Theoretically Media hatte bereits die Gelegenheit, sich Demos der Seaweed getauften Video-KI näher anzuschauen und hat dabei festgestellt, dass sie ganz besondere neue cinematische Möglichkeiten bietet - er bezeichnet sie deswegen als Gamechanger.
So kann Seaweed per Image-to-Video und Text-to-Video bis zu 2 Minuten (!) lange Clips in 1080p generieren, die aus bis zu vier unterschiedlichen Einstellungen einer Szene bestehen, bei denen die Objekte - auch aus verschiedenen Perspektiven - konsistent bleiben sollen. Folgendes Beispiel etwa zeigt eine solche Szene mit Schuss/Gegenschuss (Reaction Shot).
The next, and this is fairly mind blowing: The first frame is Image to Video, when then HARD CUTS to a reverse reaction with a consistent character.
— Theoretically Media (@TheoMediaAI) September 30, 2024
This isn&t First/Last Frame.
WILD. pic.twitter.com/c5RAtLyzNR
Eine weitere, sehr filmische Technik beherrscht Seaweed offensichtlich auch und zwar den sogenannten Rack Focus, also eine Schärfeverlagerung innerhalb einer Einstellung von einem Objekt im Vordergrund zu einem anderen im Hintergrund (oder umgekehrt).
// Top-News auf einen Blick:
- Fujifilm GFX Eterna 55 erklärt: Aufnahmeformate, Großformat-Open-Gate, Fujinon 32-90
- Neue Vocas Matte Box MB-260 - kompakt und frei konfigurierbar
- Die Canon EOS C50 erklärt - 7K RAW, 120p 4K und Open Gate
- Blackmagic Camera App 3.0 für Android und iOS bringt viele Neuerungen
- Blackmagic DaVinci Resolve 20.2 bringt neben Apple ProRes RAW u.a. ...
- Nikon ZR in der Praxis: 6K 50p RED RAW Monster für 2.349,- Euro mit klassenbester Colorscience?
A new State of the Art AI Video Model called Seaweed has recently dropped and it is fairly mind blowing, doing at least 2 things I have not seen any other AI Video Generator do as of yet. pic.twitter.com/VgfyuTuGCp
— Theoretically Media (@TheoMediaAI) September 30, 2024
Letztlich handelt es sich allerdings um zwei neue Video-Modelle, die wie es scheint Hand in Hand arbeiten: PixelDance und Seaweed. Laut einem Bericht von Decrypt soll PixelDance dabei für die Figurendarstellung und die Multishot-Fähigkeiten verantwortlich sein, während die Konsistenz über längere Sequenzen hinweg auf Seaweed zurückgeht.
Die beiden Modelle hatte ByteDance unter seiner Marke Doubao - vorerst nur in China - vorgestellt. Beide befinden sich noch in einer Testphase mit begrenztem Zugang.
Sie scheinen jedoch durchaus auf dem Stand der Zeit zu sein, sowohl bezüglich der Konsistenz als auch der Fähigkeit, komplexe Prompts zu interpretieren und menschliche Bewegungen und Interaktionen realistisch darzustellen. Kein Wunder, kann ByteDance doch als Eigner von TikTok auf umfangreiche Traingsdaten zurückgreifen. Theoretically Media rechnet damit, dass Seaweed im November international verügbar sein wird.
