Das chinesische Technologieunternehmen ShengShu-AI und die Tsinghua-Universität haben am Wochenende ein KI-Video-Modell vorgestellt, welches nach nach eigenen Angaben mit Open AIs Sora auf Augenhöhe agieren kann.
Das Vidu getaufte Modell wurde auf dem gerade beendeten Zhongguancun-Forum in Peking vorgestellt und kann mit einem Klick aus einem Text Prompt einen 16-sekündigen 1080P-Videoclip erstellen.
Es basiert laut den Entwicklern auf einer visuellen Transformationsmodellarchitektur namens Universal Vision Transformer (U-ViT), die zwei Text-zu-Video-KI-Modelle (Diffusion und Transformer) kombiniert.
Diese U-ViT Kombination ist dem Sora-Modell grundsätzlich ähnlich und wurde im September 2022 vom Vidu-Forschungsteam begonnen- also noch weit bevor OpenAI mit Sora offiziell seine ersten Ergebnisse von der Kombination aus Diffusion und Transformern der Öffentlichkeit präsentierte.
// Top-News auf einen Blick:
- DaVinci Resolve 21 Photo ausführlich im Screencapture Workshop erklärt
- Cartoni Hyperroll - modulares Roll-Rig für kreative Kamerafahrten
- Adobe erklärt die Details zum neuen Premiere Color Mode
- Sennheiser HD 480 PRO - neuer geschlossener Referenzkopfhörer für Studio und Live
- Insta360 Mic Pro - Funkmikro mit farbigem E-Ink-Display und 32-Bit Audio Float
- GoPro MISSION 1 Pro - 8K-Actioncam-Modelle erklärt
Die Ergebnisse wirken auf den ersten Blick zwar ziemlich gut, jedoch hat bislang OpenAI bei der Veröffentlichung seiner besonders gelungenen Clip-Perlenen noch definitiv die Nase vorne.
Dennoch darf auch nicht vergessen werden, dass Vidu nun gerade einmal zwei Monate nach Sora das Licht der Welt erblickt, und damit zeigt, dass OpenAI mit Sora kein technologisches Alleinstellungsmerkmal besitzt. Während der erste Vidu Live Demo zeigte ShengShu-AI, wie Vidu die reale physische Welt simulieren und Szenen mit komplexen Details im Einklang mit realen physikalischen Gesetzen erzeugen konnte. Was belegt, dass auch hier eine gewisse Weltkenntnis bei der Generierung von Szenen vorhanden sein muss.
