Luma AI ist vor rund einem Jahr besonders durch seine Neural Radiance Fields (NeRFs) aufgefallen, bei denen mittels KI aus wenigen Fotos komplette 3D-Kamerafahrten erstellt werden können. Nun hat die Firma überraschend ein eigenes Videomodell namens Luma Dream Machine vorgestellt, das augenscheinlich mit dem Sora-Modell von OpenAI konkurrieren soll und kann. Sora gilt aktuell als das ausgereifteste Tool, um Videos durch KI-Diffusionsmodelle zu generieren. Doch letztlich lässt sich dessen Qualität noch gar nicht so genau beurteilen, da OpenAI nach wie vor nur wenigen handverlesenen Personen den Zugriff auf Sora gewährt. Und so existieren auch nur wenige, ebenso handverlesene Demo-Clips, die natürlich Sora nur von seiner besten Seite zeigen.
Ganz anders agiert nun die Luma Dream Machine, die seit gestern Abend einen offenen Zugang für jedermann bietet. Was natürlich jetzt aufgrund von Überfüllung fast genauso wenig wert ist - aber die Absicht alleine zählt bekanntlich auch schon einiges.
Dass Luma Dream Machine tatsächlichen Output generiert, bezeugen zudem die zahlreichen Clips, mit denen aktuell Twitter/X und Konsorten überschwemmt werden. Und tatsächlich kann sich die Luma Dream Machine sehen lassen:
// Top-News auf einen Blick:
- Neue Luma AI Ray3 Video-KI erstellt erstmals Clips mit nativem HDR
- DJI Mini 5 Pro bringt grossen 1 Sensor, LiDAR und 4K mit 120fps
- RØDE senkt Preise für seine RØDE Wireless Mikrofonsysteme radikal
- Blackmagic DaVinci Resolve 20.2 bringt neben Apple ProRes RAW u.a. ...
- iPhone 17 Pro: ProRes RAW, Genlock, Apple Log 2 und Blackmagic ProDock für Filmer
- Nikon ZR in der Praxis: 6K 50p RED RAW Monster für 2.349,- Euro mit klassenbester Colorscience?
Die Dream Machine soll auf einem "hochgradig skalierbaren und effizienten Transformer-Modell basieren, das physikalisch genaue, konsistente und ereignisreiche Aufnahmen erzeugen kann". So sollen Clips mit großer Charakterkonsistenz und präziser Physik möglich sein. Neben Text-to-Video soll auch Image-to-Video möglich sein. Über einen Text Prompt sollen sich zudem "flüssige, filmische und naturalistische Kamerabewegungen" erzielen lassen.
Dream Machine erzeugt 5-Sekunden-Aufnahmen und soll zudem unglaublich schnell Ergebnisse liefern: Luma AI verspricht auf ihrer Webseite 120 Bilder in 120 Sekunden - was wohl nur bei wenig Andrang aus dem Netz gelten dürfte. Über die genaue Zielauflösung dieses Modells schweigt sich Luma AI noch aus. Ein von uns gefundener Original Clip hatte "nur" 680 x 376 Pixel mit 24 fps. Mehr Details werden sich sicherlich bald in Erfahrung bringen lassen...
