Die erste KI-Kamera? Movie Camera CMR-M1 stilisiert Videos per Stable Diffusion

Kamera und KI widerspricht sich zunächst, das eine bildet mithilfe des Lichts ab, was vor der Linse ist, das andere generiert algorithmisch Bildinhalte. Die Movie Camera CMR-M1 verspricht als weltweit erste "KI-Kamera" jedoch eine Synthese beider Welten: auswählbare KI-Bildstile sollen die Kamerabilder direkt verändern - der Grad der Verfremdung per KI ist dabei über ein manuelles Drehrad einstellbar. Sie entspricht damit eher dem traditionellen Konzept einer Kamera, als die Paragraphica, welche ebenfalls als KI-Kamera bezeichnet wurde, jedoch die Bilder rein über ein automatisch erstelltes Prompt erfindet.

Die Movie Camera CMR-M1 (Camera Model 1) von SpecialGuestX und 1stAveMachine ist vom Design her der Ciné-Kodak von 1924 nachempfunden, der ersten portablen 16mm Kamera. Sie nutzt als Hardware laut eigenen Angaben einen FLIR-Bildsensor sowie einen Snapdragon-SoC, und kann Videos mit der Auflösung von 1368x768 Pixeln mit max. 12 fps aufnehmen.

KI per Karte

Für die Integration von KI haben sich die Entwickler einen besonderen Clou einfallen lassen, um dem ganzen Projekt einen besonderen Retro-Touch zu geben: ganz so als würde es sich um analoge Filter handeln, wird für die verschiedenen KI-Bildeffekte jeweils eine spezielle VFX-Karte in die Kamera geschoben. Die eigentliche Rechenarbeit dafür erfolgt jedoch nicht in der Kamera selbst (der dafür die Prozessorpower fehlt), sondern in der Cloud mittels der Bild/Video-KI Stable Diffusion. D.h. das aufgenommene Video wird erst ins Netz geschickt, dort mit einem Video-to-Video-Modell verändert und dann zur Kamera zurück geschickt, um im Display die Kamerabilder im neuen Style anzuzeigen. Das Ganze erfolgt trotz der geringen Auflösung allerdings nicht in Echtzeit - wie hoch die Latenz ist, teilen die Entwickler nicht mit.

Zur Auswahl für die Verfremdung per KI stehen aktuell 5 KI-Stile wie etwa "Blooming Nature", welcher die aufgenommene Szene in eine dschungelartige Umgebung verwandelt oder "Old Money", der Videos in klassische Luxusszenen voller Smokings, Goldmünzen und Teppiche verwandelt. Realisiert sind sie in Form von LoRas fürs Feintuning von Stable Diffusion. In Zukunft soll es möglich sein, als Benutzer auch eigene Verfremdungsstile zu definieren und andere Video-KIs per API zu nutzen.

Die resultierenden KI-Videos zeigen alle Stärken und Schwächen von Stable Diffusion Video: die Stilisierung der Objekte im Vordergrund sowie des Hintergrunds ist oft nicht nicht mehr als einige Frames lang konsistent.

Die FX-Karten selbst funktionieren interessanterweise per NFC, was vermuten läßt, dass die jeweiligen LoRa-Daten nur ausgewählt werden und nicht selbst auf der Karte gespeichert sind. Etwas Grübeln läßt uns der Bildsensor, bei dem es sich also - laut Pressmitteilung - einen FLIR-Sensor handeln soll, denn ein solcher würde nur Infrarotaufnahmen ermöglichen. Vielleicht handelt es sich hier um einen Kommunikationsfehler, da die aufgenommenen Bilder normal aussehen und die Nutzung eines echten FLIR Sensors keinen Sinn machen würde.

KI im Retrogewand

Die geringe Framerate sowie die vermutlich hohe Latenz machen klar, dass es sich bei der CMR-M1 um einen nicht wirklich einsatzreifen Protoypen handelt. Insgesamt wirkt das Projekt eher wie eine Mischung aus einem PR- und Kunstprojekt, das mit einem extremen Retro-Look (die Kamera nutzt alte 16mm Wechselobjektive sowie eine Matte Box) mehr auf die Social Media Tauglichkeit von Bildern des Filmemachers mit seiner KI-Kamera zu zielen scheint, als auf echte Funktionalität.

Denn die eigentliche KI-Funktionalität (das Live-Bild einer Kamera wird - mehr oder weniger zeitlich verzögert - mit einem neuen Bildstil per KI versehen) liesse sich genausogut und viel einfacher in Form einer App in einem Smartphone oder auf einem PC mit einer angeschlossenen Kamera realisieren. Zudem gibt keinen wirklichen Grund, die Stilisierung von Videos per KI mit einer Kamera als Schnittstelle zu machen, wenn das Videomaterial viel komfortabler in der Postproduktion nachträglich per KI editiert/manipuliert werden kann.

Physikalische Schnittstellen für virtuelle KIs

Die Entwickler von SpecialGuestX wollen jedoch explizit handfeste Interfaces für die Nutzung von generativer KI schaffen und so die ganze Virtualität von KI in den physikalischen Raum zurückholen. So sagt Miguel Espada, Mitbegründer und Executive Creative Technologist von SpecialGuestX:

"Wir glauben, dass die Erstellung von Filmen von Natur aus physisch ist. Filmemacher sind es gewohnt, Kameras, Objektive, Stative, Beleuchtung zu verwenden, und dass KI ein neues Werkzeug sein muss, das die Kreativität verbessert...Im Geist des kreativen Experimentierens haben wir eine Kamera entworfen, die als physische Schnittstelle zu KI-Modellen dient.“

SpecialGuestX hatte Ende letzten Jahres schon den ersten KI-Videoeditor namens 1st AI Machine vorgestellt, ein Hardware-Interface in Form eines Schaltpultes, um Filmchen mittels generativer KI (Runway Gen 2) per visuellem Storyboard aus sechs Bildern zusammenszustellen.

Ob die Movie Camera CMR-M1 weiterentwickelt wird und ob sie je veröffentlicht werden wird, hängt wohl vom Echo auf den Protoypen ab und ob User sich vorstellen können, mit einer solchen KI-Kamera wirklich zu arbeiten.