Ab sofort zugänglich LTX Studio - das umfassendes Tool für die KI-Film-Produktion?

Im April hatte Lightricks sein KI-Filmstudio offiziell vorgestellt, jetzt ist es als Beta öffentlich zugänglich. LTX Studio bietet eine per Browser zugängliche Oberfläche, die alle Funktionen umfasst, um per KI ganz Filme zu produzieren - angefangen mit der Storyentwicklung über die (Pre-)Produktion bis hin zur Nachbearbeitung. Hierfür integriert LTX Studio KI-Tools fürs Drehbuch, Storyboarding, Casting (d.h. eine konsistente Charaktergeneration), Soundeffekte, Voiceover, Re-Lighting, Titling und automatischem Schnitt sowie natürlich für die Generierung von Videomaterial. LTX Studio verspricht dabei zwei wichtige Features, welche für KI-Filme unverzichtbar sind: Konsistenz und Kontrolle über die dargestellten Objekte.

Very excited to host a Q&A livestream with the @LTXStudio team tomorrow, but TODAY there&s also some great news: LTX is now OPEN to everyone and they&ve got some killer new features:

Face Motion Capture for AI Characters!

Character Dialogue

Keyframe Control

Canvas Inpainting… pic.twitter.com/f38wZAp9rZ

— Theoretically Media (@TheoMediaAI) August 20, 2024

Zum Start hat LTX Studio auch gleich noch fünf praktische Features bekommen, welche die Arbeit des virtuellen Filmemachers (oder der Filmemacherin) erleichtern sollen:

- Face Motion Capture ermöglicht die Animation eines virtuellen Gesichts durch echte Videoaufnahmen einer menschlichen Mimik (z.B. per Webcam), d.h. das Gesicht eines virtuellen Charakters kann so direkt wie per Puppenspiel animiert werden

- Start- und Endframe-Funktion bzw. Keyframe-Steuerung ermöglicht es Usern, das erste und letzte Bild eines Clips zu definieren und die KI dann den Übergang dazwischen generieren zu lassen.

- Charakterdialog per Synchronisation von Sprache und Lippenbewegungen der virtuellen Charaktere

- Kollaboration im Team in Echtzeit, um ein Projekt zu betrachten und zu bearbeiten

When we say we&re releasing new features to celebrate our public release, this is what we mean: pic.twitter.com/fkmQJsGfP7

— LTX Studio (@LTXStudio) August 22, 2024

Preis

Das Preissystem von LTX Studio ist etwas schwer nachzuvollziehen, denn gerechnet wird nach Computing Seconds, also der Zeit, welche eine ausgewählte KI-Funktion zur Berechnung benötigt. LTX Studio integriert jedoch viele verschiedene solcher Funktionen, wie etwa das Rendern von Videos, das Ändern von Kamerawinkeln oder das Hinzufügen von Aufnahmen zu einer Szene, die jeweils ganz unterschiedlich viel Prozessorpower (und damit indirekt Zeit) benötigen - wieviel, wird nicht angegeben. Auch ist diese Zeit natürlich relativ und hängt von der tatsächlich verfügbaren Rechenleistung ab. Ob diese Rechenleistung konstant ist und wie hoch der Verbrauch der "Computation Seconds" für jede Funktion jeweils ist, kann nur die Erfahrung zeigen. Zumindest bietet Lightricks auch einen freien Account zum Ausprobieren an, der über 3.800 Sekunden pro Monat verfügt - ein 8 Dollar pro Monat Account bietet 8.640, ein 35 Dollar Account dann 28.800 Sekunden.

Noch immer nicht reif für echte KI-Filme

Lightricks vereint in LTX Studio ein beeindruckendes Arsenal verschiedener KI-Tools unter einem Dach. Genutzt wird für die verschiedenen Funktionen eine Mischung aus Open Source Modellen, lizenzierten Diensten dritter Anbieter sowie eigene Technologie. Allerdings ähneln die erzeugten KI-Videos mit ihren maximal 4 Sekunden langen bewegten Bildern eher einer animierten Diashow als echtem Video und weisen immer noch böse Morphingartefakte auf, wie die unten eingebetteten Videos demonstrieren - leider hat diesbezüglich im Vergleich zu der Version vom April nicht viel verbessert.

Hier zeigt sich der deutliche qualitative Unterschied von Lightricks Video-KI (vermutlich Stable Video Diffusion) zu aktuell nutzbaren State-of-the-art Video-KIs, wie Runways Gen 3 oder Kling bezüglich der Bildqualität, Konsistenz der Objekte und ihrer Bewegungen.In Zukunft sollen aber per API auch andere Video-KIs integrierbar sein.

Wofür also kann man LTX Studio verwenden? Aufgrund der Qualität empfehlt sich das Tool aktuell eher für Storyboards, visuelle Konzepte oder kurze, surreale KI-Kurzfilmchen als fotorealistischen Content. Die bisherigen Democlips von LTX Studio haben eher den Charakter von seltsamen Filmtrailern als echten Filmen. Aber - das zeigt die rasende Entwicklung im Feld KI - diese Einschätzung kann sich schon in den nächsten Monaten und erst recht Jahren ändern. Auf jeden Fall demonstriert Lightricks mit LTX Studio, wie KI Filmmaking der Zukunft aussehen könnte, wenn alle Kinderkrankheiten ausgemerzt sind.

I didnt want to post this as my work,but here is @LTXStudio first look.I really love the setup,but the end product is not there yet.#LTXStudio pic.twitter.com/0iTJF9oeU6

— Richard A Drinkwater (@Richy_Rich_74) August 21, 2024

Made this animation of our startup journey. Too good not to share. @LTXStudio pic.twitter.com/3iLyPijT8X

— Atteo (@MozarellaPesto) August 21, 2024

Wettbewerb

Zum Start veranstaltet Lightricks auch gleich einen kleinen Filmwettbewerb namens Voices Unleashed, in dessen Rahmen Amazon-Geschenkgutscheine und Abos zu gewinnen sind. Gefragt sind mit LTX Studio erstellte Clips, welche u.a. die neue Lippensynchronisationsfunktion demonstrieren.