Jetzt mit Topaz, Luma und Pika Neu in Adobe Firefly - Sound Effects, Kompositionsvorlagen und mehr

Adobe kündigt eine umfassende Aktualisierung seines Firefly KI-Videomodells an - unter anderem soll es eine verbesserte Bewegungstreue bei den generierten Videos geben, und es lassen sich nun auch Soundeffekte zu den Videos generieren. Darüber hinaus erhalten Anwender Zugang zu weiteren Video-KIs und deutlich mehr kreative Kontrolle beim Erstellen der KI-Videos dank neuer Funktionen wie Kompositionsreferenz, Style Presets oder Cropping Tools.

Generate Sound Effects (Beta)

Eine Sneak Preview auf KI-generierte Sounds (Project Super Sonic) hatte Adobe schon auf der MAX-Konferenz im Oktober 2024 gegeben. Nun kommt die Möglichkeit, direkt in der Firefly Web-App passende Soundeffekte zu den errechneten Videoclips generieren zu lassen, als Beta-Tool in der App hinzu. Die gewünschten Sounds können dabei einfach nur per Prompt beschrieben oder auch selbst vorgemacht werden: Denn es lassen sich kurze Stimmaufnahmen einsprechen oder hochladen, an deren Timing und Intensität sich Firefly dann orientiert. Die generierten SoundFX-Schnipsel liegen jeweils einzeln vor und können gekürzt oder auf separaten Spuren miteinander kombiniert werden. Auch für die AFX-Sounds garantiert Adobe übrigens einen kommerziell sicheren Einsatz.

Weitere Videomodelle von Drittanbietern

Bei den unterstützten Videomodellen werden demnächst die Bild- und Video-Upscaler von Topaz und Marey von Moonvalley in Firefly Boards eingeführt, während Luma AI Ray 2 sowie Pika 2.2 (die bereits in Boards enthalten sind) bald auch in Generate Video verfügbar sein werden.

Denn eine praktische Besonderheit von Adobe Firefly ist ja die Möglichkeit, beim Generieren auch KI-Modelle von anderen Anbietern nutzen zu können, allen voran das klassenbeste Google Veo 3. Dies ist gleich doppelt clever, denn Anwender müssen sich so nicht lauter verschiedene KI-Abos zulegen, sondern können unter einer Oberfläche immer jeweils jenes aussuchen, das eine Aufgabe am besten löst, und gleichzeitig kann Adobe immer hochwertige Videoresultate anbieten, ohne mit dem eigenen Modell ganz oben mitmischen zu müssen.

Tatsächlich scheint auch das nun aktualisierte Modell trotz verbesserter Bewegungsauflösung vor allem im Bereich Landschaften, Tiere und Animationen zu punkten. Realistische Menschendarstellungen, wie sie etwa Veo3 mittlerweile gut hinbekommt, gehören eher nicht zu den Stärken (sonst würde Adobe sicherlich entsprechende Beispiele zeigen). Solange man über Firefly Zugang zu anderen Video-KIs bekommt, lässt sich dies eher verschmerzen, auch wenn nur beim Adobe-eigenen Modell sichergestellt ist, dass der generierte Output aufgrund des streng kontrollierten Trainingsmaterials kommerziell verwendbar ist, ohne das Risiko, irgendwelche Rechte zu verletzen.

Erweiterte Videokontrolle

Neue Werkzeuge bei der Videogenerierung sollen eine präzisere Kontrolle über die errechneten Bilder bieten. So lässt sich nun auch bei Adobe ein Videoclip als Kompositionsvorlage hochladen. Bei der Interpretation des Prompts übernimmt Firefly daraufhin die Bildkomposition aus dem Referenzvideo.

Per Style-Presets lassen sich ferner typische Looks für ein Video vorgeben, etwa Schwarz/Weiß, Claymation, Anime, Lineart oder 2D. Beim Hochladen von gewünschten Start- und Endframes lassen sich diese nun direkt in Firefly frei zuschneiden.

Text to Avatar (Beta)

Ein weiterer neuer Modus bei der Videogenerierung stellt Text-to-Avatar dar. Damit können Clips erstellt werden, in denen ein Textskript von einer Figur (einem Avatar) präsentiert wird. Dafür wählt man sich eine Avatar-Vorlage aus, passt den Hintergrund mit einer Farbe, einem Bild oder einem Video an und wählt noch einen Akzent aus, mit dem gesprochen werden soll.

Enhance Prompt

Zu guter Letzt stellt Adobe noch die Funktion "Enhance Prompt" zur Verfügung. Sie soll Anwenderprompts optimieren durch eindeutigere Formulierungen, damit die Firefly-KI die Anweisungen besser umsetzen kann.