Adobe teasert Firefly für Video auf der NAB 2023

Letzten Monat hat Adobe Firefly vorgestellt und passend zur NAB 2023 öffnet Adobe nun dieses Fass auch für Bewegtbilder.

Trotz der rasanten Entwicklungen der letzten Wochen muss man dabei realistisch bleiben - denn es handelt sich bei den präsentierten Visionen (noch?) nicht um die prompt-basierte Generierung von ganzen Clips mit Diffusionsmodellen - wie bei der ersten Standbildversion von Firefly.

Vielmehr zeigt Adobe konkrete Beispiele, wie eine Integration von KI-Tools in Premiere in naher Zukunft aussehen könnte:

In dem NAB Teaser-Video zeigt Adobe folgende möglichen Szenarien:

Text-zu-Farbe-Änderungen. Über einfache Textbefehle lassen sich Farbschemata, die Tageszeit oder sogar die Jahreszeiten in bereits aufgenommenen Videos verändern.

Hinzufügen von "sichtbaren" Sounds. Anhand der erkannten Szene schlägt Firefly passende Atmo-Sounds vor.

Schriftarten, Texteffekte, Grafiken und Logos. Über eine Promtbeschreibung können Untertitel, Logos und Titelkarten sowie benutzerdefinierte kontextbezogene Animationen automatisch erstellt werden.

Leistungsstarke Skript- und B-Roll-Funktionen. Durch eine KI-Analyse könnten Arbeitsabläufe in der Vorproduktion, Produktion und Postproduktion teil-automatisiert werden. So ließen sich beispielsweise aus Storyboards Vorvisualisierungen erstellen oder automatisch B-Roll-Clips suchen, die zum gesprochenen Text passen.

Noch im Laufe dieses Jahres sollen laut Blog die ersten generativen KI-Funktionen für Video, Audio und (Grafik-)Animation eingeführt werden.