Adobe erweitert seine Kreativ-Plattform Firefly jetzt auch um KI-generierte lizenzfreie Soundeffekte. User haben so eine Alternative zu klassischen Soundbibliotheken, um ihre Videos mit passenden Geräuschen zu untermalen. Der Vorteil der Echtzeitgenerierung per KI: es müssen nicht erst viele Sounds durchgehört werden, sondern es kann ein gewünschtes Geräusch gezielt beschrieben, erzeugt und feingesteuert werden - auch Töne, die in keiner Bibliothek vorkommen.
Über den neuen, webbasierten "Sound Effect Generator" (Beta) können in Firefly beliebige Klänge wie etwa der von zerspringendem Glas, das Brüllen eines Löwen oder fernes Donnergrollen per Prompt, mit Hilfe eines hochgeladenen Referenz-Sounds oder auch durch eine eigene Mikrofonaufnahme generiert - sie können auch in mehreren Tonspuren zu komplexen Backgroundsounds kombiniert werden.
SFX mit Feinabstimmung
Herzstück der neuen Funktionen ist ein spezielles KI-Modell, das auf Basis verschiedener Arten von Input (Text, Tonaufnahme, Referenzdatei) neue Soundeffekte synthetisiert und das vermutlich auf MultiFoley beruht, einem Projekt, das Adobe zusammen mit der Universität von Michigan vor rund einem halben Jahr veröffentlicht hatte. Eine Besonderheit ist die Möglichkeit, Timing, Lautstärke und Intensität der erzeugten Soundeffekte durch eigene Aufnahme besonders fein abzustimmen.
Dabei beschreibt man das gewünschte Geräusch zunächst per Textprompt und ahmt es dann per Stimmodulation vage nach, etwa durch Summen. So können Soundeffekte viel präziser als durch ein reines Textinput kontrolliert werden. Das erinnert an die Drumbeat-KI TRIA, die das Klopfen oder Beatboxing des Users in Schlagzeug-Tracks verwandelte – ebenfalls ein Projekt von Adobe Research, das vermutlich auch in die neue SFX-KI eingeflossen ist.
// Top-News auf einen Blick:
- Nanlite pico - neues, kompaktes Vollfarben-LED-Panel für die mobile Videoproduktion
- Kamera- & Objektivangebote: Bis zu 1.000€ Rabatt bei Nikon, Canon & Co
- DJIs Mic 3 Funkmikro kommt bald zusammen mit der Osmo 360 Kamera
- Konkurrenz für IMAX - Neues HDR-Premiumkinoformat Vue Epic für Europa
- GoPro MAX 2 gesichtet und DJI Osmo 360 komplett geleakt
Arbeit in der Timeline
Der Soundeffektgenerator ist eingebunden in die Bedienoberfläche von Firefly - so können neue Soundeffekte erzeugt und gleich in der Timeline eines Firefly Videos als Soundspur genutzt werden. Dank mehrerer Tonspuren lassen sich auch mehrere Soundeffekte überlagern – passend zur jeweiligen Aktion im Video. Neue SFX können wahlweise im WAV-Format (reines Audio) oder MP4 (Video mit Ton) exportiert werden.
Und andere Video-KIs?
Firefly folgt mit seiner neuen SFX-Funktion anderen Video-KIs wie Pika, Kling oder Veo 3, wobei letztere zwei hervorstechen mit der Möglichkeit, passende Töne (Veo 3 sogar samt Stimme) zu einem Video auch ganz automatisch zu erzeugen. Und auch der KI-Stimmspezialist Elevenlabs bietet eine Soundeffekt-KI schon seit ca. 1 Jahr an. Die Möglichkeit des Feintunings mittels eigener Töne ist allerdings eine Besonderheit der neuen Firefly SFX-KI, die speziell für Kreative, die schon eine Vorstellung davon haben, wie die neuen Geräusche klingen sollen, attraktiv sein dürfte.
Lizenzfrei
Die per Adobe Firefly generierten Soundeffekte können für die kommerzielle Nutzung lizenzfrei verwendet werden, vorausgesetzt, die User halten sich an die Richtlinien von Adobe und das produzierte Audio wird mit der kommerziell freigegebenen Version von Firefly entwickelt. Wie schon bei seiner Bild-KI begründet Adobe die besondere Rechtssicherheit der generierten Inhalte damit, dass die hauseigene KI - anders als alle anderen - nur mit Material trainiert wurde, für das Adobe die Nutzungsrechte besitzt (u. a. per Adobe Stock) sowie mit offen lizenzierten und gemeinfreien Werken. Dadurch ist ausgeschlossen, dass urheberrechtlich geschützte Bilder ohne Erlaubnis verwendet wurden.
Der neue Firefly Soundeffektgenerator ist im Rahmen eines Adobe Firefly oder auch Creative Cloud Abos ab sofort nutzbar.
