Soundeffekte automatisiert Krotos veröffentlicht Video-to-Sound-Plugin für DaVinci Resolve Studio

Nachdem es im Juni zunächst für Adobe Premiere Pro erschien, hat der schottische Sounddesign-Spezialist Krotos nun sein KI-gestütztes Plugin "Video to Sound", mit dem sich Foley-Sounds automatisch zu einem Video hinzufügen lassen, auch für Blackmagics DaVinci Resolve Studio veröffentlicht. Das Tool soll dabei helfen, im Schnittprogramm schnell einen ersten Rohschnitt mit videosynchronen Soundeffekten aus der umfassenden Audiobibliothek von Krotos zu erzeugen.

KI für Bildanalyse, aber nicht generativ

Krotos betont, dass KI nur zur Analyse des Videos eingesetzt wird, um per Objekterkennung zu analysieren, welcher Sound an welcher Stelle in der Timeline platziert werden soll. Die genutzten Soundeffekte selbst sind nicht mithilfe von generativer KI erzeugt, sondern stammen aus einer kuratierten Bibliothek realer Tonaufnahmen - entweder von eigenen Sounddesignern oder sie sind entsprechend lizenziert und können so bedenkenlos kommerziell genutzt werden. Die Videodaten der Nutzer fließen ausdrücklich nicht ins KI-Training ein.

Das soll bei kurzen Social-Media-Clips ebenso wie bei 10-minütigen Filmen funktionieren, qualitativ allerdings auch abhängig vom jeweiligen Videomaterial. Anwender behalten dabei die kreative Kontrolle, denn das resultierende Audiomaterial kann anschließend in einer DAW oder einem NLE weiterverarbeitet werden.

Noch werden nicht alle Arten von Soundeffekten unterstützt, zum Start des Resolve-Plugins deckt die Integration folgende Kategorien ab:

- Ambiences (Atmo)

- Whooshes

- Riser

- Transitions

- Impacts

- Geräusche von Kleidung und Stoffen

Schritte, die im Premiere-Plugin bereits verfügbar sind, sowie gezielte Spot-Effekte sollen in einem künftigen Update nachgereicht werden - ohne Aufpreis für bestehende Abonnenten.

Krotos positioniert das Tool als Ausgangspunkt für den kreativen Prozess und nicht als Ersatz für professionelles Sounddesign: Es soll helfen, einen Rohschnitt schnell mit passenden Effekten zu versehen, um so die Wirkung der Bilder mitsamt SFX testen zu können. Professionelle Sounddesigner können später dann die Effekte noch nachkalibrieren und durch noch passendere ersetzen.

Wie funktioniert es?

Anwender markieren einen Bereich auf der Resolve-Timeline und wählen die gewünschten Sound-Kategorien aus. Dieser Bereich wird dann analysiert und die passenden Audioclips danach automatisch synchron auf separaten, frei editierbaren Spuren positioniert. So kann jeder Effekt anschließend leicht verschoben, ersetzt, in der Lautstärke angepasst oder durch eigenes Material ergänzt werden.

Effekte austauschen

Passt ein platzierter Effekt nicht zur Szene, muss nicht manuell nach Alternativen gesucht werden: Das Plugin erlaubt den Austausch einzelner Sounds bei erhaltener Synchronität. Der Tausch erfolgt im "Results"-Tab, der sich automatisch nach Abschluss der Analyse öffnet.

Abo-Preis und Verfügbarkeit

Zwei Caveats für den Einsatz bestehen aber: Das Plugin funktioniert nur in der kostenpflichtigen DaVinci Resolve Studio, die kostenlose Basisversion unterstützt die dafür nötigen Workflow-Schnittstellen nicht.

Zudem ist ein Krotos-Studio-Account samt Abo notwendig. Es gibt die Abo-Stufen Krotos Studio (50 Video-to-Sound Einsätze für 9,99 Euro pro Monat), Studio Pro (100 Video-to-Sound Einsätze für 23,33 Euro pro Monat) und Studio Max (200 Video-to-Sound Einsätze für 83,33 Euro pro Monat). Neue Anwender bekommen eine Testgenerierung kostenlos. Mit einem Abo können sowohl das Adobe Premiere- und Blackmagic DaVinci Resolve-Plugin als auch das Webinterface zur Vertonung genutzt werden.