Seit letztem Herbst bietet Krotos - spezialisiert auf Sounddesign-Software und Effektbibliotheken - die Funktion Video-to-Sound an, mit der sich Foley-Sounds automatisch, aber bildgenau einem Video hinzufügen lassen sollen. Zum Start wurden nur Ambient-Geräusche unterstützt, nun sind Schritte und Stoffgeräusche hinzugekommen. Allerdings ist das ganze noch immer in Beta.
Das Video-to-Sound-Feature ist KI-basiert, jedoch kommt laut Krotos keine generative KI zum Einsatz - statt dessen werden die Clips von KI-Algorithmen visuell analysiert. In einem zweiten Schritt werden dann echt aufgenommene Sounds aus der Library angepasst auf Bewegungen, Tempo und Szenenkontext und dann den Bildern hinzugefügt.
Dies soll bei kurzen Social-Media-Clips ebenso wie bei 10-minütigen Filmen funktionieren, qualitativ allerdings auch abhängig vom jeweiligen Videomaterial. Anwender behalten dabei die kreative Kontrolle, denn das resultierende Audiomaterial kann anschließend in einer DAW oder einem NLE weiterverarbeitet werden.
Werden etwa Schrittgeräusche benötigt, lässt sich zunächst eine geeignete Lauffläche auswählen wie Fliesen, Kies, Holz oä., woraufhin Krotos professionell aufgenommene Schrittgeräusche entsprechend anpasst. Voraussetzung sind dafür sichtbare menschliche Figuren im Bildausschnitt mit klarer Körperhaltung und -bewegung, vollständige oder teilweise Sichtbarkeit des Körpers, moderate Bewegungsgeschwindigkeit und gut beleuchtete Motive.
// Top-News auf einen Blick:
- Bis zu 1.600 Euro Rabatt auf Kameras und Objektive von Canon, Sony, Panasonic
- Blackmagic DaVinci Resolve 20.3.2 verbessert das Trimmen, Magic-Mask und mehr
- Automatisch Cinematisch? Video-KI Seedance 2.0 setzt neue Maßstäbe
- Nächste Gaming-Konsolen mit viel Workstation Potential
- Blackmagic PYXIS 12K in der Praxis: RAW-Preiskracher mit klassenbester Auflösung und Slowmo
- Die besten DSLMs für Video 2026: Blackmagic, Sony, Nikon, Canon ... welche Kamera wofür?
Die Schrittgeräusche können anschließend als MIDI exportiert werden, um das Timing innerhalb von Krotos Studio oder einer anderen DAW zu verfeinern. Ähnlich soll es mit raschelnder Kleidung funktionieren.
Die Vertonung soll kommerziell bedenkenlos genutzt werden können, da nur speziell angefertigte und lizenzierte Soundschnipsel verwendet werden. Allerdings sollte man nicht vergessen, dass eine echte Foley-Vertonung eine Kunst für sich ist - siehe dazu auch unseren Bericht über Sound-Design und Foley.
Die Video-to-Sound-Plattform ist browserbasiert und angeblich verfügbar für Abonnenten aller Stufen von Krotos Studio; tatsächlich sehen wir die Funktion jedoch nur beim Pro- und MAX-Abo für 23,33 bzw. 83,33 Euro gelistet mit 100 Videos à 5 Minuten bzw. 200 à 10 Minuten. Neue Anwender bekommen eine Testgenerierung kostenlos.
