Wer gerne Videoclips per KI generiert, aber Probleme hat, die Geräusche zur Untermalung zu finden, kann sich über eine neue Funktion der Video-KI Dream Machine freuen. Per Video-to-Audio kann automatisch die passende Sounduntermalung für ein Video erzeugt werden. Die entsprechenden Geräusche werden entweder vollautomatisch generiert, oder wenn man mehr Kontrolle über das Ergebnis ausübern möchte, auch nach genaueren Vorgaben per Prompt.
Die generierten Sounds decken dabei einen großen Bereich ab, wie schon im Demo-Video zu ahnen ist; sie reichen von Pistolenschüssen über Hintergrundgeräusche wie das Rauschen von Wellen oder Wind bis hin zu den Tönen von Instrumenten und ganzen Soundtracks.
Bisher war Pika die einzige Video-KI, die eine Video-to-Audio-Funktion Soundeffekte von Pika schon seit rund einem Jahr integriert hat. Nutzer anderer Video-KIs nutzen bisher gerne die Audio-KIs MMAudio oder ElevenLabs, welche die Freiheit bieten, zu einem beliebigen hochgeladenen Video – egal aus welcher Quelle – automatisch passende Soundeffekte zu erzeugen. Googles DeepMind hatte eine entsprechende V2A-Funktion schon vor rund einem Jahr vorgestellt, aber zur Veröffentlichung von Veo 2 vor wenigen Tagen war eine entsprechende Funktion noch nicht integriert.
Die neue Funktion ist ab sofort für alle Nutzer von Luma kostenlos verfügbar; sie kann anscheinend vorerst nur für per Dream Machine selbst generierte Videos genutzt werden, nicht für Clips aus einer anderen Quelle.
More fun with #DreamMachine Audio. Here are 8 more examples showcasing its incredible capabilities! @LumaLabsAI pic.twitter.com/NTkOQh7WcT
— fAIkout (@fAIkout) February 24, 2025
This is #DreamMachine Audio with Action Scenes
— Christopher Fryant (@cfryant) February 24, 2025
Behold: the MOST fun I&ve ever had with AI with these amazing, over-the-top action movie / first person shooter game sequences!
Created w/@LumaLabsAI
Added a music track, but everything else you hear is from Luma pic.twitter.com/9lvdLq8pvf
