Resolve: Umgekehrte Voice Isolation möglich? "Ambient only" ?

[rush]

Nabend!

In Resolve ist es ja wie in anderen NLE's mittlerweile relativ problemlos möglich die Stimme von störenden Geräuschen zu "isolieren".

Aber: Geht das eigentlich auch "out of the box" andersherum, sprich wenn man eigentlich nur etwas mehr Atmosphäre haben möchte - aber diese zum Beispiel diffus aus dem Hintergrund von anderen Leuten zugelabert wurde zum Zeitpunkt der Aufnahme?

Kann das Resolve? Mir würd quasi eine Art "Atmo Isolation" vorschweben...
Falls nicht: Wäre das nicht eine durchaus sinnvolle Ergänzung?

Ich würde ansonsten wahrscheinlich am Ende mit anderen "KI Tools" mein Glück versuchen um die Atmo elegant in einem Rutsch von fremden Stimmen zu befreien - aber so direkt im NLE wäre das natürlich ziemlich nice.

[macaw]

Völlig unmöglich. Das ist, als wolltest Du einen roten Klecks entfernen, der die ganze Zeit auf der Linse war, der alles überdeckt, so wie die Stimme im Ton, alles andere...

[rush]

Völlig unmöglich. Das ist, als wolltest Du einen roten Klecks entfernen, der die ganze Zeit auf der Linse war, der überdeckt, so wie die Stimme im Ton, alles andere...

Ehrlich gesagt funktionieren einige KI Tools bei z.B. Liedern schon ganz "okayisch" - und extrahieren die einzelnen Stems, sprich Sprache getrennt von den Instrumenten etc... Natürlich nicht immer perfekt je nach Ausgangsmaterial - aber prinzipiell würde ich das gar nicht ganz so "rot" sehen wie Du es es mit dem Klecks darstellst. Denn auch diesen könnte eine Bild-KI entsprechend durch Annäherung der umliegenden Pixel vermutlich halbwegs retuschieren, je nachdem wie groß und wieviel Umfeld noch vorhanden ist. Bei Standbildern klappt das doch auch ziemlich passabel - für Video ist es dann halt deutlich komplexer.

[macaw]

Völlig unmöglich. Das ist, als wolltest Du einen roten Klecks entfernen, der die ganze Zeit auf der Linse war, der überdeckt, so wie die Stimme im Ton, alles andere...

Ehrlich gesagt funktionieren einige KI Tools bei z.B. Liedern schon ganz "okayisch" - und extrahieren die einzelnen Stems, sprich Sprache getrennt von den Instrumenten etc... Natürlich nicht immer perfekt je nach Ausgangsmaterial - aber prinzipiell würde ich das gar nicht ganz so "rot" sehen wie Du es es mit dem Klecks darstellst. Denn auch diesen könnte eine Bild-KI entsprechend durch Annäherung der umliegenden Pixel vermutlich halbwegs retuschieren, je nachdem wie groß und wieviel Umfeld noch vorhanden ist. Bei Standbildern klappt das doch auch ziemlich passabel - für Video ist es dann halt deutlich komplexer.

Die Stem-Separation habe ich auch schon erlebt, u.a. ganz aktuell in den Akai MPCs, sehr beeindruckend! Dort dürfte es sehr gelegen kommen, daß Bass, Percussion, Vocals und Melodien meist im selben Frequenzspektrum liegen und entsprechend trainiert werden konnten.

Wenn der rote Klecks wie von Dir geschildert über umliegende Pixel oder KI generiert werden (was ich beides dauernd in der Postpro mache) sind das vollkommen neue/fiktive Bilder. Auf den Ton übertragen würde man dann die Atmo künstlich generieren...

[rush]

Also ich habe kurzerhand mal die ersten Minuten dreckiger "Atmo" aus Resolve extrahiert und dem "Splitter" auf vocalremover.org zugeführt um zu schauen ob da was ginge.

Wenn ich dort den Vocal und Music Regler entsprechend "mute" - dafür Bass und Drums entsprechend mische, ergibt das zwar keine richtig "schöne" Atmo - aber die Sprachfetzen + Kindergeräusche im Hintergrund sind nun praktisch weg, genau wie die Musik die teilweise zu hören gewesen ist. Klingt jetzt teilweise nen bissl als wäre eine Baustelle entfernt zu vernehmen und etwas synthetisch - aber immerhin!

Tatsächlich ist das für mich ein Workaround in diesen Fall... später kommt dann noch ein Voice-Over "on top" sodass die Atmo eh nur bei wenigen dB zappelt - aber etwas Original-Atmo der Geräte um die es ging sollten halt möglichst trotzdem ohne Gebrabbel erhalten bleiben.

Auch klar: Es ist immer besser bereits bei der Aufnahme für eine entsprechend akustische Umgebung zu sorgen - in dem Fall war das aber 'ne spontane Dreh-Nummer im Freundeskreis Ende letzten Jahres und nicht anders zu realisieren - daher kam heute die Frage zur "umgekehrten" Sprachisolation auf.

Nervig war eher das Resolve sich etwas zickig anstellte die "Stems" (egal ob wav oder mp3) im Anschluss entsprechend zu importieren - das klappte erst über den Media-Tab.
Sonst generiere ich einfach im Edit Tab ein neues Bin und klicke per Rechtsklick auf "Import Media" (weil ich es ja nicht per Drap & Drop hineinziehen soll wie ich gelernt habe...) Aber über diesen Weg hat Resolve die Files nicht gefressen und einfach gar nichts getan. Über den Media-Tab habe ich mich dann in den entsprechenden Ordner gehangelt und dort klappte der Import dann auch problemlos.

[cantsin]

@rush kann man für das, was Du suchst, nicht einfach eines der zahllose KI-Tools verwenden, die Stimmen aus Musikaufnahmen entfernen?

[rush]

Das habe ich dann ja letzten Endes auch auch getan.

Hätte ja nur sein können das eine solche Funktion mittlerweile auch in Resolve wohnt - was aber nicht der Fall ist.

[Frank Glencairn]

Izotope und Vocalremover haben "invert" Buttons für sowas.
Es gibt auch ein "Roomtone" plugin, das die Atmo isoliert - ich komm aber gerade nicht auf den Namen.

[rush]

Völlig unmöglich. Das ist, als wolltest Du einen roten Klecks entfernen, der die ganze Zeit auf der Linse war, der alles überdeckt, so wie die Stimme im Ton, alles andere...

In der Beta von Resolve 19 ist exakt diese umgekehrte Voice Isolation Funktion die ich mir wünschte nun bereits "out of the box" per Checkbox und Slider verfügbar... Das nur nochmal ergänzend zu Deiner "völlig unmöglich" Aussage von Anfang des Jahres.

Video (getimed)



Ziemlich beeindruckend auch die im Anschluss gezeigte "Music Remixer" Funktion die man bereits von einigen AI Anbietern kennt und entsprechende Stems erzeugt... auch das geht nun scheinbar direkt innerhalb von Resolve. Nice.