Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

[slashCAM]

Blackmagic hat ein weiteres Update seiner beliebten Videosuite herausgebracht, das wieder einige neue Funktionen bietet. Die größten Neuigkeiten sind dabei verbesserte Pr...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

[Jörg]

Die DaVinci Neural Engine AI beherrscht nun die Isolation von Stimmen mit Hilfe von künstlicher Intelligenz. Hiermit lassen sich effektiv Hintergrundgeräusche wie Publikumslärm, Verkehr, Flugzeuge oder auch Explosionen aus einem Audio Segment herausfiltern, damit die Sprache verständlicher wird.

wenn das Teil dann auch Windgeräusche separieren könnte....

[freezer]

Da sind noch andere interessante Schmankerl drin:

• Support for fractional display scaling for Windows and Linux.

YES!

• Support for subtitle track presets and per-track formatting rules.

YES!

• Drag media entries to auto smart bins to apply keyword, shot or scene.

YES!

• Ability to multi-select, delete and realign transitions.

Fusion:
• Up to 10x faster Text+ playback and render performance.

GPU ich hör Dich brennen :-D

Color:
• New Resolve FX Sky Replacement including generated sky textures.
• Ability to process alpha channel for supported Resolve FX in Color.
• Improved quality when tracking faces in profile or partial occlusion.

Performance
• Up to 2x faster optical flow performance in enhanced mode.
• Improved performance with RCM on Apple silicon.
• Up to 5x faster face refinement tracking and analysis.
• Up to 5x faster Resolve FX object removal performance.
• Up to 2x faster sharper resize performance on Apple silicon.
• Up to 4x faster spatial noise reduction performance.
• Up to 30% faster temporal noise reduction performance.
• Up to 5x faster video stabilization performance.
• Faster playback performance with large node graphs.
• Up to 2x faster decode performance for PIZ EXRs in Apple silicon.
• Improved RAW decode performance on Apple silicon.
• Up to 30% faster Nvidia accelerated playback for 8K H.265 clips.
• Up to 50% faster AV1 and H.265 encodes with dual Nvidia encoder.
• Improved startup time on Mac for users with many project libraries.
• OpenVINO accelerated AI-based Studio features in Windows Intel systems.

Und auch:
• Ability to copy and paste values when selecting virtual slider controls.

[pillepalle]

Wow! Ein paar ziemlich geniale und nützliche neue Features. Gerade auch was Audio betrifft. Ich dachte schon immer ich sei schnell in der Post, aber jetzt geht vieles noch schneller :)

VG

[-paleface-]

Fusion Studio hat ein neues Feature bekommen.....direkt einen roten Kringel im Kalender gemacht.
:-D

Auf den Rest bin ich aber auch mal gespannt.

[macaw]

Auf dem ersten Blick läuft die Magic Mask in Fusion extrem viel langsamer als in der Farbkorrektur. Das Audio Denoise war bei mir unbrauchbar, kann aber an den Aufnahmen liegen, die relativ sauber waren, werde das aber nochmal richtig testen.

[-paleface-]

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)

[Spreeni]

Bei mir sind nach dem Update die Custom Export Presets futsch. Musste meine Export Settings wieder alle neu anlegen. Also, seid gewarnt...

[eXp]

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.

[dienstag_01]

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.

Das hat aber nur wenige Jahre gedauert, bis das Hardwaredecoding von LongGOP-Material alle erreicht ;)

[eXp]

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.

[dienstag_01]

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.

Das ist natürlich grauslig ;)

[freezer]

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.

Vielleicht ein NVIDIA-Treiber-Problem?

[eXp]

Keine Ahnung, Treiber sind zumindest aktuell.

[dienstag_01]

Ich kann mir auch nicht vorstellen, dass das irgendeine Rolle spielt, dass der Speicher belegt ist.

[eXp]

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.

[pillepalle]

Die beiden neuen Audiofeatures (Dialogue Leveler, Voice Isolation) funktionieren bei mir eigentlich ganz gut. Der Dialogue Leveler ist gut wenn man die Pegel nur schnell etwas angleichen möchte. Manuell ist das Ergebnis natürlich deutlich besser, aber dafür fummelt man dann auch länger dran herum. Mir wäre auch ein stufenloser Drehregler für die Reduktion/Anhebung lieber als die vier fixen Presets. Artefakte habe ich dabei keine, aber bei den stärkeren Einstellungen hört man hin und wieder, das die KI am Pegel gedreht hat (einfach im flaschen Moment gepegelt).

Die vier Einstellmöglichkeiten (Allow wider dynamics, Optimized for most sources, More lift for low levels, Lift soft whispery sources) kann man auch nur als Anhebung der leisen oder Reduzierung der lauten Passagen ausführen, je nachdem ob die Schalter Reduce loud dialogue bzw. Lift soft dialogue an oder ausgeschaltet sind. Man hat also prinzipiell 7 verschiedene Stufen/Einstellmöglichkeiten, von denen aber meiner Meinung nach eigentlich nur drei sinnvoll sind. Mit dem Output Gain hebt man den Pegel dann nur insgesamt an (verschiebt die graue Kurve bis zu 6dB nach oben) Der Schalter der Background Reduction spielte in meinen Beispielen keine wesentliche Rolle und sie hat Übersprechen/Crosstalk auch nicht als Background Noise bewertet.

Ein wenig verständlicher wird das vielleicht mit einem Beispiel und ein paar Bildern. Es gibt zwei Spuren eines Interviews und im Dialogue Leverer darunter sieht man an der grauen Kurve, was der Dialogue Leveler eigentlich mit dem Pegel macht. Dabei fällt auf, das man den Crosstalk bestenfalls nicht verstärken kann, aber nie wirklich reduzieren, was bei einem manuellen Eingriff natürlich möglich wäre.

In der Standarteinstellung (Optimized for most sources) werden laute Passagen reduziert und leise (und damit das Übersprechen) verstärkt.


Schaltet man den Schalter Lift soft dialogue aus, dann werden in der Einstellung nur die lauten Passagen reduziert.


Bei der Einstellung Allow Wider Dynamics ist der Effekt (Reduktion/Anhebung) geringer.


In der Einstellung Lift for low Levels werden nur die leisen Passagen verstärkt.


Und in der Einstellung Lift soft whispery sources werden die lauten Passagen reduziert und die leisen erhöht.


VG

[dienstag_01]

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.

Ok, das lässt natürlich auf ein grundsätzliches Problem schließen.
Prinzipiell hat der Video Clean Feed keine andere Abhängigkeit vom Grafikspeicher als die anderen Ausgabemöglichkeiten der Oberfläche.
Also, mehr Grafikspeicher wird dafür im Normalfall nicht benötigt.

[Bruno Peter]

Gleichzeitige Restaurierung mir Automatic Dirt Removal und Deflicker
wird jetzt auf meinem PC mit 12 FPS exportiert, davor ist es mit 19,5 FPS gerendert worden.

[eXp]

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.

Ok, die Lösung war einfacher als gedacht.

Beim Zocken habe ich immer Riva Tuner Statistics mit laufen, da ich es nicht ausgemacht habe lief es auch in DaVinci immer mit und das hat mir dann bei der Nutzung von Video Clean Feed den VRam vollgehauen.
Mache ich es aus funktioniert alles perfekt.

[freezer]

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)

Heute kam das Update auf 18.1.1 mit Bugfixes u.a. für die Voice Isolation:

What's new in DaVinci Resolve 18.1.1
• Support for Blackmagic RAW SDK 2.8.
• Preferences option to manually set display scaling on Windows.
• Addressed an issue with incorrect clip thumbnails on some systems.
• Addressed keyboard shortcuts for switching primaries.
• Addressed an issue rendering MXF clips with embedded captions.
• Addressed audio drops and artefacts when using voice isolation.
• Addressed audio clicks when monitoring after changing EQ type.
• Addressed a Text3D issue with characters with intersections.
• Addressed an issue importing tracking data in Fusion.
• Addressed an issue evaluating Group or Macro tool expressions.
• Addressed an issue with Text+ on old CPUs.
• General performance and stability improvements.