slashCAM
Administrator
Administrator
Beiträge: 11262

Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von slashCAM » Fr 11 Nov, 2022 08:21


Blackmagic hat ein weiteres Update seiner beliebten Videosuite herausgebracht, das wieder einige neue Funktionen bietet. Die größten Neuigkeiten sind dabei verbesserte Pr...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes




Jörg
Beiträge: 9848

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Jörg » Fr 11 Nov, 2022 08:39

Die DaVinci Neural Engine AI beherrscht nun die Isolation von Stimmen mit Hilfe von künstlicher Intelligenz. Hiermit lassen sich effektiv Hintergrundgeräusche wie Publikumslärm, Verkehr, Flugzeuge oder auch Explosionen aus einem Audio Segment herausfiltern, damit die Sprache verständlicher wird.
wenn das Teil dann auch Windgeräusche separieren könnte....




freezer
Beiträge: 2959

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 08:53

Da sind noch andere interessante Schmankerl drin:

• Support for fractional display scaling for Windows and Linux.

YES!

• Support for subtitle track presets and per-track formatting rules.

YES!

• Drag media entries to auto smart bins to apply keyword, shot or scene.

YES!

• Ability to multi-select, delete and realign transitions.

Fusion:
• Up to 10x faster Text+ playback and render performance.

GPU ich hör Dich brennen :-D

Color:
• New Resolve FX Sky Replacement including generated sky textures.
• Ability to process alpha channel for supported Resolve FX in Color.
• Improved quality when tracking faces in profile or partial occlusion.

Performance
• Up to 2x faster optical flow performance in enhanced mode.
• Improved performance with RCM on Apple silicon.
Up to 5x faster face refinement tracking and analysis.
• Up to 5x faster Resolve FX object removal performance.
• Up to 2x faster sharper resize performance on Apple silicon.
Up to 4x faster spatial noise reduction performance.
Up to 30% faster temporal noise reduction performance.
Up to 5x faster video stabilization performance.
• Faster playback performance with large node graphs.
• Up to 2x faster decode performance for PIZ EXRs in Apple silicon.
• Improved RAW decode performance on Apple silicon.
• Up to 30% faster Nvidia accelerated playback for 8K H.265 clips.
• Up to 50% faster AV1 and H.265 encodes with dual Nvidia encoder.
• Improved startup time on Mac for users with many project libraries.
• OpenVINO accelerated AI-based Studio features in Windows Intel systems.

Und auch:
• Ability to copy and paste values when selecting virtual slider controls.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




pillepalle
Beiträge: 6180

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Fr 11 Nov, 2022 09:23

Wow! Ein paar ziemlich geniale und nützliche neue Features. Gerade auch was Audio betrifft. Ich dachte schon immer ich sei schnell in der Post, aber jetzt geht vieles noch schneller :)

VG
I can't explain and I don't even try.




-paleface-
Beiträge: 4008

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 09:49

Fusion Studio hat ein neues Feature bekommen.....direkt einen roten Kringel im Kalender gemacht.
:-D

Auf den Rest bin ich aber auch mal gespannt.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




macaw
Beiträge: 391

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von macaw » Fr 11 Nov, 2022 12:13

Auf dem ersten Blick läuft die Magic Mask in Fusion extrem viel langsamer als in der Farbkorrektur. Das Audio Denoise war bei mir unbrauchbar, kann aber an den Aufnahmen liegen, die relativ sauber waren, werde das aber nochmal richtig testen.




-paleface-
Beiträge: 4008

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 13:34

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




Spreeni
Beiträge: 323

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Spreeni » Fr 11 Nov, 2022 14:25

Bei mir sind nach dem Update die Custom Export Presets futsch. Musste meine Export Settings wieder alle neu anlegen. Also, seid gewarnt...




eXp
Beiträge: 222

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 15:01

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.




dienstag_01
Beiträge: 12170

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 15:17

eXp hat geschrieben:
Fr 11 Nov, 2022 15:01
Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.
Das hat aber nur wenige Jahre gedauert, bis das Hardwaredecoding von LongGOP-Material alle erreicht ;)




eXp
Beiträge: 222

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 16:47

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.




dienstag_01
Beiträge: 12170

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 16:59

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Das ist natürlich grauslig ;)




freezer
Beiträge: 2959

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 19:14

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Vielleicht ein NVIDIA-Treiber-Problem?
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




eXp
Beiträge: 222

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 20:14

Keine Ahnung, Treiber sind zumindest aktuell.




dienstag_01
Beiträge: 12170

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 21:11

Ich kann mir auch nicht vorstellen, dass das irgendeine Rolle spielt, dass der Speicher belegt ist.




eXp
Beiträge: 222

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Sa 12 Nov, 2022 00:29

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.




pillepalle
Beiträge: 6180

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Sa 12 Nov, 2022 10:49

Die beiden neuen Audiofeatures (Dialogue Leveler, Voice Isolation) funktionieren bei mir eigentlich ganz gut. Der Dialogue Leveler ist gut wenn man die Pegel nur schnell etwas angleichen möchte. Manuell ist das Ergebnis natürlich deutlich besser, aber dafür fummelt man dann auch länger dran herum. Mir wäre auch ein stufenloser Drehregler für die Reduktion/Anhebung lieber als die vier fixen Presets. Artefakte habe ich dabei keine, aber bei den stärkeren Einstellungen hört man hin und wieder, das die KI am Pegel gedreht hat (einfach im flaschen Moment gepegelt).

Die vier Einstellmöglichkeiten (Allow wider dynamics, Optimized for most sources, More lift for low levels, Lift soft whispery sources) kann man auch nur als Anhebung der leisen oder Reduzierung der lauten Passagen ausführen, je nachdem ob die Schalter Reduce loud dialogue bzw. Lift soft dialogue an oder ausgeschaltet sind. Man hat also prinzipiell 7 verschiedene Stufen/Einstellmöglichkeiten, von denen aber meiner Meinung nach eigentlich nur drei sinnvoll sind. Mit dem Output Gain hebt man den Pegel dann nur insgesamt an (verschiebt die graue Kurve bis zu 6dB nach oben) Der Schalter der Background Reduction spielte in meinen Beispielen keine wesentliche Rolle und sie hat Übersprechen/Crosstalk auch nicht als Background Noise bewertet.

Ein wenig verständlicher wird das vielleicht mit einem Beispiel und ein paar Bildern. Es gibt zwei Spuren eines Interviews und im Dialogue Leverer darunter sieht man an der grauen Kurve, was der Dialogue Leveler eigentlich mit dem Pegel macht. Dabei fällt auf, das man den Crosstalk bestenfalls nicht verstärken kann, aber nie wirklich reduzieren, was bei einem manuellen Eingriff natürlich möglich wäre.

In der Standarteinstellung (Optimized for most sources) werden laute Passagen reduziert und leise (und damit das Übersprechen) verstärkt.
Bild

Schaltet man den Schalter Lift soft dialogue aus, dann werden in der Einstellung nur die lauten Passagen reduziert.
Bild

Bei der Einstellung Allow Wider Dynamics ist der Effekt (Reduktion/Anhebung) geringer.
Bild

In der Einstellung Lift for low Levels werden nur die leisen Passagen verstärkt.
Bild

Und in der Einstellung Lift soft whispery sources werden die lauten Passagen reduziert und die leisen erhöht.
Bild

VG
I can't explain and I don't even try.




dienstag_01
Beiträge: 12170

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Sa 12 Nov, 2022 12:54

eXp hat geschrieben:
Sa 12 Nov, 2022 00:29
Naja, es läuft dann halt nichts in der Timeline mehr flüssig.
Ok, das lässt natürlich auf ein grundsätzliches Problem schließen.
Prinzipiell hat der Video Clean Feed keine andere Abhängigkeit vom Grafikspeicher als die anderen Ausgabemöglichkeiten der Oberfläche.
Also, mehr Grafikspeicher wird dafür im Normalfall nicht benötigt.




Bruno Peter
Beiträge: 4265

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Bruno Peter » Sa 12 Nov, 2022 14:36

Gleichzeitige Restaurierung mir Automatic Dirt Removal und Deflicker
wird jetzt auf meinem PC mit 12 FPS exportiert, davor ist es mit 19,5 FPS gerendert worden.
** S8-Hobbyfilmer seit 1970, Video seit 1988, Schmalfilmdigitalisierer seit 2007 **
** Aktuelle Hauptkamera: Sony ZV-1 & Zhiyun Crane M2 Gimbal, HDR(HLG) 4K **
http://www.videoundbild.de/




eXp
Beiträge: 222

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » So 20 Nov, 2022 06:37

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Ok, die Lösung war einfacher als gedacht.

Beim Zocken habe ich immer Riva Tuner Statistics mit laufen, da ich es nicht ausgemacht habe lief es auch in DaVinci immer mit und das hat mir dann bei der Nutzung von Video Clean Feed den VRam vollgehauen.
Mache ich es aus funktioniert alles perfekt.




freezer
Beiträge: 2959

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Mi 23 Nov, 2022 08:19

-paleface- hat geschrieben:
Fr 11 Nov, 2022 13:34
Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
Heute kam das Update auf 18.1.1 mit Bugfixes u.a. für die Voice Isolation:

What's new in DaVinci Resolve 18.1.1
• Support for Blackmagic RAW SDK 2.8.
• Preferences option to manually set display scaling on Windows.
• Addressed an issue with incorrect clip thumbnails on some systems.
• Addressed keyboard shortcuts for switching primaries.
• Addressed an issue rendering MXF clips with embedded captions.
• Addressed audio drops and artefacts when using voice isolation.
• Addressed audio clicks when monitoring after changing EQ type.
• Addressed a Text3D issue with characters with intersections.
• Addressed an issue importing tracking data in Fusion.
• Addressed an issue evaluating Group or Macro tool expressions.
• Addressed an issue with Text+ on old CPUs.
• General performance and stability improvements.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Manta, Manta - Zwoter Teil — Til Schweiger/Michael David Pate/Miguel Angelo Pate
von Map die Karte - Fr 15:59
» BRAW Toolbox - Blackmagic RAW Import in FCPX ab Montag verfügbar
von Gummibando - Fr 15:46
» Frage zum workflow CineMatch + Adobe Premiere
von dienstag_01 - Fr 14:48
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Darth Schneider - Fr 14:40
» Spaß mit NVIDIAs neuem Blickkontakt-Effekt: Robert De Niro schaut Dir in die Augen
von Darth Schneider - Fr 13:57
» Jetzt auch für Resolve (Mac): Automatische Transkription von Simon Says
von dienstag_01 - Fr 13:41
» BRAW Toolbox für FCPX
von R S K - Fr 12:36
» MacBook Pro 16“ M2 Max im Performance-Test mit ARRI, Canon, Sony, Panasonic, Blackmagic …
von slashCAM - Fr 12:21
» Okay, ich denke das mit der AI ist jetzt offiziell durch
von Funless - Fr 10:45
» Sony a7s iii AF pumpt
von Pianist - Fr 10:31
» Videoleuchte mit DMX Steuerung – Rollei Lumen 150
von Darth Schneider - Fr 10:08
» Neue Apple Mac mini und MacBook Pro Modelle mit M2, M2 Pro und M2 Max
von Frank Glencairn - Fr 9:00
» Nosferatu — Robert Eggers
von Map die Karte - Fr 6:06
» Visuelles Dubbing per KI macht jeden Schauspieler zum Mehrfach-Muttersprachler
von Frank Glencairn - Do 23:37
» Mobiles Live-Streaming?
von DAF - Do 22:59
» VEGAS 20 Update 2 bringt zahlreiche Neuerungen plus Rabattaktion
von dokta_ALK - Do 22:14
» Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage
von tom - Do 18:41
» Welchsel auf L-Mount: EF-Linsen & Adapter Sigma MC21 vs Viltrox vs Commlite AdapterCM EF L?
von Darth Schneider - Do 18:34
» Canon entwickelt 4K-Bildsensor mit 148 dB Dynamik (24 Blendenstufen) - aber nicht für Filmer
von slashCAM - Do 16:15
» importing/converting .mov in Premiere Pro 2021 FAILED ! Only Audio visible
von Jott - Do 15:42
» Panasonic GH6 und Atomos Shogun Connect in der (Cloud)Praxis: Proxy-Upload mit LTE-Handy vom Set?
von Darth Schneider - Do 15:37
» Neuer KI-Effekt NVIDIA Eye Contact: Bye bye Teleprompter?
von Alex - Do 15:01
» Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?
von dienstag_01 - Do 12:32
» Sennheiser MKH 8060 im ersten Test: Die neue slashCAM Audio-Referenz? Inkl. MKH 416 Vergleich
von Darth Schneider - Do 11:57
» Magic Nodes: Endlich Node-Compositing in After Effects
von -paleface- - Do 11:50
» Workflow Interviews
von funkytown - Do 11:47
» Was schaust Du gerade?
von Darth Schneider - Do 10:49
» Portable Samsung T7 Shield NVMe-SSD jetzt auch mit 4 TB
von slashCAM - Do 10:30
» Medienstudierende für internationales Stiftungsprojekt gesucht.
von Darth Schneider - Do 10:16
» Topaz Video Enhance AI 3.0: Neue KI-Funktionen und großer Preisrabatt
von medienonkel - Do 7:54
» Musik-Video - Timeline Organisation / Vorgehensweise in Premiere
von Darth Schneider - Do 4:21
» Mikrofon mit XLR (z.B. Rode Reporter) an Klinkeneingang mit "MIC-Power"?
von Blackbox - Mi 21:37
» Musikvideo Was davon ist echt?
von Heinrich123 - Mi 19:17
» Da gab es doch diesen Film...?
von klusterdegenerierung - Mi 18:33
» DER GIMBAL THREAD
von Darth Schneider - Mi 16:24
 
neuester Artikel
 
Test: MacBook Pro M2 Max

Mit dem neuen M2 Max Prozessor stell Apple seinen bislang leistungsstärksten Notebook-Prozessor vor. Mit jetzt 12 CPU- und 38 GPU-Kernen tritt Apples aktuellstes Unified Memory-Design an, nochmal mehr Performance für die Bereiche Videoschnitt, Compositing und Farbkorrektur zur Verfügung zu stellen. Wie dieser Performance-Zuwachs in der Schnitt-Praxis aussieht, klärt unser erster Test des neuen MacBook Pro mit M2 Max Prozessor mit diversem 10-16 Bit Videomaterial weiterlesen>>

Test: Sennheiser MKH 8060

Die 8000er Serie stellt die aktuellste Version von Sennheisers weit etablierter, professioneller MKH-Serie dar. Innerhalb des 8000er Mikrofon-Portfolios ordnet Sennheiser dem (aktuell kaum verfügbaren) MKH 8060 Richtrohrmikrofon die Anwendungsbereiche Spiel- und Dokumentarfilm, Outdoor- sowie Studioaufnahmen zu. Damit darf es durchaus auch als moderne Variante des Sennheiser MKH 416 gelten, das nach wie vor das Richtrohr-Referenzmikrofon bei slashCAM darstellt - Zeit für eine neue Referenz? weiterlesen>>