slashCAM
Administrator
Administrator
Beiträge: 11262

Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von slashCAM » Fr 11 Nov, 2022 08:21


Blackmagic hat ein weiteres Update seiner beliebten Videosuite herausgebracht, das wieder einige neue Funktionen bietet. Die größten Neuigkeiten sind dabei verbesserte Pr...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes




Jörg
Beiträge: 9776

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Jörg » Fr 11 Nov, 2022 08:39

Die DaVinci Neural Engine AI beherrscht nun die Isolation von Stimmen mit Hilfe von künstlicher Intelligenz. Hiermit lassen sich effektiv Hintergrundgeräusche wie Publikumslärm, Verkehr, Flugzeuge oder auch Explosionen aus einem Audio Segment herausfiltern, damit die Sprache verständlicher wird.
wenn das Teil dann auch Windgeräusche separieren könnte....




freezer
Beiträge: 2919

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 08:53

Da sind noch andere interessante Schmankerl drin:

• Support for fractional display scaling for Windows and Linux.

YES!

• Support for subtitle track presets and per-track formatting rules.

YES!

• Drag media entries to auto smart bins to apply keyword, shot or scene.

YES!

• Ability to multi-select, delete and realign transitions.

Fusion:
• Up to 10x faster Text+ playback and render performance.

GPU ich hör Dich brennen :-D

Color:
• New Resolve FX Sky Replacement including generated sky textures.
• Ability to process alpha channel for supported Resolve FX in Color.
• Improved quality when tracking faces in profile or partial occlusion.

Performance
• Up to 2x faster optical flow performance in enhanced mode.
• Improved performance with RCM on Apple silicon.
Up to 5x faster face refinement tracking and analysis.
• Up to 5x faster Resolve FX object removal performance.
• Up to 2x faster sharper resize performance on Apple silicon.
Up to 4x faster spatial noise reduction performance.
Up to 30% faster temporal noise reduction performance.
Up to 5x faster video stabilization performance.
• Faster playback performance with large node graphs.
• Up to 2x faster decode performance for PIZ EXRs in Apple silicon.
• Improved RAW decode performance on Apple silicon.
• Up to 30% faster Nvidia accelerated playback for 8K H.265 clips.
• Up to 50% faster AV1 and H.265 encodes with dual Nvidia encoder.
• Improved startup time on Mac for users with many project libraries.
• OpenVINO accelerated AI-based Studio features in Windows Intel systems.

Und auch:
• Ability to copy and paste values when selecting virtual slider controls.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




pillepalle
Beiträge: 6024

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Fr 11 Nov, 2022 09:23

Wow! Ein paar ziemlich geniale und nützliche neue Features. Gerade auch was Audio betrifft. Ich dachte schon immer ich sei schnell in der Post, aber jetzt geht vieles noch schneller :)

VG
I can't explain and I don't even try.




-paleface-
Beiträge: 3957

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 09:49

Fusion Studio hat ein neues Feature bekommen.....direkt einen roten Kringel im Kalender gemacht.
:-D

Auf den Rest bin ich aber auch mal gespannt.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




macaw
Beiträge: 334

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von macaw » Fr 11 Nov, 2022 12:13

Auf dem ersten Blick läuft die Magic Mask in Fusion extrem viel langsamer als in der Farbkorrektur. Das Audio Denoise war bei mir unbrauchbar, kann aber an den Aufnahmen liegen, die relativ sauber waren, werde das aber nochmal richtig testen.




-paleface-
Beiträge: 3957

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 13:34

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




Spreeni
Beiträge: 323

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Spreeni » Fr 11 Nov, 2022 14:25

Bei mir sind nach dem Update die Custom Export Presets futsch. Musste meine Export Settings wieder alle neu anlegen. Also, seid gewarnt...




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 15:01

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.




dienstag_01
Beiträge: 12057

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 15:17

eXp hat geschrieben:
Fr 11 Nov, 2022 15:01
Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.
Das hat aber nur wenige Jahre gedauert, bis das Hardwaredecoding von LongGOP-Material alle erreicht ;)




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 16:47

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.




dienstag_01
Beiträge: 12057

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 16:59

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Das ist natürlich grauslig ;)




freezer
Beiträge: 2919

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 19:14

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Vielleicht ein NVIDIA-Treiber-Problem?
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 20:14

Keine Ahnung, Treiber sind zumindest aktuell.




dienstag_01
Beiträge: 12057

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 21:11

Ich kann mir auch nicht vorstellen, dass das irgendeine Rolle spielt, dass der Speicher belegt ist.




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Sa 12 Nov, 2022 00:29

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.




pillepalle
Beiträge: 6024

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Sa 12 Nov, 2022 10:49

Die beiden neuen Audiofeatures (Dialogue Leveler, Voice Isolation) funktionieren bei mir eigentlich ganz gut. Der Dialogue Leveler ist gut wenn man die Pegel nur schnell etwas angleichen möchte. Manuell ist das Ergebnis natürlich deutlich besser, aber dafür fummelt man dann auch länger dran herum. Mir wäre auch ein stufenloser Drehregler für die Reduktion/Anhebung lieber als die vier fixen Presets. Artefakte habe ich dabei keine, aber bei den stärkeren Einstellungen hört man hin und wieder, das die KI am Pegel gedreht hat (einfach im flaschen Moment gepegelt).

Die vier Einstellmöglichkeiten (Allow wider dynamics, Optimized for most sources, More lift for low levels, Lift soft whispery sources) kann man auch nur als Anhebung der leisen oder Reduzierung der lauten Passagen ausführen, je nachdem ob die Schalter Reduce loud dialogue bzw. Lift soft dialogue an oder ausgeschaltet sind. Man hat also prinzipiell 7 verschiedene Stufen/Einstellmöglichkeiten, von denen aber meiner Meinung nach eigentlich nur drei sinnvoll sind. Mit dem Output Gain hebt man den Pegel dann nur insgesamt an (verschiebt die graue Kurve bis zu 6dB nach oben) Der Schalter der Background Reduction spielte in meinen Beispielen keine wesentliche Rolle und sie hat Übersprechen/Crosstalk auch nicht als Background Noise bewertet.

Ein wenig verständlicher wird das vielleicht mit einem Beispiel und ein paar Bildern. Es gibt zwei Spuren eines Interviews und im Dialogue Leverer darunter sieht man an der grauen Kurve, was der Dialogue Leveler eigentlich mit dem Pegel macht. Dabei fällt auf, das man den Crosstalk bestenfalls nicht verstärken kann, aber nie wirklich reduzieren, was bei einem manuellen Eingriff natürlich möglich wäre.

In der Standarteinstellung (Optimized for most sources) werden laute Passagen reduziert und leise (und damit das Übersprechen) verstärkt.
Bild

Schaltet man den Schalter Lift soft dialogue aus, dann werden in der Einstellung nur die lauten Passagen reduziert.
Bild

Bei der Einstellung Allow Wider Dynamics ist der Effekt (Reduktion/Anhebung) geringer.
Bild

In der Einstellung Lift for low Levels werden nur die leisen Passagen verstärkt.
Bild

Und in der Einstellung Lift soft whispery sources werden die lauten Passagen reduziert und die leisen erhöht.
Bild

VG
I can't explain and I don't even try.




dienstag_01
Beiträge: 12057

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Sa 12 Nov, 2022 12:54

eXp hat geschrieben:
Sa 12 Nov, 2022 00:29
Naja, es läuft dann halt nichts in der Timeline mehr flüssig.
Ok, das lässt natürlich auf ein grundsätzliches Problem schließen.
Prinzipiell hat der Video Clean Feed keine andere Abhängigkeit vom Grafikspeicher als die anderen Ausgabemöglichkeiten der Oberfläche.
Also, mehr Grafikspeicher wird dafür im Normalfall nicht benötigt.




Bruno Peter
Beiträge: 4263

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Bruno Peter » Sa 12 Nov, 2022 14:36

Gleichzeitige Restaurierung mir Automatic Dirt Removal und Deflicker
wird jetzt auf meinem PC mit 12 FPS exportiert, davor ist es mit 19,5 FPS gerendert worden.
** S8-Hobbyfilmer seit 1970, Video seit 1988, Schmalfilmdigitalisierer seit 2007 **
** Aktuelle Hauptkamera: Sony ZV-1 & Zhiyun Crane M2 Gimbal, HDR(HLG) 4K **
http://www.videoundbild.de/




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » So 20 Nov, 2022 06:37

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Ok, die Lösung war einfacher als gedacht.

Beim Zocken habe ich immer Riva Tuner Statistics mit laufen, da ich es nicht ausgemacht habe lief es auch in DaVinci immer mit und das hat mir dann bei der Nutzung von Video Clean Feed den VRam vollgehauen.
Mache ich es aus funktioniert alles perfekt.




freezer
Beiträge: 2919

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Mi 23 Nov, 2022 08:19

-paleface- hat geschrieben:
Fr 11 Nov, 2022 13:34
Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
Heute kam das Update auf 18.1.1 mit Bugfixes u.a. für die Voice Isolation:

What's new in DaVinci Resolve 18.1.1
• Support for Blackmagic RAW SDK 2.8.
• Preferences option to manually set display scaling on Windows.
• Addressed an issue with incorrect clip thumbnails on some systems.
• Addressed keyboard shortcuts for switching primaries.
• Addressed an issue rendering MXF clips with embedded captions.
• Addressed audio drops and artefacts when using voice isolation.
• Addressed audio clicks when monitoring after changing EQ type.
• Addressed a Text3D issue with characters with intersections.
• Addressed an issue importing tracking data in Fusion.
• Addressed an issue evaluating Group or Macro tool expressions.
• Addressed an issue with Text+ on old CPUs.
• General performance and stability improvements.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Weiteres RED Patent im Zusammenhang mit komprimiertem RAW
von Funless - Sa 9:32
» Fragen zu: Boom-Pole und MKE-600
von pillepalle - Sa 9:32
» Das ist mal ein wedding Video!
von gunman - Sa 9:27
» Bildstabi und Stativ
von soulbrother - Sa 9:24
» Kamera für Bühnenshow
von Darth Schneider - Sa 9:24
» KI macht´s möglich: Fake-Filmstills von Fritz Langs Star Wars, Jodorowskys Tron, Peter Jacksons Batman und mehr
von Darth Schneider - Sa 7:06
» Blackmagic DaVinci Resolve für iPad Pro: Ultramobiler Videoschnitt mit Farbkorrektur
von Bilderspiele - Sa 5:57
» Was hast Du zuletzt gekauft?
von ruessel - Sa 4:10
» Die Drei Musketiere - D'Artagnan (Les trois mousquetaires: D'Artagnan) — Martin Bourboulon/Matthieu Delaporte
von Map die Karte - Fr 20:06
» Bitrate beim Rendern
von blueplanet - Fr 18:34
» Was schaust Du gerade?
von 7River - Fr 16:39
» Manta, Manta - Zwoter Teil — Til Schweiger/Michael David Pate/Miguel Angelo Pate
von RUKfilms - Fr 15:16
» Neues Musikvideo shot on Blackmagic 6K
von Magnetic - Fr 14:47
» DJI Mini 3 vorgestellt: billige Einsteigerdrohne mit neuem Flugzeitrekord
von slashCAM - Fr 14:33
» DJI Mini 3 in der Praxis: Günstiger Einstieg in führerscheinfreie Drohne (C0-Specs) ab 439 Euro
von slashCAM - Fr 14:00
» Sony FR7 erhält als erste PTZ-Kamera Netflix Zertifizierung
von Darth Schneider - Fr 13:40
» Analog Aufnahme mit Pinnacle DV500 DVD
von vaio - Fr 13:13
» Aktuelle Cashbacks und Rabatte Dezember 2022
von slashCAM - Fr 11:33
» RED Rhino V-Raptor 8K S35 mit Canon RF-Mount für 19.500,- Dollar
von Jott - Fr 11:27
» Namensgebung und Marketing für Filmfirmen
von Darth Schneider - Fr 11:21
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Fr 10:08
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Fr 10:06
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Fr 10:04
» Großes Update für DJI Osmo Action 3 bringt Aufnahme in 10 Bit und in HDR
von Jörg - Fr 10:03
» Erste C1 Drohnen-Zertifikate für DJI Mavic 3 und Mavic 3 Cine
von klusterdegenerierung - Fr 9:13
» Update Blackmagic Ursa
von Maxups - Fr 4:57
» Timeline-Einstellung dauerhaft ändern?
von klusterdegenerierung - Do 18:10
» Photoshop für Videos? Pixelmator Pro 3.2 bekommt Video Editing / Compositing Layer
von ksingle - Do 15:54
» Video8/Hi8 digitalisieren - Welchen dieser Camcorder benutzen?
von Jott - Do 15:46
» Frame.io Camera-to-Cloud Beta für RED V-RAPTOR & V-RAPTOR XL verfügbar
von slashCAM - Do 15:00
» Aus dem Uncanny Valley mitten ins Herz
von markusG - Do 14:45
» Datenschutz mal anders...... in der Wasseruhr.
von markusG - Do 13:47
» -SONY FX- Erfahrungsaustausch
von klusterdegenerierung - Do 11:58
» Actioncam um die 200 eur, günstig nicht Billig, zum Spinnfischen und SUP
von vobe49 - Do 8:32
» Avatar: The Way of Water - offizieller Teaser Trailer
von 7River - Do 6:47
 
neuester Artikel
 
DJI Mini 3 in der Praxis

Mit der DJI Mini 3 stellt DJI eine abgespeckte Variante seiner (mittlerweile) recht umfassend ausgestatteten DJI Mini 3 Pro zur Seite - und dies quasi zum halben Preis. Die neue DJI Mini 3 verfügt über den gleichen 12 MP 1/1.3-inch CMOS wie die Pro-Version, zeichnet in max 4K 30p oder 2.7K 60p auf und bietet alle QuickShot-Funktionen direkt vom Verlaufsstart ab. Hier unser erster Test mit der neuen DJI Mini 3 in der Fly-More Combo. weiterlesen>>

Cashbacks und Rabatte Dezember 2022

Der Black Friday ist zwar vorbei, doch es gibt von verschiedenen Herstellern spezielle Weihnachtsrabattaktionen. Zudem laufen noch einige Cashback und auch Black Friday Aktionen weiter, mit deren Hilfe man beim Kauf von Weihnachtsgeschenken (für sich oder andere) sparen kann. weiterlesen>>