slashCAM
Administrator
Administrator
Beiträge: 11262

Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von slashCAM » Fr 11 Nov, 2022 08:21


Blackmagic hat ein weiteres Update seiner beliebten Videosuite herausgebracht, das wieder einige neue Funktionen bietet. Die größten Neuigkeiten sind dabei verbesserte Pr...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes




Jörg
Beiträge: 9766

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Jörg » Fr 11 Nov, 2022 08:39

Die DaVinci Neural Engine AI beherrscht nun die Isolation von Stimmen mit Hilfe von künstlicher Intelligenz. Hiermit lassen sich effektiv Hintergrundgeräusche wie Publikumslärm, Verkehr, Flugzeuge oder auch Explosionen aus einem Audio Segment herausfiltern, damit die Sprache verständlicher wird.
wenn das Teil dann auch Windgeräusche separieren könnte....




freezer
Beiträge: 2918

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 08:53

Da sind noch andere interessante Schmankerl drin:

• Support for fractional display scaling for Windows and Linux.

YES!

• Support for subtitle track presets and per-track formatting rules.

YES!

• Drag media entries to auto smart bins to apply keyword, shot or scene.

YES!

• Ability to multi-select, delete and realign transitions.

Fusion:
• Up to 10x faster Text+ playback and render performance.

GPU ich hör Dich brennen :-D

Color:
• New Resolve FX Sky Replacement including generated sky textures.
• Ability to process alpha channel for supported Resolve FX in Color.
• Improved quality when tracking faces in profile or partial occlusion.

Performance
• Up to 2x faster optical flow performance in enhanced mode.
• Improved performance with RCM on Apple silicon.
Up to 5x faster face refinement tracking and analysis.
• Up to 5x faster Resolve FX object removal performance.
• Up to 2x faster sharper resize performance on Apple silicon.
Up to 4x faster spatial noise reduction performance.
Up to 30% faster temporal noise reduction performance.
Up to 5x faster video stabilization performance.
• Faster playback performance with large node graphs.
• Up to 2x faster decode performance for PIZ EXRs in Apple silicon.
• Improved RAW decode performance on Apple silicon.
• Up to 30% faster Nvidia accelerated playback for 8K H.265 clips.
• Up to 50% faster AV1 and H.265 encodes with dual Nvidia encoder.
• Improved startup time on Mac for users with many project libraries.
• OpenVINO accelerated AI-based Studio features in Windows Intel systems.

Und auch:
• Ability to copy and paste values when selecting virtual slider controls.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




pillepalle
Beiträge: 6017

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Fr 11 Nov, 2022 09:23

Wow! Ein paar ziemlich geniale und nützliche neue Features. Gerade auch was Audio betrifft. Ich dachte schon immer ich sei schnell in der Post, aber jetzt geht vieles noch schneller :)

VG
I can't explain and I don't even try.




-paleface-
Beiträge: 3956

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 09:49

Fusion Studio hat ein neues Feature bekommen.....direkt einen roten Kringel im Kalender gemacht.
:-D

Auf den Rest bin ich aber auch mal gespannt.
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




macaw
Beiträge: 333

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von macaw » Fr 11 Nov, 2022 12:13

Auf dem ersten Blick läuft die Magic Mask in Fusion extrem viel langsamer als in der Farbkorrektur. Das Audio Denoise war bei mir unbrauchbar, kann aber an den Aufnahmen liegen, die relativ sauber waren, werde das aber nochmal richtig testen.




-paleface-
Beiträge: 3956

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von -paleface- » Fr 11 Nov, 2022 13:34

Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion




Spreeni
Beiträge: 323

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Spreeni » Fr 11 Nov, 2022 14:25

Bei mir sind nach dem Update die Custom Export Presets futsch. Musste meine Export Settings wieder alle neu anlegen. Also, seid gewarnt...




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 15:01

Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.




dienstag_01
Beiträge: 12052

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 15:17

eXp hat geschrieben:
Fr 11 Nov, 2022 15:01
Also Voice Isolation funktioniert so schonmal sehr gut. Den Dialogue Leveler finde ich auch sehr praktisch, allerdings hat er noch Kanalprobleme mit dem Voice Isolator, einzeln funktioniert er sehr gut.

Und auch sehr deutlich spürbar ist die schnellere GPU Unterstützung für h.265, läuft butterweich in nativer 4K Auflösung, auch beim durchscrollen der Timeline. Da brauche ich jetzt keine Proxis in DNxHR mehr.
Das hat aber nur wenige Jahre gedauert, bis das Hardwaredecoding von LongGOP-Material alle erreicht ;)




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 16:47

Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.




dienstag_01
Beiträge: 12052

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 16:59

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Das ist natürlich grauslig ;)




freezer
Beiträge: 2918

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Fr 11 Nov, 2022 19:14

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Vielleicht ein NVIDIA-Treiber-Problem?
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Fr 11 Nov, 2022 20:14

Keine Ahnung, Treiber sind zumindest aktuell.




dienstag_01
Beiträge: 12052

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Fr 11 Nov, 2022 21:11

Ich kann mir auch nicht vorstellen, dass das irgendeine Rolle spielt, dass der Speicher belegt ist.




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » Sa 12 Nov, 2022 00:29

Naja, es läuft dann halt nichts in der Timeline mehr flüssig.




pillepalle
Beiträge: 6017

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von pillepalle » Sa 12 Nov, 2022 10:49

Die beiden neuen Audiofeatures (Dialogue Leveler, Voice Isolation) funktionieren bei mir eigentlich ganz gut. Der Dialogue Leveler ist gut wenn man die Pegel nur schnell etwas angleichen möchte. Manuell ist das Ergebnis natürlich deutlich besser, aber dafür fummelt man dann auch länger dran herum. Mir wäre auch ein stufenloser Drehregler für die Reduktion/Anhebung lieber als die vier fixen Presets. Artefakte habe ich dabei keine, aber bei den stärkeren Einstellungen hört man hin und wieder, das die KI am Pegel gedreht hat (einfach im flaschen Moment gepegelt).

Die vier Einstellmöglichkeiten (Allow wider dynamics, Optimized for most sources, More lift for low levels, Lift soft whispery sources) kann man auch nur als Anhebung der leisen oder Reduzierung der lauten Passagen ausführen, je nachdem ob die Schalter Reduce loud dialogue bzw. Lift soft dialogue an oder ausgeschaltet sind. Man hat also prinzipiell 7 verschiedene Stufen/Einstellmöglichkeiten, von denen aber meiner Meinung nach eigentlich nur drei sinnvoll sind. Mit dem Output Gain hebt man den Pegel dann nur insgesamt an (verschiebt die graue Kurve bis zu 6dB nach oben) Der Schalter der Background Reduction spielte in meinen Beispielen keine wesentliche Rolle und sie hat Übersprechen/Crosstalk auch nicht als Background Noise bewertet.

Ein wenig verständlicher wird das vielleicht mit einem Beispiel und ein paar Bildern. Es gibt zwei Spuren eines Interviews und im Dialogue Leverer darunter sieht man an der grauen Kurve, was der Dialogue Leveler eigentlich mit dem Pegel macht. Dabei fällt auf, das man den Crosstalk bestenfalls nicht verstärken kann, aber nie wirklich reduzieren, was bei einem manuellen Eingriff natürlich möglich wäre.

In der Standarteinstellung (Optimized for most sources) werden laute Passagen reduziert und leise (und damit das Übersprechen) verstärkt.
Bild

Schaltet man den Schalter Lift soft dialogue aus, dann werden in der Einstellung nur die lauten Passagen reduziert.
Bild

Bei der Einstellung Allow Wider Dynamics ist der Effekt (Reduktion/Anhebung) geringer.
Bild

In der Einstellung Lift for low Levels werden nur die leisen Passagen verstärkt.
Bild

Und in der Einstellung Lift soft whispery sources werden die lauten Passagen reduziert und die leisen erhöht.
Bild

VG
I can't explain and I don't even try.




dienstag_01
Beiträge: 12052

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von dienstag_01 » Sa 12 Nov, 2022 12:54

eXp hat geschrieben:
Sa 12 Nov, 2022 00:29
Naja, es läuft dann halt nichts in der Timeline mehr flüssig.
Ok, das lässt natürlich auf ein grundsätzliches Problem schließen.
Prinzipiell hat der Video Clean Feed keine andere Abhängigkeit vom Grafikspeicher als die anderen Ausgabemöglichkeiten der Oberfläche.
Also, mehr Grafikspeicher wird dafür im Normalfall nicht benötigt.




Bruno Peter
Beiträge: 4263

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von Bruno Peter » Sa 12 Nov, 2022 14:36

Gleichzeitige Restaurierung mir Automatic Dirt Removal und Deflicker
wird jetzt auf meinem PC mit 12 FPS exportiert, davor ist es mit 19,5 FPS gerendert worden.
** S8-Hobbyfilmer seit 1970, Video seit 1988, Schmalfilmdigitalisierer seit 2007 **
** Aktuelle Hauptkamera: Sony ZV-1 & Zhiyun Crane M2 Gimbal, HDR(HLG) 4K **
http://www.videoundbild.de/




eXp
Beiträge: 221

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von eXp » So 20 Nov, 2022 06:37

eXp hat geschrieben:
Fr 11 Nov, 2022 16:47
Ein nerviges Problem habe ich dafür jetzt aber, nutze ich Video Clean Feed auf einem zweiten Monitor kracht mir DaVinci meine 24GB VRam voll.
Ok, die Lösung war einfacher als gedacht.

Beim Zocken habe ich immer Riva Tuner Statistics mit laufen, da ich es nicht ausgemacht habe lief es auch in DaVinci immer mit und das hat mir dann bei der Nutzung von Video Clean Feed den VRam vollgehauen.
Mache ich es aus funktioniert alles perfekt.




freezer
Beiträge: 2918

Re: Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes

Beitrag von freezer » Mi 23 Nov, 2022 08:19

-paleface- hat geschrieben:
Fr 11 Nov, 2022 13:34
Also das Audio Tool hat noch ein paar Macken.

A: Hat es Resolve Crashen lassen als ich ein paar mal hin und her mit der Stärke geswitcht bin.
B: Kommt es zu einer Artefakt Bildung hat man keinerlei Eingriffsmöglichkeiten.
C: Wenn man den Dialog Leveler in Kombi mit der Isolation anwendet kommt es zu komischen Mono-Stereo switch Problemen.
D: Die Isolation funktioniert nur auf Clips die länger als 3 Sekunden dauern. Ist prinzipiell kein schlimmes Problem. Sollte man nur bedenken wenn man sein Files zerschneidet.

Aber prinzipiell waren da schon ein paar schöne Ergebnisse dabei muss ich sagen. Noch ein halbes Jahr Arbeit darein BMD dann flutscht das! :-)
Heute kam das Update auf 18.1.1 mit Bugfixes u.a. für die Voice Isolation:

What's new in DaVinci Resolve 18.1.1
• Support for Blackmagic RAW SDK 2.8.
• Preferences option to manually set display scaling on Windows.
• Addressed an issue with incorrect clip thumbnails on some systems.
• Addressed keyboard shortcuts for switching primaries.
• Addressed an issue rendering MXF clips with embedded captions.
• Addressed audio drops and artefacts when using voice isolation.
• Addressed audio clicks when monitoring after changing EQ type.
• Addressed a Text3D issue with characters with intersections.
• Addressed an issue importing tracking data in Fusion.
• Addressed an issue evaluating Group or Macro tool expressions.
• Addressed an issue with Text+ on old CPUs.
• General performance and stability improvements.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com




Social Media

       
 Aktuelle Beiträge [alle Foren]
 
» Datenschutz mal anders...... in der Wasseruhr.
von Bluboy - Do 3:39
» Analog Aufnahme mit Pinnacle DV500 DVD
von MK - Do 3:04
» Blackmagic DaVinci Resolve für iPad Pro: Ultramobiler Videoschnitt mit Farbkorrektur
von Blackbox - Do 0:55
» Video8/Hi8 digitalisieren - Welchen dieser Camcorder benutzen?
von StanleyK2 - Mi 22:33
» Gutes BTS
von Axel - Mi 22:30
» KI macht´s möglich: Fake-Filmstills von Fritz Langs Star Wars, Jodorowskys Tron, Peter Jacksons Batman und mehr
von Axel - Mi 21:48
» Photoshop für Videos? Pixelmator Pro 3.2 bekommt Video Editing / Compositing Layer
von Axel - Mi 20:09
» -SONY FX- Erfahrungsaustausch
von Axel - Mi 19:55
» Bezahlbarer Kopfhörer mit breiter Stereobasis gesucht.
von Blackbox - Mi 19:14
» Was schaust Du gerade?
von pillepalle - Mi 18:58
» Neu: Adobe Premiere Pro 23.1 und After Effects 23.1 bringen Verbesserungen
von -paleface- - Mi 17:38
» Weiteres RED Patent im Zusammenhang mit komprimiertem RAW
von iasi - Mi 17:37
» Sony FR7 erhält als erste PTZ-Kamera Netflix Zertifizierung
von DKPost - Mi 17:31
» Was hast Du zuletzt gekauft?
von ruessel - Mi 15:51
» Lightroom - Personen automatisch maskieren
von suchor - Mi 15:25
» Nvidia RTX 4080/90 Preissenkung, Konkurrent AMD RX 7900 XT(X) startet in Kürze
von Gore - Mi 11:40
» Bildschirmvergrößerung/Fokushilfe A7s III
von nahmo - Mi 11:28
» Photoshop - Fotos automatisch restaurieren
von Alex - Mi 11:20
» Fujifilm x-s10 blinkt rot Sensorreinigung
von lemmisart - Mi 10:35
» Foto- vs. Filmobjektive.
von andieymi - Mi 10:23
» Welche Bitrate bei Videos ist sinnvoll?
von SHIELD Agency - Mi 10:23
» 3-Chip DLP-Laserprojektor für "Projection Mapping"
von ruessel - Mi 9:25
» Colorist Andrew Daniel: DaVinci Resolve Studio
von ruessel - Mi 8:54
» Bluetooth Mikrofon -Hörgeschädigte
von gunman - Mi 8:51
» Dungeons & Dragons: Ehre unter Dieben
von Map die Karte - Mi 5:56
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Serien nicht Filme
von Map die Karte - Mi 5:54
» Nach dem Trailer zu urteilen, könnte das doch was werden — Für Games
von Map die Karte - Mi 5:53
» Nach dem Trailer zu urteilen, könnte der doch was werden
von Map die Karte - Mi 5:52
» LUTs in Alpha speichern ?
von Zizi - Mi 2:33
» DJI Mini 3: Neue Einsteiger-Drohne im Anflug
von klusterdegenerierung - Di 19:02
» Sony A7S III erste Erfahrungen, Bugs, Problemlösungen,...
von Axel - Di 17:49
» Hamburg Open - Kleiner aber feiner Medientechnik-Branchentreff im Januar
von slashCAM - Di 15:06
» Sorbische Musikvideos
von Frank Glencairn - Di 11:26
» Fuji X-S10 in OVP, Garantie 10/23, Ausl. 5.700
von Jörg - Di 11:24
» Verkaufe Mavic Air Combo
von hock jürgen - Di 11:18
 
neuester Artikel
 
Fake-Filmstills per KI

Die neuen bildgenerierenden KIs bescheren dem Genre "Was wäre wenn...?" ganz neue Möglichkeiten - ein eigenes Subgenre hat sich in der Community der Bild-KI Midjourney gebildet, in welchem User die verschiedensten Möglichkeiten durchspielen, wie berühmte Filme ausgesehen hätten, wenn sie von einem anderen Regisseur, mit einem völlig anderen visuellen Stil gedreht worden wären. weiterlesen>>

Neues RAW Patent von RED

RED wurde ein weiteres Patent im Zusammenhang mit komprimiertem RAW erteilt. Womit die Firma wohl weitere Lizenzeinnahmequellen in neuen Geräteklassen erschließen will... weiterlesen>>