Logo Logo
/// News

Video Editing per KI läßt Objekte verschwinden und ersetzt Hintergründe

[13:06 Fr,21.Januar 2022 [e]  von ]    

Ein Team aus Forschern des israelischen Weizmann Institute of Science sowie Adobe Research hat einen interessanten neuen Algorithmus vorgestellt, der einen weiteren Meilenstein auf dem Weg zum einfachen, auch von Anfängern zu handhabenden objektbasierten Videoediting per KI darstellt.





Der Algorithmus analysiert das Inputvideo und zerlegt es in Vordergrund(objekte) und Hintergrund. Das Besondere ist dabei, dass der Algorithmus aus dem 2D-Video ein Verständnis der Objekte und ihrer Zusammenhänge im Raum entwickelt und so einzelne Objekte und den Hintergrund räumlich korrekt manipulieren kann, inklusive ua. bei Okklusionen, also wenn ein bewegtes Objekts kurzzeitig verdeckt wird.

Stylized


Dadurch wird es ganz einfach, zum Beispiel den Hintergrund eines Videos auszutauschen, (bewegte) Objekte im Vordergrund zu manipulieren (auch etwa - wie im Beispielvideo zu sehen - den Stoff eines Kleides unter Einbeziehung eines sich beim Gehen ändernden Faltenwurfs) oder ganz klassisch Objekte aus einem Video gezielt zu entfernen. Der Algorithmus kommt dabei auch mit den sich durch Bewegungen ergebenden Änderungen des Hinter- oder Vordergrunds zurecht, sogar einer bewegten Wasserfläche oder dynamischen Spiegelungen und Schattenwurf.

Solche eigentlich komplexen Manipulationen lassen sich dank der neuen Methode durch ein simples Editieren eines einzigen Bildes des Hintergrunds oder des Vordergrunds ausführen - die Anpassungen an Perspektive oder Bewegungen erledigt dann der Algorithmus.

Ship


Noch ist die Methode nicht perfekt, aber schon besser und vor allem deutlich einfacher und universeller zu handhaben als bisherige Lösungen. Sollte sie in Zukunft noch weiter optimiert werden, könnte dieser Algorithmus vielleicht in vielen Fällen das traditionelle Chroma-Keying per Greenscreen ersetzen.

Neuro-Path


Adobe hat im Rahmen seiner KI-Sensei Technologie ja schon bewiesen, dass interessante KI-Forschung im Bereich Video auch in Consumer-Software wie Adobes Premiere Pro einfließen kann, wie zum Beispiel beim nachträglichen Ändern von Mimiken oder bei der Transkription von Dialogen. Wir sind also gespannt, wann die neue Technik reif für den Einsatz zum Beispiel in Premiere Pro sein wird. Ihr Potenzial, komplizierte Aufgaben in der Videobearbeitung zu vereinfachen, ist jedenfalls groß.

Und hier noch die Vorstellung des neuen Algorithmus durch 2 Minute Papers:



Link mehr Informationen bei layered-neural-atlases.github.io

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSamsung Odyssey Neo G Monitor mit Quantum Mini LED Display und 2.000 nits Helligkeit bildKostenloses Einsteigertraining-Webinar für DaVinci Resolve von Blackmagic


verwandte Newsmeldungen:
Montage:

Audio Design Desk 1.9: Echtzeit-Editing Tool für Sound-Effekte jetzt mit neuen Funktionen und Lite Version 15.Januar 2022
Magix Vegas 19 verfügbar - u.a. mit BRAW Editing und Text-to-Speech 19.August 2021
Audio Design Desk 1.7: Echtzeit-Editing Tool für SFX jetzt mit DAW Synchronisation 18.Juli 2021
Alter, Geschlecht oder Mimik eines Gesichts per KI Photo Editing ändern 4.April 2021
Blackmagic DaVinci Resolve 17 - neue Farb-Tools, schnelleres Editing, massives Audio-Update 9.November 2020
Apple: iPad Air mit A14 Bionic CPU: Noch mehr Leistung für Echtzeit 10 Bit H.265 4:2:2 Editing? 17.September 2020
Revolutionäres Echtzeit-Editing Tool Audio Design Desk für Sound-Effekte mit kostenloser Version 22.Mai 2020
alle Newsmeldungen zum Thema Montage

Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning

Videoschnitt:

Magix Video Pro X14 mit neuer "Highspeed"-Timeline verfügbar 20.Mai 2022
Adobe Premiere Pro Update 22.4 bringt 10x schnelleren 4:2:0-HEVC Export 12.Mai 2022
NAB 2022 Interview: Camera to Cloud, Frame IO und Premiere Pro 2.Mai 2022
NAB 2022 Tutorialclip/Interview: Wie funktioniert Frame.IO in Premiere Pro? 28.April 2022
Kamera-App FiLMiC Pro bekommt Unterstützung für Frame.io Camera-to-Cloud 22.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
Adobe Premiere Pro und After Effects April-Updates - Frame.io Integration, Auto Color und mehr 12.April 2022
alle Newsmeldungen zum Thema Videoschnitt


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 21.Mai 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*