Logo Logo
/// News

Omnimatte: Nahezu perfekte Masken bewegter Objekte per KI

[12:14 Fr,27.August 2021 [e]  von ]    

Schon letztes Jahr erzielte ein DeepLearning Algorithmus von Forschern von Google und der Universität Oxford erstaunliche Ergebnisse beim Erkennen und gezielten Manipulieren von bewegten Objekten in einem Video. So konnten etwa Personen aus einem Video nahezu spurlos entfernt werden oder das Timing ihre Bewegungen geändert werden.





Eine neue Version des Algorithmus vom gleichen Team (plus Forschern vom israelischen Weizmann Institute of Science) liefert jetzt sogar noch bessere Resultate, weil nicht nur die Objekte, sondern auch deren sekundäre Effekte wie Schatten oder Reflexionen umfassender erkannt werden. So können Objekte sogar mitsamt den von ihnen verursachten komplexen dynamischen Effekten wie etwa Wellen sowie Staub- oder Rauchwolken aus bewegten Videos entfernt werden.

Omnimatte-examplexs


Ausgehend von einem Eingabevideo ("Original" im obigen Bild) und groben Masken der Objekte ("Input mask") erzeugt der Algorithmus eine sogeannte Omnimatte - eine Alphamatte "Omnimatte (alpha)" samt Vordergrundfarbe "Omnimatte (RGBA)", die die Person selbst sowie alle mit ihr verbundenen Szenenelemente enthält, sowie den Hintergrund ("Background"), ohne die ausgewählten Objekte und ihre sekundären Spuren im Bild.

Die Methode ermöglicht das sehr einfache Erstellen bewegter Masken / Layern von mehreren Objekten samt ihrer korrelierenden Spuren im Bild und dadurch auch deren simple Manipulation (wie etwa per Retiming) in einem Compositingprogramm. Die Möglichkeiten des intelligenten, objektbasierten Videoeditings und -compositings durch so einen Algorithmus sind gewaltig: so lassen sich - etwa zum Zweck einer besseren Bildkomposition - ganz einfach die Bewegungen von Objekten in einem Video nachträglich vollkommen verändern, Objekte aus dem Video entfernen oder vervielfachen (Stroboskop-Effekt) oder auch selektiv die Farben ändern.

Stroboskop-Effekt
Stroboskop-Effekt per Omnimatte


Wie gut die neue Methode funktioniert, kann auf der folgenden Seite geprüft werden, hier finden sich zahlreiche Videos mit unterschiedlichen Motiven, aus denen bewegte Objekte entfernt wurden. Die Studie selbst kann hier heruntergeladen werden - und hier der Programmcode.

Wie immer ist auch die neue Methode noch nicht perfekt und auch die Auflösung der Videos ist aufgrund der hohen benötigten Rechenleistung noch sehr gering - sie demonstrier aber schön die rasende Entwicklung im Bereich visueller KI Algorithmen.

Hier die Vorstellung der "Ominimatte"-Methode (auch im Vergleich zum Vorgänger) durch Two Minute Papers:



Link mehr Informationen bei omnimatte.github.io

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Axel    11:31 am 29.8.2021
Ja, die 2024 er Amtseinführung wird gerade gedreht. Natürlich glauben jetzt die MAGA-Vögel, dass der Deep State Omnimatte benutzt hat, um die hunderttausenden Feiernden von...weiterlesen
Christian Schmitt    11:15 am 29.8.2021
Meine Kinder wachsen im post-dokumentarischen Zeitalter auf. Ein Bild ist kein Dokument mehr, keine Abbildung- sondern eine manifestierte Vorstellung. Bei der nächsten...weiterlesen
hansito    13:43 am 27.8.2021
Gefährliche Entwicklung, einerseits gut, aber andererseits wartet die Missbrauchbranche (Regierungen) schon darauf.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildDokumentarfilm-Festival Longshots: Filme kostenlos anschauen und abstimmen bildTilta Kühlungsmodul für Canon R5/R6 ist jetzt tatsächlich erhältlich


verwandte Newsmeldungen:
Machine Learning:

KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren 20.September 2021
Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras 19.September 2021
Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI 6.September 2021
Per DeepFake selbst im Filmtrailer von "Reminiscene" mit Hugh Jackman mitspielen 22.August 2021
Nvidias KI erschafft noch realistischere Animationen von künstlichen Gesichtern 27.Juli 2021
Neue Parrot Anafi Ai Drohne kann per LTE geflogen werden 19.Juli 2021
Deep ja, Fake nein? Dokumentarfilmer läßt O-Töne von KI einsprechen 18.Juli 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Messenschraeg
9-13. Oktober / Las Vegas
NAB 2021
3-6. Dezember / Amsterdam
IBC 2021
weitere Termine von Messen, Schulungen und Roadshows


update am 22.September 2021 - 20:03
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*