[12:14 Fr,27.August 2021 [e] von Thomas Richter] |
Schon
Eine neue Version des Algorithmus vom gleichen Team (plus Forschern vom israelischen Weizmann Institute of Science) liefert jetzt sogar noch bessere Resultate, weil nicht nur die Objekte, sondern auch deren sekundäre Effekte wie Schatten oder Reflexionen umfassender erkannt werden. So können Objekte sogar mitsamt den von ihnen verursachten komplexen dynamischen Effekten wie etwa Wellen sowie Staub- oder Rauchwolken aus bewegten Videos entfernt werden. ;) Ausgehend von einem Eingabevideo ("Original" im obigen Bild) und groben Masken der Objekte ("Input mask") erzeugt der Algorithmus eine sogeannte Omnimatte - eine Alphamatte "Omnimatte (alpha)" samt Vordergrundfarbe "Omnimatte (RGBA)", die die Person selbst sowie alle mit ihr verbundenen Szenenelemente enthält, sowie den Hintergrund ("Background"), ohne die ausgewählten Objekte und ihre sekundären Spuren im Bild. Die Methode ermöglicht das sehr einfache Erstellen bewegter Masken / Layern von mehreren Objekten samt ihrer korrelierenden Spuren im Bild und dadurch auch deren simple Manipulation (wie etwa per Retiming) in einem Compositingprogramm. Die Möglichkeiten des intelligenten, objektbasierten Videoeditings und -compositings durch so einen Algorithmus sind gewaltig: so lassen sich - etwa zum Zweck einer besseren Bildkomposition - ganz einfach die Bewegungen von Objekten in einem Video nachträglich vollkommen verändern, Objekte aus dem Video entfernen oder vervielfachen (Stroboskop-Effekt) oder auch selektiv die Farben ändern. ;) Stroboskop-Effekt per Omnimatte Wie gut die neue Methode funktioniert, kann auf der folgenden  Seite geprüft werden, hier finden sich zahlreiche Videos mit unterschiedlichen Motiven, aus denen bewegte Objekte entfernt wurden. Die Studie selbst kann hier heruntergeladen werden - und hier der Programmcode. Wie immer ist auch die neue Methode noch nicht perfekt und auch die Auflösung der Videos ist aufgrund der hohen benötigten Rechenleistung noch sehr gering - sie demonstrier aber schön die rasende Entwicklung im Bereich visueller KI Algorithmen. Hier die Vorstellung der "Ominimatte"-Methode (auch im Vergleich zum Vorgänger) durch Two Minute Papers:  mehr Informationen bei omnimatte.github.io |
 |
|
|
Dokumentarfilm-Festival Longshots: Filme kostenlos anschauen und abstimmen
Tilta Kühlungsmodul für Canon R5/R6 ist jetzt tatsächlich erhältlich
