Logo Logo
/// News

Videomasken einfach per Beschreibung definieren durch neuen KI-Algorithmus

[13:21 Mi,1.Dezember 2021 [e]  von ]    

Dieser neue Deep Learning Algorithmus (End-to-End Referring Video Object Segmentation with Multimodal Transformers ) eines Teams aus Israel macht etwas für den Videoschnitt sehr interessantes: aufgrund einer simplen Beschreibung eines Objekts in Form eines kurzen Satzes erkennt er das Objekt in einem Video und stellt es per dynamischer Maske frei.

TextMask-Example




Dabei kann die Beschreibung des gewünschten Objekts recht komplex sein und es auch durch dynamische Beziehungen zu anderen Objekten beschreiben oder seine Lage im Raum, wie etwa "ein Mann in einem weißen T-Shirt und blauen Hosen, der ein Surfbrett reitet", "ein großer Affe, der mit einem Affenbaby spielt", "das Zebra hinten rechts, welches hinter einem anderen steht, das nach links schaut" oder "eine Person auf einem Motorrad".

TextMask-Algo


Der KI-Algorithmus erledigt dazu eine ganze Reihe komplexer Aufgaben aus den Bereichen Text- und Videoverständnis: erst muss er den eingegebenen Text "verstehen", dann alle Objekte in einem Video samt dynamischer Beziehungen korrekt erkennen und aufgrund der vom User gegebenen Beschreibung das korrekte Objekt identifizieren (samt seiner Eigenschaften, wie etwa der Farbe und Beziehungen zu einem anderen Objekt wie etwa "der Tennisschläger in der Hand des Spielers mit dem roten Hemd").



Dann muss das Objekt vom Hintergrund getrennt und über alle Frames, in denen es auftaucht, verfolgt und daraus eine dynamische Maske gebildet werden - auch wenn das Objekt sein Aussehen durch Bewegungen und Perspektivwechsel verändert. Die Maske muss idealerweise nicht mehr per Hand nachträglich angepasst werden. Sogar dynamische Handlungen, die sich über eine Videosequenz erstrecken, werden korrekt in einem längeren Video erkannt, wie etwa "die Hand, die dem Hund einen Ball gibt".

TextMask-Examples


Der neue Algorithmus demonstriert sehr anschaulich, welche komplexen Aufgaben durch die Kombination verschiedener Deep Learning Methoden inzwischen bewältigt werden können. In seinem jetzigen Zustand könnte die Methode schon verwendet werden, um in einem Videoarchiv bestimmte Objekte samt ihrer Beziehung zu anderen Objekten zu finden und sie zu extrahieren. Ein kleiner weiterer Schritt würde zum Beispiel auch die Suche per natürlicher Spracheingabe ermöglichen, ein größerer weiterer Schritt könnte das Editieren von Objekten samt deren Austausch in einem Video per Spracheingabe ermöglichen.

Der entsprechende Porgrammcode kann wie immer auch selbst ausprobiert werden - das entsprechende Vorwissen vorausgesetzt.

Link mehr Informationen bei github.com

  
[2 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
lensoperator    19:16 am 1.12.2021
Vor allem wird die AI um ein vielfaches genauer sein. Merke ich jetzt schon an AfterFx. Der AI Masken Modus setzt einfach 400 Punkte an eine Kurve. Wärend man beim Rotoskopieren...weiterlesen
medienonkel    18:04 am 1.12.2021
Die Masken in Zukunft dann nicht als fertigen Alpha, sondern als splines zum einfacheren korrigieren... Rotoskopieren kann als kreuzworträtsel Ersatz ja ganz angenehm sein. Aber...weiterlesen
[Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildSony stellt wegen Chipmangel die Produktion von Sony Alpha 7 II, Alpha 6100/6400 und PXW-Z190 ein bildSonys professionelle "Alpha"-Drohne Airpeak S1 wird ab 24. Dezember ausgeliefert


verwandte Newsmeldungen:
Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 5.Dezember 2022 - 10:48
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*