Logo Logo
/// News

Track-Anything: Neues KI-Tool maskiert und trackt Objekte in Videos automatisch

[15:59 Do,27.April 2023 [e]  von ]    

Roto Brush in After Effects Adé - das KI Tools Track-Anything erkennt, maskiert und trackt Objekte in Video automatisch. Wie erhofft, hat Metas frei ins Netz gestellter Algorithmus Segment Anything (SAM), welcher Objekte in Bildern erkennt und diese automatisch als einzelne Masken freistellt, zu einer wahren Explosion an darauf basierenden Tools geführt. Für Video natürlich besonders interessant ist die Möglichkeit, auch bewegte Objekte aus Videos automatisch freizustellen, um diese gezielt zu bearbeiten oder gar aus einem Video zu entfernen.



Track-Anything
Track Anything





Das neue KI-Tool Track-Anything eines Teams der Visual Intelligence & Perception Lab Abteilung der chinesischen Southern University of Science and Technology in Shenzen macht genau das. Es ist ein flexibles und interaktives Werkzeug fürs Tracking und Segmentierung von Videoobjekten. Es wurde auf der Grundlage von Segment Anything entwickelt und ermöglicht Usern, nur per Klick Objekte auszuwählen, welche getrackt und maskiert werden sollen. Während des Trackings können die Benutzer die zu verfolgenden Objekte flexibel ändern oder auch den zu analysierenden Bereich korrigieren, falls es Probleme beim Tracking gibt.

Track-Anything verfolgt dabei Objekte nicht nur von Einzelbild zu Einzelbild, sondern erkennt sie auch szenenübergreifend, wie schön auf dem folgenden Demovideo anhand einer Szene aus "Avengers Civil War" zu sehen ist:



Es können auch mehrere Objekte gleichzeitig maskiert und getrackt werden - zudem kann per Inpainting ein getracktes Objekt aus dem Video entfernt werden:



Es gibt auch eine interaktive Demo auf Hugginface, mit deren Hilfe man ein eigenes Video oder einen der Beispielclips manipulieren kann. Da dort aber oft zu wenig GPU-Power zur Verfügung steht, ist der Einsatz auf dem eigenen PC oder Cloud-Space - eine starke GPU vorausgesetzt - verlässlicher.

Link mehr Informationen bei github.com

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Frank Glencairn    19:08 am 27.4.2023
Kommandozeilen denke ich.
macaw    19:00 am 27.4.2023
Klingt ja sehr interessant alles, aber wie zum Geier installiert man den Kram?
iasi    18:37 am 27.4.2023
Erinnert sehr an Magic Mask.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildKondor Blue: Günstiger Pro-Blade SSD Handle für USB-C Aufnahme erklärt bildRED und Nikon einigen sich - Nikons interne RAW Aufzeichnung bleibt möglich


verwandte Newsmeldungen:
KI:

Making of - So entstehen die viralen Wes Anderson KI-Videos 29.Mai 2023
Microsoft Olive: Neues kostenloses Tool verdoppelt Performance von Stable Diffusion 24.Mai 2023
Adobe Generative Fill - KI-Bildergänzung in Photoshop, einfach für jedermann! 23.Mai 2023
Diffusae - Stable Diffusion als KI-Plugin für Adobe After Effects 23.Mai 2023
Synthetische KI-Stimmen machen professionellen Sprechern Konkurrenz 21.Mai 2023
Drag your GAN - KI-Bilder einfach mit der Maus verändern 19.Mai 2023
Stable Diffusion verjüngt Harrison Ford 16.Mai 2023
alle Newsmeldungen zum Thema KI

Videoschnitt:

Wechselt Avid bald den Besitzer? 28.Mai 2023
Final Cut Pro für iPad und Final Cut Pro Update 10.6.6 ab sofort verfügbar 24.Mai 2023
Apple Final Cut Pro und Logic Pro kommen noch im Mai aufs iPad - in neuer Abo Version 9.Mai 2023
Apple: Kommt Final Cut Pro nächstes Jahr aufs neue iPad Pro/Ultra? 5.Mai 2023
Vegas Pro 20 Update 3 erschienen - multiple Smart Masken und mehr 4.Mai 2023
Atomos Edit vorgestellt: Online Editing im Verbund mit Connect/Coud-Funktionen 28.April 2023
NVIDIA RTX 5000 ADA - Grafikkarte mit 32 GB Ram in den Startlöchern 24.April 2023
alle Newsmeldungen zum Thema Videoschnitt


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 30.Mai 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*