Verpixeln leicht gemacht Meta Segment Anything 2 - kostenloses Tool maskiert interaktiv Objekte in Videos

Bewegte Objekte in Videos zu erkennen, auf Wunsch automatisch zu maskieren und über ganze Videosequenzen zu verfolgen, ist die Grundlage für viele interessante Videoeffekte. Metas Segment Anything Algorithmus macht genau das - in einer sehr hohen Qualität. Einfach ein Objekt im Bild anklicken, dann ist es ausgewählt und wird in allen folgenden Bildern des Videos automatisch getrackt und maskiert. Auf die Objekte (oder den Hintergrund bzw. nicht markierten Bildteile) können dann gezielt Effekte angewendet werden.

Eine praktischer Anwendungsfall im Bereich Videoediting ist zum Beispiel das Unkenntlichmachen von Nummernschildern oder Gesichtern - Segment anything kann mit extrem wenig Aufwand (mehrere) ausgewählte Objekte verpixeln, über mehrere Szenen hinweg. Im Zusammenspiel mit generativen Video-KIs ergeben sich auch viele interessante Einsatzmöglichkeiten für ganz spezielle Effekte. Der Algorithmus kann natürlich auch auf Einzelbilder angewendet werden.

wow, meta SAM2 is really interesting

meta segment anything model 2

This tool allows you to easily add fun effects to videos. Here&s how it works:

> First, you select and track objects in your video.
> Then, you can apply visual effects to these tracked objects and the… pic.twitter.com/vTqTJoKjb3

— Anu Aakash (@anukaakash) July 30, 2024

Das jetzt veröffentlichte Segment Anything Model 2 (SAM 2) wurde gegenüber der ersten im April letzten Jahres erschienenen ersten Version deutlich verbessert und ist wie diese unter der freien Apache 2.0 Lizenz zur allgemeinen Nutzung veröffentlicht. Es kann somit kostenlos genutzt und (z.B. in Form eines Plugins) in andere Anwendungen integriert werden. Die neue Version erkennt Objekte auch wenn sie zeitweilig von einem anderen Objekt verdeckt werden und kann sie über mehrere Szenen (und Schnitte) hinweg tracken.

Die Vorversion wurde schon zu wissenschaftlichen Zwecken eingesetzt, zum Beispiel in der Meereswissenschaft, um Sonarbilder zu segmentieren und Korallenriffe zu analysieren, in der Satellitenbildanalyse für Katastrophenhilfe und im medizinischen Bereich zur Segmentierung von Zellbildern und zur Unterstützung bei der Erkennung von Hautkrebs. Die neue Version arbeitet in Echtzeit und kann so auch in Live-Videostreams genutzt werden, zum Beispiel bei Sportübertragungen.

Along with the Meta Segment Anything Model 2 (SAM 2), we also released SA-V: a dataset containing ~51K videos and >600K masklet annotations.

We’re sharing this dataset with the hope that this work will help accelerate new computer vision research https://t.co/PkgCns9qjz pic.twitter.com/j6hDTFWH4b

— AI at Meta (@AIatMeta) July 30, 2024

SAM 2 übertrifft andere Algorithmen zur interaktiven Videosegmentierung in Bezug auf die Genauigkeit und Geschwindigkeit der Objekterkennung und dem Tracking. Zudem kann es jedes beliebige Objekt in jedem Video oder Bild erkennen und maskieren (häufig als Zero-Shot-Generalisation beschrieben), d.h. es funktioniert auch bei völlig neuen, bisher noch nicht gesehenen und somit nicht trainierten Objekten.

Selbst ausprobieren

Mittels der interaktiven Demo, kann man die Qualität von SAM2 auch gleich mit eigenen Videos im Browser (Safari und Chrome) austesten. Per Mausklick können ganz einfach Objekte ausgewählt werden, die dann das ganze Video hindurch getrackt werden. Wird ein Objekt nicht richtig erkannt oder will man nur Teile davon maskieren, können einzelne Bereiche einer Maske in Echtzeit hinzugefügt oder entfernt werden. Es stehen auch einige Videoeffekte wie zum Beispiel Verpixeln oder Unscharf machen oder Desaturierung zur Auswahl, welche auf die Objekte oder den Rest des Bildes angewendet werden können.

Viele User haben bereits damit experimentiert und ihre Ergebnisse online gestellt:

New SAM2 is an absolute game changer....

Did this track in 1 mouse click and about 4 secs. The fact that it even tracked across the scene change is mind blowing to me

Will post some more tests below pic.twitter.com/qJ4u4HFwrB

— A.I.Warper (@AIWarper) July 30, 2024

Meta ha lanzado Segment Anything 2 (SAM 2), un modelo avanzado de segmentación de imágenes y videos.

Sus aplicaciones incluyen análisis en tiempo real, edición de video, realidad aumentada, medicina y automatización industrial, entre otros pic.twitter.com/o14pTpTj5f

— Inteligencia Artificial (@lain_artificial) July 31, 2024