Netflix VOID – neues kostenloses KI-Tool zum Entfernen von Objekten aus Videos

[slashCAM]

Entwickler von Netflix haben einen KI-Algorithmus namens VOID Video Object and Interaction Deletion veröffentlicht, der nicht nur Objekte aus Videos spurlos entfernt, son...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Netflix VOID – neues kostenloses KI-Tool zum Entfernen von Objekten aus Videos

[medienonkel]

Also mit ein wenig Patreon-Money bekommt man Object Removal und noch einiges mehr für den lokalen Rechner.

Auflösung ist use-case abhängig, aber durch Verschachtelung und zweckentfremdetes looping dafür theoretisch endlos lang.

Da werden verschiedene zusammengeführte Modelle genutzt. Viel läuft über wan und control nets. Aber so langsam kommen nutzbare tools...

[MaxSchreck]

Ziemlich sinnloses Tool, welches selten ohne Probleme funktionieren dürfte. In solchen klar abgegrenzten, fiktiven Szenarien wie den Beispielen mag das noch klappen, aber wenn man z.B. bestimmte Autos aus einer Einstellung oder gezielt Personen aus einer Menschenmenge entfernen möchte, dürfte dieses Tool in Nullkommanix Schrott liefern - selbst wenn es nicht bereits wegen zu geringer Auflösung o.ä. abrauscht, denn die Zahl von Interaktionen in realistischen Szenarien ist selten von einfacher Art.

[Darth Schneider]

Entwickler von Netflix ?
Echt jetzt ?
Schuster bleib doch besser bei deinen Leisten !

Kümmert euch lieber darum das,
spannende und bezahlbare Kino Erlebnisse, wegen zu 80 bis 90% nur fadem 0815 „Einheitsbrei“ Netflix, Disney und Co. Content,
nicht bald völlig aussterben..

[iasi]

Interessantes Tool, das "greenscreen" irgendwann überall ermöglicht.

Leider lassen bei den ganzen tollen KI-Techniken Bildqualität und Auflösung noch sehr zu wünschen übrig.

Der Versuch, eine Person in einem Video durch eine Kreatur zu ersetzen, funktionierte erstaunlich überzeugend und nur die Codec-Qualität und Auflösung verhindert ein wirklich nutzbares Ergebnis.

[medienonkel]

Ziemlich sinnloses Tool, welches selten ohne Probleme funktionieren dürfte. In solchen klar abgegrenzten, fiktiven Szenarien wie den Beispielen mag das noch klappen, aber wenn man z.B. bestimmte Autos aus einer Einstellung oder gezielt Personen aus einer Menschenmenge entfernen möchte, dürfte dieses Tool in Nullkommanix Schrott liefern - selbst wenn es nicht bereits wegen zu geringer Auflösung o.ä. abrauscht, denn die Zahl von Interaktionen in realistischen Szenarien ist selten von einfacher Art.

Also sinnlos ist das Gerümpel nicht.
Immerhin sind das wenigstens Tools, die den ultrakreativen Medienkünstler unterstützen und nicht ersetzen sollen.

Eine Cleanplate zu erstellen ist doch die Paradedisziplin für generatives Gedöns.
Wo ist der Unterschied zu nem Inder, der mir dann per Hand den Hintergrund reinmalt?
In 80% der Fälle kommt doch an der rausgemalten Stelle eh ein anderes Element drüber. Wenn wir mal ehrlich sind.

Ich habe nichts dagegen, wenn man die durchaus meditative Tätigkeit des rotoscopens, trackings usw. nicht mehr machen muss. Manuell rumfixen muss man ja eh immer.

Du bist schon echt richtig krass negativ eingestellt bzgl. der AI Gschichten.

Gibt´s denn was, was du in der Hinsicht überhaupt positiv siehst?

Ich scheiß zur Zeit immer mehr auf meine 25 Jahre VFX-Historie. Das ganze Wissen, alles für die Katz.
Zahlt einen ja keiner und die Leute - vor allem im 3d und compositing Bereich - waren überwiegend ultra arrogante Schnösel. Nur bei scanline waren alle immer sehr offen, das muss man tatsächlich sagen. Lag wohl auch daran, dass die auch auf 3ds max und vray gesetzt haben. Da gabs einfach mehr zu fachsimpeln.

[-paleface-]

Adobe hat sowas vor einiger Zeit auch gepitscht.
Da war ein Bild von einem Boot was weg gemacht wurde und so dann auch keine Wellen mehr erzeugt hatte.

Problem an solchen Tools ist, für wenn sind die eigentlich?
VFX Häuser würde der erste nun schreien. Ja, aber bei den ganzen Ki Clips hast du immer ein Problem. Du verlierst deine Bildtiefe, Auflösung und Noise verhalten.
Daher kannst du nicht einfach sagen (das nutze ich für alles) sondern wenn dann sehr kontrolliert.

Was meinst du was der Color Grader sonst hinterher schimpft wenn deine VFX dann sein Bild zerschießt und er überall Artefakte beim Grading hat.

Sprich am Ende sind solche Funktionen dann fürs Fußvolk damit sie auf ihrem Smartphone rumspielen können.
Die wollen aber kein Geld ausgeben.

[medienonkel]

Guter Punkt.

Jedoch gibt es immer einen Bedarf an schneller Previz. Das Ziel ist sicher Echtzeit, um virtuelle Produktionen quasi in camera zu drehen.
Avatar hat das ja schon sehr weit getrieben.

Langfristig dürfte das aber überhaupt kein Problem darstellen, die beim Dreh genutzte Kamera sogar zu emulieren.
Außerdem musst du ja nicht einen fertigen Clip von der AI erstelllen lassen.
Du kannst ja auch nur die einzelnen Elemente isoliert nutzen.
Man möchte es kaum glauben, aber womit man Bilder generieren kann, kann man auch entsprechende Masken, Z-Maps oder ID-Maps rauslassen.


Die Kompressionsartefakte sollten sich durch FFMPG-Künste auch auf losslos nicht allzu schwer umbauen lassen.
h264 in 10 bit gehen auf jeden Fall.
Fraglich ist natürlich, ob die Modelle "intern" überhaupt so etwas wie ein Konzept von Bittiefe haben. Eigentilich müsste der VAE da hilfreich einspringen können.
Den Rest macht Topaz Video.

Der color grading Artist muss eh schon immer mit dem Material leben, das man ihm anliefert. Da ändert sich eigentlich nix.
Den Rest hat vor ihm schon immer der compositor/Kameramann gemacht.

Ich würde da echt nicht so abfällig sein. Fußvolk und so.
Es trackt ja auch niemand mehr was per Hand, wenn es nicht absolut anders geht.

Magic Mask, depth 3D. Klar, kann man gerne wieder alles per Hand machen.
Ich nicht.

[iasi]

Adobe hat sowas vor einiger Zeit auch gepitscht.
Da war ein Bild von einem Boot was weg gemacht wurde und so dann auch keine Wellen mehr erzeugt hatte.

Problem an solchen Tools ist, für wenn sind die eigentlich?
VFX Häuser würde der erste nun schreien. Ja, aber bei den ganzen Ki Clips hast du immer ein Problem. Du verlierst deine Bildtiefe, Auflösung und Noise verhalten.
Daher kannst du nicht einfach sagen (das nutze ich für alles) sondern wenn dann sehr kontrolliert.

Was meinst du was der Color Grader sonst hinterher schimpft wenn deine VFX dann sein Bild zerschießt und er überall Artefakte beim Grading hat.

Sprich am Ende sind solche Funktionen dann fürs Fußvolk damit sie auf ihrem Smartphone rumspielen können.
Die wollen aber kein Geld ausgeben.

Am Ende ist es für Produktionen, die auf Kosten und Rentabilität achten.

Es hat nun einmal Vorteile, wenn man den VFX Häusern weniger Geld überweisen muss.

Magic Mask wird auch gerne genutzt, weil es nun einmal viel Zeit und viel Handarbeit erspart.
Auch, weil es kein Bild zerschießt und keine Artefakte erzeugt.

Das Einsparpotetial ist übrigens so groß, dass KI-Anwendungen auch etwas kosten dürfen, wenn sie gute Ergebnisse abliefern.

[MaxSchreck]

Ziemlich sinnloses Tool, welches selten ohne Probleme funktionieren dürfte. In solchen klar abgegrenzten, fiktiven Szenarien wie den Beispielen mag das noch klappen, aber wenn man z.B. bestimmte Autos aus einer Einstellung oder gezielt Personen aus einer Menschenmenge entfernen möchte, dürfte dieses Tool in Nullkommanix Schrott liefern - selbst wenn es nicht bereits wegen zu geringer Auflösung o.ä. abrauscht, denn die Zahl von Interaktionen in realistischen Szenarien ist selten von einfacher Art.

Also sinnlos ist das Gerümpel nicht.
Immerhin sind das wenigstens Tools, die den ultrakreativen Medienkünstler unterstützen und nicht ersetzen sollen.

Eine Cleanplate zu erstellen ist doch die Paradedisziplin für generatives Gedöns.
Wo ist der Unterschied zu nem Inder, der mir dann per Hand den Hintergrund reinmalt?
In 80% der Fälle kommt doch an der rausgemalten Stelle eh ein anderes Element drüber. Wenn wir mal ehrlich sind.

Ich habe nichts dagegen, wenn man die durchaus meditative Tätigkeit des rotoscopens, trackings usw. nicht mehr machen muss. Manuell rumfixen muss man ja eh immer.

Du bist schon echt richtig krass negativ eingestellt bzgl. der AI Gschichten.

Gibt´s denn was, was du in der Hinsicht überhaupt positiv siehst?

Ich scheiß zur Zeit immer mehr auf meine 25 Jahre VFX-Historie. Das ganze Wissen, alles für die Katz.
Zahlt einen ja keiner und die Leute - vor allem im 3d und compositing Bereich - waren überwiegend ultra arrogante Schnösel. Nur bei scanline waren alle immer sehr offen, das muss man tatsächlich sagen. Lag wohl auch daran, dass die auch auf 3ds max und vray gesetzt haben. Da gabs einfach mehr zu fachsimpeln.

Firefly nutze ich als einziges generatives Tool für clean plates konsistent - auch wenn selbst das immer mal wieder komplett nutzlos ist, besonders je komplexer die Aufgabe.. Erst vor zwei Tagen erlebt. Da hieß es: Gute alte Handarbeit in Photoshop... Jahrzehnte an Kenntnissen in VFX waren nicht für die Katz!

Ansonsten: Magic Mask, Roto Brush und was sonst noch als KI bezeichnet wird, sind "nur" Werkzeuge, die auf machine learning basieren. Auch midjourney und Co. haben nichts mit Intelligenz zu tun... das sind LLMs kombiniert mit Diffusion Models. Nur am Rande... genau deshalb erhält man nur selten genau das, was man will und braucht...