Wir haben uns ja schon daran gewöhnt, dass KI es mittlerweile ziemlich überzeugend schafft, einzelne Instrumenten-Tracks aus komplett gemasterten Stereo-Songs zu extrahieren. Also sollte es uns auch nicht wundern, wenn es nun möglich wird, ein Video in einzelne Layer zu zerlegen. Und nicht weniger als dies verspricht Generative Omnimatte.
Dieses neuartige KI-Modell versucht, einen Videoclip in semantisch sinnvolle Ebenen (Layer) zu zerlegen, die einzelne Objekte sowie die damit verbundenen Effekte wie Schatten und Reflexionen enthalten. Bestehende Methoden benötigten bisher mindestens einen statischen Hintergrund oder basierten auf einer Posen- bzw. Tiefenschätzung für die Layer. Zudem scheiterten bisherige Methoden an einem grundsätzlichen Problem: Dynamische verdeckte Bereiche zwischen Objekten bzw. Layern können diese nicht vervollständigen, da sie kein Wissen über die verdeckten Bereiche in sich tragen.
Dies soll sich mit Generative Omnimatte ändern, welches fehlende, bzw. unbekannte Inhalte auch im Bewegtbild durch generative KI vervollständigen kann. Man spricht in diesem Zusammenhang von "Ergänzung durch generatives Vorwissen".
// Top-News auf einen Blick:
- Erste Black Friday Angebote von Atomos, Nanlite, DZOFILM und mehr
- SanDisk stellt Extreme Fit vor: Aktuell kleinster 1TB USB-C-Speicherstick
- Apple plant OLED-MacBook Pro, Mac Studio M6 Ultra und Mini-LED Studio Display
- DJI Avata 360 - Leaks zeigen DJIs neue 360°-Drohne
- ARRIs Color KnowHow könnte Millionen Wert sein - als Workflow Lizenz für Dritte
- Canon EOS C50 im Praxistest: Kompaktes Arbeitstier mit 7K 50p Raw - die neue FX3 Konkurrenz
Generative Omnimatte erfordert keine Informationen zu Kameraposition oder Tiefe und erzeugt vollständige Ebenen - einschließlich meist überzeugender Vervollständigungen verdeckter dynamischer Bereiche.
Dies funktioniert wohlgemerkt nicht durch Zerlegen von bestehenden Compositings sondern bei jeder beliebigen Videoaufnahme. Das hierzu veröffentlichte Paper sowie die spezielle Projektwebseite mit Demos zeigt eine große Bandbreite beliebig aufgenommener Videos mit weichen Schatten, glänzenden Reflexionen, Spritzwasser und mehr.
Hinter Generative Omnimatte stehen übrigens Forscher von Google DeepMind, der University of Maryland College Park sowie das Weizmann Institute of Science. Solche Veröffentlichungen stellen zwar "nur" den aktuellen Stand der Forschung dar, jedoch ist abzusehen, dass wir generative De-Compositing-Technologien bald auch in unseren Schnitt- und Compositing-Programmen als nutzbare Tools finden werden.
