Wir haben uns ja schon daran gewöhnt, dass KI es mittlerweile ziemlich überzeugend schafft, einzelne Instrumenten-Tracks aus komplett gemasterten Stereo-Songs zu extrahieren. Also sollte es uns auch nicht wundern, wenn es nun möglich wird, ein Video in einzelne Layer zu zerlegen. Und nicht weniger als dies verspricht Generative Omnimatte.
Dieses neuartige KI-Modell versucht, einen Videoclip in semantisch sinnvolle Ebenen (Layer) zu zerlegen, die einzelne Objekte sowie die damit verbundenen Effekte wie Schatten und Reflexionen enthalten. Bestehende Methoden benötigten bisher mindestens einen statischen Hintergrund oder basierten auf einer Posen- bzw. Tiefenschätzung für die Layer. Zudem scheiterten bisherige Methoden an einem grundsätzlichen Problem: Dynamische verdeckte Bereiche zwischen Objekten bzw. Layern können diese nicht vervollständigen, da sie kein Wissen über die verdeckten Bereiche in sich tragen.
Dies soll sich mit Generative Omnimatte ändern, welches fehlende, bzw. unbekannte Inhalte auch im Bewegtbild durch generative KI vervollständigen kann. Man spricht in diesem Zusammenhang von "Ergänzung durch generatives Vorwissen".
// NAB 2025 - Top-News auf einen Blick:
- Neue KI-Tools in DaVinci Resolve 20 nur in der Studio-Version
- Sennheiser MKH 8018 - Stereo-Richtrohrmikrofon für Rundfunk- und Film-Anwendungen
- Objekt- und Gesichtstracking Autofokus für Blackmagic Kameras via Firmware Update
- Blackmagic DaVinci Resolve 20 mit über 100 (!) neuen Funktionen vorgestellt
- Blackmagic PYXIS 12K - ARRI-Konkurrenz unter 6.000 Euro im Anflug
- Updates für Adobe Premiere Pro, After Effects und Frame.io - u.a. mit neuer Media ...
Generative Omnimatte erfordert keine Informationen zu Kameraposition oder Tiefe und erzeugt vollständige Ebenen - einschließlich meist überzeugender Vervollständigungen verdeckter dynamischer Bereiche.
Dies funktioniert wohlgemerkt nicht durch Zerlegen von bestehenden Compositings sondern bei jeder beliebigen Videoaufnahme. Das hierzu veröffentlichte Paper sowie die spezielle Projektwebseite mit Demos zeigt eine große Bandbreite beliebig aufgenommener Videos mit weichen Schatten, glänzenden Reflexionen, Spritzwasser und mehr.
Hinter Generative Omnimatte stehen übrigens Forscher von Google DeepMind, der University of Maryland College Park sowie das Weizmann Institute of Science. Solche Veröffentlichungen stellen zwar "nur" den aktuellen Stand der Forschung dar, jedoch ist abzusehen, dass wir generative De-Compositing-Technologien bald auch in unseren Schnitt- und Compositing-Programmen als nutzbare Tools finden werden.
Wer beim Fachhändler Teltec für mindestens 700 Euro (netto) einkauft, kann 25 Euro sparen mit dem Gutscheincode SLASH25NAB, ab einem Mindestbestellwert von 1.500 Euro netto mit dem Code SLASH60NAB sogar 60 Euro - der Code ist kombinierbar sonst schon rabattierten Artikeln; hier mehr Infos .
