Wir haben uns ja schon daran gewöhnt, dass KI es mittlerweile ziemlich überzeugend schafft, einzelne Instrumenten-Tracks aus komplett gemasterten Stereo-Songs zu extrahieren. Also sollte es uns auch nicht wundern, wenn es nun möglich wird, ein Video in einzelne Layer zu zerlegen. Und nicht weniger als dies verspricht Generative Omnimatte.
Dieses neuartige KI-Modell versucht, einen Videoclip in semantisch sinnvolle Ebenen (Layer) zu zerlegen, die einzelne Objekte sowie die damit verbundenen Effekte wie Schatten und Reflexionen enthalten. Bestehende Methoden benötigten bisher mindestens einen statischen Hintergrund oder basierten auf einer Posen- bzw. Tiefenschätzung für die Layer. Zudem scheiterten bisherige Methoden an einem grundsätzlichen Problem: Dynamische verdeckte Bereiche zwischen Objekten bzw. Layern können diese nicht vervollständigen, da sie kein Wissen über die verdeckten Bereiche in sich tragen.
Dies soll sich mit Generative Omnimatte ändern, welches fehlende, bzw. unbekannte Inhalte auch im Bewegtbild durch generative KI vervollständigen kann. Man spricht in diesem Zusammenhang von "Ergänzung durch generatives Vorwissen".
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Generative Omnimatte erfordert keine Informationen zu Kameraposition oder Tiefe und erzeugt vollständige Ebenen - einschließlich meist überzeugender Vervollständigungen verdeckter dynamischer Bereiche.
Dies funktioniert wohlgemerkt nicht durch Zerlegen von bestehenden Compositings sondern bei jeder beliebigen Videoaufnahme. Das hierzu veröffentlichte Paper sowie die spezielle Projektwebseite mit Demos zeigt eine große Bandbreite beliebig aufgenommener Videos mit weichen Schatten, glänzenden Reflexionen, Spritzwasser und mehr.
Hinter Generative Omnimatte stehen übrigens Forscher von Google DeepMind, der University of Maryland College Park sowie das Weizmann Institute of Science. Solche Veröffentlichungen stellen zwar "nur" den aktuellen Stand der Forschung dar, jedoch ist abzusehen, dass wir generative De-Compositing-Technologien bald auch in unseren Schnitt- und Compositing-Programmen als nutzbare Tools finden werden.
