8x Video-Upscaling VideoGigaGAN - Adobe zeigt generative KI Super Resolution für Bewegtbilder

Unter Super Resolution versteht man Algorithmen, welche die Auflösung eines Bildes künstlich erhöhen können - also mehr Bildinformationen hinzu erfinden, als ursprünglich von einer Kamera aufgezeichnet wurden. Mit dem Aufkommen von Deep Learning KI-Modellen erhielt auch Super Resolutionen in den letzten Jahren einen enormen, qualitativen Schub. Eine neue Qualität verspricht nun VideoGigaGAN aus einem Adobe-Forschungsbereich, das einige typische Probleme noch besser lösen will, als aktuelle KI-Modelle.

Die einfache Anwendung von Super Resolution-Algorithmen auf Bewegtbilder (Video Super Resolution, VSR) führt in der Regel zu Artefakten wie Flackern sowie zeitlichen Inkonsistenzen in Mustern und Bewegungsverläufen. Adobes VideoGigaGAN soll jedoch im Gegensatz zu gängigen VSR-Methoden nun zeitlich konsistente Videos sogar mit fein strukturiert Darstellungs-Details generieren können - jedoch ohne die bislang typischen Artefakte. Die zugehörige Projektwebseite präsentiert jedenfalls schon erstaunliche Ergebnisse in einem interaktiven Vorher-Nachher-Vergleich:

Besonders die typischen Problembereiche zeitliches Flimmern und Alias-Artefakte scheint Adobes VideoGigaGAN wirklich beeindruckend in den Griff zu bekommen. Auch typische Upscale-Probleme wie die "schwimmenden" Texturen in Gesichtern und anderen bewegten Objekten treten in den Demo-Videoclips nirgendwo auf. Ein Detail-Beispiel beschreibt der folgende Clip:

Zugleich (Hut ab!) weist Adobe auch zwei aktuelle Schwächen seines Modells hin: So neigt das Modell nach über 200 Frames leicht zu Artefakten und Schrift wird ebenfalls oft nicht korrekt skaliert.

Doch trotz dieser Schwächen zeigt Adobes VideoGigaGAN schon heute einen Pfad künftiger KI-Postproduktion auf. So lässt sich synthetisch/generativ oder auch real mit deutlich reduzierter Auflösung produzieren und die Details werden erst anschließend in Postproduktion "schlüssig hinzugefügt". Unterm Strich bedeutet dies, dass man bei weitem nicht mehr so "sauber drehen" muss - für den schönen Anstrich sorgt sowieso die KI in der Post. Und das ganz ohne entsprechendes Postproduktions-KnowHow.