Unter Super Resolution versteht man Algorithmen, welche die Auflösung eines Bildes künstlich erhöhen können - also mehr Bildinformationen hinzu erfinden, als ursprünglich von einer Kamera aufgezeichnet wurden. Mit dem Aufkommen von Deep Learning KI-Modellen erhielt auch Super Resolutionen in den letzten Jahren einen enormen, qualitativen Schub. Eine neue Qualität verspricht nun VideoGigaGAN aus einem Adobe-Forschungsbereich, das einige typische Probleme noch besser lösen will, als aktuelle KI-Modelle.
Die einfache Anwendung von Super Resolution-Algorithmen auf Bewegtbilder (Video Super Resolution, VSR) führt in der Regel zu Artefakten wie Flackern sowie zeitlichen Inkonsistenzen in Mustern und Bewegungsverläufen. Adobes VideoGigaGAN soll jedoch im Gegensatz zu gängigen VSR-Methoden nun zeitlich konsistente Videos sogar mit fein strukturiert Darstellungs-Details generieren können - jedoch ohne die bislang typischen Artefakte. Die zugehörige Projektwebseite präsentiert jedenfalls schon erstaunliche Ergebnisse in einem interaktiven Vorher-Nachher-Vergleich:
Besonders die typischen Problembereiche zeitliches Flimmern und Alias-Artefakte scheint Adobes VideoGigaGAN wirklich beeindruckend in den Griff zu bekommen. Auch typische Upscale-Probleme wie die "schwimmenden" Texturen in Gesichtern und anderen bewegten Objekten treten in den Demo-Videoclips nirgendwo auf. Ein Detail-Beispiel beschreibt der folgende Clip:
// Top-News auf einen Blick:
- DaVinci Resolve 21 Photo ausführlich im Screencapture Workshop erklärt
- Cartoni Hyperroll - modulares Roll-Rig für kreative Kamerafahrten
- Adobe erklärt die Details zum neuen Premiere Color Mode
- Sennheiser HD 480 PRO - neuer geschlossener Referenzkopfhörer für Studio und Live
- Insta360 Mic Pro - Funkmikro mit farbigem E-Ink-Display und 32-Bit Audio Float
- GoPro MISSION 1 Pro - 8K-Actioncam-Modelle erklärt
Doch trotz dieser Schwächen zeigt Adobes VideoGigaGAN schon heute einen Pfad künftiger KI-Postproduktion auf. So lässt sich synthetisch/generativ oder auch real mit deutlich reduzierter Auflösung produzieren und die Details werden erst anschließend in Postproduktion "schlüssig hinzugefügt". Unterm Strich bedeutet dies, dass man bei weitem nicht mehr so "sauber drehen" muss - für den schönen Anstrich sorgt sowieso die KI in der Post. Und das ganz ohne entsprechendes Postproduktions-KnowHow.
