Unter Super Resolution versteht man Algorithmen, welche die Auflösung eines Bildes künstlich erhöhen können - also mehr Bildinformationen hinzu erfinden, als ursprünglich von einer Kamera aufgezeichnet wurden. Mit dem Aufkommen von Deep Learning KI-Modellen erhielt auch Super Resolutionen in den letzten Jahren einen enormen, qualitativen Schub. Eine neue Qualität verspricht nun VideoGigaGAN aus einem Adobe-Forschungsbereich, das einige typische Probleme noch besser lösen will, als aktuelle KI-Modelle.
Die einfache Anwendung von Super Resolution-Algorithmen auf Bewegtbilder (Video Super Resolution, VSR) führt in der Regel zu Artefakten wie Flackern sowie zeitlichen Inkonsistenzen in Mustern und Bewegungsverläufen. Adobes VideoGigaGAN soll jedoch im Gegensatz zu gängigen VSR-Methoden nun zeitlich konsistente Videos sogar mit fein strukturiert Darstellungs-Details generieren können - jedoch ohne die bislang typischen Artefakte. Die zugehörige Projektwebseite präsentiert jedenfalls schon erstaunliche Ergebnisse in einem interaktiven Vorher-Nachher-Vergleich:
Besonders die typischen Problembereiche zeitliches Flimmern und Alias-Artefakte scheint Adobes VideoGigaGAN wirklich beeindruckend in den Griff zu bekommen. Auch typische Upscale-Probleme wie die "schwimmenden" Texturen in Gesichtern und anderen bewegten Objekten treten in den Demo-Videoclips nirgendwo auf. Ein Detail-Beispiel beschreibt der folgende Clip:
// Top-News auf einen Blick:
- Graphite - kostenloser Grafik-Editor von Photoshop bis Motion
- Affinity Photo, Designer und Publisher ab sofort in einer kostenlosen App
- DJI Neo 2 bringt Rundum-Hinderniserkennung samt LiDAR
- Künftige Xbox Next: Vollwertiger Windows-PC mit Potenzial für Videobearbeitung
- LG UltraFine 40U990A-W - 40 5K2K Monitor mit Thunderbolt 5
Doch trotz dieser Schwächen zeigt Adobes VideoGigaGAN schon heute einen Pfad künftiger KI-Postproduktion auf. So lässt sich synthetisch/generativ oder auch real mit deutlich reduzierter Auflösung produzieren und die Details werden erst anschließend in Postproduktion "schlüssig hinzugefügt". Unterm Strich bedeutet dies, dass man bei weitem nicht mehr so "sauber drehen" muss - für den schönen Anstrich sorgt sowieso die KI in der Post. Und das ganz ohne entsprechendes Postproduktions-KnowHow.
