Upscale-A-Video - Zeitlich konsistenter KI-Diffusions-Upscaler für Video-Superresolution

Upscaling mit Hilfe von KI-Modellen liefert ja bereits seit ungefähr einem Jahr erstaunlich gute Ergebnisse, jedoch bleibt bislang noch ein größeres Problem für die Videoanwendung bestehen: Verwendet man Diffusionsmodelle (die oft fotorealistische Ergebnisse erzielen können) erfinden diese in der Regel Details hinzu. Diese neuen Details verändern sich aber bei aufeinander folgenden Einzelbildern meistens nicht zeitlich konsistent mit.

Man sieht in der Folge Musterspünge oder gar die komplette Veränderung von Objekten über die Zeit, was bei Bewegtbild als Fehler besonders ins Auge fällt.

Doch die KI-Forschung hat perfektes Upscaling (auch Super Resolution genannt) als Ziel fest im Auge. Alleine schon, weil sich hiermit in der Generierungsphase mit kleineren Auflösungen arbeiten lässt und generierte Videos dann immer erst im letzten Arbeitsschritt hochskaliert werden können.

Ein neues Paper in diese Richtung stammt vom S-Lab der Nanyang Technological University. In diesem Zeigen die Autoren nun neue State-Of-The Art Ergebnisse, die auf einem Diffusions-Modell basieren. Und zwar sowohl für generierte (AIGC) als auch für "echte", also real gefilmte Videoclips.

Die veröffentlichten Demo-Schnipsel sind zwar kurz, aber zeigen schon das mögliche Potential:

 

Natürlich immer noch nicht perfekt, aber man wird sich wohl mit dem Gedanken anfreunden dürfen, dass wir sehr bald sehr mächtige Upscaler als Tools für die Videobearbeitung zur Verfügung haben werden.

Die GitHub-Projektseite ist noch relativ leer, aber auf der verlinkten Projektseite stehen schon interaktive Vorher-Nachher Videos zum ausprobieren bereit.