Schönere Zeitrafferaufnahmen durch neue NVIDIA-KI

Zeitraffersequenzen über lange Zeiträume können Veränderungen sichtbar machen, die mit dem bloßen Auge nicht wahrgenommen werden können, weil sie zu langsam verlaufen, wie etwa der Wandel einer Landschaft im Laufe der Jahreszeiten. So lassen sich magische Bilder erzeugen, allerdings sind solche Aufnahmen - wenn sie in der freien Natur erfolgen - in der Regel nicht perfekt, da sie einer ganzen Reihe von nicht kontrollierbaren Einflüssen unterliegen, die im resultierenden Zeitraffervideo stören. So erzeugt die sich durch Tageszeit und Wetter ständig ändernde Beleuchtung einer Szene samt Schattenwurf oft ein irritierendes Flimmern. Zusätzlich gibt es manchmal stark aus dem Rahmen fallende Bilder, die ganz anders als die vorhergehenden oder folgenden Bilder aussehen - zum Beispiel wegen Objekten, die manchmal vor der Kamera stehen.

Nvidias neuer KI-Algorithmus bietet jetzt eine Lösung genau für solche Probleme. Besonders bei sehr lange laufenden Zeitrafferaufnahmen, die über mehrere Jahre gehen (zum Beispiel bei Archivfootage von fest installierten Webcams, die eine Landschaft zeigen), ist er hilfreich: er bereinigt nicht nur störende Wechsel der Lichtverhältnisse durch Wetterwechsel und die Tageszeiten, sondern auch andere Effekte und glättet die ganze Zeitraffersequenz, ohne Bilddetails zu verlieren.

Hier die Vorstellung des Algorithmus durch 2 Minute Papers:

Der auf NVIDIAs StyleGAN3 basierende Deep Learning Algorithmus erlaubt sogar die Kontrolle über verschiedene Aspekte der Änderungen, welche während des Aufnahmezeitraums stattfinden. So kann zum Beispiel festgelegt werden, dass das Wetter oder die Tageszeit im Clip konstant bleibt und nur gezielt Änderungen gezeigt werden, die bestimmte Bildelemente betrifft. Es können zum Beispiel auch die Änderungen durch vier Jahreszeiten gleichzeitig in einem Clip angezeigt werden, wie auf der Projektseite demonstriert.

Der Programmcode nutzt die Rechenpower von Grafikkarten per CUDA und steht samt Modell online bereit zum Ausprobieren, allerdings ist etwas Vorwissen gefragt. Da Nvidia schon oft interessante KI-Forschungsprojekte ziemlich schnell in der Öffentlichkeit zugänglich gemacht hat, um seine GPUs zu promoten, ist es gut möglich, dass es den obigen Zeitrafferalgorithmus bald auch in Form eines einfach zu bedienenden kostenlosen Tools gibt.

Hier das etwas längere Video, in welchem das Verfahren vorgestellt wird: