Neuronales Netz DAIN interpoliert Stop-Motion Frames

Auch das war zu erwarten. Nachdem sich mittlerweile Neuronale Netze in vielen Bereichen durch das natürliche Ergänzen fehlender Informationen hervortun lag ein Versuch mit Stop-Motion Material ja quasi auf der Hand.

Und so hat der Stop Motion Animator (und KI-Scientist) LegoEddy einmal ein spezielles KI-Modell zur Frameinterpolation (DAIN) auf seine (mit 15 fps) selbst animierten Lego-Stop-Motion Clips angewendet.

DAIN darf dabei aktuell zur State-of-The-Art Frame-Interpolation gezählt werden, weil es sowohl Objekt-Überdeckungen als auch Tiefeninformationen ohne zusätzliche Anwender Interaktion gut erkennt.

Das Ergebnis überrascht dann sogar in zweierlei Hinsicht. Einerseits, weil die erzielte Qualität der Interpolation wirklich auf extrem hohem Niveau gelingt und nur sehr vereinzelt schlecht aufgelöste Artefakte zu sehen sind. Und auf der anderen Seite, weil man eine Stop-Motion Motion Animation mit 60 fps einfach nicht gewohnt ist und dies einen komplett neuen Seheindruck erzeugt. Ob dieser neue Eindruck dann letztlich auch besser ist, liegt buchstäblich im Auge des Betrachters. Aber es zeigt ein weiteres mal, wie KI-Modelle in Zukunft die Prozesse beim Film komplett umkrempeln werden.

In seinem Video beschreibt LegoEddy noch ein paar HIntergründe zu DAIN - unter anderem auch wie man es komplett kostenlos für eigenen Projekte nutzen kann. Und im Video findet sich ein Link auf (s)einen kompletten Lego-Film, der von 15fps auf 60 Bilder pro Sekunde hochgerechnet wurde.

Viel Vergnügen beim Staunen...