Neue Methode zur Videostabilisierung per KI: Besser als alle bisherigen?

Die nachträgliche Stabilisierung verwackelter Videoaufnahmen (gerade von Aufnahmen mit dem Smartphone) ist für viele User eine wichtige Aufgabe, deren Gelingen sehr von der verwendeten Methode abhängt. Bei Mobilvideos stehen Algorithmen vor besonderen Herausforderungen, wie etwa verrauschten Bildern aufgrund der kleinen Sensoren von Handys - verstärkt bei Lowlight-Aufnahmen -, oder starken Bewegungsunschärfen und Wackelartefakten durch den Rolling Shutter-Effekt leiden.


Grundsätzlich stehen zwei Verfahren zur Auswahl, die allerdings jeweils spezifische Schwächen haben. Einmal wird das Video stabilisiert, indem ein möglichst großer Teil des Bildes per Tracking verfolgt, ausgeschnitten und vergrößert wird mit dem Ergebnis, daß ein mehr oder weniger großer (je nach Stärke der Bildwackler) Randbereich des Bildes wegfällt.






Alternativ werden zwar Vollbilder durch eine aufeinanderfolgende Bewegungsschätzung, Bewegungsglättung und Erzeugung stabilisierter neuer Einzelframes generiert, aber der Preis dafür sind deutlich erkennbare (und störende) Verzerrungsartefakte, besonders an den Rändern.


Die neue Methode im Vergleich
Die neue Methode im Vergleich

Eine neue Methode namens FuSta - Hybrid Neural Fusion for Full-frame Video Stabilization eines Teams der National University Taiwan und Google verspricht das beste aus beiden Welten: eine Videostabilisierung des gesamten Bildes ohne Artefakte. Sie nutzt dazu ein Convolutional Neural Network, mit dessen Hilfe die benachbarten Frames genutzt werden, um durch Wackler an den Rändern fehlende Bildinhalte für stabilisierte Vollbilder zu synthetisieren, unscharfe Bilder zu entfernen und durch sich schnell bewegende Objekte verursachte Artefakte zu minimieren.


Und tatsächlich: im Vergleich mit aktuellen Stabilisierungs-Verfahren als auch mit dem Warp Stabilizer in Adobe Premiere Pro schneidet das neue Verfahren sehr gut ab und zeitigt deutlich weniger Artefakte trotz ungecropptem Video.



Perfekt ist auch diese Technik allerdings nicht: Bildfehler tauchen auch hier bei zu schnellen Kamerabewegungen am Rand des stabilisierten Materials auf und oft wirken Flächen auch etwas wabernd, was aber auch am Orginalmaterial liegen kann. Aber, wie Károly Zsolnai-Fehér von "Two Minute Papers" gerne bemerkt, "two more papers down the line", also zwei Forschungsarbeiten später, werden diese Probleme vermutlich zum Verschwinden gebracht worden sein.



Hier der Two Minute Papers Clip über das neue Verfahren:






Wer die Videostabilisierung per FuSta selbst ausprobieren will und die notwendigen Vorkenntnisse besitzt, kann sich den Code hier herunterladen.


Leserkommentare // Neueste
Jörg  //  10:16 am 13.4.2021
in zwei Jahren bekommen wir dann vielleicht die vor fast einem Jahr angekündigte 3XXX Serie zum normalen Preis ?
Frank Glencairn  //  10:11 am 13.4.2021
Da tut sich aber momentan auch ne Menge - gib der Sache nochmal 2 Jahre.... Währenddessen bastelt Nvidia schon mal an der entsprechenden Hardware - seit neuestem sogar CPUs...weiterlesen
mash_gh4  //  09:55 am 13.4.2021
ich seh das ein bisserl anders. wir haben ja hier vor einiger zeit ein ganzes jahr lang den arbeitsschwerpunkt "machine learning und kunst" in einer größeren gruppe...weiterlesen
Ähnliche News //
Umfrage
  • Was hältst du von den neuen Bild/Video-KIs?





    Ergebnis ansehen
slashCAM nutzt Cookies zur Optimierung des Angebots, auch Cookies Dritter. Die Speicherung von Cookies kann in den Browsereinstellungen unterbunden werden. Mehr Informationen erhalten Sie in unserer Datenschutzerklärung. Mehr Infos Verstanden!
RSS Suche YouTube Facebook Twitter slashCAM-Slash