Logo Logo
/// News

Neue Methode zur Videostabilisierung per KI: Besser als alle bisherigen?

[19:46 Mo,12.April 2021 [e]  von ]    

Die nachträgliche Stabilisierung verwackelter Videoaufnahmen (gerade von Aufnahmen mit dem Smartphone) ist für viele User eine wichtige Aufgabe, deren Gelingen sehr von der verwendeten Methode abhängt. Bei Mobilvideos stehen Algorithmen vor besonderen Herausforderungen, wie etwa verrauschten Bildern aufgrund der kleinen Sensoren von Handys - verstärkt bei Lowlight-Aufnahmen -, oder starken Bewegungsunschärfen und Wackelartefakten durch den Rolling Shutter-Effekt leiden.

Grundsätzlich stehen zwei Verfahren zur Auswahl, die allerdings jeweils spezifische Schwächen haben. Einmal wird das Video stabilisiert, indem ein möglichst großer Teil des Bildes per Tracking verfolgt, ausgeschnitten und vergrößert wird mit dem Ergebnis, daß ein mehr oder weniger großer (je nach Stärke der Bildwackler) Randbereich des Bildes wegfällt.





Alternativ werden zwar Vollbilder durch eine aufeinanderfolgende Bewegungsschätzung, Bewegungsglättung und Erzeugung stabilisierter neuer Einzelframes generiert, aber der Preis dafür sind deutlich erkennbare (und störende) Verzerrungsartefakte, besonders an den Rändern.

Videostabilizer-All
Die neue Methode im Vergleich


Eine neue Methode namens FuSta - Hybrid Neural Fusion for Full-frame Video Stabilization eines Teams der National University Taiwan und Google verspricht das beste aus beiden Welten: eine Videostabilisierung des gesamten Bildes ohne Artefakte. Sie nutzt dazu ein Convolutional Neural Network, mit dessen Hilfe die benachbarten Frames genutzt werden, um durch Wackler an den Rändern fehlende Bildinhalte für stabilisierte Vollbilder zu synthetisieren, unscharfe Bilder zu entfernen und durch sich schnell bewegende Objekte verursachte Artefakte zu minimieren.
Und tatsächlich: im Vergleich mit aktuellen Stabilisierungs-Verfahren als auch mit dem Warp Stabilizer in Adobe Premiere Pro schneidet das neue Verfahren sehr gut ab und zeitigt deutlich weniger Artefakte trotz ungecropptem Video.

Perfekt ist auch diese Technik allerdings nicht: Bildfehler tauchen auch hier bei zu schnellen Kamerabewegungen am Rand des stabilisierten Materials auf und oft wirken Flächen auch etwas wabernd, was aber auch am Orginalmaterial liegen kann. Aber, wie Károly Zsolnai-Fehér von "Two Minute Papers" gerne bemerkt, "two more papers down the line", also zwei Forschungsarbeiten später, werden diese Probleme vermutlich zum Verschwinden gebracht worden sein.

Hier der Two Minute Papers Clip über das neue Verfahren:



Wer die Videostabilisierung per FuSta selbst ausprobieren will und die notwendigen Vorkenntnisse besitzt, kann sich den Code hier herunterladen.

Link mehr Informationen bei www.youtube.com

  
[19 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Jörg    10:16 am 13.4.2021
in zwei Jahren bekommen wir dann vielleicht die vor fast einem Jahr angekündigte 3XXX Serie zum normalen Preis ?
Frank Glencairn    10:11 am 13.4.2021
Da tut sich aber momentan auch ne Menge - gib der Sache nochmal 2 Jahre.... Währenddessen bastelt Nvidia schon mal an der entsprechenden Hardware - seit neuestem sogar CPUs...weiterlesen
mash_gh4    09:55 am 13.4.2021
ich seh das ein bisserl anders. wir haben ja hier vor einiger zeit ein ganzes jahr lang den arbeitsschwerpunkt "machine learning und kunst" in einer größeren gruppe...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildMirfak Audio WE10 Pro: Neue kompakte Dual Receiver Funkstrecke mit Aufnahme auf SD-Karte bildWelche großen Festplatten hatten 2020 die wenigsten Ausfälle?


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 21.Mai 2022 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*