Logo Logo
/// News

Neue Methode zur Videostabilisierung per KI: Besser als alle bisherigen?

[19:46 Mo,12.April 2021 [e]  von ]    

Die nachträgliche Stabilisierung verwackelter Videoaufnahmen (gerade von Aufnahmen mit dem Smartphone) ist für viele User eine wichtige Aufgabe, deren Gelingen sehr von der verwendeten Methode abhängt. Bei Mobilvideos stehen Algorithmen vor besonderen Herausforderungen, wie etwa verrauschten Bildern aufgrund der kleinen Sensoren von Handys - verstärkt bei Lowlight-Aufnahmen -, oder starken Bewegungsunschärfen und Wackelartefakten durch den Rolling Shutter-Effekt leiden.

Grundsätzlich stehen zwei Verfahren zur Auswahl, die allerdings jeweils spezifische Schwächen haben. Einmal wird das Video stabilisiert, indem ein möglichst großer Teil des Bildes per Tracking verfolgt, ausgeschnitten und vergrößert wird mit dem Ergebnis, daß ein mehr oder weniger großer (je nach Stärke der Bildwackler) Randbereich des Bildes wegfällt.





Alternativ werden zwar Vollbilder durch eine aufeinanderfolgende Bewegungsschätzung, Bewegungsglättung und Erzeugung stabilisierter neuer Einzelframes generiert, aber der Preis dafür sind deutlich erkennbare (und störende) Verzerrungsartefakte, besonders an den Rändern.

Videostabilizer-All
Die neue Methode im Vergleich


Eine neue Methode namens FuSta - Hybrid Neural Fusion for Full-frame Video Stabilization eines Teams der National University Taiwan und Google verspricht das beste aus beiden Welten: eine Videostabilisierung des gesamten Bildes ohne Artefakte. Sie nutzt dazu ein Convolutional Neural Network, mit dessen Hilfe die benachbarten Frames genutzt werden, um durch Wackler an den Rändern fehlende Bildinhalte für stabilisierte Vollbilder zu synthetisieren, unscharfe Bilder zu entfernen und durch sich schnell bewegende Objekte verursachte ArtefakteArtefakte im Glossar erklärt zu minimieren.
Und tatsächlich: im Vergleich mit aktuellen Stabilisierungs-Verfahren als auch mit dem Warp Stabilizer in Adobe Premiere Pro schneidet das neue Verfahren sehr gut ab und zeitigt deutlich weniger ArtefakteArtefakte im Glossar erklärt trotz ungecropptem Video.

Perfekt ist auch diese Technik allerdings nicht: Bildfehler tauchen auch hier bei zu schnellen Kamerabewegungen am Rand des stabilisierten Materials auf und oft wirken Flächen auch etwas wabernd, was aber auch am Orginalmaterial liegen kann. Aber, wie Károly Zsolnai-Fehér von "Two Minute Papers" gerne bemerkt, "two more papers down the line", also zwei Forschungsarbeiten später, werden diese Probleme vermutlich zum Verschwinden gebracht worden sein.

Hier der Two Minute Papers Clip über das neue Verfahren:



Wer die Videostabilisierung per FuSta selbst ausprobieren will und die notwendigen Vorkenntnisse besitzt, kann sich den Code hier herunterladen.

Link mehr Informationen bei www.youtube.com

  
[19 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Jörg    10:16 am 13.4.2021
in zwei Jahren bekommen wir dann vielleicht die vor fast einem Jahr angekündigte 3XXX Serie zum normalen Preis ?
Frank Glencairn    10:11 am 13.4.2021
Da tut sich aber momentan auch ne Menge - gib der Sache nochmal 2 Jahre.... Währenddessen bastelt Nvidia schon mal an der entsprechenden Hardware - seit neuestem sogar CPUs...weiterlesen
mash_gh4    09:55 am 13.4.2021
ich seh das ein bisserl anders. wir haben ja hier vor einiger zeit ein ganzes jahr lang den arbeitsschwerpunkt "machine learning und kunst" in einer größeren gruppe...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildMirfak Audio WE10 Pro: Neue kompakte Dual Receiver Funkstrecke mit Aufnahme auf SD-Karte bildWelche großen Festplatten hatten 2020 die wenigsten Ausfälle?


verwandte Newsmeldungen:
Machine Learning:

KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren 20.September 2021
Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras 19.September 2021
Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI 6.September 2021
Omnimatte: Nahezu perfekte Masken bewegter Objekte per KI 27.August 2021
Per DeepFake selbst im Filmtrailer von "Reminiscene" mit Hugh Jackman mitspielen 22.August 2021
Nvidias KI erschafft noch realistischere Animationen von künstlichen Gesichtern 27.Juli 2021
Neue Parrot Anafi Ai Drohne kann per LTE geflogen werden 19.Juli 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Messenschraeg
9-13. Oktober / Las Vegas
NAB 2021
3-6. Dezember / Amsterdam
IBC 2021
weitere Termine von Messen, Schulungen und Roadshows


update am 21.September 2021 - 16:36
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*