Logo Logo
/// News

Neue Methode zur Videostabilisierung per KI: Besser als alle bisherigen?

[19:46 Mo,12.April 2021 [e]  von ]    

Die nachträgliche Stabilisierung verwackelter Videoaufnahmen (gerade von Aufnahmen mit dem Smartphone) ist für viele User eine wichtige Aufgabe, deren Gelingen sehr von der verwendeten Methode abhängt. Bei Mobilvideos stehen Algorithmen vor besonderen Herausforderungen, wie etwa verrauschten Bildern aufgrund der kleinen Sensoren von Handys - verstärkt bei Lowlight-Aufnahmen -, oder starken Bewegungsunschärfen und Wackelartefakten durch den Rolling Shutter-Effekt leiden.

Grundsätzlich stehen zwei Verfahren zur Auswahl, die allerdings jeweils spezifische Schwächen haben. Einmal wird das Video stabilisiert, indem ein möglichst großer Teil des Bildes per Tracking verfolgt, ausgeschnitten und vergrößert wird mit dem Ergebnis, daß ein mehr oder weniger großer (je nach Stärke der Bildwackler) Randbereich des Bildes wegfällt.





Alternativ werden zwar Vollbilder durch eine aufeinanderfolgende Bewegungsschätzung, Bewegungsglättung und Erzeugung stabilisierter neuer Einzelframes generiert, aber der Preis dafür sind deutlich erkennbare (und störende) Verzerrungsartefakte, besonders an den Rändern.

Videostabilizer-All
Die neue Methode im Vergleich


Eine neue Methode namens FuSta - Hybrid Neural Fusion for Full-frame Video Stabilization eines Teams der National University Taiwan und Google verspricht das beste aus beiden Welten: eine Videostabilisierung des gesamten Bildes ohne Artefakte. Sie nutzt dazu ein Convolutional Neural Network, mit dessen Hilfe die benachbarten Frames genutzt werden, um durch Wackler an den Rändern fehlende Bildinhalte für stabilisierte Vollbilder zu synthetisieren, unscharfe Bilder zu entfernen und durch sich schnell bewegende Objekte verursachte ArtefakteArtefakte im Glossar erklärt zu minimieren.
Und tatsächlich: im Vergleich mit aktuellen Stabilisierungs-Verfahren als auch mit dem Warp Stabilizer in Adobe Premiere Pro schneidet das neue Verfahren sehr gut ab und zeitigt deutlich weniger ArtefakteArtefakte im Glossar erklärt trotz ungecropptem Video.

Perfekt ist auch diese Technik allerdings nicht: Bildfehler tauchen auch hier bei zu schnellen Kamerabewegungen am Rand des stabilisierten Materials auf und oft wirken Flächen auch etwas wabernd, was aber auch am Orginalmaterial liegen kann. Aber, wie Károly Zsolnai-Fehér von "Two Minute Papers" gerne bemerkt, "two more papers down the line", also zwei Forschungsarbeiten später, werden diese Probleme vermutlich zum Verschwinden gebracht worden sein.

Hier der Two Minute Papers Clip über das neue Verfahren:



Wer die Videostabilisierung per FuSta selbst ausprobieren will und die notwendigen Vorkenntnisse besitzt, kann sich den Code hier herunterladen.

Link mehr Informationen bei www.youtube.com

  
[19 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Jörg    10:16 am 13.4.2021
in zwei Jahren bekommen wir dann vielleicht die vor fast einem Jahr angekündigte 3XXX Serie zum normalen Preis ?
Frank Glencairn    10:11 am 13.4.2021
Da tut sich aber momentan auch ne Menge - gib der Sache nochmal 2 Jahre.... Währenddessen bastelt Nvidia schon mal an der entsprechenden Hardware - seit neuestem sogar CPUs...weiterlesen
mash_gh4    09:55 am 13.4.2021
ich seh das ein bisserl anders. wir haben ja hier vor einiger zeit ein ganzes jahr lang den arbeitsschwerpunkt "machine learning und kunst" in einer größeren gruppe...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildMirfak Audio WE10 Pro: Neue kompakte Dual Receiver Funkstrecke mit Aufnahme auf SD-Karte bildWelche großen Festplatten hatten 2020 die wenigsten Ausfälle?


verwandte Newsmeldungen:
Machine Learning:

Bald leisere Drohnen durch neues KI-gestütztes Rotoren-Design? 2.Mai 2021
Colourlab Ai 1.2: Neues Kameraprofil-Tool und neue Formate 30.April 2021
Dynascore Musik-Engine -- KI passt Musikstücke an Videoprojekte an 19.April 2021
Simon Says: Audio-Transkription per KI jetzt auch in Adobe Premiere Pro 18.April 2021
AnkerWork PowerConf C300 - Smarte HD-Webcam mit integrierter KI-Unterstützung 13.April 2021
Alter, Geschlecht oder Mimik eines Gesichts per KI Photo Editing ändern 4.April 2021
Neue KI generiert photorealistische Bilder auf Wunsch 28.März 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
1. April - 30. September / Düsseldorf
Young Film Lab
19-30. Juni / Düsseldorf
24h to take
alle Termine und Einreichfristen


update am 17.Mai 2021 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*