Logo
/// News

Von 30fps zu 480fps: Flüssige Bildraten und extreme Zeitlupen Dank KI

[14:14 Di,21.Januar 2020 [e]  von ]    

In vielen Bereichen revolutionieren neue AI/Deep Learning-Algorithmen die Arbeit mit Video - ein interessantes Anwendungsgebiet ist die intelligente Interpolation von Bildwiederholungsraten, d.h. das Errechnen von einem (oder auch mehreren Bildern) zwischen zwei vorhandenen Bildern eines Videos. Das Problem ist dabei, Bewegungen von Objekten so zu interpolieren, dass sie auf den synthetisierten Bildern logisch fortgeführt wird. Richtig gut kann das nur funktionieren, wenn der Algorithmus nicht nur Objekte (und Teile davon) identifizieren kann und ihre Bewegung sowie Formveränderung interpolieren kann, sondern auch erkennen kann, in welcher Raumtiefe welches Objekt liegt, um gegenseitige Verdeckungen richtig vorauszusagen.





Das (und noch mehr) macht der neue, von einem Forscherteam der Universitäten von Shanghai, Kalifornien und Google entwickelte DAIN (Depth-Aware Video FrameFrame im Glossar erklärt Interpolation) Algorithmus. Er nutzt vier verschiedene neuronale Netzwerke (jeweils eines für Optical Flow Estimation, Depth Estimation, Content Extraction und Kernel Estimation) für die unterschiedlichen Probleme der korrekten Interpolation und synthetisiert deren Ergebnisse dann zu einem Video. Das funktioniert verblüffend gut - was man an anhand der unten eingebetteten Beispielvideos gut sehen kann - und demonstriert, was gerade State-of-the-Art im Bereich FrameFrame im Glossar erklärt Interpolation ist.

DAIN-Workflow
Der DAIN Workflow


Nützlich ist dies nicht nur, um zum Beispiel Animationen nachträglich flüssiger zu machen - es kann auch (altes) 24p Filmmaterial im Nachhinein auf 60fps interpoliert werden. Eine weitere Anwendung wäre es, 8K z.B. als 10fps Einzelbildfolge aufzunehmen und nachträglich auf eine höhere Bildwiederholungsrate aufzupumpen.

Im folgenden Video wird per DAIN zum Beispiel eine 16fache flüssige Zeitlupe errechnet:



Netterweise hat jemand den Code von DAIN in Form einer DAIN-App für Windows zusammengestellt. So kann jeder User selbst anhand seines eigenen Videomaterials einfach ausprobieren, wie gut die Interpolation der Bildrate per DAIN im vergleich zu herkömmlichen Interpolationsverfahren funktioniert - Voraussetzung für die Berechnung ist allerdings CUDA.

DAIN-APP
DAIN App


Die App befindet sich noch in einem frühen Stadium und ist noch nicht optimiert (und deshalb 1 GB groß). Je nach GPU-Power können die Berechnungen ziemlich lange dauern. Postet Eure Erfahrungen, wir sind gespannt!

Noch mehr Beispiele:



Alte Harryhausen Animationen:



Link mehr Informationen bei sites.google.com

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Bruno Peter    10:05 am 22.1.2020
Jau..., deshalb bleibe ich bei der 30p-Videoaufnahme
CandyNinjas    10:00 am 22.1.2020
Na ja, ich meinte eine "Ein-Knopfdruck" Lösung für "Aus Der Hüfte Geschossenes"...
roki100    09:47 am 22.1.2020
oder besser PFTrack kostet aber natürlich jede menge. ;)
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildVideogrüße aus Absurdistan: David Lynchs neuer Kurzfilm What Did Jack Do? Jetzt auf Netflix bildNeuer Edelkrone JibONE Mini-Jib-Arm für automatisierte Kamerafahrten und -schwenks


verwandte Newsmeldungen:


[nach oben]

















passende Forenbeiträge zur News:

Archive

2020

August - Juli - Juni - Mai - April - März - Februar - Januar

2019
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
15. Juli - 31. Dezember /
Shorts at Moonlight online
21. Juli - 7. November / Bielefeld
31. Bilderbeben zum Thema „Abschied“
30-31. Oktober / Espelkamp
Filmfestival SPITZiale
6-8. November / Freyung
Kurzfilmfest Dreiländereck
alle Termine und Einreichfristen


update am 15.August 2020 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*