Logo Logo
/// News

Von 30fps zu 480fps: Flüssige Bildraten und extreme Zeitlupen Dank KI

[14:14 Di,21.Januar 2020 [e]  von ]    

In vielen Bereichen revolutionieren neue AI/Deep Learning-Algorithmen die Arbeit mit Video - ein interessantes Anwendungsgebiet ist die intelligente Interpolation von Bildwiederholungsraten, d.h. das Errechnen von einem (oder auch mehreren Bildern) zwischen zwei vorhandenen Bildern eines Videos. Das Problem ist dabei, Bewegungen von Objekten so zu interpolieren, dass sie auf den synthetisierten Bildern logisch fortgeführt wird. Richtig gut kann das nur funktionieren, wenn der Algorithmus nicht nur Objekte (und Teile davon) identifizieren kann und ihre Bewegung sowie Formveränderung interpolieren kann, sondern auch erkennen kann, in welcher Raumtiefe welches Objekt liegt, um gegenseitige Verdeckungen richtig vorauszusagen.





Das (und noch mehr) macht der neue, von einem Forscherteam der Universitäten von Shanghai, Kalifornien und Google entwickelte DAIN (Depth-Aware Video FrameFrame im Glossar erklärt Interpolation) Algorithmus. Er nutzt vier verschiedene neuronale Netzwerke (jeweils eines für Optical Flow Estimation, Depth Estimation, Content Extraction und Kernel Estimation) für die unterschiedlichen Probleme der korrekten Interpolation und synthetisiert deren Ergebnisse dann zu einem Video. Das funktioniert verblüffend gut - was man an anhand der unten eingebetteten Beispielvideos gut sehen kann - und demonstriert, was gerade State-of-the-Art im Bereich FrameFrame im Glossar erklärt Interpolation ist.

DAIN-Workflow
Der DAIN Workflow


Nützlich ist dies nicht nur, um zum Beispiel Animationen nachträglich flüssiger zu machen - es kann auch (altes) 24p Filmmaterial im Nachhinein auf 60fps interpoliert werden. Eine weitere Anwendung wäre es, 8K z.B. als 10fps Einzelbildfolge aufzunehmen und nachträglich auf eine höhere Bildwiederholungsrate aufzupumpen.

Im folgenden Video wird per DAIN zum Beispiel eine 16fache flüssige Zeitlupe errechnet:



Netterweise hat jemand den Code von DAIN in Form einer DAIN-App für Windows zusammengestellt. So kann jeder User selbst anhand seines eigenen Videomaterials einfach ausprobieren, wie gut die Interpolation der Bildrate per DAIN im vergleich zu herkömmlichen Interpolationsverfahren funktioniert - Voraussetzung für die Berechnung ist allerdings CUDA.

DAIN-APP
DAIN App


Die App befindet sich noch in einem frühen Stadium und ist noch nicht optimiert (und deshalb 1 GB groß). Je nach GPU-Power können die Berechnungen ziemlich lange dauern. Postet Eure Erfahrungen, wir sind gespannt!

Noch mehr Beispiele:



Alte Harryhausen Animationen:



Link mehr Informationen bei sites.google.com

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Bruno Peter    10:05 am 22.1.2020
Jau..., deshalb bleibe ich bei der 30p-Videoaufnahme
CandyNinjas    10:00 am 22.1.2020
Na ja, ich meinte eine "Ein-Knopfdruck" Lösung für "Aus Der Hüfte Geschossenes"...
roki100    09:47 am 22.1.2020
oder besser PFTrack kostet aber natürlich jede menge. ;)
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildVideogrüße aus Absurdistan: David Lynchs neuer Kurzfilm What Did Jack Do? Jetzt auf Netflix bildNeuer Edelkrone JibONE Mini-Jib-Arm für automatisierte Kamerafahrten und -schwenks


verwandte Newsmeldungen:
Machine Learning:

fylm.ai: Professionelles KI-gestütztes Color Grading im Browser 16.Oktober 2021
KI lernt kämpfen - und synthetisiert neue Martial Arts Moves 10.Oktober 2021
KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren 20.September 2021
Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras 19.September 2021
Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI 6.September 2021
Omnimatte: Nahezu perfekte Masken bewegter Objekte per KI 27.August 2021
Per DeepFake selbst im Filmtrailer von "Reminiscene" mit Hugh Jackman mitspielen 22.August 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 25.Oktober 2021 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*