Logo Logo
/// News

Von 30fps zu 480fps: Flüssige Bildraten und extreme Zeitlupen Dank KI

[14:14 Di,21.Januar 2020 [e]  von ]    

In vielen Bereichen revolutionieren neue AI/Deep Learning-Algorithmen die Arbeit mit Video - ein interessantes Anwendungsgebiet ist die intelligente Interpolation von Bildwiederholungsraten, d.h. das Errechnen von einem (oder auch mehreren Bildern) zwischen zwei vorhandenen Bildern eines Videos. Das Problem ist dabei, Bewegungen von Objekten so zu interpolieren, dass sie auf den synthetisierten Bildern logisch fortgeführt wird. Richtig gut kann das nur funktionieren, wenn der Algorithmus nicht nur Objekte (und Teile davon) identifizieren kann und ihre Bewegung sowie Formveränderung interpolieren kann, sondern auch erkennen kann, in welcher Raumtiefe welches Objekt liegt, um gegenseitige Verdeckungen richtig vorauszusagen.





Das (und noch mehr) macht der neue, von einem Forscherteam der Universitäten von Shanghai, Kalifornien und Google entwickelte DAIN (Depth-Aware Video Frame Interpolation) Algorithmus. Er nutzt vier verschiedene neuronale Netzwerke (jeweils eines für Optical Flow Estimation, Depth Estimation, Content Extraction und Kernel Estimation) für die unterschiedlichen Probleme der korrekten Interpolation und synthetisiert deren Ergebnisse dann zu einem Video. Das funktioniert verblüffend gut - was man an anhand der unten eingebetteten Beispielvideos gut sehen kann - und demonstriert, was gerade State-of-the-Art im Bereich Frame Interpolation ist.

DAIN-Workflow
Der DAIN Workflow


Nützlich ist dies nicht nur, um zum Beispiel Animationen nachträglich flüssiger zu machen - es kann auch (altes) 24p Filmmaterial im Nachhinein auf 60fps interpoliert werden. Eine weitere Anwendung wäre es, 8K z.B. als 10fps Einzelbildfolge aufzunehmen und nachträglich auf eine höhere Bildwiederholungsrate aufzupumpen.

Im folgenden Video wird per DAIN zum Beispiel eine 16fache flüssige Zeitlupe errechnet:



Netterweise hat jemand den Code von DAIN in Form einer DAIN-App für Windows zusammengestellt. So kann jeder User selbst anhand seines eigenen Videomaterials einfach ausprobieren, wie gut die Interpolation der Bildrate per DAIN im vergleich zu herkömmlichen Interpolationsverfahren funktioniert - Voraussetzung für die Berechnung ist allerdings CUDA.

DAIN-APP
DAIN App


Die App befindet sich noch in einem frühen Stadium und ist noch nicht optimiert (und deshalb 1 GB groß). Je nach GPU-Power können die Berechnungen ziemlich lange dauern. Postet Eure Erfahrungen, wir sind gespannt!

Noch mehr Beispiele:



Alte Harryhausen Animationen:



Link mehr Informationen bei sites.google.com

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Bruno Peter    10:05 am 22.1.2020
Jau..., deshalb bleibe ich bei der 30p-Videoaufnahme
CandyNinjas    10:00 am 22.1.2020
Na ja, ich meinte eine "Ein-Knopfdruck" Lösung für "Aus Der Hüfte Geschossenes"...
roki100    09:47 am 22.1.2020
oder besser PFTrack kostet aber natürlich jede menge. ;)
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildVideogrüße aus Absurdistan: David Lynchs neuer Kurzfilm What Did Jack Do? Jetzt auf Netflix bildNeuer Edelkrone JibONE Mini-Jib-Arm für automatisierte Kamerafahrten und -schwenks


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 17.Mai 2022 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*