Logo Logo
/// News

KI berechnet Videoclip aus Bildsequenz - ADOP

[11:59 Di,30.November 2021 [e]  von ]    

Es ist nicht das erste mal, dass man mittels KI versucht, Zwischenbilder aus einer Bildsequenz zu berechnen. Allerdings ist die nun erzielte Qualität von ADOP (Approximate Differentiable One-Pixel Point Rendering) so gut, dass es das Projekt in den beliebten Stream der Two Minute Papers geschafft hat.





Tatsächlich ist der Sichteindruck der KI-Interpolation mit ADOP kaum noch von der Realität zu unterscheiden, sofern das Programm nicht vor extrem schwer aufzulösende Probleme gestellt wird (u.a. spiegelnde Flächen oder bewegte Objekte zwischen den Bildern). Auch ein leichtes Flackern von Flächen fällt gelegentlich ins Auge, jedoch würde kaum jemand von dem gezeigten Spielplatz-Video ahnen, dass es aus einer Bildsequenz erstellt wurde.

KI-Pic2vid



Bemerkenswert ist ebenfalls, dass die Arbeit komplett an der Friedrich Alexander Universität bzw. an deren Lehrstuhl für Graphische Datenverarbeitung in Erlangen entstanden ist. Überfliegt man dort die Forschungsarbeiten der drei Autoren (Darius Rückert, Linus Franke und Marc Stamminger), so scheint ADOP nur ein Projekt von vielen gewesen zu sein.

Wer etwas Compiler- und KI-Erfahrung hat, kann das Projekt selber dank Github-Page als C++/CUDA/ libTorch-Projekt zum laufen bringen. Eine schnelle Nvidia-GPU sollte für akzeptable Trainingszeiten ausreichen.

Auf der Github-Page findet sich weiters auch ein experimenteller VR-Viewer für die interpolierte Szene, sowie ein Tool welches HDR-Szenen erzeugt, wenn die Input Bildsequenzen mit verschiedenen Belichtungen aufgenommen wurden.

Wie man gut sehen kann, eröffnet die KI hier ein weites Anwendungsfeld über die Frame-Interpolation hinaus, das wir in den nächsten Jahren mit Sicherheit in diversen kommerziellen Applikationen wiederfinden werden. Und "Computational Cinematographie" wird mit Sicherheit nicht mehr verschwinden...

Link mehr Informationen bei arxiv.org

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildKompaktes 2x Makro-Objektiv: Laowa 85mm f/5.6 2x Ultra Macro APO vorgestellt bildSony stellt wegen Chipmangel die Produktion von Sony Alpha 7 II, Alpha 6100/6400 und PXW-Z190 ein


verwandte Newsmeldungen:
Machine Learning:

Video Editing per KI läßt Objekte verschwinden und ersetzt Hintergründe 21.Januar 2022
HumanNeRF - KI modelliert menschliche Körper 14.Januar 2022
Wie Peter Jacksons Beatles-Doku "Get Back" erst durch AI möglich wurde 31.Dezember 2021
Zum selber ausprobieren: Diese KI verändert das Alter von Gesichtern 12.Dezember 2021
Disney kombiniert CGI mit KI für filmtaugliche Gesichtsanimationen 5.Dezember 2021
Adobe zeigt KI-Tools zur Mimik-Veränderung in Videos - Project Morpheus 4.Dezember 2021
Neural Nano Optics -Mit Metamaterial-Optik und KI zur Salzkorn-Kamera 2.Dezember 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 24.Januar 2022 - 17:24
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*