Logo Logo
/// News

KI berechnet Videoclip aus Bildsequenz - ADOP

[11:59 Di,30.November 2021 [e]  von ]    

Es ist nicht das erste mal, dass man mittels KI versucht, Zwischenbilder aus einer Bildsequenz zu berechnen. Allerdings ist die nun erzielte Qualität von ADOP (Approximate Differentiable One-Pixel Point Rendering) so gut, dass es das Projekt in den beliebten Stream der Two Minute Papers geschafft hat.





Tatsächlich ist der Sichteindruck der KI-Interpolation mit ADOP kaum noch von der Realität zu unterscheiden, sofern das Programm nicht vor extrem schwer aufzulösende Probleme gestellt wird (u.a. spiegelnde Flächen oder bewegte Objekte zwischen den Bildern). Auch ein leichtes Flackern von Flächen fällt gelegentlich ins Auge, jedoch würde kaum jemand von dem gezeigten Spielplatz-Video ahnen, dass es aus einer Bildsequenz erstellt wurde.

KI-Pic2vid



Bemerkenswert ist ebenfalls, dass die Arbeit komplett an der Friedrich Alexander Universität bzw. an deren Lehrstuhl für Graphische Datenverarbeitung in Erlangen entstanden ist. Überfliegt man dort die Forschungsarbeiten der drei Autoren (Darius Rückert, Linus Franke und Marc Stamminger), so scheint ADOP nur ein Projekt von vielen gewesen zu sein.

Wer etwas Compiler- und KI-Erfahrung hat, kann das Projekt selber dank Github-Page als C++/CUDA/ libTorch-Projekt zum laufen bringen. Eine schnelle Nvidia-GPU sollte für akzeptable Trainingszeiten ausreichen.

Auf der Github-Page findet sich weiters auch ein experimenteller VR-Viewer für die interpolierte Szene, sowie ein Tool welches HDR-Szenen erzeugt, wenn die Input Bildsequenzen mit verschiedenen Belichtungen aufgenommen wurden.

Wie man gut sehen kann, eröffnet die KI hier ein weites Anwendungsfeld über die Frame-Interpolation hinaus, das wir in den nächsten Jahren mit Sicherheit in diversen kommerziellen Applikationen wiederfinden werden. Und "Computational Cinematographie" wird mit Sicherheit nicht mehr verschwinden...

Link mehr Informationen bei arxiv.org

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildKompaktes 2x Makro-Objektiv: Laowa 85mm f/5.6 2x Ultra Macro APO vorgestellt bildSony stellt wegen Chipmangel die Produktion von Sony Alpha 7 II, Alpha 6100/6400 und PXW-Z190 ein


verwandte Newsmeldungen:
Machine Learning:

Neues Samsung Galaxy S23 Ultra Smartphone: 8K, 200MP-Sensor, KI-Nachtmodus und verbesserter Autofokus 3.Februar 2023
Neue Audio KI generiert neben Musik auch beliebige Soundeffekte 2.Februar 2023
Erst Bilder, dann Sounds: Neue Google-KI generiert beliebige Musik nach Textbeschreibung 30.Januar 2023
Neuer KI-Effekt NVIDIA Eye Contact: Bye bye Teleprompter? 25.Januar 2023
Der totale Remix: Neue KI Tune-A-Video macht neue Videos aus alten Clips 24.Januar 2023
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)? 23.Januar 2023
OpenAI VALL-E: Neue KI macht jede Stimme nach - nur anhand von 3s Stimmsample 9.Januar 2023
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 5.Februar 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*