Logo
/// News

KI ersetzt den Himmel in Videos und macht den Tag zur Nacht

[11:18 So,29.November 2020 [e]  von ]    

Und wieder etwas KI-Magie: ein neuer Deep Learning Algorithmus namens SkyAR kann in Videos den Himmel samt seiner speziellen Lichtstimmung austauschen. Schon die erste Version eines ähnlichen Projekts hatte 2017 sehr interessante Möglichkeiten eröffnet (wenn auch resultierende Videos noch nicht perfekt waren) und vermochten es zum Beispiel recht überzeugend, Tagesaufnahmen in Nachtaufnahmen umzuwandeln oder Winter- in Sommeraufnahmen - inklusive Änderung der Beleuchtung und Reflektionen dieser (neuen) Lichter in (bewegten) Bildobjekten.

day-to-night
Tag zu Nacht 2017




Die neue Version ("Dynamic Sky Replacement and Harmonization in Videos") richtet ihr Augenmerk auf einen anderen Gesichtspunkt der Himmelssubsitution - sie ermöglicht es, nicht nur den Himmel zu ersetzen, sonder auch Objekte wie etwa ein Luftschloss einzublenden oder das Wetter zu wechseln.



Es müssen eine ganze Reihe von zusammenhängenden Operationen für das Endergebnis durchlaufen werden, wie etwa eine Erkennung der Kamerabewegung, das Trennen von Himmel und dem Rest der Szene in unterschiedliche Ebenen sowie ein Ersetzen des Himmels durch das Bild eines anderen samt Angleichung der Beleuchtung.

Hier ist die neue Methode des "Sky Replacements" noch einmal eingeordnet und erklärt durch Károly Zsolnai von der TU Wien in seinem Two Minute Papers YouTube Kanal:


Die Ergebnisse des neuen Algorithmus sind relativ hochwertig - mit einer einzigen NVIDIA Titan XP-Grafikkarte erreicht er eine Echtzeit-Verarbeitungsgeschwindigkeit (24 fps) bei einer Ausgabeauflösung von 640 x 320 Pixeln und eine nahezu Echtzeit-Verarbeitungsgeschwindigkeit (15 fps) bei einer Auflösung von 854 x 480 Pixeln. Hier der Code zum selber ausprobieren - die entsprechenden Kentnisse vorausgesetzt.



Wie immer gibt es entsprechende Algorithmen für Photos schon länger und sie sind auch schon in kommerziellen Photobearbeitungsprogrammen wie Photos Adobe Photoshop und Luminar im Einsatz - vergleichbare Algorithmen für Videos sind immer komplizierter, da zusätzlich zur eigentlichen Funktion noch auf eine zeitlich Konsistenz geachtet werden muss zwischen den Einzelbildern.

sky-replacement
Tag zu Nacht 2020


Es wird aber vermutlich nicht allzu lange dauern, bis der neue Algorithmus auch in Videobearbeitungsprogrammen bzw. Plugins Einzug hält oder sogar als Filter auf dem Smartphone für Videos verfügbar sein wird und so allgemein möglich macht, was bisher nur großen Filmproduktionen möglich war: ein glaubhafter Austausch des Himmels samt Lichtstimmung - zum Beispiel um eine Szene dramatischer zu gestalten oder den Tag zur Nacht zu machen. Sollte das in Zukunft gut genug klappen, wären Filmemacher bei Außenaufnahmen ein ganzes Stück vom Wetter und den vorherrschenden Lichtverhältnissen unabhängiger.

Hier ein Vergleich der Ergebnisse eines Austauschs des Himmels in Photos per Adobe Photoshop 2021 und Luminar 4:



Link mehr Informationen bei jiupinjia.github.io

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
CandyNinjas    12:15 am 29.11.2020
WOW !!! Sehr beeindruckend !!!
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildPhotokina 2022 auch abgesagt - ohne weiteren Termin bildproDAD VitaScene V4 PRO: über 1.400 Übergangseffekten und Videofiltern


verwandte Newsmeldungen:


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 19.Januar 2021 - 14:48
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*