[11:18 So,29.November 2020 [e] von Thomas Richter] |
Und wieder etwas KI-Magie: ein neuer Deep Learning Algorithmus namens SkyAR kann in Videos den Himmel samt seiner speziellen Lichtstimmung austauschen. Schon die erste Version eines ähnlichen Projekts hatte 2017 sehr interessante Möglichkeiten eröffnet (wenn auch resultierende Videos noch nicht perfekt waren) und vermochten es zum Beispiel recht überzeugend, Tagesaufnahmen in Nachtaufnahmen umzuwandeln oder Winter- in Sommeraufnahmen - inklusive Änderung der Beleuchtung und Reflektionen dieser (neuen) Lichter in (bewegten) Bildobjekten. ;) Tag zu Nacht 2017
Die neue Version ("Dynamic Sky Replacement and Harmonization in Videos") richtet ihr Augenmerk auf einen anderen Gesichtspunkt der Himmelssubsitution - sie ermöglicht es, nicht nur den Himmel zu ersetzen, sonder auch Objekte wie etwa ein Luftschloss einzublenden oder das Wetter zu wechseln. Es müssen eine ganze Reihe von zusammenhängenden Operationen für das Endergebnis durchlaufen werden, wie etwa eine Erkennung der Kamerabewegung, das Trennen von Himmel und dem Rest der Szene in unterschiedliche Ebenen sowie ein Ersetzen des Himmels durch das Bild eines anderen samt Angleichung der Beleuchtung. Hier ist die neue Methode des "Sky Replacements" noch einmal eingeordnet und erklärt durch Károly Zsolnai von der TU Wien in seinem  Two Minute Papers YouTube Kanal: Die Ergebnisse des neuen Algorithmus sind relativ hochwertig - mit einer einzigen NVIDIA Titan XP-Grafikkarte erreicht er eine Echtzeit-Verarbeitungsgeschwindigkeit (24 fps) bei einer Ausgabeauflösung von 640 x 320 Pixeln und eine nahezu Echtzeit-Verarbeitungsgeschwindigkeit (15 fps) bei einer Auflösung von 854 x 480 Pixeln. Hier der Code zum selber ausprobieren - die entsprechenden Kentnisse vorausgesetzt.  Wie immer gibt es entsprechende Algorithmen für Photos schon länger und sie sind auch schon in kommerziellen Photobearbeitungsprogrammen wie Photos Adobe Photoshop und Luminar im Einsatz - vergleichbare Algorithmen für Videos sind immer komplizierter, da zusätzlich zur eigentlichen Funktion noch auf eine zeitlich Konsistenz geachtet werden muss zwischen den Einzelbildern. ;) Tag zu Nacht 2020 Es wird aber vermutlich nicht allzu lange dauern, bis der neue Algorithmus auch in Videobearbeitungsprogrammen bzw. Plugins Einzug hält oder sogar als Filter auf dem Smartphone für Videos verfügbar sein wird und so allgemein möglich macht, was bisher nur großen Filmproduktionen möglich war: ein glaubhafter Austausch des Himmels samt Lichtstimmung - zum Beispiel um eine Szene dramatischer zu gestalten oder den Tag zur Nacht zu machen. Sollte das in Zukunft gut genug klappen, wären Filmemacher bei Außenaufnahmen ein ganzes Stück vom Wetter und den vorherrschenden Lichtverhältnissen unabhängiger. Hier ein Vergleich der Ergebnisse eines Austauschs des Himmels in Photos per Adobe Photoshop 2021 und Luminar 4:  mehr Informationen bei jiupinjia.github.io |
 |
|
|
Photokina 2022 auch abgesagt - ohne weiteren Termin
proDAD VitaScene V4 PRO: über 1.400 Übergangseffekten und Videofiltern
