Logo Logo
/// News

Mit neuer Google KI in Photos von Landschaften hineinfliegen

[13:40 So,16.Oktober 2022 [e]  von ]    

Ein Team aus Forschern von Google Research der Cornell University und der UC Berkeley hat eine neue KI namens InfiniteNature-Zero vorgestellt, welche es ermöglicht, Photos von natürlichen Landschaften mit virtuellen Kamerafahrten zu durchfliegen. Durch eine Kombination von Inpainting, Outpainting und Super-Resolution Techniken produziert die neue KI Algorithmus eine quasi unendliche Landschaftsflugaufnahme - ausgehend vor nur einem einzigen vorgegebenen Foto. Das resultierende Video simuliert eine Kamerafahrt und erweckt durch ein kontinuierliches Zoomen bzw. Morphing den Eindruck eines Drohnenflugs über eine natürliche Landschaft. Der Betrachter kann sogar interaktiv die Flugrichtung ändern.





Die Qualität der Videos ist noch nicht sehr hoch und die Auflösung beträgt nur 512 x 512 Pixel, aber wie immer bei solchen Forschungsarbeiten wird eine neue Methode erst prinzipiell demonstriert, bevor dann das Augenmerk auf höherwertige Resultate gelegt wird.

InfiniteZero-Examples


Interessanterweise wurde die InfiniteNature-Zero KI nicht mittels echter Flugaufnahmen, sondern nur anhand von einzelnen Photos von Landschaften (keine Photoserien) ohne weitere Daten wie Kameraposition oder -ausrichtung trainiert. Die vorherige Version benötigte zum Training noch von Drohnen gefilmte Videos.

InfiniteZero-Algo


Um die virtuellen Flugaufnahmen zu produzieren, mussten mehrere einzelne Probleme gelöst werden: so müssen Bildinformationen ergänzt werden, welche im ursprünglichen Anfangsbild nicht vorkommen, wie z.B. versteckte Bereiche auf einem Foto, welche bei einer Kamerafahrt dann aber sichtbar werden. Beispielsweise muss eine Stelle, die hinter Bäumen verborgen ist, generiert werden.



Dies geschieht durch "Inpainting", eine Methode, die auch bildgenerierende KIs wie Stable Diffusion bieten. Die KI produziert anhand des von ihr gelernten Bildmaterials einen wahrscheinlichen Bildinhalt für die vormals verdeckte Stelle.



Um den Effekt des Fliegens zu erzeugen, muss die KI auch Bildinhalte generieren, die sich außerhalb der Grenzen des Fotos an den Seiten befinden. Dies wird als "Outpainting" bezeichnet und auch hier muss die KI auf der Grundlage des Originalfotos passende, fehlende Bildinformationen per Deep Learning erzeugen. Da beim virtuellen Zoom in das Photo auch die Unschärfe zunimmt und Bildinhalte pixelig erschienen, wird das Bild zusätzlich noch per KI-Superresolution nachträglich geschärft.

Im folgenden Video von 2 Minute Papers wird auch gezeigt, wieviel besser die neue Methode ist im Vergleich zu älteren Versionen:


Link mehr Informationen bei infinite-nature-zero.github.io

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildKostenlose Online-Sessions zu Premiere Pro und After Effects auf der Adobe MAX 2022 bildYouTranscription - Youtube Videos in durchsuchbare PDFs transkribieren


verwandte Newsmeldungen:
KI:

Meta Emu KI-Bildgenerator - online kostenlos, jedoch aktuell nur in den USA 7.Dezember 2023
SDXL-Turbo - Neuer KI-Algorithmus beschleunigt Stable Diffusion extrem 6.Dezember 2023
PIKA 1.0 angekündigt - Generative KI-Videos mit erstaunlicher Qualität 29.November 2023
Der nächste Schritt ist da: KI trainiert KI (und braucht den Menschen nicht mehr) 28.November 2023
Insta360 Ace Pro - Action Cam mit 8K-Sensor, Leica Optik und viel KI 24.November 2023
Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung vorgestellt 23.November 2023
Boris FX: Continuum bekommt KI-Funktionen - Denoiser und Upscaler 21.November 2023
alle Newsmeldungen zum Thema KI

Film:

Die Top 20 Filme für die VFX-Oscars: Napoleon, Spider-Man, The Creator aber kein Oppenheimer 10.Dezember 2023
Filmic Pro - Team aus dem Rennen, Pferd läuft noch weiter 4.Dezember 2023
Team Group T-CREATE CinemaPr P31 - Externe USB-C SSD mit Mounting-Holes 2.Dezember 2023
Behind the Scenes Clip bei Apple: Launch-Event mit dem iPhone 15 Pro Max produziert 1.November 2023
Von Taxi Driver bis Silence - Martin Scorsese kommentiert seine Kultfilme 21.Oktober 2023
Digitale Filmpatrone für analoge Spiegelreflexkameras - I’m Back Film 9.Oktober 2023
The Creator - IMAX nutzt KI-Modelle zur Film-Skalierung 5.Oktober 2023
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 10.Dezember 2023 - 12:30
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*