Logo Logo
/// News

Mit neuer Google KI in Photos von Landschaften hineinfliegen

[13:40 So,16.Oktober 2022 [e]  von ]    

Ein Team aus Forschern von Google Research der Cornell University und der UC Berkeley hat eine neue KI namens InfiniteNature-Zero vorgestellt, welche es ermöglicht, Photos von natürlichen Landschaften mit virtuellen Kamerafahrten zu durchfliegen. Durch eine Kombination von Inpainting, Outpainting und Super-Resolution Techniken produziert die neue KI Algorithmus eine quasi unendliche Landschaftsflugaufnahme - ausgehend vor nur einem einzigen vorgegebenen Foto. Das resultierende Video simuliert eine Kamerafahrt und erweckt durch ein kontinuierliches Zoomen bzw. Morphing den Eindruck eines Drohnenflugs über eine natürliche Landschaft. Der Betrachter kann sogar interaktiv die Flugrichtung ändern.





Die Qualität der Videos ist noch nicht sehr hoch und die Auflösung beträgt nur 512 x 512 Pixel, aber wie immer bei solchen Forschungsarbeiten wird eine neue Methode erst prinzipiell demonstriert, bevor dann das Augenmerk auf höherwertige Resultate gelegt wird.

InfiniteZero-Examples


Interessanterweise wurde die InfiniteNature-Zero KI nicht mittels echter Flugaufnahmen, sondern nur anhand von einzelnen Photos von Landschaften (keine Photoserien) ohne weitere Daten wie Kameraposition oder -ausrichtung trainiert. Die vorherige Version benötigte zum Training noch von Drohnen gefilmte Videos.

InfiniteZero-Algo


Um die virtuellen Flugaufnahmen zu produzieren, mussten mehrere einzelne Probleme gelöst werden: so müssen Bildinformationen ergänzt werden, welche im ursprünglichen Anfangsbild nicht vorkommen, wie z.B. versteckte Bereiche auf einem Foto, welche bei einer Kamerafahrt dann aber sichtbar werden. Beispielsweise muss eine Stelle, die hinter Bäumen verborgen ist, generiert werden.



Dies geschieht durch "Inpainting", eine Methode, die auch bildgenerierende KIs wie Stable Diffusion bieten. Die KI produziert anhand des von ihr gelernten Bildmaterials einen wahrscheinlichen Bildinhalt für die vormals verdeckte Stelle.



Um den Effekt des Fliegens zu erzeugen, muss die KI auch Bildinhalte generieren, die sich außerhalb der Grenzen des Fotos an den Seiten befinden. Dies wird als "Outpainting" bezeichnet und auch hier muss die KI auf der Grundlage des Originalfotos passende, fehlende Bildinformationen per Deep Learning erzeugen. Da beim virtuellen Zoom in das Photo auch die Unschärfe zunimmt und Bildinhalte pixelig erschienen, wird das Bild zusätzlich noch per KI-Superresolution nachträglich geschärft.

Im folgenden Video von 2 Minute Papers wird auch gezeigt, wieviel besser die neue Methode ist im Vergleich zu älteren Versionen:


Link mehr Informationen bei infinite-nature-zero.github.io

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildKostenlose Online-Sessions zu Premiere Pro und After Effects auf der Adobe MAX 2022 bildYouTranscription - Youtube Videos in durchsuchbare PDFs transkribieren


verwandte Newsmeldungen:
Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Neu gewählt: Die 100 besten Filme der Welt - mit neuer Überraschungs-Nummer 1 3.Dezember 2022
Story & Film App - Filmplanung am Smartphone von der Idee bis zum Schnitt 14.November 2022
Sigma entwickelt 65mm FF-Objektiv für digitale Kino-Kameras 16.September 2022
LETsDOK: Ab Montag Dokumentarfilmfestival in 149 Kinos 11.September 2022
Neues Canon Cine-Servo CN8x15 für Kino/Broadcast 10.September 2022
Neue Google KI entrauscht RAW Photos dunkler Szenen perfekt - bald auch Videos? 28.August 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 9.Dezember 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*