Ein Team aus Forschern von Google Research der Cornell University und der UC Berkeley hat eine neue KI namens InfiniteNature-Zero vorgestellt, welche es ermöglicht, Photos von natürlichen Landschaften mit virtuellen Kamerafahrten zu durchfliegen. Durch eine Kombination von Inpainting, Outpainting und Super-Resolution Techniken produziert die neue KI Algorithmus eine quasi unendliche Landschaftsflugaufnahme - ausgehend vor nur einem einzigen vorgegebenen Foto. Das resultierende Video simuliert eine Kamerafahrt und erweckt durch ein kontinuierliches Zoomen bzw. Morphing den Eindruck eines Drohnenflugs über eine natürliche Landschaft. Der Betrachter kann sogar interaktiv die Flugrichtung ändern.
Die Qualität der Videos ist noch nicht sehr hoch und die Auflösung beträgt nur 512 x 512 Pixel, aber wie immer bei solchen Forschungsarbeiten wird eine neue Methode erst prinzipiell demonstriert, bevor dann das Augenmerk auf höherwertige Resultate gelegt wird.
Interessanterweise wurde die InfiniteNature-Zero KI nicht mittels echter Flugaufnahmen, sondern nur anhand von einzelnen Photos von Landschaften (keine Photoserien) ohne weitere Daten wie Kameraposition oder -ausrichtung trainiert. Die vorherige Version benötigte zum Training noch von Drohnen gefilmte Videos.
Um die virtuellen Flugaufnahmen zu produzieren, mussten mehrere einzelne Probleme gelöst werden: so müssen Bildinformationen ergänzt werden, welche im ursprünglichen Anfangsbild nicht vorkommen, wie z.B. versteckte Bereiche auf einem Foto, welche bei einer Kamerafahrt dann aber sichtbar werden. Beispielsweise muss eine Stelle, die hinter Bäumen verborgen ist, generiert werden.
// Top-News auf einen Blick:
- DJI Mavic 4 Pro - 6K Video, 360° Gimbal, RC Pro 2 und bessere Hinderniserkennung
- Blackmagic DaVinci Resolve 20 Beta 3 ist da
- Wird Sony bald seine Sensor Sparte ausgliedern?
- Runway Gen-4-Referenzen – jetzt in allen Bezahl-Tarifen verfügbar
- Schauspieler als unfreiwillige Werbefiguren - Die dunkle Seite digitaler KI-Klone
- Das Berufsbild des KI-Prompt-Ingenieurs ist bereits wieder verschwunden
Dies geschieht durch "Inpainting", eine Methode, die auch bildgenerierende KIs wie Stable Diffusion bieten. Die KI produziert anhand des von ihr gelernten Bildmaterials einen wahrscheinlichen Bildinhalt für die vormals verdeckte Stelle.
Um den Effekt des Fliegens zu erzeugen, muss die KI auch Bildinhalte generieren, die sich außerhalb der Grenzen des Fotos an den Seiten befinden. Dies wird als "Outpainting" bezeichnet und auch hier muss die KI auf der Grundlage des Originalfotos passende, fehlende Bildinformationen per Deep Learning erzeugen. Da beim virtuellen Zoom in das Photo auch die Unschärfe zunimmt und Bildinhalte pixelig erschienen, wird das Bild zusätzlich noch per KI-Superresolution nachträglich geschärft.
Im folgenden Video von 2 Minute Papers wird auch gezeigt, wieviel besser die neue Methode ist im Vergleich zu älteren Versionen:
