Logo Logo
/// News

KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2

[12:23 Do,30.Juni 2022 [e]  von ]    

Wir haben ja schon über die Bilder-KI DALLE-2 und ihre erstaunliche Fähigkeit, beeindruckende Bilder nur per Text-Prompt zu generieren berichtet. Der Photograph Nicholas Sherlock hat allerdings sein Augenmerk auf eine weiteres interessantes Einsatzgebiet gerichtet, nämlich als Assistent für die intelligente Bearbeitung von Photos.

Schon jetzt gibt es ja eine ganze Reihe von KI-basierte Tools bzw. Plugins zur Bildbearbeitung, diese sind aber alle nur auf eine bestimmte Aufgabe spezialisiert, wie zum Beispiel die Schärfung des Bildes. Im Gegensatz dazu besticht DALLE-2 durch seine sehr umfassenden Möglichkeiten "intelligenter" Bildmanipulation.


DALLE2-editing
Gezielte Bearbeitung



Sherlock nutzt einige spezielle Fähigkeiten von DALLE-2, die bisher eher im Schatten der Bildgenerierung standen. DALLE-2 kann nämlich auch mit einem Bild oder Photo als Input gefüttert werden, welches dann gezielt geändert werden kann. Und auch hier erfolgen die Änderungen am Bild nur durch eine Anweisung per Text, die beschreibt, was genau am Bild geändert werden soll.

So können mithilfe der KI ebenso gezielt Objekte in einem Photo ausgetauscht, als auch bestimmte Bildcharakteristika geändert werden, oder fehlende Bildbereiche sinnvoll durch die KI "ergänzt" werden.

In-Painting


Per sogenanntem "In-Painting" können manuell Objekte/Bereiche im Bild grob markiert werden, die dann durch ein anderes, per Textbeschreibung durch DALLE-2 generiertes Objekt ersetzt werden können, wie auf den folgende Beispielen zu sehen ist.

Editing-context
Ein Hund wird an verschiedenen Stellen in ein Bild eingefügt - jeweils ganz im Stile des Kontexts



Oder ein Objekt kann einfach nachträglich geschärft werden:

DALLE-2-fixed-photo
Nachschärfung einer Makroaufnahme eines Marienkäfers



Das umfassende, durch Training anhand von Millionen von Bildern erworbene "Wissen" von DALLE-2 um Bildzusammenhänge sowie die Physik von Objekten im dreidimensionalen Raum sorgt sowohl für eine korrekte Perspektive als auch Größe und Belichtung, um das neue Objekt nahtlos ins Bild einzufügen. Sogar Texturen, Schatten und Reflektionen durch das neue Objekt werden mitberechnet wie im folgenden Beispiel gut zu sehen ist.

elephant
Der Reiher im Bild wird durch einen Elefanten ersetzt - samt korrekter Reflektion im Wasser



Die nächste Stufe wäre ein objektbasiertes Editing, bei welchem auch die Auswahl der zu ändernden Bildbestandteile und die gewünschte Aktion per Beschreibung funktioniert, also z.B. "ersetze die Katze durch einen flauschigen Hund" oder "die Sonne soll tiefer stehen, Goldene Stunde".



Simulation spezifischer Optiken, Blenden und Verschlusszeiten


DALL-E 2 hat auch die unterschiedlichen Charakteristiken verschiedener Optiken gelernt, hier schön demonstriert an einigen Beispielen für generierte photorealistische Bilder, die je nach genanntem Objektiv (zum Beispiel Sigma 85 mm f/1.4, Voigtländer 20 mm f3.5 und Sigma 24 mm f/8) spezifisch unterschiedlich aussehen - sogar die Angabe der zu verwendenden Verschlusszeit oder der Blende ändert die Bilder auf typische Art und Weise. Ähnliches sollte auch per Editing von vorgegebenen Photos funktionieren.


Sigma 24mm f/8



Sigma 85mm f/8


Out-Painting


Weitere Möglichkeiten der Photobearbeitung liefert das "Out-Painting" (auch "Uncropping" genannt) - damit können Bilder kontextuell sinnvoll von DALLE-2 um Bildbereiche ergänzt werden. Damit lassen sich auch aus berühmten Gemälden ganze Panoramen erzeugen (hier weitere Out-Painting-Beispiele ):

Starry-Night-uncroped-pur
Vincent van Goghs Sternennacht fortgeführt - nur der Mittelteil ist Original



User von DALL-E 2 experimentieren auch schon mit der Möglichkeit, Objekte im Bild gezielt zu verändern, um sie z.B. aus einem anderen Winkel zu zeigen oder um visuell ansprechendere Variationen eines eigenen Photos zu generieren:

DALLE-2-Variations-of-photo
Variationen eines Photos - links oben das Original



KI: Die Zukunft des Photo- und Videoeditings?


DALLE-2 fungiert so als quasi intelligenter Photoediting-Assistent, der eigentlich komplexe und langwierige Änderungen an einem Photo per Befehl ganz einfach erledigt. Natürlich wird es noch etwas dauern bis diese Technik des objektbasierten Photoeditings für normale Anwender in ausreichend guter Qualität verfügbar ist, dass sie aber kommt, daran gibt es keinen Zweifel. Schwer absehbar sind allerdings die Folgen - wird KI den Job von Photographen erleichtern oder (in vielen Fällen) überflüssig machen, wenn einfach massenhaft Bilder ganz nach Wunsch generiert werden können?

Der Photograph Micael Widell jedenfalls sieht durch DALLE-2 /und andere Entwicklungen) die Zukunft der Photographie in Frage gestellt (ab 2:40):



Die Erfahrung zeigt auch, dass Entwicklungen in Sachen Bildbearbeitung im Photobereich auch bald darauf in der Videobearbeitung ankommen - die Manipulation von temporalen Bilderserien erfordert neben Änderungen der Struktur eines neuronalen Netzes einfach nur mehr Prozessor- (bzw. GPU-)Power. Videobearbeitung mit Hilfe von KI könnte zumindest viele Workflows - wie zum Beispiel im Color Grading - stark vereinfachen und per objektbasiertem Editing auch viele Aufgaben im Compositing erleichtern. Die Entwicklung wird also beim intelligenten KI-Assistenten sicherlich nicht stehenbleiben und dürfte auch vor dem kreativen Aspekt vieler Jobs nicht halt machen - man darf also gespannt sein auf die weitere Entwicklung.

Link mehr Informationen bei petapixel.com

  
[5 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
blindcat    16:40 am 1.7.2022
Ich finds cool. Kommt nur relativ wenig in den Produkten (die ich nutze :-) an. Wenn etwas ankommt ist es eben dann doch nicht SOOO cool wie in den Demos oder Papers. Gigapixel AI...weiterlesen
Darth Schneider    16:18 am 1.7.2022
@Frank. Finde ich auch, aber auch irgendwie süss, zumindest der kleine Elefant…;))) Schon beeindruckend und auch beängstigend, was heute schon, Maschinen alles so...weiterlesen
blindcat    16:10 am 1.7.2022
Nee. Da ist nur der Zeitpunkt erreicht zu dem die Forscher, die an KI's forschen, die die Manipulationen anderer KI's erkennen können, wieder eine KI trainieren müssen, die nun...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildAnamorphotischer Adapter von Moment - kompatibel mit vielen Objektiven bildXiaomi 12S Ultra Smartphone wird mit 1" Sensor filmen


verwandte Newsmeldungen:
Montage:

YouTube: neue Editing-App verfügbar - und bald kommen die Video-KI-Tools 22.September 2023
Nodebasiertes Editing für After Effects - Hollywood Illusion Magic Nodes 1.5 31.Mai 2023
Atomos Edit vorgestellt: Online Editing im Verbund mit Connect/Coud-Funktionen 28.April 2023
DaVinci Resolve 18.5: Neue Funktionen erklärt mit Screencaps: Relight, Text-Based Editing ... 17.April 2023
Rohschnitt aus Transkript generieren - Text-basiertes Editing in Premiere Pro (Beta) 12.Februar 2023
Photoshop für Videos? Pixelmator Pro 3.2 bekommt Video Editing / Compositing Layer 7.Dezember 2022
Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI 11.September 2022
alle Newsmeldungen zum Thema Montage

Videoschnitt:

Last Call - Endspurt! Der Nikon RAW Grading Wettbewerb endet am 27. September 2023 um 21h! 25.September 2023
YouTube: neue Editing-App verfügbar - und bald kommen die Video-KI-Tools 22.September 2023
Videoclip: Adobe Premiere Pro erklärt: Mit KI Pausen und Füllwörter schnell entfernen u.v.m. 19.September 2023
Atomos Edit bekommt engere Integration mit Adobe Premiere Pro 17.September 2023
Premiere Pro, After Effects und Frame.io - Mehr KI, 3D-Workspace und AWS-Cloud 13.September 2023
Neues im Avid Media Composer 2023.8 - u.a. Transkription und Classic Layout 4.September 2023
Magix Video deluxe 2024 vorgestellt mit neuer Oberfläche und Text-to-Speech 19.August 2023
alle Newsmeldungen zum Thema Videoschnitt

KI:

Google zeigt KI-Bullet-Time Effekt inkl. Slow Motion, Blur und Stabilizer - DynIBaR 30.September 2023
Drehbuchstreik in Hollywood endet nach 148 Tagen mit gutem Deal für Autoren - auch in Punkto KI 27.September 2023
Google Pixel 8 (Pro) - Neue Stufe der "computational" Videografie durch KI? 25.September 2023
YouTube: neue Editing-App verfügbar - und bald kommen die Video-KI-Tools 22.September 2023
DALL-E 3 ist da und generiert exaktere KI-Bilder inkl. Text dank ChatGPT-Integration 21.September 2023
Videoclip: Adobe Premiere Pro erklärt: Mit KI Pausen und Füllwörter schnell entfernen u.v.m. 19.September 2023
Adobe führt Credit-basiertes Modell für generative KI ein (und die Creative Cloud wird teurer) 18.September 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 3.Oktober 2023 - 13:27
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*