Logo Logo
/// News

KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2

[12:23 Do,30.Juni 2022 [e]  von ]    

Wir haben ja schon über die Bilder-KI DALLE-2 und ihre erstaunliche Fähigkeit, beeindruckende Bilder nur per Text-Prompt zu generieren berichtet. Der Photograph Nicholas Sherlock hat allerdings sein Augenmerk auf eine weiteres interessantes Einsatzgebiet gerichtet, nämlich als Assistent für die intelligente Bearbeitung von Photos.

Schon jetzt gibt es ja eine ganze Reihe von KI-basierte Tools bzw. Plugins zur Bildbearbeitung, diese sind aber alle nur auf eine bestimmte Aufgabe spezialisiert, wie zum Beispiel die Schärfung des Bildes. Im Gegensatz dazu besticht DALLE-2 durch seine sehr umfassenden Möglichkeiten "intelligenter" Bildmanipulation.


DALLE2-editing
Gezielte Bearbeitung



Sherlock nutzt einige spezielle Fähigkeiten von DALLE-2, die bisher eher im Schatten der Bildgenerierung standen. DALLE-2 kann nämlich auch mit einem Bild oder Photo als Input gefüttert werden, welches dann gezielt geändert werden kann. Und auch hier erfolgen die Änderungen am Bild nur durch eine Anweisung per Text, die beschreibt, was genau am Bild geändert werden soll.

So können mithilfe der KI ebenso gezielt Objekte in einem Photo ausgetauscht, als auch bestimmte Bildcharakteristika geändert werden, oder fehlende Bildbereiche sinnvoll durch die KI "ergänzt" werden.

In-Painting


Per sogenanntem "In-Painting" können manuell Objekte/Bereiche im Bild grob markiert werden, die dann durch ein anderes, per Textbeschreibung durch DALLE-2 generiertes Objekt ersetzt werden können, wie auf den folgende Beispielen zu sehen ist.

Editing-context
Ein Hund wird an verschiedenen Stellen in ein Bild eingefügt - jeweils ganz im Stile des Kontexts



Oder ein Objekt kann einfach nachträglich geschärft werden:

DALLE-2-fixed-photo
Nachschärfung einer Makroaufnahme eines Marienkäfers



Das umfassende, durch Training anhand von Millionen von Bildern erworbene "Wissen" von DALLE-2 um Bildzusammenhänge sowie die Physik von Objekten im dreidimensionalen Raum sorgt sowohl für eine korrekte Perspektive als auch Größe und Belichtung, um das neue Objekt nahtlos ins Bild einzufügen. Sogar Texturen, Schatten und Reflektionen durch das neue Objekt werden mitberechnet wie im folgenden Beispiel gut zu sehen ist.

elephant
Der Reiher im Bild wird durch einen Elefanten ersetzt - samt korrekter Reflektion im Wasser



Die nächste Stufe wäre ein objektbasiertes Editing, bei welchem auch die Auswahl der zu ändernden Bildbestandteile und die gewünschte Aktion per Beschreibung funktioniert, also z.B. "ersetze die Katze durch einen flauschigen Hund" oder "die Sonne soll tiefer stehen, Goldene Stunde".



Simulation spezifischer Optiken, Blenden und Verschlusszeiten


DALL-E 2 hat auch die unterschiedlichen Charakteristiken verschiedener Optiken gelernt, hier schön demonstriert an einigen Beispielen für generierte photorealistische Bilder, die je nach genanntem Objektiv (zum Beispiel Sigma 85 mm f/1.4, Voigtländer 20 mm f3.5 und Sigma 24 mm f/8) spezifisch unterschiedlich aussehen - sogar die Angabe der zu verwendenden Verschlusszeit oder der Blende ändert die Bilder auf typische Art und Weise. Ähnliches sollte auch per Editing von vorgegebenen Photos funktionieren.


Sigma 24mm f/8



Sigma 85mm f/8


Out-Painting


Weitere Möglichkeiten der Photobearbeitung liefert das "Out-Painting" (auch "Uncropping" genannt) - damit können Bilder kontextuell sinnvoll von DALLE-2 um Bildbereiche ergänzt werden. Damit lassen sich auch aus berühmten Gemälden ganze Panoramen erzeugen (hier weitere Out-Painting-Beispiele ):

Starry-Night-uncroped-pur
Vincent van Goghs Sternennacht fortgeführt - nur der Mittelteil ist Original



User von DALL-E 2 experimentieren auch schon mit der Möglichkeit, Objekte im Bild gezielt zu verändern, um sie z.B. aus einem anderen Winkel zu zeigen oder um visuell ansprechendere Variationen eines eigenen Photos zu generieren:

DALLE-2-Variations-of-photo
Variationen eines Photos - links oben das Original



KI: Die Zukunft des Photo- und Videoeditings?


DALLE-2 fungiert so als quasi intelligenter Photoediting-Assistent, der eigentlich komplexe und langwierige Änderungen an einem Photo per Befehl ganz einfach erledigt. Natürlich wird es noch etwas dauern bis diese Technik des objektbasierten Photoeditings für normale Anwender in ausreichend guter Qualität verfügbar ist, dass sie aber kommt, daran gibt es keinen Zweifel. Schwer absehbar sind allerdings die Folgen - wird KI den Job von Photographen erleichtern oder (in vielen Fällen) überflüssig machen, wenn einfach massenhaft Bilder ganz nach Wunsch generiert werden können?

Der Photograph Micael Widell jedenfalls sieht durch DALLE-2 /und andere Entwicklungen) die Zukunft der Photographie in Frage gestellt (ab 2:40):



Die Erfahrung zeigt auch, dass Entwicklungen in Sachen Bildbearbeitung im Photobereich auch bald darauf in der Videobearbeitung ankommen - die Manipulation von temporalen Bilderserien erfordert neben Änderungen der Struktur eines neuronalen Netzes einfach nur mehr Prozessor- (bzw. GPU-)Power. Videobearbeitung mit Hilfe von KI könnte zumindest viele Workflows - wie zum Beispiel im Color Grading - stark vereinfachen und per objektbasiertem Editing auch viele Aufgaben im Compositing erleichtern. Die Entwicklung wird also beim intelligenten KI-Assistenten sicherlich nicht stehenbleiben und dürfte auch vor dem kreativen Aspekt vieler Jobs nicht halt machen - man darf also gespannt sein auf die weitere Entwicklung.

Link mehr Informationen bei petapixel.com

  
[5 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
blindcat    16:40 am 1.7.2022
Ich finds cool. Kommt nur relativ wenig in den Produkten (die ich nutze :-) an. Wenn etwas ankommt ist es eben dann doch nicht SOOO cool wie in den Demos oder Papers. Gigapixel AI...weiterlesen
Darth Schneider    16:18 am 1.7.2022
@Frank. Finde ich auch, aber auch irgendwie süss, zumindest der kleine Elefant…;))) Schon beeindruckend und auch beängstigend, was heute schon, Maschinen alles so...weiterlesen
blindcat    16:10 am 1.7.2022
Nee. Da ist nur der Zeitpunkt erreicht zu dem die Forscher, die an KI's forschen, die die Manipulationen anderer KI's erkennen können, wieder eine KI trainieren müssen, die nun...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildAnamorphotischer Adapter von Moment - kompatibel mit vielen Objektiven bildXiaomi 12S Ultra Smartphone wird mit 1" Sensor filmen


verwandte Newsmeldungen:
Montage:

LumaFusion v3.1 Update - mobile Editing-App jetzt mit Histogramm, Vektorskop uä. 20.Juli 2022
Video Editing per KI läßt Objekte verschwinden und ersetzt Hintergründe 21.Januar 2022
Audio Design Desk 1.9: Echtzeit-Editing Tool für Sound-Effekte jetzt mit neuen Funktionen und Lite Version 15.Januar 2022
Magix Vegas 19 verfügbar - u.a. mit BRAW Editing und Text-to-Speech 19.August 2021
Audio Design Desk 1.7: Echtzeit-Editing Tool für SFX jetzt mit DAW Synchronisation 18.Juli 2021
Alter, Geschlecht oder Mimik eines Gesichts per KI Photo Editing ändern 4.April 2021
Blackmagic DaVinci Resolve 17 - neue Farb-Tools, schnelleres Editing, massives Audio-Update 9.November 2020
alle Newsmeldungen zum Thema Montage

Videoschnitt:

Vom Rekorder direkt in die Timeline: Frame.io C2C Support für Atomos Connect 12.August 2022
Vegas Pro 20 erschienen mit einigen Verbesserungen 11.August 2022
Welche Effekte sind in Blackmagic DaVinci Resolve 18 GPU-beschleunigt? 7.August 2022
Filmsimulationstool Dehancer Film Pro ab sofort auch als Beta für Final Cut Pro 2.August 2022
Kostenloser Leitfaden für Premiere Pro Editoren erschienen 1.August 2022
KI-basierte Grading-Lösung fylm.ai v1.3 lernt ein bißchen Kontext 26.Juli 2022
Cinematic HFR: Titanic und Avatar kommen nach "Motion Grading" neu ins Kino 25.Juli 2022
alle Newsmeldungen zum Thema Videoschnitt

Machine Learning:

TikTok prescht vor: KI generiert Bilder nach Beschreibung 17.August 2022
Bald für jedermann: Kostenlose Bildgenerierung per KI auf dem Heim-PC 15.August 2022
KI statt Greenscreen: Videohintergründe per Kommandozeile ändern 13.August 2022
DeepFaceVideoEditing: KI ermöglicht das Ändern von Gesichtsausdrücken in Videos 11.August 2022
Neue KI stellt Objekte aus Photos automatisch perfekt frei 7.August 2022
KI-basierte Grading-Lösung fylm.ai v1.3 lernt ein bißchen Kontext 26.Juli 2022
Jeder kann Kunst: Metas neue KI erstellt Bilder auf Wunsch 19.Juli 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 18.August 2022 - 16:57
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*