Logo Logo
/// News

DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung

[17:22 So,10.April 2022 [e]  von ]    

Vor etwas über einem Jahr hatte OpenAI die erste Version von DALL-E gestartet, einem neuronalen Netz, welches Bilder nur anhand einfacher Textbeschreibungen generieren kann. Jetzt wurde die neueste Version vorgestellt, welche zahlreiche Verbesserungen aufweist.

DALL-E1-2-Vegleich
DALL-E 1 und 2 im Vergleich



So erzeugt DALL-E 2 nicht nur überzeugendere Bilder, sondern auch mit einer vierfach höheren Auflösung (1.024 x 1.024) als bisher. Und erstmals können Bilder nicht nur generiert, sondern auch gezielt per Text editiert werden - auch können einzelne Bildelemente jetzt sowohl zum Bild hinzugefügt als auch entfernt werden.





Trainiert wurde DALL-E 2 (ein Portemanteau von (Salvador) Dali und WALL-E) anhand von einer Vielzahl von Bildern samt Bildbeschreibungen. Zudem hat das neuronale Netz die Beziehung zwischen Bildern und dem Text, der sie beschreibt, gelernt. Wer sich für die technischen Details interessiert, findet hier die Forschungsarbeit.

DALLE2-pix-and-descs
Einige Beispiele



Wie funktioniert DALL-E 2? Beispiele


Als Input dient eine Beschreibung, was auf dem zu generierenden Bild zu sehen sein soll - dabei können nicht nur Objekte genannt werden, die im Bild auftauchen sollen, sondern auch Relationen zu anderen Objekten oder auch Handlungen, also etwa "ein Igel, der einen Taschenrechner bedient" oder "Hasendetektiv, der auf einer Parkbank sitzt und eine Zeitung liest in einer viktorianischen Umgebung".

Koala-riding-Motorcycle-net
Bilder von Koalas und Motorrädern



Koala-riding-Motorcycle
Viele generierte Beispielbilder auf denen Koalas Motorrad fahren



Definiert werden kann auch der Bildstil, denn DALL-E 2 kann ebenso fotorealistische Bilder wie auch Cartoons oder abstrakte Malstile (wie zum Beispiel psychedelisch, Wachsmalstift oder Ölgemälde) oder Stile berühmter Maler (wie Dali, Monet, Picasso und anderen) nachempfinden.

elephant-tea-party
An elephant tea party on a grass lawn



Weitere schöne Beispiele, die DALL-E 2 auf Zuruf von Usern erzeugt hat, finden sich auf Twitter.

Noch gibt es Bildfehler


Wenn man die generierten Bild näher anschaut wird man manchmal einer Reihe von Bildfehlern gewahr, die aus der Entfernung nicht so leicht zu erkennen sind: manche Teilbereiche eines Objekts sind oft etwas eigenartig verzerrt und undeutlich.

Rabbit-on-park-bench
A rabbit detective sitting on a park bench and reading a newspaper in a victorian setting - aus der Entfernung ganz ok



Rabbit-Detective-Detail
Wenn man näher hinschaut - Verzerrungen in einzelnen Bildteilen



Ebenso kann DALL-E 2 keine einzelnen Objekte darstellen, die es nicht kennt, d.h. mit denen es nicht trainiert wurde.


(Illustratoren-)Jobs in Gefahr?


Die Ergebnisse von DALL-E 2 sind trotzdem erstaunlich - sind der Phantasie doch keine Grenzen gesetzt. Es kann potentiell jedes Bild erzeugt werden, das man sich ausdenken und beschreiben kann - egal wie phantastisch oder absurd das Motiv ist. Befürchtet wird schon - sollte der Algorithmus allgemein zugänglich sein und die Bildqualität noch etwas besser werden - dass Illustratoren ihre Jobs verlieren könnten, da auch ganz spezielle Bildmotive ganz einfach nach freier Beschreibung mit DALL-E 2 in Sekundenschnelle - samt einer Unzahl von Bildalternativen in allen möglichen Stilen zur Auswahl - erzeugt werden können.

Astronaut-Pferd
An astronaut riding a horse in a photorealistic style


Solche neuen Entwicklungen in Sachen KI per neuronaler Netze zeigen, daß Vorhersagen über den Einfluss von künstlicher Intelligenz auf das Arbeitsleben nur sehr schwer zu treffen sind. Vor einem Jahrzehnt noch war die gängige Meinung, dass KI zuerst die körperlichen Arbeiten ersetzen würde, dann die kognitive Arbeit und dann vielleicht, eines Tages, die kreative Arbeit. Jetzt sieht es so aus, als würde die umgekehrte Reihenfolge zutreffen. Sind in einer zukünftigen Version erst einmal alle offensichtlichen Bildfehler ausgemerzt - wie soll dann noch unterschieden werden, ob ein Bild von einem Menschen oder einer KI produziert wurde?

IBIS
An ibis in the wild, painted in the style of John Audubon



Noch mehr Beispiele finden sich auf Instagram.

Bilder per DALL-E 2 editieren


Die neue Möglichkeit des nachträglichen Editierens ("Inpainting") von Bildern per DALL-E 2 funktioniert ganz einfach - so wird erst grob ein Bildbereich markiert, an welchem die Änderung vollzogen werden soll und dann per Text beschrieben, was geändert werden soll. So kann zum Beispiel einer Person nachträglich ein Hut aufgesetzt werden oder ein Objekt im Bild hinzugefügt oder entfernt oder auch der Hintergrund ausgetauscht werden.

DALLE2-editing


Das besondere dabei: es werden bei diesen Operationen auch Schatten, Reflexionen und Texturen der Objekte und des Hintergrunds automatisch berücksichtigt, ebenso wird der Stil (egal ob fotorealistisch oder verfremdet) an den des Bilde angepasst.

Corgi
Ein Corgi im Museum - an verschiedenen Stellen ins Bild eingesetzt im jeweils passendem Stil



DALL-E 2 kann bei Eingabe eines Bildes auch Variationen davon generieren:

Variationen
Variationen eines Bildes



Die Gefahren durch KI-generierte Bilder


Das OpenAI-Team hat den direkten Zugriff auf die API von DALL-E 2, also die Möglichkeit für (potentiell) jedermann frei Bilder damit zu generieren, eingeschränkt und vorerst nur für eine kleine Gruppe ausgewählter User freigegeben. Die Möglichkeiten des Missbrauchs wird für zu gefährlich angesehen - seien es pornographische Bilder oder Gewaltdarstellungen.
§PIC6:A photo of an astronaut riding a horse
Die Forscher haben sich deswegen auch bemüht, sexuelle und gewalttätige Inhalte aus den Trainingsdaten für DALL-E 2 herauszufiltern. Zudem sollen Filter für Texteingaben und hochgeladene Bilder einen Missbrauch des Systems abwehren. Ebenso wurde der Trainingsprozess geändert, um die Fähigkeit des DALL-E 2-Modells, sich Gesichter aus den Trainingsdaten zu merken, zu begrenzen, um zu verhindern, dass das Modell Bilder von Prominenten und anderen Personen des öffentlichen Lebens originalgetreu wiedergibt.

Verstehen wie das neuronale Netz funktioniert


Das Team von OpenAI hofft, daß DALL E 2 auch hilft zu verstehen, wie fortschrittliche KI-Systeme unsere Welt sehen und verstehen. Das ist wichtig, da DeepLearning Systeme eine Art Black Box darstellen, da sie selbstlernend sind und man oft nicht nachvollziehen kann, was genau gelernt wurde. Anhand von DALL-E 2 und den damit generierten Bildern - und auch anhand der misslungenen - gibt es die Möglichkeit, etwas tiefere Einblicke in die innere Funktionsweise des neuronalen Netzes von DALL-E 2 zu gewinnen.

Was bringt die Zukunft?


DALL-E 2 folgt auch einem weiteren wichtigen neuer Trend der Evolution der Schnittstelle zwischen Mensch und Computer: der Mensch sagt was er will - in natürlicher Sprache oder mit kontextuellen Hinweisen - und der Computer erledigt es. Was jetzt bei der Erzeugung und Manipulation von Bildern gilt, wird in Zukunft bei komplexen anderen Aufgaben funktionieren, ganz dem Beispiel von Siri und anderen virtuellen Assistenten folgend - nur noch funktionsmächtiger und weitere Arbeitsfelder umfassend.


Macro 35mm film photography of a large family of mice wearing hats cozy by the fireplace


Die neue Version von DALL E bestätigt uns auch in unserer schon zur ersten Generation getroffenen Vermutung, daß der nächste logische Schritt, die Generierung und auch das Verändern von bewegten Bildern nach Beschreibung, nicht mehr lange dauern wird. Denn das war schon bei vielen anderen KI Algorithmen zur Bildmanipulation der Fall, da Videos als Abfolgen von Einzelbildern nur eine weitere - wenn auch rechenintensivere - Dimension darstellen.

Link mehr Informationen bei openai.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
Createsomething    21:19 am 10.4.2022
Was macht dann den Künstler wirklich aus? Das er ohne KI so ein Bild erzeugen kann? Wäre also gut unterscheiden zu können, ob ein Bild wirklich durch ein erlernetes Handwerk...weiterlesen
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildDie Workflows der Oscar-nominierten Filme - welche Technik nutzen die Profis und wie bildRollei 4K action one: Per 6-Achsen-Gyroskop stabilisierte 4K Actioncam mit Selfie-Display


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
DeepFake Video als Kriegspropaganda - vermeintliche Kapitulation von Zelensky 18.März 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 21.Mai 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*