Logo Logo
/// News

Neuer Algorithmus ermöglicht eigene Objekte in KI-generierten Bildern

[12:59 Do,15.September 2022 [e]  von ]    

In rasendem Tempo geht die Entwicklung der textbasierten Bildgenerierung per KI weiter und ermöglicht immer weitere, praktische Funktionen. So hat jetzt ein Team von Forschern von Nvidia und der Universität Tel Aviv einen neuen Algorithmus vorgestellt, der die bisherige Funktionalität um die Möglichkeit erweitert, eigene Objekte in die Bildsynthesen zu integrieren. So lassen sich ganz spezifische Objekte (wie zum Beispiel die eigene Katze oder das eigene Auto) in den erzeugten Bildern nutzen.

style




Dazu gibt man dem "Textual Inversion" (oder auch "Personalized Text-to-Image Generation") getauften Algorithmus einige unterschiedliche Bilder des gewünschten Objektes (optimal sind 3-5 Stück) und trainiert ihn damit. Wird dieses neue Trainingsmaterial daraufhin in das Modell einer Bild-KI importiert, kann es mittels eines besonderen Kennworts (analog zu einer Variable) aufgerufen und in Texteingaben genutzt werden.

training


Das kann außerdem dazu genutzt werden, um in einem vorgegebenen Bild das eigene Objekt einfach per Text zu manipulieren, etwa um seine Farbe gezielt zu ändern, es in einer anderen Umgebung oder Malstil darzustellen, es in eine Statue oder ähnliches zu verwandeln. Der neue Algorithmus gibt damit einen Vorgeschmack auf die zukünftigen Möglichkeiten dder objektbasierten KI-Bildbearbeitung (und bald auch Videoediting) per Text.

Doch nicht nur spezielle Objekte lassen sich per Kommando in die KI-generierten Bilder einfügen. Auch abstraktere Konzepte wie etwa ein abstrakter Malstil (bzw. Look) kann der KI antrainiert werden, der dann eingesetzt werden kann, um Bildern einen spezifisches Aussehen zu verpassen.

So wird im folgenden Beispiel der Textual Inversion Algorithmus etwa mit einer kopflose Statue im Schneidersitz trainiert - diese kann dann in anderen Stilen (u.a. als Ölgemälde, Icon oder auch als Häkelfigur) reproduziert werden.

teaser


Und dank der sehr aktiven Community rund um den jüngst veröffentlichten, quelloffenen KI-Bildgenerator Stable Diffusion ist die Textual Inversion Funktion ( hier der zugehörige Programmcode ) auch schon integriert in eine spezielle Version von Stable Diffusion sowie die Web UI Version mit graphischem Benutzerinterface. Die Funktion ist allerdings noch rudimentär und erfordert etwas Programmierkenntnisse und eine leistungsstarke GPU. Interessanterweise hat ein Team von Google nahezu zeitgleich ein DreamBooth getauften Algorithmus entwickelt, der ähnliches leistet.

samples


Link mehr Informationen bei textual-inversion.github.io

  
[8 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Darth Schneider    06:54 am 16.9.2022
@Medienonkel Die Erde fällt trotzdem weiter rund herum…;))) Gruss Boris
medienonkel    18:12 am 15.9.2022
Ach komm, jetzt hab ich so schön alleine im ersten Satz genügend Hinweise auf die allgemeine Relativitätstheorie gegeben...
Hayos    17:34 am 15.9.2022
+1 Daher kommen ja bald diese In-Paint-Sachen wo man "Stable Diffusion" direkt in Photoshop & Co. verwenden, zb. für gewisse Bereiche (man lässt sich zb. eine Hand...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildIBC 2022: Anwendungsfälle für Frame.io und Camera to Cloud bildSigma entwickelt 65mm FF-Objektiv für digitale Kino-Kameras


verwandte Newsmeldungen:
Machine Learning:

Whisper: Neue kostenlose KI verwandelt Sprache in Text und übersetzt automatisch in alle Sprachen 26.September 2022
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren 22.September 2022
KI Bilder mit Stable Diffusion jetzt auch direkt in Photoshop und Gimp erzeugen 18.September 2022
Kostenlose Bildgenerierung per KI: Stable Diffusion jetzt mit einfachem Installer 13.September 2022
Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI 11.September 2022
Insta360 X3 - 360°-ActionCam mit neuen Bildsensoren und KI-Funktionen 11.September 2022
Wie man eine animierte Modeschau einfach mit kostenlosen KI Tools produziert 2.September 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 29.September 2022 - 17:54
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*