slashCAM
Administrator
Administrator
Beiträge: 11264

Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von slashCAM »


Der Open Source KI-Bildgenerator Stable Diffusion XL ist seit kurzem in der offiziellen 1.0 Version frei verfügbar. Das neue Text-zu-Bild Modell soll - wie sich bereits ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen



cantsin
Beiträge: 14586

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von cantsin »

Ist schon bekannt, ob Stable Diffusion WebUI (von AUTOMATIC1111) auf Stable Diffusion XL als Backend umstellen wird?



bad13
Beiträge: 3

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von bad13 »

Laufen tut es wohl jetzt schon. Oder meinst du mit Backend etwas ganz spezielles?



Rheinauer
Beiträge: 12

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von Rheinauer »

Ich habe gelesen, dass er nicht gratis sei:
"Die Abrechnung funktioniert über Credits, derer 1000 derzeit 10 US-Dollar kosten. Das reicht laut Anbieter für rund 500 mit SDXL-generierte Bilder"



blindcat
Beiträge: 34

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Gratis ist die lokale Nutzung, die bei Stable Diffusion eben möglich ist.
Für die Stable Diffusion Modelle 1.0 braucht man keine Registrierung mehr (wie noch bei den 0.9er Modellen). Sie sind frei bei Hugginface herunterladbar.

Bei SDXL ist es etwas anders als bei den Modellen davor. Man lässt erst ein Base Modell laufen. Das Ergebnis sieht schon okay aus. Dann lässt man über dieses Ergebnis noch ein Refiner Modell laufen. Das fügt nocht Details hinzu. Meist ist das Ergebnis nach dem Refiner besser (nicht immer).

Automatic1111 unterstützt jetzt SDXL. Man erzeugt ein Bild, ähnlich wie zuvor auch mit dem Base Modell. Um den Refiner zu nutzen, klickt man auf send to img2img, wählt dort dann das Refiner Modell, eine Denoising Strength von etwa 0.3 und lässt dann den Refiner drüber laufen. Eine bei mir vorhandene Automatic 1.3.x Version hat problemlos auf die aktuelle 1.5.1 (SDXL Support seit 1.5.0) Version upgegradet, mit update.bat im Hauptverzeichnis. Beide Modelle (base und refiner) dann ins models/Stable-diffusion Verzeichnis kopieren. Das VAE Modell hab ich ebenfalls ins vae Verzeichnis gelegt, weiß aber nicht ob es genutzt wird (Update: Habe über Settings->User-Interface->Quicksettings sd_vae hinzugefügt und kann das vae jetzt neben den modellen wählen. Kann man auf automatic stehen lassen. Wählt man das sdxl-vae manuell aus funktioniert es auf jeden fall noch. Ergebnisunterschiede habe ich jetzt nicht beobachten können). Es ist etwas nervig, das Base Modell jedesmal quasi händisch aufs refiner Modell umzustellen. Momentan hat es den Vorteil, dass man nur die Bilder in den Refiner schickt, die man schon im Base gut findet. In Zukunft wird Automatic sicher was ändern (ich stell mir eine Checkbox vor, ähnlich wie Hires fix, namens use Refiner on SDXL Models) um den Refiner in einem Schritt mitlaufen zu lassen. Ein paar Einschränkungen generell gibt in Automatic1111 mit SDXL, also zB mit Embeddings, Training und ein paar Samplern. Bildgenerieren geht aber schon mal, und wer sich für Loras interessiert kann wohl auch schon etwas tun.
(Es gibt auch noch eine Extension für Automatic1111 um SDXL laufen zu lassen. Das war ein schneller Weg während der 0.9er Zeit. Seit 1.5.0/1 und SDXL 1.0 ist das aber nicht mehr nötig. Danke für den Hack in der Übergangszeit, aber nun sollte A1111 selbst damit klarkommen. Die 0.9er Modelle funktionieren übrigens auch im A1111 1.5.1. Könnte sein, dass ich subjektiv die 1.0er besser finde.).

Alternativ gibt es wohl einen Automatic Fork names SD.next. Der hat einen Diffusor Modus (kann als Start Parameter mit übergeben werden). Dort können automatisch Base und Refiner nacheinander ablaufen. Das ist bequemer. Ausserdem hat es eine Automatic1111 ähnliche Oberfläche. Ich müsste mir dafür aber vmtl. noch eine eigene Conda Umgebung einrichten, so wie es sich im Moment liest. Nicht von mir getestet.

Ausserdem eine gute Alternative ComfyUI. Das ist eine komplett andere Oberfläche, funktioniert aber schon länger gut mit den SDXL Modellen. Es ist ein Node basierter Ansatz wie in Combustion, Nuke oder Blender. Gute Workflows, wahlweise mit oder ohne Refiner lassen sich herunterladen. Wer keine Nodes scheut, hat hier was flexibles und kann auch mal abgedrehte Technik probieren :-) Ich hab es ausprobiert, ließ sich auch einfach installieren. Lediglich bei der Installation von Extensions habe ich Probleme bekommen (nämlich beim manager selbst, mit dem man ja extensions nachinstallieren könnte :-). Daher ist es bei mir gerade nicht im Einsatz.

Eine gute Info Quelle auch für die Nutzung dieser drei Varianten ist https://stable-diffusion-art.com/sdxl-model/ Die Seite ist im Bereich von Stable Diffusion sowieso zu empfehlen, da die Dokumentation ja generell etwas hinkt. Ich werd wohl bei Automatic bleiben und auf bessere Anpassungen in den Folgeupdates hoffen :-)

Was mir so aufgefallen ist ... Katzenbilder kann SDXL ganz gut. Donald Trump kriegt er auch hin, aber kaum im Hiphop Outfit. Versucht man das gleiche mit Olaf Scholz ist die Ähnlichkeit ... zu suchen. Beim Refiner ist mir bei vielen Demo Bildern im Netz aufgefallen, dass Bilder, die z.B. eher asiatische Menschen gezeigt haben nach dem Refiner Schritt weniger asiatisch, eher europäisch o.ä. ausgesehen haben. Da scheint irgendwie ein Bias drin zu sein. Vielleicht kommt man dem ja noch mit Parametern irgendwie hin.
Sonst schick. Inzwischen mag ich lokale Modelle, und es gibt Wege sie einigermaßen unkompliziert zu installieren :-)
Grüße, Frankie



cantsin
Beiträge: 14586

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von cantsin »

@blindcat herzlichen Dank für diese extrem informative Antwort. Das sind die Beiträge, von denen ein Forum lebt!



blindcat
Beiträge: 34

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Gern geschehen :-) Hab ja die letzte Woche selber ständig nachgesehen ob sich bei A1111 was tut ... wollte ja selbst rumspielen.
Ich weiß ja auch nicht genau was ich da mache, aber was die Katzen angeht hab ich hier ganz gute Ergebnisse:
Prompt: a photo of a drunken cat with abottle of whiskey and sunglasses, 50mm portrait photography, hard rim lighting photography–beta –ar 2:3 –beta –upbeta –upbeta
Negative Prompt: sketch, ugly, huge eyes, text, logo, monochrome, bad art
Sampling Steps 30
Bilddgroesse 1024x1024
CFG Scale 7-10

Das interessante daran ist, dass ich den Prompt ab 50mm portrait ... irgendwoher aus dem Internet hatte. Ich find da kommen schicke Bilder raus. Lässt man diese unverständlichen -beta -upbeta Anweisungen weg, dann kommt gleich echte Grütze raus. Also für diejenigen die rumspielen wollen mal so ein Trick. Unterschied: Um Klassen anders.
Grüße,
Frankie



buster007
Beiträge: 256

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von buster007 »

auch von mir vielen dank @blindcat für die antwort und die hinweise.

leider funktioniert das sd base model bei mir leider nicht, sehe kurz ein bild und dann leider nichts mehr.
kann es sein, das das base model unter 8gb grafikspeicher es nicht tut?
bekomme diese meldung:
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 8.00 GiB total capacity; 6.98 GiB already allocated; 0 bytes free; 7.27 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

komischerweise klappt es dann aber mit einem generierten bild mit refiner in img2img....hier mit dem prompt von blindcat.
00001-2803354396.png
00000-2311370426.png
falls ihr das noch nicht kennt einige gute models und loras finden sich auch hier
https://civitai.com/
(die teilweise aber auch mit vorsicht zu geniessen sind...)

lieben gruß
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Zuletzt geändert von buster007 am Sa 29 Jul, 2023 20:33, insgesamt 1-mal geändert.



blindcat
Beiträge: 34

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Oups sorry,
ich hab wirklich keine Ahnung wieviel RAM die brauchen. Im Augenwinkel gesehen, würd ich sagen viel. Ich hab eine 3090 mit 24GB und es läuft. Vielleicht weiß jemand anderes wieviel bei den SDXL Modellen nötig ist.
Vermutlich lohnt es sich abzuwarten ob es jemandem gelingt abgewandelte Modelle mit weniger Speicherbedarf zu erstellen. 8GB wäre ein gängiges Limit was da mach einer erzielen können wollte ... (Konjunktive).
Ja, bei allem Enthusiasmus entfiel mir doch der Hinweis auf ein bisschen lokalen Ressourcenverbrauch.
Grüße,
Frankie



buster007
Beiträge: 256

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von buster007 »

ich schau einfach mal, ob ich da eine lösung für mich finde.

z.b hier:
https://www.reddit.com/r/StableDiffusio ... m_i_doing/

mal schauen.

lieben gruß



piano_jochen
Beiträge: 15

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von piano_jochen »

Hoffentlich wird so eine quelloffene StableDiffusion-Version bald von Serif in Affinity Photo eingebaut. Wäre schade, wenn die in diesem Bereich total den Anschluss an Adobe verlieren.



 Aktuelle Beiträge [alle Foren]
 
» Was schaust Du gerade?
von cantsin - Sa 23:12
» Blackmagic Cinema Camera 6K um 40% billiger
von cantsin - Sa 23:01
» Was hast Du zuletzt gekauft?
von klusterdegenerierung - Sa 22:28
» Erste Erfahrungen Sony A1
von gammanagel - Sa 22:27
» Philips Evnia 49M2C8900L: Extrabreiter 49" 5K-Monitor mit QD-OLED
von DKPost - Sa 22:21
» Virtuelle Figuren mit KI - Autodesk übernimmt Macher von Wonder Studio
von Frank Glencairn - Sa 21:36
» i can't do this on youtube anymore
von MrMeeseeks - Sa 21:02
» Lumix S FF Kameras und der APS-C Modus is amazing and magic ;)
von Skeptiker - Sa 21:01
» Copilot+PC - NPU beschleunigt Resolve AI Funktionen
von markusG - Sa 17:11
» Peter Kraus TEASER - Der Pauli aus Bamberg - vom Fan zum Freund
von Alex - Sa 11:40
» Field Monitor mit Recording für unter 300 Euro
von berlin123 - Sa 11:33
» Zwei neue Laowa 4x OOOM Cine-Zoomobjektive verfügbar
von slashCAM - Sa 10:57
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Frank Glencairn - Sa 10:31
» Was hörst Du gerade?
von klusterdegenerierung - Sa 0:48
» Blackmagic DaVinci Resolve 19 Public Beta 3 ist da
von klusterdegenerierung - Fr 21:22
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Fr 19:43
» Blackmagic Cinema Camera 6K im Praxistest inkl. anamorphotischer Aufnahmen (DZO Pavo)
von GaToR-BN - Fr 12:50
» Panasonic LUMIX S9 - Kleinste 6K V-Log Kamera für 1.699 Euro
von Bildlauf - Fr 10:03
» Blackmagic DeckLink 8K Pro G2 - 8K mit 4 x 12G-SDI und HDMI-2.1
von Tscheckoff - Fr 8:14
» Blackmagic Micro Color Panel - Günstigstes Color Grading Panel für DaVinci Resolve
von Frank Glencairn - Fr 7:31
» Prime Video - Abhilfeklage gegen Amazon
von iasi - Do 23:42
» Instagram ja oder nein?
von Jalue - Do 22:41
» Amazon Prime - werbefrei nur noch gegen Aufpreis
von nicecam - Do 21:54
» Beverly Hills Cop: Axel F | Official Teaser Trailer | Netflix
von 7River - Do 17:50
» Nach 10 Jahren Rechtsstreit: Kameraleute sind als Selbständige einzustufen
von Pianist - Do 16:26
» Pilot zur Mini-Serie "The Gruffin"
von Paroult05 - Do 16:15
» “Der Koch, der Wirt und der Fußball” – 40 Jahre Rudis Beisl
von iHeimo - Do 14:49
» »The Zone of Interest« im Grading
von Axel - Do 14:28
» >Der LED Licht Thread<
von FocusPIT - Do 13:49
» Nikon: 120 Mio Nikkor Objektive seit Gründung produziert
von slashCAM - Do 12:45
» Sony A1 mit XLR Griff der FX3 - funktioniert
von Franz86 - Do 8:33
» Bergliebe an der Ostsee
von Franz86 - Do 6:33
» Furiosa - A Mad Max Saga - offizieller Trailer
von iasi - Do 0:47
» Aufstieg und Fall von GoPro
von Skeptiker - Mi 23:49
» Blaupunkt RTV-950 (Panasonic FS200) spult nicht
von nameless91 - Mi 21:29