slashCAM
Administrator
Administrator
Beiträge: 11279

Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von slashCAM »


Der Open Source KI-Bildgenerator Stable Diffusion XL ist seit kurzem in der offiziellen 1.0 Version frei verfügbar. Das neue Text-zu-Bild Modell soll - wie sich bereits ...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen



cantsin
Beiträge: 16307

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von cantsin »

Ist schon bekannt, ob Stable Diffusion WebUI (von AUTOMATIC1111) auf Stable Diffusion XL als Backend umstellen wird?
"Wieso eigentlich überhaupt was drehen? Warum nicht jahrelang nur darüber philosophieren?" -stip



bad13
Beiträge: 3

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von bad13 »

Laufen tut es wohl jetzt schon. Oder meinst du mit Backend etwas ganz spezielles?



Rheinauer
Beiträge: 12

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von Rheinauer »

Ich habe gelesen, dass er nicht gratis sei:
"Die Abrechnung funktioniert über Credits, derer 1000 derzeit 10 US-Dollar kosten. Das reicht laut Anbieter für rund 500 mit SDXL-generierte Bilder"



blindcat
Beiträge: 52

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Gratis ist die lokale Nutzung, die bei Stable Diffusion eben möglich ist.
Für die Stable Diffusion Modelle 1.0 braucht man keine Registrierung mehr (wie noch bei den 0.9er Modellen). Sie sind frei bei Hugginface herunterladbar.

Bei SDXL ist es etwas anders als bei den Modellen davor. Man lässt erst ein Base Modell laufen. Das Ergebnis sieht schon okay aus. Dann lässt man über dieses Ergebnis noch ein Refiner Modell laufen. Das fügt nocht Details hinzu. Meist ist das Ergebnis nach dem Refiner besser (nicht immer).

Automatic1111 unterstützt jetzt SDXL. Man erzeugt ein Bild, ähnlich wie zuvor auch mit dem Base Modell. Um den Refiner zu nutzen, klickt man auf send to img2img, wählt dort dann das Refiner Modell, eine Denoising Strength von etwa 0.3 und lässt dann den Refiner drüber laufen. Eine bei mir vorhandene Automatic 1.3.x Version hat problemlos auf die aktuelle 1.5.1 (SDXL Support seit 1.5.0) Version upgegradet, mit update.bat im Hauptverzeichnis. Beide Modelle (base und refiner) dann ins models/Stable-diffusion Verzeichnis kopieren. Das VAE Modell hab ich ebenfalls ins vae Verzeichnis gelegt, weiß aber nicht ob es genutzt wird (Update: Habe über Settings->User-Interface->Quicksettings sd_vae hinzugefügt und kann das vae jetzt neben den modellen wählen. Kann man auf automatic stehen lassen. Wählt man das sdxl-vae manuell aus funktioniert es auf jeden fall noch. Ergebnisunterschiede habe ich jetzt nicht beobachten können). Es ist etwas nervig, das Base Modell jedesmal quasi händisch aufs refiner Modell umzustellen. Momentan hat es den Vorteil, dass man nur die Bilder in den Refiner schickt, die man schon im Base gut findet. In Zukunft wird Automatic sicher was ändern (ich stell mir eine Checkbox vor, ähnlich wie Hires fix, namens use Refiner on SDXL Models) um den Refiner in einem Schritt mitlaufen zu lassen. Ein paar Einschränkungen generell gibt in Automatic1111 mit SDXL, also zB mit Embeddings, Training und ein paar Samplern. Bildgenerieren geht aber schon mal, und wer sich für Loras interessiert kann wohl auch schon etwas tun.
(Es gibt auch noch eine Extension für Automatic1111 um SDXL laufen zu lassen. Das war ein schneller Weg während der 0.9er Zeit. Seit 1.5.0/1 und SDXL 1.0 ist das aber nicht mehr nötig. Danke für den Hack in der Übergangszeit, aber nun sollte A1111 selbst damit klarkommen. Die 0.9er Modelle funktionieren übrigens auch im A1111 1.5.1. Könnte sein, dass ich subjektiv die 1.0er besser finde.).

Alternativ gibt es wohl einen Automatic Fork names SD.next. Der hat einen Diffusor Modus (kann als Start Parameter mit übergeben werden). Dort können automatisch Base und Refiner nacheinander ablaufen. Das ist bequemer. Ausserdem hat es eine Automatic1111 ähnliche Oberfläche. Ich müsste mir dafür aber vmtl. noch eine eigene Conda Umgebung einrichten, so wie es sich im Moment liest. Nicht von mir getestet.

Ausserdem eine gute Alternative ComfyUI. Das ist eine komplett andere Oberfläche, funktioniert aber schon länger gut mit den SDXL Modellen. Es ist ein Node basierter Ansatz wie in Combustion, Nuke oder Blender. Gute Workflows, wahlweise mit oder ohne Refiner lassen sich herunterladen. Wer keine Nodes scheut, hat hier was flexibles und kann auch mal abgedrehte Technik probieren :-) Ich hab es ausprobiert, ließ sich auch einfach installieren. Lediglich bei der Installation von Extensions habe ich Probleme bekommen (nämlich beim manager selbst, mit dem man ja extensions nachinstallieren könnte :-). Daher ist es bei mir gerade nicht im Einsatz.

Eine gute Info Quelle auch für die Nutzung dieser drei Varianten ist https://stable-diffusion-art.com/sdxl-model/ Die Seite ist im Bereich von Stable Diffusion sowieso zu empfehlen, da die Dokumentation ja generell etwas hinkt. Ich werd wohl bei Automatic bleiben und auf bessere Anpassungen in den Folgeupdates hoffen :-)

Was mir so aufgefallen ist ... Katzenbilder kann SDXL ganz gut. Donald Trump kriegt er auch hin, aber kaum im Hiphop Outfit. Versucht man das gleiche mit Olaf Scholz ist die Ähnlichkeit ... zu suchen. Beim Refiner ist mir bei vielen Demo Bildern im Netz aufgefallen, dass Bilder, die z.B. eher asiatische Menschen gezeigt haben nach dem Refiner Schritt weniger asiatisch, eher europäisch o.ä. ausgesehen haben. Da scheint irgendwie ein Bias drin zu sein. Vielleicht kommt man dem ja noch mit Parametern irgendwie hin.
Sonst schick. Inzwischen mag ich lokale Modelle, und es gibt Wege sie einigermaßen unkompliziert zu installieren :-)
Grüße, Frankie



cantsin
Beiträge: 16307

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von cantsin »

@blindcat herzlichen Dank für diese extrem informative Antwort. Das sind die Beiträge, von denen ein Forum lebt!
"Wieso eigentlich überhaupt was drehen? Warum nicht jahrelang nur darüber philosophieren?" -stip



blindcat
Beiträge: 52

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Gern geschehen :-) Hab ja die letzte Woche selber ständig nachgesehen ob sich bei A1111 was tut ... wollte ja selbst rumspielen.
Ich weiß ja auch nicht genau was ich da mache, aber was die Katzen angeht hab ich hier ganz gute Ergebnisse:
Prompt: a photo of a drunken cat with abottle of whiskey and sunglasses, 50mm portrait photography, hard rim lighting photography–beta –ar 2:3 –beta –upbeta –upbeta
Negative Prompt: sketch, ugly, huge eyes, text, logo, monochrome, bad art
Sampling Steps 30
Bilddgroesse 1024x1024
CFG Scale 7-10

Das interessante daran ist, dass ich den Prompt ab 50mm portrait ... irgendwoher aus dem Internet hatte. Ich find da kommen schicke Bilder raus. Lässt man diese unverständlichen -beta -upbeta Anweisungen weg, dann kommt gleich echte Grütze raus. Also für diejenigen die rumspielen wollen mal so ein Trick. Unterschied: Um Klassen anders.
Grüße,
Frankie



buster007
Beiträge: 261

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von buster007 »

auch von mir vielen dank @blindcat für die antwort und die hinweise.

leider funktioniert das sd base model bei mir leider nicht, sehe kurz ein bild und dann leider nichts mehr.
kann es sein, das das base model unter 8gb grafikspeicher es nicht tut?
bekomme diese meldung:
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 8.00 GiB total capacity; 6.98 GiB already allocated; 0 bytes free; 7.27 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

komischerweise klappt es dann aber mit einem generierten bild mit refiner in img2img....hier mit dem prompt von blindcat.
00001-2803354396.png
00000-2311370426.png
falls ihr das noch nicht kennt einige gute models und loras finden sich auch hier
https://civitai.com/
(die teilweise aber auch mit vorsicht zu geniessen sind...)

lieben gruß
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Zuletzt geändert von buster007 am Sa 29 Jul, 2023 20:33, insgesamt 1-mal geändert.



blindcat
Beiträge: 52

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von blindcat »

Oups sorry,
ich hab wirklich keine Ahnung wieviel RAM die brauchen. Im Augenwinkel gesehen, würd ich sagen viel. Ich hab eine 3090 mit 24GB und es läuft. Vielleicht weiß jemand anderes wieviel bei den SDXL Modellen nötig ist.
Vermutlich lohnt es sich abzuwarten ob es jemandem gelingt abgewandelte Modelle mit weniger Speicherbedarf zu erstellen. 8GB wäre ein gängiges Limit was da mach einer erzielen können wollte ... (Konjunktive).
Ja, bei allem Enthusiasmus entfiel mir doch der Hinweis auf ein bisschen lokalen Ressourcenverbrauch.
Grüße,
Frankie



buster007
Beiträge: 261

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von buster007 »

ich schau einfach mal, ob ich da eine lösung für mich finde.

z.b hier:
https://www.reddit.com/r/StableDiffusio ... m_i_doing/

mal schauen.

lieben gruß



piano_jochen
Beiträge: 15

Re: Quelloffen und kostenlos: Bild-KI Stable Diffusion XL 1.0 erschienen

Beitrag von piano_jochen »

Hoffentlich wird so eine quelloffene StableDiffusion-Version bald von Serif in Affinity Photo eingebaut. Wäre schade, wenn die in diesem Bereich total den Anschluss an Adobe verlieren.



 Aktuelle Beiträge [alle Foren]
 
» Higgsfield.ai - Aufwändige Videoeffekte auf Knopfdruck aus der KI-Cloud
von Drushba - Mo 18:34
» Manueller Video Modus nicht mehr erreichbar.
von milesdavis - Mo 15:45
» Rode Wireless Go 3 - Ton zu leise
von rush - Mo 10:49
» BM Micro Studio Camera G2 erhält Pyxis Monitor Kompatibelität
von Darth Schneider - Mo 9:19
» Suche Omnidirektionales Mikrofon-Setup für Sony FX3
von pillepalle - Mo 6:25
» Unzuverlässiger Autofokus HC-X2E
von Jott - So 20:39
» UHD Progressive zu HD Interlaced Workflow - Hardware-Lösung für Preview?
von SonyTony - So 13:06
» Kompakte OM-5 Mark II bekommt zwei neue Bildprofile
von cantsin - So 10:25
» Nikon Z5 II mit interner RAW-Aufzeichnung - Debayering, Rolling Shutter und Dynamik
von cantsin - So 9:09
» Film wurde nur mit Handys gedreht...
von Jott - Sa 20:48
» Insta360 Studio - Bildjustagen verschwunden nach update
von soulbrother - Sa 20:09
» Welche USB-C SSD für 4k120 prores am iPhone 16 Pro?
von Totao - Sa 11:43
» Die beste Hardware für KI-Video - oder was man wirklich (nicht) braucht...
von Totao - Sa 11:38
» Kleines Schwanenhalsmikro für AVX-Bodypacksenser gesucht
von pillepalle - Fr 16:04
» Magix Video deluxe 2026 und Video Pro X17 mit neuen KI-Funktionen
von slashCAM - Fr 11:45
» Nanlite FM Mount Projektionsaufsatz 18°-36° für präzise Lichtgestaltung
von Darth Schneider - Fr 11:20
» Adobe Firefly jetzt als Smartphone-App - samt Nutzung von Veo 3, Luma und Pika
von peter161170 - Fr 9:14
» Sony FX2 im Praxistest: Erstmalig neigbarer Sucher, Cine-Gehäuse wie FX3, 33 MP Fullframe CMOS
von pillepalle - Fr 7:18
» Panasonic S1RII im Praxistest: Überraschend viele Videofunktionen für Pros
von iasi - Fr 0:18
» Blackmagic Updates für Web Presenter, Video Assist, Cloud und BRAW
von slashCAM - Do 11:27
» Adobe Premiere Pro ab sofort mit 4:2:2 Beschleunigung per Nvidia GPU und mehr
von dienstag_01 - Do 11:03
» Superman | Offizieller Trailer
von 7River - Do 5:11
» Midjourney startet eigene Video-KI V1
von slashCAM - Do 1:09
» DJI RS4 Pro und LiDAR: Bestes AF/Tracking (inkl. Stabilisierung) für Cine-Setups?
von pillepalle - Mi 23:45
» Sigma 17-40mm F1.8 DC | Art für APS-C vorgestellt u.a. mit RF-Mount
von iasi - Mi 23:24
» SIRUI Reparaturen/Customer Service Germany
von gizmotronic - Mi 18:47
» RS4 mit XR AR Brillen als Videomonitor möglich?
von Silentsnoop - Mi 18:45
» Sony Alpha 6700 S-Cinetone überbelichtet
von cantsin - Mi 18:02
» Fujifilm X-E5 vorgestellt mit 40MP, IBIS, 6,2K Video - und deutlich teurer
von cantsin - Mi 14:07
» DaVinci Resolve 18 +++ Projekt.db wird nicht erkannt
von Jasper - Mi 11:39
» Verständnisfrage: MOV/MP4 H.264/H.265 Formate der S5/S5II für die Bearbeitung mit neuer Grafikkarte B580 (H.265 Decode)
von blueplanet - Mi 11:37
» Deutsche Redakteure austricksen! mit JOSEPH BOLZ
von Nigma1313 - Mi 11:08
» Sony FX2 Sensor-Bildqualität - Debayering, Rolling Shutter und Dynamik
von Alex - Mi 7:25
» 3 Audios bei einem Dreh WIE?
von Blackbox - Di 21:56
» Mocha Pro 2025.5 Update mit Facetracking, neuem 3D-Snap-Tool und mehr
von freezer - Di 19:29