Gratis ist die lokale Nutzung, die bei Stable Diffusion eben möglich ist.
Für die Stable Diffusion Modelle 1.0 braucht man keine Registrierung mehr (wie noch bei den 0.9er Modellen). Sie sind frei bei Hugginface herunterladbar.
Bei SDXL ist es etwas anders als bei den Modellen davor. Man lässt erst ein Base Modell laufen. Das Ergebnis sieht schon okay aus. Dann lässt man über dieses Ergebnis noch ein Refiner Modell laufen. Das fügt nocht Details hinzu. Meist ist das Ergebnis nach dem Refiner besser (nicht immer).
Automatic1111 unterstützt jetzt SDXL. Man erzeugt ein Bild, ähnlich wie zuvor auch mit dem Base Modell. Um den Refiner zu nutzen, klickt man auf send to img2img, wählt dort dann das Refiner Modell, eine Denoising Strength von etwa 0.3 und lässt dann den Refiner drüber laufen. Eine bei mir vorhandene Automatic 1.3.x Version hat problemlos auf die aktuelle 1.5.1 (SDXL Support seit 1.5.0) Version upgegradet, mit update.bat im Hauptverzeichnis. Beide Modelle (base und refiner) dann ins models/Stable-diffusion Verzeichnis kopieren. Das VAE Modell hab ich ebenfalls ins vae Verzeichnis gelegt, weiß aber nicht ob es genutzt wird (Update: Habe über Settings->User-Interface->Quicksettings sd_vae hinzugefügt und kann das vae jetzt neben den modellen wählen. Kann man auf automatic stehen lassen. Wählt man das sdxl-vae manuell aus funktioniert es auf jeden fall noch. Ergebnisunterschiede habe ich jetzt nicht beobachten können). Es ist etwas nervig, das Base Modell jedesmal quasi händisch aufs refiner Modell umzustellen. Momentan hat es den Vorteil, dass man nur die Bilder in den Refiner schickt, die man schon im Base gut findet. In Zukunft wird Automatic sicher was ändern (ich stell mir eine Checkbox vor, ähnlich wie Hires fix, namens use Refiner on SDXL Models) um den Refiner in einem Schritt mitlaufen zu lassen. Ein paar Einschränkungen generell gibt in Automatic1111 mit SDXL, also zB mit Embeddings, Training und ein paar Samplern. Bildgenerieren geht aber schon mal, und wer sich für Loras interessiert kann wohl auch schon etwas tun.
(Es gibt auch noch eine Extension für Automatic1111 um SDXL laufen zu lassen. Das war ein schneller Weg während der 0.9er Zeit. Seit 1.5.0/1 und SDXL 1.0 ist das aber nicht mehr nötig. Danke für den Hack in der Übergangszeit, aber nun sollte A1111 selbst damit klarkommen. Die 0.9er Modelle funktionieren übrigens auch im A1111 1.5.1. Könnte sein, dass ich subjektiv die 1.0er besser finde.).
Alternativ gibt es wohl einen Automatic Fork names SD.next. Der hat einen Diffusor Modus (kann als Start Parameter mit übergeben werden). Dort können automatisch Base und Refiner nacheinander ablaufen. Das ist bequemer. Ausserdem hat es eine Automatic1111 ähnliche Oberfläche. Ich müsste mir dafür aber vmtl. noch eine eigene Conda Umgebung einrichten, so wie es sich im Moment liest. Nicht von mir getestet.
Ausserdem eine gute Alternative ComfyUI. Das ist eine komplett andere Oberfläche, funktioniert aber schon länger gut mit den SDXL Modellen. Es ist ein Node basierter Ansatz wie in Combustion, Nuke oder Blender. Gute Workflows, wahlweise mit oder ohne Refiner lassen sich herunterladen. Wer keine Nodes scheut, hat hier was flexibles und kann auch mal abgedrehte Technik probieren :-) Ich hab es ausprobiert, ließ sich auch einfach installieren. Lediglich bei der Installation von Extensions habe ich Probleme bekommen (nämlich beim manager selbst, mit dem man ja extensions nachinstallieren könnte :-). Daher ist es bei mir gerade nicht im Einsatz.
Eine gute Info Quelle auch für die Nutzung dieser drei Varianten ist
https://stable-diffusion-art.com/sdxl-model/ Die Seite ist im Bereich von Stable Diffusion sowieso zu empfehlen, da die Dokumentation ja generell etwas hinkt. Ich werd wohl bei Automatic bleiben und auf bessere Anpassungen in den Folgeupdates hoffen :-)
Was mir so aufgefallen ist ... Katzenbilder kann SDXL ganz gut. Donald Trump kriegt er auch hin, aber kaum im Hiphop Outfit. Versucht man das gleiche mit Olaf Scholz ist die Ähnlichkeit ... zu suchen. Beim Refiner ist mir bei vielen Demo Bildern im Netz aufgefallen, dass Bilder, die z.B. eher asiatische Menschen gezeigt haben nach dem Refiner Schritt weniger asiatisch, eher europäisch o.ä. ausgesehen haben. Da scheint irgendwie ein Bias drin zu sein. Vielleicht kommt man dem ja noch mit Parametern irgendwie hin.
Sonst schick. Inzwischen mag ich lokale Modelle, und es gibt Wege sie einigermaßen unkompliziert zu installieren :-)
Grüße, Frankie
