Heute Nacht hat Stability AI die Version 2 des bahnbrechenden KI-Bilderzeugungstools Stable Diffusion - weiterhin unter einer OpenSource Lizenz - angekündigt. Das Tool hat übrigens auch lokale Wurzeln: Ein Team mit Robin Rombach (Stability AI) und Patrick Esser (Runway ML) von der CompVis-Gruppe an der LMU München unter der Leitung von Prof. Dr. Björn Ommer leitete das ursprüngliche Stable Diffusion V1 Release.
Stable Diffusion 2.0 bietet nun eine Reihe wichtiger Verbesserungen und Funktionen im Vergleich zur ursprünglichen V1-Version:
Die neue Version enthält robustere Text zu Bild-Modelle, die mit einem brandneuen Text-Encoder (OpenCLIP) trainiert wurden, der die Qualität der generierten Bilder im Vergleich zu früheren V1-Versionen erheblich verbessern soll. Die Text-zu-Bild-Modelle in dieser Version können Bilder mit Standardauflösungen von 512x512 Pixeln und 768x768 Pixeln erzeugen. Stable Diffusion 2.0 enthält ein Upscaler-Diffusionsmodell, das die Auflösung von Bildern um den Faktor 4 erhöht. In Kombination mit den Text-zu-Bild-Modellen kann Stable Diffusion 2.0 somit Bilder mit einer Auflösung von 2048x2048 und höher erzeugen.
Richtig spannend klingt der Tiefengenerator Depth2img. Dieser schätzt die Tiefe (also den Z-Puffer eines Eingabebildes und generiert dann neue Bilder, die sowohl den Text als auch die Tiefeninformationen verwenden. Mit Depth-to-Image sollen sich alle möglichen neuen kreativen Anwendungen realisieren lassen, bei denen aber die Kohärenz und Tiefe des Bildes erhalten bleibt.
Es werden übrigens auch weiterhin nicht jugendfreie Inhalte mit dem NSFW-Filter vor der Ausgabe unterdrückt.
In den nächsten Tagen sollen die neuen Modelle in die Stability AI API Platform (platform.stability.ai) und DreamStudio eingebunden werden. Wir sind gespannt, was mit den neuen Tools auf uns zukommen wird...
