Unter dem Namen Diffusae entwickelt ein kleines kanadisches Team namens BSKL ein Plugin, welches innerhalb von After Effects direkten Zugriff auf generative Stable Diffusion Modelle erlauben soll.
Die Bedienung ist aktuell noch ziemlich rudimentär, denn Stable Diffusion steht "nur" als eingebundener Ebenen-Effekt zur Verfügung. Dort lässt sich der Prompt durch einen unsichtbaren weiteren Text-Layer injizieren.
Weiters lässt sich das genutzte Modell, die Guidance und Stärke des Prompts sowie die Qualität und der Seed einstellen. Somit hat man weitaus weniger Möglichkeiten, als bei der Nutzung von Stable Diffusion mit einer WebUI.
Dafür soll die nicht immer triviale Installation automatisiert sein und das Update auf aktuelle Modelle wie Stable Diffusion 2.1 kann ebenfalls ohne Zutun des Anwenders erfolgen.
Größter Vorteil ist jedoch sicherlich die direkte Anwendung in Bildsequenzen sowie die Unterstützung von Masken - wodurch sich Stable Diffusion bequem in einzelnen Bildausschnitten nutzen lässt, ohne die GPU mit zu hohen Auflösungen zu überfordern.
// Top-News auf einen Blick:
- Apple AirPods als Kamera-Fernbedienung und für Audioaufnahme in Studioqualität
- Sony WH-1000XM6 bringt noch besseren Klang und Noise Cancelling
- Seagate liefert 40 TB Festplatten aus - aber noch nicht für jedermann
- Neue LTO-10 Generation mit 30 TB - eine Alternative zum Festplattenarchiv?
- Acer ProCreator PE320QXT - 6K Monitor für nur 1.199 Euro!
Das große Fragezeichen bleibt jedoch die zeitliche Kohärenz. Aktuell fallen nämlich die zufälligen Veränderungen zwischen den Einzelbildern prinzipbedingt relativ groß aus, was regelmäßig für einen sehr psychedelische Anmutung der Effekte sorgt. Hier erhoffen sich die Macher in Zukunft deutliche Verbesserungen durch weitere Forschung in der großen Stable Diffusion Community.
Aktuell funktioniert Diffusae nur unter Windows mit einer Nvidia Karte. Eine macOS Version für Apple Silicon Modelle soll jedoch laut Roadmap noch dieser Tage (Juni 2023) erscheinen.
Aktuell kostet das After Effects Plugin bei aescripts 49 Dollar, jedoch kann man sich für einen kostenlosen Beta Test registrieren, was wohl für interessierte Anwender der beste Weg sein dürfte, das Programm intensiver auszuprobieren. Zusätzlichen Kontakt zu den Entwicklern bekommt man auf diesem Wege über einen Discord-Server.
