KI erzeugt zeitlich konsistente Anime-Animation - mit Tools für Jedermann

[13:23 Mo,27.Februar 2023 [e] von Rudi Schmidts]

bild Ja, ja, ja. KI wird in der Filmwelt alles verändern, schon - klar nächstes Thema, bitte.
Wie wäre es dann mit Anime - dem vielleicht bislang am wenigsten "demokratisierten" Filmgenre? Schließlich benötigt man für die Produktion eines Anime Films immer noch eine Menge "Handarbeit" im Sinne von menschlichen Zeichnern und Animatoren. Abendfüllende Produktionen oder Serien sind darum weiterhin fest in der Hand von finanzstarken Animations-Studios.

KI eignet sich bislang kaum für die Anime-Produktion, weil das Problem der temporalen Konsistenz einfach zu deutlich sichtbar wird. Schon kleinste Veränderungen in Form, Strich oder Stil fallen bei bewegten Einzelbildern sofort negativ ins Auge.

Die

Corridor Crew fiel schon in letzter Zeit durch den sehr kreativen Einsatz von KI Open Source Tools auf) und hat nun ein weiteres Mal einen kleinen Meilenstein bei der Lösung von aktuellen KI-Problemen erzielt. Mit einem sehr kleinen Team erschufen sie in sehr kurzen Zeit den folgenden Anime Kurzfilm "ROCK, PAPER, SCISSORS":

Sieht man sich das Ergebnis unvoreingenommen an, so erkennt man nur an wenigen Stellen noch Inkonsistenzen gegenüber einem klassischen Manga-Film. Tatsächlich wurde dieser Film jedoch primär vor einem Greenscreen gedreht, wobei die KI anschließen maßgeblich und tatkräftig mithalf, die Szenen in einen konsistenten Manga-Stil zu überführen.

Erfreulicherweise will die Corridor Crew ihre dabei erworbene Erfahrung nicht für sich behalten sondern teilt ihren Workflow in einem äußerst detaillierten Making-Of Video, mit dem -nicht völlig zu unrecht- etwas selbstlobenden Titel: "Haben wir gerade Animationsproduktion für immer verändert?":

Tatsächlich musste das Team gleich mehrere Lösungsansätze verfolgen, um letztlich ans Ziel des eigenen Anime-Films zu gelangen. Die frische Grundidee, das Rauschen zwischen den Bildern nicht mehr zufällig zu erzeugen, führte zwar schon zu zeitlich konsistenteren Ergebnissen zwischen den Bildern, jedoch war auch noch das hinzu trainieren eines eigenen Stils ein wichtiger Baustein. Und nicht zuletzt half auch noch ein trivialer "Flicker-Filter" für die Greenscreen-Aufnahmen, um wirklich eine durchgängige Manga-Anmutung zu erzielen.

Das Ergebnis ist jedenfalls erstaunlich und zeigt, dass auch die Anime-Produktion für jedermann nicht mehr in weiter Ferne liegt. In ersten Kommentaren wird zudem erwähnt, dass man diese Ideen auch noch durchaus mit

ControlNet verknüpfen könnte, da hier auf einem alternativen Weg seit einer Woche ebenfalls zeitlich konsistente TikTok-Anime Tanzanimationen ans Licht kommen.

Auf jeden Fall geht&s auch 2023 Schlag auf Schlag weiter mit KI-Sensationen im Filmbereich. Zumal man sich vor Augen halten sollte, dass das zugrunde liegende Stable Diffusion erst vor einem halben Jahr "erschienen" ist.

mehr Informationen bei www.youtube.com

[noch keine Leserkommentare] [Kommentar schreiben]