Gamechanger für Animation? ToonCrafter - Generative KI-Zwischenbild-Generierung für Zeichentrick-Videos

// 09:17 So, 2. Jun 2024von

Mit ToonCrafter zeigt sich auf GitHub ein KI-Projekt, welches das Problem der Interpolation von Zeichentrickvideos neuartig lösen will. Hierbei geht es darum, mehrere Bilder zwischen zwei gezeichneten Frames zu generieren, um zwischen diesen zwei Bildern eine flüssige Bewegung für das Auge zu schaffen. Eine normale Interpolation zwischen der Frames funktioniert hier nicht, da dies bestenfalls wie Warping aussehen würde. Und bislang eingesetzte Algorithmen haben noch oft Probleme mit den übertriebenen nichtlinearen und großen Bewegungen typischer Animationen sowie der Überlagerung von Objekten (Okklusion) - was letztlich fast immer zu unplausiblen und/oder komplett fehlgeschlagenen Interpolationsergebnissen führt.


ToonCrafter - Generative KI-Zwischenbild-Generierung für Zeichentrick-Videos
ToonCrafter - Generative KI-Zwischenbild-Generierung für Zeichentrick-Videos


Generative KI-Verfahren haben dagegen schon in den letzten Monaten bereits mehrfach bewiesen, dass sie mit ihrem weitergehenden Verständnis von Bildinhalten auch die Veränderung und Bewegung von Objekten theoretisch weitaus besser vorhersagen können. Und sich damit für eine Interpolation in diesem Problembereich gut eignen könnten.



ToonCrafter bietet nun genau so eine generative Zeichentrickfilm-Interpolation. Dabei wurde das Modell speziell auf Zeichentrickfilme trainiert und scheint mittlerweile recht beeindruckende Ergebnisse zu liefern. Kritische Nutzer auf Reddit merken jedoch an, dass das Tool aktuell auf 16 Frames pro Sekunde bei einer Auflösung von 320x512 limitiert sei und zudem die präsentieren Beispiele nur "seltene Rosinen" seien . In den meisten Fällen aus der Praxis sei der Output dagegen noch unbrauchbar. Doch diese wahrscheinlich sehr sorgfältig auserwählten Rosien sehen dafür bemerkenswert gut aus:






So zeigt ToonCrafter hier grundsätzlich die erstaunlichen Möglichkeiten generativer KI-Modelle zur Zwischenbild-Erzeugung auf - und dass diese Modelle sich noch weiter signifikant verbessern werden. Sollte die Entwicklung also nicht hier und heute stehen bleiben, ist es absehbar, dass man in Zukunft Zeichentrick-Animationen aus wenigen Standbildern erzeugen kann.



Und dort hört die generative KI natürlich auch nicht auf. Denn auch mit realen Standbildern ist eine hochqualitative Zwischenbild-Animation nicht nur denkbar, sondern wird wahrscheinlich in den nächsten Monaten oder Jahren Realität. Und wer die Entwicklung der letzten Zeit verfolgt hat, weiß, dass Monate hier der wahrscheinlichere Prognosehorizont sein dürfte.





Aktion
PS. slashCam verschenkt Gutschen-Codes (noch bis 30.6.2024)
Wer beim Fachhändler Teltec für mindesten 300 Euro (netto) einkauft, kann 20 Euro sparen mit dem Gutscheincode SLASH20CAM, ab einem Mindestbestellwert von 500 Euro netto mit dem Code SLASH50CAM sogar 50 Euro - mehr Infos .
Ähnliche News //
Umfrage
    Meine nächste Kamera wird eine










    Ergebnis ansehen

slashCAM nutzt Cookies zur Optimierung des Angebots, auch Cookies Dritter. Die Speicherung von Cookies kann in den Browsereinstellungen unterbunden werden. Mehr Informationen erhalten Sie in unserer Datenschutzerklärung. Mehr Infos Verstanden!
RSS Suche YouTube Facebook Twitter slashCAM-Slash