Kurzfilm per Shotlist Automatisch Cinematisch? Video-KI Seedance 2.0 setzt neue Maßstäbe

Gerade erst wurde die neue Video-KI Kling 3.0 veröffentlicht, jetzt hat TikTok-Eigner ByteDance mit seinem neuen Videomodell SeeDance 2.0 nachgezogen und - dem Echo aus dem Netz zufolge - damit jetzt den Spitzenplatz der aktuellen Video-KIs erobert.


Automatisch Cinematisch? Video-KI Seedance 2.0 setzt neue Maßstäbe


Und tatsächlich sehen die Clips von SeeDance 2.0 ziemlich sensationell aus - Szenen, die aus mehreren unterschiedlichen Kameraeinstellungen oder rasanten Kamerafahrten bestehen, zeigen keine Probleme mit der sonst immer schwierigen Konsistenz von Objekten, also dass ein Gegenstand oder eine Person seltsam aussieht, wenn sich die Kameraperspektive stark ändert oder die Eigenbewegung groß ist.




Kurzfilm per Shotlist

Auch bietet SeeDance 2.0 jetzt viele Möglichkeiten, Einstellungen exakter zu kontrollieren. So können Shotlisten oder exakte Drehanweisungen wie in einem Drehbuch genutzt werden, um eine ganze Szene mit einer zusammenhängenden Handlung mit mehreren Einstellungen zu generieren - mit Vorgaben zu Kameraeinstellung, -bewegung, Handlung, Sound, Spezialeffekten zu jeder einzelnen Einstellung der Szene. Seedance 2.0 erzeugt daraus dann automatisch fließende Übergänge zwischen den Szenen, sodass tatsächlich Kurzfilme erzeugt werden können, anstatt nur einzelne, unzusammenhängende Clips. Die Kameraeinstellungen sowie die Beleuchtung haben eine meist sehr cinematische Qualität.





Ist nur die Handlung beschrieben, dann generiert Seedance dazu automatisch passende, extrem cinematisch aussehende Kameraeinstellungen und -fahrten. Gerade letzteres ist die neue Fähigkeit, die viele (chinesische) KI-Filmer gerade besonders beeindruckt - neben der Tatsache, dass Seedance anscheinend schon nach wenigen Versuchen ein brauchbares Ergebnis erzeugt und so in der Praxis deutlich billiger ist als andere Video-KIs.












Referenz per Bild und Video

Per Referenzbildern lassen sich genaue Vorgaben zu machen zu dem Hintergrund, den Personen oder Objekten einer Szene, während Referenzvideos die Bewegung der Kamera oder der Personen exakt definieren können (eine Fähigkeit, die allerdings auch schon andere Video-KIs besitzen). So können bis zu 9 Bilder, 3 Videos und 3 Audioclips als Referenz nicht nur für Aktionen, sondern auch Effekte, Kamerabewegungen, das Aussehen von Personen, Stimmen und Soundeffekte genutzt werden und per Prompt kontrolliert werden.








Das klassische Re-Mixen wird mit einer solchen Funktion vereinfacht und auf eine andere Ebene gehoben: Personen, Räume, Objekte und Bewegungen aus selbst kreierten oder bestehenden Werken können so - modifiziert und rekombiniert - als Rohmaterial für neue Clips genutzt werden.




Precise Action Replication


Dieses Feature macht es allerdings auch schwer, die Qualität der menschlichen Bewegungen von generierten Clips zu beurteilen, wenn man nicht sicher weiß, ob diese per Referenzvideo erzeugt wurden oder "frei" generiert wurden. Seedance beherrscht natürlich auch verschiedene Darstellungsstile wie neben Realbildern auch animierte Looks. Hier ein kurzer Clip im Stil von klassischen Kung-Fu Filmen der 70er Jahre - generiert aus zwei Standbildern als ästhetischer Vorgabe:







Allerdings gibt es auch bei Seedance noch einige Darstellungsfehler, wie im folgenden Clip, und manchmal sind Gesichter etwas eigenartig und Flächen "schwimmen":




Doch die Bewegungsdarstellung ist sehr gut:





Integriertes Audio

Wie schon Kling 3.0 oder andere Video-KIs kann jetzt auch Seedance 2.0 natives Audio zusammen mit dem Video generieren, das genau zu der Aktion einer Szene passt, also nicht nur Soundtrack sondern auch Geräusche und Sprache - letztere mit einem besonderen Augenmerk auf die Lippensynchronizität sowie eine zum Inhalt des Gesprochenen passende Mimik und Tonfall.




Verbesserte Konsistenz

Eine weitere Verbesserung betrifft die Konsistenz der Objekte (besonders wichtig: der Gesichter) zwischen den Einstellungen, welche komplexe Szenen erst möglich macht. Seedance 2.0 ermöglicht jetzt, sowohl das Motiv (wie eine Person) als auch die Umgebung (Szene) zu fixieren. So können komplexe Kamerabewegungen wie Zoomen, Schwenken, Neigen oder (wie in den Beispielen zu sehen) rasante Kamerafahrten wie eine Umkreisung ausgeführt werden, wobei das Aussehen des Charakters und der Hintergrund über verschiedene Einstellungen hinweg vollständig konsistent bleibt. Die maximale Länge einer Einstellung sind übrigens 15 Sekunden. Per Referenzbild können Objekte / Personen auch über mehrere solcher Einstellungen hinweg konsistent dargestellt werden.



Mit Seedance 2.0 ist das einfache Erzeugen von (Kurz)filmen per KI mit cinematischen Einstellungen und konsistenten Charakteren sowohl für 1-Klick-KI-Filmemacher als auch echte Kreative, die ihre Vision visuell möglichst exakt umsetzen wollen, noch einmal einen gewaltigen Schritt nähergerückt.








Verfügbarkeit

Vorerst ist SeeDance 2.0 direkt nur in China zugänglich (deswegen sind die hier gezeigten Beispiele auch nur auf Chinesisch), Multi-Video-KI-Plattformen wie Higgsfield.ai teasern es jedoch schon.



Aber Achtung bei der Internetsuche nach Seedance 2.0: es scheint eine Reihe von Plattformen zu geben, die das neue Modell anbieten und es auch in der Domain aufführen, diese sind aber allem Vernehmen nach alle Scams ohne echten Modellzugriff, denn dieser soll erst Ende Februar per API freigegeben werden.



Weitere Beispiele für die Fähigkeiten von Seedance 2.0 finden sich in der Online Dokumentation von Seedance 2.0.




mehr Bilder zur News:
Automatisch Cinematisch? Video-KI Seedance 2.0 setzt neue Maßstäbe
Ähnliche News //
Umfrage
    Was bremst Deinen Workflow aktuell am meisten?










    Ergebnis ansehen

slashCAM nutzt Cookies zur Optimierung des Angebots, auch Cookies Dritter. Die Speicherung von Cookies kann in den Browsereinstellungen unterbunden werden. Mehr Informationen erhalten Sie in unserer Datenschutzerklärung. Mehr Infos Verstanden!
RSS Suche YouTube Facebook Twitter slashCAM-Slash