Chinas ByteDance eröffnet den Dezember KI-Präsentationsreigen und demonstriert mit Paper und Demo ihr neuestes multimodales KI-Modell Vidi 2. Multimodale Modelle akzeptieren diverse Eingabetypen (z.B. Text, Audio, Bild oder Video) und können im Anschluss hieraus unterschiedlichen Output generieren.
Vidi2 ist darauf spezialisiert, viele Stunden Rohmaterial zu analysieren und zugehörige Prompts zu interpretieren. Als Output ist es unter anderem möglich, mit einem kompletten Skript ein poliertes TikTok-Video oder auch einen kompletten Film zu generieren. Vidi2 "lernt" dabei das Rohmaterial sehr detailliert kennen. So kann es beispielsweise die In- und Out-Points einzelner Szenen oder auch Personen oder Objekte im Rohmaterial finden.
Durch diese raumzeitliche Verknüpfung soll Vidi2 potenzielle Anwendungen in komplexen Bearbeitungsszenarien ermöglichen, wie beispielsweise das Verständnis von Handlung oder Charakteren, das automatische Umschalten zwischen verschiedenen Ansichten sowie intelligentes, kompositionsbewusstes Reframing und das Zuschneiden einzelner Szenen.
ByteDance setzt das Modell übrigens bereits bei TikTok in zwei Applikationen ein. "Smart Split" ist weltweit über TikTok Studio Web verfügbar und schneidet, rahmt, untertitelt und transkribiert längere Inhalte automatisch in mehrere kurze Videos, die direkt auf TikTok geteilt werden können. So können Creator beispielsweise ihren Alltags-Vlog oder eine Podcast-Folge in mehrere Clips aufteilen.
// Top-News auf einen Blick:
- ByteDance Vidi2 produziert selbstständig fertige Videos aus Rohmaterial
- Blackmagic DaVinci Resolve 20.3 bringt Support für 32K-Workflows und mehr
- Bis zu 1.000 Euro sparen: Cashbacks auf Kameras von Sony, Nikon, Canon und Panasonic
- Sony und slashCam verlosen eine FX2 Cinema Line Kamera
- DJI Neo 2: Verbesserte Mini-Drohne für Solo-Creator und Einsteiger
- Blackmagic PYXIS 12K - Sensor-Test - Rolling Shutter und Dynamik
Zum Einstieg können Creator Inhalte hochladen, die länger als eine Minute sind, und die Abschnitte auswählen, die sie in kürzere Clips umwandeln möchten. Basierend auf dem ausgewählten Videoabschnitt kann Smart Split automatisch eine Videolänge festlegen oder Creator können eine bestimmte Länge angeben. Zusätzlich stehen verschiedene Optionen zur Bildunterschriftenformatierung zur Verfügung, und der Inhalt kann in vertikale Clips umgewandelt werden. Sobald Smart Split die Clips erstellt hat, können Creator jedes Video auswählen und direkt auf ihren TikTok-Account hochladen.
"AI Outline" soll dagegen Kreativen helfen, ihre Inhalte zu strukturieren, indem es Videotitel, Hashtags, Aufhänger und Gliederungen generiert. Dazu gibt man entweder eine Vorgabe ein oder man wählt ein häufig gesuchtes Thema in den Creator Search Insights aus. AI Outline soll so einen besseren Überblick darüber bieten, wie man Inhalte strukturieren kann. Also wohl, falls man selber nicht mehr weiß, was man eigentlich mit seinem Video aussagen wollte ;)
