BeUnreal OpenAI zeigt Sora 2: Neuer KI-Videogenerator setzt auf Ton und persönliche Avatare

Knapp ein Jahr nach der Vorstellung seines ersten Videogenerators hat OpenAI mit "Sora 2" den Nachfolger in einem Videostream vorgestellt. Das Unternehmen beschreibt es als die "leistungsstärkste Vorstellungskraftmaschine, die je gebaut wurde". Die Neuheiten gehen dabei deutlich über qualitativ bessere Videos hinaus und umfassen unter anderem eine integrierte Audiogenerierung und eine personalisierte "Cameo"-Funktion.

Laut Bill Peebles, dem Leiter von Sora, markiert das neue Modell einen "riesigen Sprung nach vorn in Sachen Realismus". Das Modell sei State-of-the-Art (SOTA) in den Bereichen Bewegung, Physik und Körpermechanik. Komplexe dynamische Szenen, wie eine olympische Turnübung oder ein Backflip auf einem Wakeboard, die für frühere Modelle eine große Herausforderung darstellten, können nun deutlich robuster und natürlicher dargestellt werden.

Ein weiterer großer Fortschritt ist die verbesserte Steuerbarkeit. Während man früher oft Shot-by-Shot vorgehen musste, kann Sora 2 nun längere, kohärente Geschichten mit mehreren Einstellungen in einem Durchgang generieren.

Eine der auffälligsten Neuerungen ist die integrierte Audiogenerierung. Sora 2 ist das erste Modell des Unternehmens, das gleichzeitig Video und Ton erzeugt (Pionier auf diesem Gebiet war Google vor ein paar Monaten mit Veo 3). Das System ist vielseitig einsetzbar und kann Dialoge in verschiedenen Sprachen mit mehreren Sprechern, Soundeffekte und sogar komplette Soundscapes produzieren.

Die wohl bahnbrechendste neue Funktion dürfte jedoch "Cameo" sein. Sie erlaubt es Nutzern, sich selbst oder andere Personen in beliebige Sora-generierte Szenen einzufügen. Dafür wird eine kurze Videoaufnahme einer Person (oder auch eines Haustiers) analysiert. Das Modell lernt die Erscheinung inklusive Stimme (!!) und kann sie anschließend wie ein Befehlswort in jede gewünschte Szene integrieren. "Erscheinung", weil nicht nur Menschen, sondern auch Tiere oder andere Objekte in Sora 2 eingefügt werden können.

OpenAI legt Wert auf Sicherheit und Kontrolle: Um ein Cameo zu erstellen, muss man einen Identitäts-Check durchlaufen, der eine Live-Aufnahme mit Sprachprobe und Bewegungsanalyse umfasst. Nutzer sollen anschließend die volle Kontrolle darüber haben, wer ihr Abbild verwenden darf – von "Niemand, außer mir" über "gegenseitige Verbindungen" bis hin zu "Jeder".

Um die Möglichkeiten des neuen Modells erlebbar zu machen, lanciert OpenAI zuerst eine "Sora App". Diese gleicht einem sozialen Netzwerk wie TikTok, in dem der gesamte Feed aus KI-generierten Videos besteht, die von Mitgliedern erstellt und geteilt werden.

Die Oberfläche ähnelt etablierten Social-Media-Apps, mit einem Feed, Profilen und der Möglichkeit, anderen zu folgen. Eine "Remix"-Funktion erlaubt es, Trends und Storylines anderer Nutzer sofort aufzugreifen und eigene Variationen zu erstellen. Laut Thomas Dimson vom Engineering-Team soll die App eine "neue Art der Kommunikation" sein, die auf spielerische Kreativität und Verbindung mit Freunden setzt, anstatt auf passives Konsumieren. Das klingt jedenfalls so, als würde TikTok auf BeReal treffen. BeUnreal?

OpenAI betont, dass Sicherheit und Transparenz Priorität haben sollen. Alle Videos, die die App verlassen, werden mit einem Sora-Wasserzeichen versehen. Zudem kommen Herkunftsnachweise (C2PA) und interne Tracking-Systeme zum Einsatz. Speziell für die Cameo-Funktion wurden strenge Moderationstools implementiert, um die Erstellung unangemessener Inhalte zu verhindern.

Die Sora App startet zunächst als Einladung-only-Version im iOS App Store in den USA und Kanada. Jeder Nutzer erhält vier Einladungscodes, um Freunde hinzuzuziehen. Das Sora 2-Modell wird auch über die Web-Oberfläche sora.com und demnächst via API für Entwickler verfügbar sein.