MAX Sneak Previews Woran arbeitet Adobe? Experimentelle KI-Tools für Video und Audio

Ein wiederkehrender Programmpunkt der Adobe MAX sind die Sneak Previews auf experimentelle KI-Tools, die aktuell in Entwicklung sind. Einige davon landen später im offiziellen Funktionsumfang (meist unter einem anderen Namen), sodass man hier interessante Einblicke bekommt, was künftig im Bereich Foto, Video, Animationen und auch Audio zu erwarten ist.

Viele der Sneaks betreffen zunächst die Fotobearbeitung, etwa Project Surface Swap, eine KI-gestützte Texturerkennung, um Materialien nahtlos auszuwählen und auszutauschen, oder Project Mood Light, ein generatives KI-Tool, mit dem sich Lichtstimmungen nach der Aufnahme neu gestalten lassen.

Manche jedoch werden bereits auch für die Videobearbeitung aufgegriffen - so entfernt das auf Diffusion Transformer Models basierende Project Trace Erase Objekte und deren Schatten, Reflexionen und Umgebungsverzerrungen und liefert damit natürliche, kontextbezogene Fotobearbeitungen. Dies macht sich wiederum Project Frame Forward zunutze und bietet eine ähnliche Funktionalität für Videos.

Um ein Objekt in einem Video zu entfernen, reicht es aus, dieses zunächst im ersten Frame per Trace Erase spurlos wegzuzaubern. Ausgehend von diesem Bild überträgt Project Frame Forward die Änderung dann auf alle folgenden Frames. Dies funktioniert auch bei komplexen, bewegungsreichen Clips - eines der Beispiele der Preview zeigt eine Flugaufnahme, bei der ein Rennwagen samt Rauchschwaden nahtlos entfernt werden, während die Kamerabewegung und alle Rennbahn-Details erhalten bleiben.

Mit Project Frame Forward lassen sich aber auch neue Bildinhalte konsistent über alle Frames hinweg per generatives Füllen hinzufügen, wobei auch beispielsweise Spiegelungen und Schatten passend im Bild erscheinen.

Project Motion Map, ebenfalls für Bewegtbildanwendungen, erweckt Illustrationen zum Leben. Per KI werden statische Vektorgrafiken analysiert und dann automatisch sinnvoll animiert, ohne Keyframes oder manuelles Rigging.

Im Audio-Bereich soll es mit Project Sound Stager kinderleicht werden, ein Sound Design für die eigenen Bilder zu erstellen. Durch die Analyse der Bildsprache, des Tempos und der emotionalen Stimmung eines Videos werden automatisch mehrschichtige Klanglandschaften unter Verwendung professioneller Sounddesign-Logik generiert.

Das Bearbeiten von Dialogen soll Dank Project Clean Take einfacher werden. Hier wird Ki genutzt, um eine falsche Aussprache zu korrigieren, Stimmen zu isolieren, Störgeräusche zu entfernen und die Sprachausgabe zu verfeinern – und das alles in Sekundenschnelle.