MAX Sneaks 2024 Adobe testet neue praktische KI-Helfer für die Bild- und Videobearbeitung

Adobe hat auf der MAX 2024 neben Neuerungen wie dem generativen Erweitern in Premiere Pro in einer Sneak-Preview gleich mehrere praktische KI-Tools vorgeführt, die verschiedene lästige Schritte bei der Arbeit mit Foto, Video, Animationen und auch Audio erleichtern. So können sie Videos und Fotos einfach um störende Objekte bereinigen, ermöglichen eine exakte Kontrolle über KI-gnerierte Bilder per 3D-Modell, produzieren automatisch Soundeffekte zu Videoinhalten oder animieren Grafiken per Textprompt.

Die sogenannten Sneaks sind zwar nur Privatprojekte einzelner Entwickler und keine offiziellen Adobe Projekte - wenn sie aber bei der Vorstellung ein positives Echo bekommen, besteht eine gute Chance, dass sie weiterentwickelt und in Adobes Creative Cloud-Apps integriert werden.

Passende Soundeffekte zu Videos

Project Super Sonic dreht sich ganz um KI-generierte Sounds per Video-To-Audio. Es kann aber nicht nur per Textprompt qualitativ hochwertige 48kHz-Audiotracks produzieren, sondern - für Filmer hochinteressant - per Objekterkennung automatisch passende Soundeffekte zu vorgegebenen Videos generieren. Zudem kann das Tool vorhandene Aufnahmen modifizieren, um spezifische Zeitabstimmungen, Tonalitäten und Dynamiken anzupassen oder Musik in einen anderen Stil zu transformieren. Dies kann man nutzen, um zum Beispiel einen gewünschten Soundeffekte quasi als Audioskizze mit der eigenen Stimme aufzunehmen und das dann als Vorlage nutzen, um sie durch einen echten SFX in der gleichen Länge, Dynamik und/oder Betonung zu ersetzen.

From Adobe Max:

using your voice as an “audio sketch” to generate sound effects

pic.twitter.com/uaX88T3RuL

— Anu Aakash (@anukaakash) October 15, 2024

Störende Objekte automatisch entfernen

Project Clean Machine erleichtert die Arbeit von Filmern und Fotografen, indem es unerwünschte Objekte (wie etwa durchs Bild laufende Personen) und auch Kamerablitze automatisch aus Fotos und Videos entfernt. Es funktioniert ähnlich wie die von Premiere Pro bekannte Content Aware Fill Funktion, bringt aber bessere Resultate, da es auch unerwünschte Effekte korrigiert, die durch die zu entfernenden visuellen Elemente verursacht werden. Wenn zum Beispiel ein Feuerwerk im Hintergrund oder Kamerablitze an manchen Frames die Aufnahme überbelichten, sorgt Clean Machine dafür, dass Farbe und Beleuchtung im Video auch dann noch konsistent bleiben, wenn das Feuerwerk selbst entfernt wird.

Adobe Sneaks off to a fire start!

Project Clean Machine: “Nothing can get in the way” of your subject — flashes recovered and occluders removed easily using AI.

Project Remix A Lot: convert hand-drawn sketches to editable vector art, and resize it in a content aware fashion. pic.twitter.com/fkBQubBtIV

— Bilawal Sidhu (@bilawalsidhu) October 15, 2024

Animation per Prompt

Project In Motion nutzt generative KI, um Texte oder Grafiken per Textprompt ganz nach eigenen Wünschen zu animieren. Die resultierenden Videos können dann per Prompt oder Referenzbild beliebig im Aussehen geändert werden. So kann der Stil eines Designs geändert und zum Beispiel Vektorgrafiken in Aquarell- oder Ölmalerei-Animationen umgewandelt werden. Dies beschleunigt den Designprozess und reduziert den Aufwand für manuelles Keyframing.

Objekte nahtlos einfügen

Project Perfect Blend ist quasi das Gegenstück zu Clean Machine, denn es ermöglicht nicht das Entfernen, sondern nahtlose Hinzufügen von Objekten in Bildern. Ist ein Objekt im Bild neu eingefügt, dann kann dessen Farbe, Beleuchtung und sogar sein Schatten angepasst werden, damit es sich natürlich in den Hintergrund eingliedert.

Project Perfect Blend

Video by @bilawalsidhu

pic.twitter.com/eOp2tWLHtB

— Kris Kashtanova (@icreatelife) October 15, 2024

Bilder aus 3D-Szenen generieren

Project Scenic ermöglicht Kreativen eine genauere Kontrolle über Bilder, die von Adobes Bild-KI Firefly generiert wurden, indem das räumliche Layout einer gewünschten Szene vorgegeben werden kann. Dieses dreidimensionale Szenenlayout kann ohne Vorkenntnisse im 3D-Modelling nur mithilfe von Prompts erstellt und dann im Detail nach Wunsch verändert werden. So lassen sich etwa der Kamerawinkel anpassen und Objekte in einer Szene platzieren oder ändern. Dadurch erhalten Anwender eine viel bessere Kontrolle über das letztendlich generierte Bild und müssen sich nicht durch viele Trial-an-Error Wiederholungen per reinem Textprompt an das gewünschte Ergebnis herantasten.

Project Scenic at Adobe Sneaks. Y’all know I’m a fan of the fine grain control of a 3d scene graph, with generative AI to take it all the way. This demo is precisely that — except you can also use prompts to populate/edit your 3d world, and even frame the camera using the… pic.twitter.com/DeyuW8E6mD

— Bilawal Sidhu (@bilawalsidhu) October 15, 2024

Skizzen zu Bildern

Project Remix A Lot ermöglicht es, einfache Skizzen in vollständige Grafiken zu verwandeln, eine Variation von Image-to-Image Bild-KIs. Basierend auf eine ausgewählte Skizze und ein Prompt generiert das Tool ein Poster oder Design, das das ursprüngliche Konzept beibehält, es jedoch um professionelle Elemente anreichert. Es kann auch Designs in verschiedene Formate umwandeln, die für verschiedene Social-Media-Plattformen geeignet sind.

Adobe Sneaks off to a fire start!

Project Clean Machine: “Nothing can get in the way” of your subject — flashes recovered and occluders removed easily using AI.

Project Remix A Lot: convert hand-drawn sketches to editable vector art, and resize it in a content aware fashion. pic.twitter.com/fkBQubBtIV

— Bilawal Sidhu (@bilawalsidhu) October 15, 2024

Project Hi-Fi ermöglicht es Usern, grobe Zeichnungen (oder andere Bilder) als Vorlage für KI-generierte Bilder zu verwenden. So können zum Beispiel die Dimensionen oder die Form eines gewünschten Objekts genau vorgegeben werden.

2D-Vektorzeichnungen in 3D animieren

Project Turntable ermöglicht es, 2D-Vektorzeichnungen in 3D zu drehen und dabei den 2D-Kunststil in jedem Winkel beizubehalten.