Agent als Helfer Claude-KI bedient als Kreativ-Assistent Blender, Ableton, Adobe CC und viele weitere

Anthropic hat für Claude sogenannte Connectoren veröffentlicht, die es Anwendern in verschiedenen populären Audio-, 3D-, Video- und Photobearbeitungsprogrammen wie etwa Ableton Live, Blender, Affinity oder verschiedenen Adobe Creative Cloud Apps wie unter anderem Photoshop und Premiere ermöglichen sollen, die KI per Prompt als Kreativ-Assistent zu nutzen.

Die Connectoren ermöglichen es Claude, per API direkt auf die jeweiligen Programme und deren (ausgewählte) Funktionen zuzugreifen, um so mit den Assets zu arbeiten. Grundsätzlich kann man sich von Claude auf vielfacher Weise unterstützen lassen. Die KI kann Fragen zum Programm quasi als intelligentes Handbuch beantworten, Funktionen interaktiv Demonstrieren, aber auch komplexe (oder auch einfach nur redundante) Aktionen durchführen, wie 3D-Modelle generieren, 3D-Modelle / Videos / Photos editieren oder Skripte und Plugins erstellen - alles selbstständig nach einer Texteingabe durch den Anwender.

Folgende Kreativ-App-/Connectoren-Verbindungen gibt es ab sofort für Claude

- Ableton: Claude beantwortet Fragen zu Ableton Live, Push, Move, Note, Cloud, Link sowie Max for Live und stützt sich dabei nicht nur auf die Handbücher, sondern auch die jeweiligen Wissensdatenbanken und transkribierten Videotutorials.

- Adobe for creativity: Claude kann auf über 50 Tools aus Adobes Creative-Cloud-Apps wie Photoshop, Premiere, Express und mehr zugreifen und per Prompt Aktionen durchführen wie die KI-gestützte Bearbeitung und Transformation von Photos und Videos, die Erstellung und Animation von Assets aus Vorlagen sowie die intelligente Verwaltung, Suche und Zusammenfassung von Medieninhalten. Adobe empfiehlt Usern, die noch tiefer einsteigen möchten, die gerade gestartete öffentliche Beta-Version des Firefly AI Assistant auszuprobieren, der dann die gesamte Palette an professionellen Werkzeugen und generative KI-Funktionen bietet.

Übersetzt mit DeepL.com (kostenlose Version)

- Affinity by Canva automatisiert wiederkehrende Aufgaben wie Bildanpassungen per Stapelverarbeitung, Ebenenumbenennung und Dateiexport – und generiert benutzerdefinierte Funktionen direkt in der App.

- Autodesk Fusion ermöglicht es, 3D-Modelle durch Gespräche mit Claude zu erstellen und zu verändern.

- Blender: 3D-Künstler können den Blender-Connector nutzen, um komplette Szenen zu analysieren und zu debuggen. Zudem lassen sich eigene Skripte erstellen, mit denen Änderungen automatisiert auf viele Objekte gleichzeitig angewendet werden können (Batch-Processing). Über die Python-API von Blender kann Claude darüber hinaus neue Werkzeuge direkt in die Benutzeroberfläche integrieren.

rompt während Live-Performances und AV-Produktionen zu steuern.

- SketchUp: per Prompt können 3D-Modellentwürfe von Räumen, Möbelstücken oder anderen Objekten erstellt und dann weiter in SketchUp manuell verfeinert werden.

- Splice: per Claude können in dem Katalog lizenzfreie Samples intelligent gesucht werden.

Agenten als Kreativ-Helfer

Claude greift hier einen aktuellen Trend von spezialisierten Agenten auf: Avid hatte bereits einen ähnlichen, auf Google Gemini basierenden KI-Assistenten für sein Schnittprogramm Media Composer gestartet, ebenso Adobe mit dem Firefly KI Assistent für seine CC Apps. Claude trennt jetzt diese Assistenten-Funktion von den jeweiligen Programmen ab und macht ihn universeller - jedes Programm, das über eine geeignete Schnittstelle verfügt, kann jetzt per Connector von Claude genutzt werden.

Anders als generative KIs, die potentiell die Arbeit von Kreativen ersetzen, zielen die Assistenten darauf ab, bei der Arbeit zu helfen und redundante oder komplexe Aufgaben zu automatisieren. Sie assistieren auch beim Erlernen von Programmfunktionen, die sie erläutern und zum Teil sogar live auf dem eigenen PC demonstrieren können. Allerdings können sie auch - ähnlich wie KIs im Bereich Texterstellung - Menschen davon abhalten, sich tiefer mit Programmen zu beschäftigen, weil die KI das im Zweifelsfall eh besser und schneller macht (zumindest als ein Anfänger).

Ist das auch sicher?

Die große Frage ist nicht nur, wie gut das Ganze funktioniert - kann der Claude-Assistent wirklich komplexe Aktionen durchführen? -, sondern auch wie sicher er ist. Denn er hat ja über die verschiedenen Programme Zugriff auf alle möglichen Dateien - ist der Zugriff hier auf die relevanten Dateien in einem Ordner beschränkt? Fragt er vor dem Löschen von Dateien beim User nach? Auf X macht gerade ein Post die Runde, in dem der Entwickler von Pocket OS beschreibt, wie Claude Code gegen alle Regeln verstoßen hat und eine wichtige Live-Datenbank gelöscht hat.

Resolve-Hilfe per Google Notebook LLM

Noch gibt es einen solchen KI-Assistenten nicht für Blackmagics Resolve, aber man kann durchaus eigene Lösungen basteln (uns würde es nicht wundern, wenn Blackmagic selbst auch schon am Entwickeln eines eigenen KI-Agenten wäre, der bei der Arbeit in Resolve helfen soll). Wir hatten ja zum Beispiel schon per Googles Notebook LLM einen intelligenten Assistenten für Resolve öffentlich freigegeben, der alle möglichen Fragen auf der Grundlage von Blackmagics Dokumentationen beantworten kann. Wir haben ihn jetzt auch mit dem New Features Guide für das neue Resolve 21 gefüttert, er ist also auf dem neuesten Stand.

mehr Bilder zur News: