Der Weg zum Erfolg bietet dabei unzählbare Möglichkeiten - dessen Ergebnis jedoch in vielen Fällen auf "Trial and Error" basiert. Zugleich sind bei der Generierung von KI-Videoclips "Experimente" nicht gratis. Bei Diensten wie Adobes Firefly Video zahlt man aktuell mindestens 40 Cent pro erzeugten Clip - auch für jeden Clip, der nicht so ausfällt wie erwartet.
Darum wollen wir an dieser Stelle ein paar Grundlagen zu Firefly für Video zusammenfassen, die für weitere eigene Experimente als fundierte Ausgangsbasis dienen könnten. Und vielleicht können wir dem einen oder anderen Anwender hiermit auch einige kostenpflichtige Fehlversuche beim Einstieg in das neue Tool ersparen.
Der (richtige) Prompt - Schlüssel zum Erfolg
Egal ob man mit Text zu Video oder Bild zu Video arbeitet: In jedem Fall ist es notwendig Firefly über eine Text Anweisung (der sog. Prompt) mitzuteilen, was in dem erzeugten Clip zu sehen sein soll. Weil Firefly auf einem multimodalen KI-Modell beruht, muss die Eingabe dabei keinerlei formale Anforderungen erfüllen. Man kann neben Sätzen auch Stichworte, Abkürzungen oder sogar irgendeinen Kaudawelsch als Input verwenden. Satzzeichen oder Formatierungsoptionen sind ebenso nicht obligatorisch und eine Fehlermeldung wegen falscher Syntax (wie beim klassischen Programmieren) wird man niemals zu Gesicht bekommen. Das einzige, was Firefly bemängelt, sind Begriffe, die potenziell Probleme mit dem Urheberrecht schaffen könnten. In diesem Fall warnt Adobe den Anwender und filtert die bemängelten Worte aus dem Prompt heraus, bevor er als finale Anweisung im KI-Videogenerator in der Adobe Cloud landet. Marken werden dabei ebenso herausgestrichen wie berühmte Persönlichkeiten. Auch Angaben wie "Eine Animation im Stil von Pixar", gehen nicht durch.
Interessanterweise ist es dagegen komplett egal, ob man den Prompt in Englisch oder Deutsch verfasst. Soweit wir die Verarbeitung bei Adobe nachvollziehen können, wird der Prompt in einem ersten Schritt in der Cloud immer ins Englische übersetzt und danach auf eventuelle Urheberrechts-Probleme abgeklopft. Wird ein problematischer Begriff gefunden, so wird dieser ersatzlos aus dem Text gestrichen. Dieser bereinigte Prompt wird anschließend an den Video Generator übergeben und Adobe schickt mit dem generierten Clip auch einen Hinweis an den Anwender zurück, dass Worte aus dem Prompt gestrichen wurden. Allerdings werden die beanstandeten Worte nicht explizit erwähnt, weshalb man manchmal nur ahnen kann, was im konkreten Fall die Warnung ausgelöst hat. Leider gibt es nach unserer Kenntnis auch keine Möglichkeit den korrigierten Input-Prompt mit den tatsächlichen Löschungen zu sehen. Zudem erscheint der Warnhinweis auch nur kurz nach der Rückgabe des fertigen Clips im Browser. Wer zu diesem Zeitpunkt gerade Kaffee geholt hat, bekommt daher vielleicht gar nicht mit, dass einzelne Begriffe des Promtps nicht verarbeitet wurden.
