Roland Emmerich im Interview - KI ist eine Chance für Hollywood

[72cu]

Dann müsste die KI aber auch das Drehbuch schreiben, oder den Autor so lange korrigieren, bis alles passt.

Da sind wir (AFAIK) noch nicht, zumindest nicht für Langfilme.

Das glaube ich auch.
Ein Problem von KI sehe ich obendrein darin, dass wichtige Dinge oft Feinheiten und Details sind, die der Mensch wahrnimmt, weil man eben Mensch ist, aber ob das eine KI beim Training auch kann, und über einen Film konsistent durchhält. Ich weiß aber darüber zu wenig als dass ich Aussagen treffen könnte.

[iasi]

Da sind wir (AFAIK) noch nicht, zumindest nicht für Langfilme.

Das glaube ich auch.
Ein Problem von KI sehe ich obendrein darin, dass wichtige Dinge oft Feinheiten und Details sind, die der Mensch wahrnimmt, weil man eben Mensch ist, aber ob das eine KI beim Training auch kann, und über einen Film konsistent durchhält. Ich weiß aber darüber zu wenig als dass ich Aussagen treffen könnte.

Es ist erstaunlich, welche Details und Feinheiten KI einfügt. Das könnte kein Effektspezialist.

Warum sollte man übrigens KI für alles und vor allem einen ganzen Film einsetzen? Einige Einstellungen sind meist genug, um eine enorme Wirkung zu erzeugen.

Ich hatte bisher mit Kling 3.0 experimentiert und nun einige erste Tests mit Seedance 2.0 gemacht. Mit Refernzbildern oder Start- und Endframes ist dabei erstaunliche Konsitenz zu erzielen. Vor allem aber sind die Ergebnis erstaunlich.
Natürlich braucht es wie beim realen Dreh meist mehrere Takes, aber KI eröffnet enorme Möglichkeiten.

[Bluboy]

die Cremissimo Soft & Crunchy-Kampagne hat Langnese Werbemittel mithilfe von Künstlicher Intelligenz erstellen lassen. Die entsprechenden Social-Media-Beiträge (unter anderem auf Instagram) sind offiziell mit dem Hinweis "Diese Anzeige wurde mit Hilfe künstlicher Intelligenz erstellt" gekennzeichnet.
Die KI wurde dabei eingesetzt, um visuelle Elemente zu generieren – insbesondere die Kombination aus weichem Eis, flüssiger Sauce und den neuen, knusprigen Cornetto-Waffelstückchen. Für die visuelle Gestaltung und Umsetzung zeichnen sich bei Langnese (unter dem Mutterkonzern Unilever) meist große Kreativagenturen verantwortlich, die modernste Bild- und Videogeneratoren nutzen.
Für weitere Informationen und die neuesten Eiskreationen kannst du direkt bei den offiziellen Kanälen vorbeischauen, beispielsweise auf der Langnese Website oder dem Instagram-Kanal von Cremissimo.

[72cu]

Das glaube ich auch.
Ein Problem von KI sehe ich obendrein darin, dass wichtige Dinge oft Feinheiten und Details sind, die der Mensch wahrnimmt, weil man eben Mensch ist, aber ob das eine KI beim Training auch kann, und über einen Film konsistent durchhält. Ich weiß aber darüber zu wenig als dass ich Aussagen treffen könnte.

Es ist erstaunlich, welche Details und Feinheiten KI einfügt. Das könnte kein Effektspezialist.

Ja, solches, das in die Szene passt, also aus dem Kontext des erzeugten Bildes heraus logisch ist. Mein Gedanke ging aber in die Richtung, was für die Handlung relevant ist. Als Beispiel: Nehmen wir an, bei 1/3 des Films wird ein Hauptdarsteller geschlagen, und es entsteht eine charakteristische Wunde in Form eines Y. Und der Film möge über einen Zeitraum von 3 Monaten spielen. Ich frage mich, ob die KI so etwas realistisch im Zeitverlauf und dabei wiedererkennbar darstellen kann - ich zweifle jedenfalls.

Warum sollte man übrigens KI für alles und vor allem einen ganzen Film einsetzen? Einige Einstellungen sind meist genug, um eine enorme Wirkung zu erzeugen.

Ja, sehe ich auch so. Das ist eine individuelle Entscheidung. Es gibt ja auch immer wieder Filme, bei denen man erst in eine Umgebung (Landschaft, von mir aus anderer Planet) hinein versetzt wird, um eine Stimmung zu entwickeln. Und dann spielt alles drinnen. Klar kann man die vorher gezeigten Bilder kostengünstig per KI machen.

[Bildlauf]

Warum sollte man übrigens KI für alles und vor allem einen ganzen Film einsetzen? Einige Einstellungen sind meist genug, um eine enorme Wirkung zu erzeugen.

Es freut mich für Dich, wenn Du KI als ein tolles Tool siehst.
Ist ja auch kein Ding, sich so eine KI zuzulegen und damit was zu starten. Mich reizt das aber irgendwie gar nicht, auch wenn manche/viele davon schwärmen.
Rein strategisch ist deine Ausrichtung darauf durchaus sinnvoll, aber mich würde es irgendwie abtörnen damit zu arbeiten...
Aber ich muss das auch nicht, weil ich KI nicht brauche, aber als CGI/virtuell FX - Ersatz für bestimmte Filmarten kann das schon Sinn machen, gerade wenn man im Lowbudget Bereich unterwegs ist.

[iasi]

Warum sollte man übrigens KI für alles und vor allem einen ganzen Film einsetzen? Einige Einstellungen sind meist genug, um eine enorme Wirkung zu erzeugen.

Es freut mich für Dich, wenn Du KI als ein tolles Tool siehst.
Ist ja auch kein Ding, sich so eine KI zuzulegen und damit was zu starten. Mich reizt das aber irgendwie gar nicht, auch wenn manche/viele davon schwärmen.
Rein strategisch ist deine Ausrichtung darauf durchaus sinnvoll, aber mich würde es irgendwie abtörnen damit zu arbeiten...
Aber ich muss das auch nicht, weil ich KI nicht brauche, aber als CGI/virtuell FX - Ersatz für bestimmte Filmarten kann das schon Sinn machen, gerade wenn man im Lowbudget Bereich unterwegs ist.

Wenn es dir auf das Ergebnis und die Wirkung ankommt, solltest du´s mal ausprobieren.

Es geht auch nicht nur um "Lowbudget", sondern um die Umsetzbarkeit von Ideen. Mit jedem Budget stößt man an Grenzen.
Wenn ich nun Szenen umsetzen kann, die zuvor undenkbar waren, erweitert es meine kreativen Möglichkeiten.

Wenn ich meine Charaktere auf eine Tribüne inmitten von tausenden jubelnden Fans stellen und die Kamera über Köpfe der Fans auf sie zufliegen lassen kann, nur indem ich einen entsprechenden Prompt schreibe und Aufnahmen meiner Charaktere hochlade, kann ich plötzlich ganz andere Geschichten erzählen.

[MaxSchreck]

Wenn ich meine Charaktere auf eine Tribüne inmitten von tausenden jubelnden Fans stellen und die Kamera über Köpfe der Fans auf sie zufliegen lassen kann, nur indem ich einen entsprechenden Prompt schreibe und Aufnahmen meiner Charaktere hochlade, kann ich plötzlich ganz andere Geschichten erzählen.

Der hyperinflationäre Einsatz von CG Effekten hat dazu geführt, daß niemand mehr diese visuellen Superlative ernst nimmt. Ich hatte beim fünften Indiana Jones zum Beispiel nicht einen Moment das Gefühl da etwas reelles gesehen zu haben, die Hüpferei auf der Bahn oder Verfolgungsjagden mit dem Tuktuk. Gähnend öde und klar als solche erkennbare CG oder (noch schlimmer!) derart überbearbeitete "echte" Aufnahmen daß selbst diese computergeneriert wirken - und das alles trotz Multimillionenbudget. Deine "tausende jubelnde Fans" lassen sich nun von absolut jedem eintippen und das werden Hinz und Kunz auch tun, was somit auch die letzten, die sich bisher von sowas beeindrucken ließen nachhaltig vergrätzen dürfte. Großartig. Ich habe letztens auf Reddit gesehen, wie dutzende Leute aus Jux Bilder von ihrem Ruhestand im sonnigen Süden per KI erzeugen ließen. Das Staunen darüber wie sehr sich die Bilder in Komposition und Inhalten ähnelten, vor allem, wenn dieselbe KI genutzt wurde, war sehr aufschlussreich. Alles sah quasi identisch aus. Besonders tragisch, wenn man eigene Aufnahmen dort durchjagt, somit mit KI infiziert und dadurch entwertet.

[Bildlauf]

Wenn es dir auf das Ergebnis und die Wirkung ankommt, solltest du´s mal ausprobieren.

Es geht auch nicht nur um "Lowbudget", sondern um die Umsetzbarkeit von Ideen. Mit jedem Budget stößt man an Grenzen.
Wenn ich nun Szenen umsetzen kann, die zuvor undenkbar waren, erweitert es meine kreativen Möglichkeiten.

Wenn ich meine Charaktere auf eine Tribüne inmitten von tausenden jubelnden Fans stellen und die Kamera über Köpfe der Fans auf sie zufliegen lassen kann, nur indem ich einen entsprechenden Prompt schreibe und Aufnahmen meiner Charaktere hochlade, kann ich plötzlich ganz andere Geschichten erzählen.

Mich reizt das irgendwie gar nicht.
Aber als produktives Tool für Langfilme bestimmt sinnvoll.

Wichtig ist glaube ich nur, man darf es nicht übertreiben (zu viel) und es sollte gut eingebettet ausschauen.

[MaxSchreck]

Wichtig ist glaube ich nur, man darf es nicht übertreiben (zu viel) und es sollte gut eigebettet ausschauen.

Wenn uns knapp 40 Jahre der Evolution digitaler VFX eines gelehrt hat, dann dass Produzenten niemals das richtige Mass finden - und das wie gesagt obwohl VFX sehr, sehr teuer sind. Preisfrage: Was wird wohl passieren, wenn das alles angeblich nur noch einen Bruchteil kosten wird?

[iasi]

Wenn es dir auf das Ergebnis und die Wirkung ankommt, solltest du´s mal ausprobieren.

Es geht auch nicht nur um "Lowbudget", sondern um die Umsetzbarkeit von Ideen. Mit jedem Budget stößt man an Grenzen.
Wenn ich nun Szenen umsetzen kann, die zuvor undenkbar waren, erweitert es meine kreativen Möglichkeiten.

Wenn ich meine Charaktere auf eine Tribüne inmitten von tausenden jubelnden Fans stellen und die Kamera über Köpfe der Fans auf sie zufliegen lassen kann, nur indem ich einen entsprechenden Prompt schreibe und Aufnahmen meiner Charaktere hochlade, kann ich plötzlich ganz andere Geschichten erzählen.

Mich reizt das irgendwie gar nicht.
Aber als produktives Tool für Langfilme bestimmt sinnvoll.

Wichtig ist glaube ich nur, man darf es nicht übertreiben (zu viel) und es sollte gut eingebettet ausschauen.

Das ist richtig. Man muss jedoch auch nicht zu überkritisch sein, denn die Wirkung zählt mehr, als die technische Perfektion.

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg

2.jpg

3.jpg

4.jpg

[7River]

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg
2.jpg
3.jpg
4.jpg

Was genau ist das jetzt? Mal zur Einordnung?

[MaxSchreck]

Mich reizt das irgendwie gar nicht.
Aber als produktives Tool für Langfilme bestimmt sinnvoll.

Wichtig ist glaube ich nur, man darf es nicht übertreiben (zu viel) und es sollte gut eingebettet ausschauen.

Das ist richtig. Man muss jedoch auch nicht zu überkritisch sein, denn die Wirkung zählt mehr, als die technische Perfektion.

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg
2.jpg
3.jpg
4.jpg

...KI bedeutet also i.d.R., visuell wie rechtlich und ethisch: Augen zu und durch - genau wie mit den Kommentaren (z.B. meinem), deren Schlüsse unangenehm sind und auf die man lieber nichts schreibt ;-)

[medienonkel]

Mich reizt das irgendwie gar nicht.
Aber als produktives Tool für Langfilme bestimmt sinnvoll.

Wichtig ist glaube ich nur, man darf es nicht übertreiben (zu viel) und es sollte gut eingebettet ausschauen.

Das ist richtig. Man muss jedoch auch nicht zu überkritisch sein, denn die Wirkung zählt mehr, als die technische Perfektion.

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg
2.jpg
3.jpg
4.jpg

Boah, wau!!

Iasi! Das sieht ja großartig aus!
Alleine die Idee für so eine tolle Einstellung.

Dafür würde ich als Effektspezialist mehrere Tage brauchen. Die ganze Krautsim, die Textures, die individually generated human assets, die Kloss-Simulätschns und die absolut realistic Video-Look light-render engine der gen. 4, die ich mit dem scanline Renderer und Fake AO nie hinbekommen würde.

Ich hatte nicht gedacht, dass so ultrarealistische Bilder mit KI möglich sind.

Vor allem die Animation der virtuellen Kamera wirkt einzigartig. Sogar für einen schnellen Test.

Verrätst du uns deinen prompt?

'Spannend, was mit künstlicher AI alles bald möglich sein wird." Er lächelte.

[72cu]

Ich finde das Ergebnis problematisch.
Die Werbung will das Unternehmen vielleicht nicht.
Und die Bilder wirken auf mich etwas unecht. Aber das sind ja nur Standbilder, kann sein, dass das im Video besser aussieht.
Und wahr bleibt natürlich: billiger kann man an solche Bilder nicht kommen. Und wenn sie nur Beiwerk sind, OK - ich denke gerade daran, man könne so etwas im Film auf einem Smartphone oder Fernseher zeigen, in der eigentlichen Szene.

[medienonkel]

Das ist richtig. Man muss jedoch auch nicht zu überkritisch sein, denn die Wirkung zählt mehr, als die technische Perfektion.

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg
2.jpg
3.jpg
4.jpg

...KI bedeutet also i.d.R., visuell wie rechtlich und ethisch: Augen zu und durch - genau wie mit den Kommentaren (z.B. meinem), deren Schlüsse unangenehm sind und auf die man lieber nichts schreibt ;-)

Gräme dich nicht, der Meister weiß selbst am besten, mit Wem er sich über Was austauscht.
Du bist nur ein Effektspezialist, er ist ein iasi.

Iasis waren früher Kobolde, die sich aber dazu entschlossen, in Kopiewerken ihr Unwesen zu treiben.
Heute weiß das niemand mehr, aber früher hörte man oft lange und leidvolle Geschichten der Laboranten, wie viele Iasis bis zur Mittagspause wieder in die Emulsion gedappt hatten. Manche dippten auch... Einige dabbten noch nebenbei.

Heute kann man noch die kleinen Handabdrücke, Rotzpopel und Bartfusseln der Iasis auf altem Füllmaterial erkennen.

Mit der Digitalisierung wurde es immer stiller in den Kopiewerken.
In den Nullerjahren wechselten sie in Bankgebäude und trieben den Finanzsektor in den Wahnsinn.
Und zum Crash.

Viele Iasis wechselten danach ins Coaching Business.

Nur einer war so auf Film vernarrt und musste unbedingt weiter mitmischen, dass er sich in Filmforen ins Internet begab.

Den Schritt von der analogen in die digitale Filmwelt und das Internet untermalte er durch eine Namensänderung seiner Art:

Aus Iasi wurde erst kurz i-asi und schließlich iasi.

Eine endemische Subform, die nur noch als Einzelexemplar im slashcam Forum wütet.

[iasi]

Das ist richtig. Man muss jedoch auch nicht zu überkritisch sein, denn die Wirkung zählt mehr, als die technische Perfektion.

Man kann hier an Details wie kryptische Schriftzüge herummäkeln, aber für einen ersten Generierungsversuch sieht es beeindruckend aus. Die Kamera fährt dann auch noch vor die Charaktere und diese sehen sehr überzeugend aus, obwohl ich nur einige Referenzbilder von ihnen hochgeladen hatte.

1.jpg
2.jpg
3.jpg
4.jpg

Boah, wau!!

Iasi! Das sieht ja großartig aus!
Alleine die Idee für so eine tolle Einstellung.

Dafür würde ich als Effektspezialist mehrere Tage brauchen. Die ganze Krautsim, die Textures, die individually generated human assets, die Kloss-Simulätschns und die absolut realistic Video-Look light-render engine der gen. 4, die ich mit dem scanline Renderer und Fake AO nie hinbekommen würde.

Ich hatte nicht gedacht, dass so ultrarealistische Bilder mit KI möglich sind.

Vor allem die Animation der virtuellen Kamera wirkt einzigartig. Sogar für einen schnellen Test.

Verrätst du uns deinen prompt?

'Spannend, was mit künstlicher AI alles bald möglich sein wird." Er lächelte.

Natürlich ist das nichts besonderes, denn in jedem deutschen Film bekommt man schließlich solche Aufnahmen geboten. Für solche Bilder kauft doch kein Mensch eine Kinokarte. ;)

Die Leute wollen so etwas sehen:


:)

Diese grandiosen Effektarbeiten erreicht KI natürlich nicht.
Wobei: Ich hatte mal einen KI-Tests gemacht, bei dem sich ein Junge verwandelt, was irgendwie dynamischer aussah und die Verwandlung auch 15 Sekunden lang ohne Schnitt dauerte.

Den prompt hast du doch sicherlich schon selbst erraten.
Worauf es übrigens ankommt, sind Referenzbilder, End- und Startframe, Videovorlagen.

Übrigens: Was ist denn "künstliche AI"?

[iasi]

Ich finde das Ergebnis problematisch.
Die Werbung will das Unternehmen vielleicht nicht.
Und die Bilder wirken auf mich etwas unecht. Aber das sind ja nur Standbilder, kann sein, dass das im Video besser aussieht.
Und wahr bleibt natürlich: billiger kann man an solche Bilder nicht kommen. Und wenn sie nur Beiwerk sind, OK - ich denke gerade daran, man könne so etwas im Film auf einem Smartphone oder Fernseher zeigen, in der eigentlichen Szene.

Das war die erste Generierung eines schnellen Tests mit kurzem Prompt und schnell gemachten Referenzbildern.

Ich bin etwas erstaunt, dass sich mancher hier so schwer damit tut, sich vorzustellen, welches Potential da schon jetzt drin steckt.

Erstaunlich finde ich auch, dass du die Standbilder eines ersten Tests als Werbung betrachtest.
Ist das deine Arbeitsweise, dass du ohne Vorbereitung losgehst, aufnimmst und was dabei rauskommt, als Endergebnis betrachtest?

Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen.

Oder wie würdest du dieses Standbild beurteilen:

LotR Intro.png

[MaxSchreck]

...KI bedeutet also i.d.R., visuell wie rechtlich und ethisch: Augen zu und durch - genau wie mit den Kommentaren (z.B. meinem), deren Schlüsse unangenehm sind und auf die man lieber nichts schreibt ;-)

Gräme dich nicht, der Meister weiß selbst am besten, mit Wem er sich über Was austauscht.
Du bist nur ein Effektspezialist, er ist ein iasi.

Iasis waren früher Kobolde, die sich aber dazu entschlossen, in Kopiewerken ihr Unwesen zu treiben.
Heute weiß das niemand mehr, aber früher hörte man oft lange und leidvolle Geschichten der Laboranten, wie viele Iasis bis zur Mittagspause wieder in die Emulsion gedappt hatten. Manche dippten auch... Einige dabbten noch nebenbei.

Heute kann man noch die kleinen Handabdrücke, Rotzpopel und Bartfusseln der Iasis auf altem Füllmaterial erkennen.

Mit der Digitalisierung wurde es immer stiller in den Kopiewerken.
In den Nullerjahren wechselten sie in Bankgebäude und trieben den Finanzsektor in den Wahnsinn.
Und zum Crash.

Viele Iasis wechselten danach ins Coaching Business.

Nur einer war so auf Film vernarrt und musste unbedingt weiter mitmischen, dass er sich in Filmforen ins Internet begab.

Den Schritt von der analogen in die digitale Filmwelt und das Internet untermalte er durch eine Namensänderung seiner Art:

Aus Iasi wurde erst kurz i-asi und schließlich iasi.

Eine endemische Subform, die nur noch als Einzelexemplar im slashcam Forum wütet.

Maestro, ich ziehe meinen Hut, das war einfach nur: HAMMER! :-D :-D :-D

[medienonkel]

Woodwalkers.... soso. Sieht stark nach einem Kinderfilm aus, der sich mit Pubertät und dem Platz in der Gesellschaft befasst.

Sieht nach einer internationalen Koproduktion mit internationalem Cast aus.
Typisch deutscher Film eben.

Startbild, Endbild, dies das... Videomanipulation.
Video loras helfen da sehr. Du brauchst halt für jeden Character und für jede individuelle, sich widerholende Bewegung (Transformation) eine eigene lora. Sonst sehen die Transitionen bei jedem Character zu ähnlich aus.

Problem:
Das Setup für die entsprechenden Pipelines zu entwickeln und vor allem die ganzen Modelloptimierungen, Destillationen usw. fressen immens viel Zeit.

Um eine einfache Character-Lora zu trainieren muss ich erstmal einen Character entwickeln. IdR. erfolgt sowas mit Papier und Bleistift und durchläuft hier schon diverse Abnahmen. Dann kommen Farben ins Spiel... und überhaupt.
Davor habe ich natürlich schon die Welt für den Character halbwegs fertig entwickelt. Es brauch ja eine konsistente Umgebung und Regeln, nach denen diese Umgebung funktioniert.
Das soll ja alles visuell transportiert werden. Bildsprache und so.

Dann muss ich das Bildmaterial erzeugen, womit ich die lora trainieren möchte. Hier kann die KI schon gut helfen, da ich aus einem einfachen Foto oder einem einzigen Bild schon 22 Ansichten des Characters automatisiert erzeugen lassen kann. Ich kann ihm verschiedene Klamotten anziehen, die Posen und die Gesichtsausdrücke beeinflussen. Zudem wird der Character in verschiedene Umgebungen mit möglichst unterschiedlichen Lichtsituationen erzeugt.

Wenn man es ernst meint, erzeugt man eher um die 20 vollständige Sets und selektiert hier manuell die vielversprechendsten Vorlagen.

Diese lasse ich dann von einem anderen LLM automatisiert inhaltlich taggen und integriere das trigger word für den character.

Es wird zu jedem Bild ein Textfile generiert, dass dieses detailliert beschreibt.


Dann kommt unser Freund ostris mit seinem ai-toolkit ins Spiel.

Hier darf man dann erneut eine Datenbank mit den Bildern und den Beschreibungen füttern.

Dann kommt der spannende Teil. Man muss sich nämlich von Anfang an auf das Modell festlegen, mit dem man dann die Bilder erzeugen möchte.
Z-Image ist da bei meinem letzten Stand (ich bringe mir nicht alle drei Tage was Neues bei...) das leichteste Modell, um eine Z-Image lora zu trainieren. Chroma geht auch gut, Flux2 habe ich auch schonmal durchgejagt, dauert aber ewig.

Nachdem du dich dann durch Einstellungen durchgearbeitet hast, die zu verstehen alleine schon nen guten Nachmittag Recherche erfordern, kannste deinen Job in die queue schicken.
So ab 3000 Steps sieht eine lora dann ganz gut aus. D.h. das Gesicht ist halbwegs konsistent. Das Training dauert bei mir lokal knappe 4 Stunden für 3000 Steps.

Der gesamte Prozess ab Entwurf, das rein Technische, dauert gute 6 Stunden. Ob die lora dann auch wirklich funktioniert, siehst du erst, wenn du Bilder generierst. Nur jede 2. lora taugt halbwegs.
Das machst du für alle Chraktere, alle sets, Kameras, Objektive, Stimmungen.... für alles.
Wenn du wirklich konsistente Bilder mit Kontrolle haben möchtest.

Wenn sich irgendwas am Design eines Characters ändert, geht alles von vorne los.

So generierst du dann die Start und Endbilder deiner Videos mit zu 95% konsistenten Assets. Von den lustigen Phänomenen, die entstehen könne, wenn man 20 loras zusammenstöpselt...

Natürlich mit entsprechendem Ausschuss. Und von dir von Hand selektiert.

Die Bilder jagst du dann durch deinen Videogenerator mit unterschiedlichsten Prompts, bei konstantem seed oder umgekehrt.
Da lässt du dir dann einfach 20-30 Videos raus und suchst dir das, was dir am besten passt.

Gratulation, du hast einen 15 Sekunden Shot ausgewählt, der dir von den 30 Gurken taugt.

Schnitt.

Anschlussszene.
Und genau hier beginnen dann deine Probleme, was du dir ja mittlerweile wohl selbst denken kannst.

Einzelne Tests sind ganz was anders, als eine funktionierende Sequenz.

Du unterschätzt einfach massiv, was da doch noch an Arbeit drin steckt.

Und manches lässt sich einfach gar nicht nach Wunsch umsetzen.

Du kannst auch keinen Menschen (Effektspezialisten) mit einem LLM vergleichen. Die versteht nicht, was du meinst, du musst ihre Sprache lernen und sie austricksen, um deine gewünschten Ergebnisse ab und zu zu bekommen.

[medienonkel]

Maestro, ich ziehe meinen Hut, das war einfach nur: HAMMER! :-D :-D :-D

Ich verneige mich zum Dank. :-)

[72cu]

Erstaunlich finde ich auch, dass du die Standbilder eines ersten Tests als Werbung betrachtest.
Ist das deine Arbeitsweise, dass du ohne Vorbereitung losgehst, aufnimmst und was dabei rauskommt, als Endergebnis betrachtest?

Die Bilder betrachte ich nicht als Werbung. Ich betrachte das Logo eines Energieversorgers in den Bildern als Werbung.
Bei meiner Produktion suche ich das Bildmaterial akribisch ab, und entferne alle Namen, Logos, Marken etc., sogar von Autos entferne ich die Markenlogos. Ich weiß nicht, ob ich damit übertreibe, weil man gerade auf Autos die Markennamen und -logos in Filmen oft (aber nicht immer) sieht, aber vielleicht haben diese Produzenten ja die Genehmigung dafür. Ich will eben auf Nummer Sicher gehen, und würde solche Schriftzüge wie in Deinen Bildern nicht stehen lassen.

Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen.

Ich bin KI gegenüber offen. Aber ich sehe es so, dass die KI für mich nur ein Werkzeug sein sollte. Ein Prompt von einem Satz, der zu - vor mir aus - 15 Sekunden Film führt, sagt doch klar, dass die KI die "Kreativität" übernommen hat.
Für meinen Film überlege ich sogar, ob ich zwei Tierszenen (insgessamt 5 bis maximal 10 Sekunden) per KI mache, damit das Tier genau das macht, was es soll, und aus der richtigen Perspektive. Wenn ich stock-Material finde, ist es mir auch recht. Aber ich muss erst schauen, bin noch nicht so weit. Das mit einem echten Tier geplant produzieren, wäre mir zu aufwendig, und würde sich auch negativ auf's Budget auswirken.

Oder wie würdest du dieses Standbild beurteilen:
LotR Intro.png

Das beurteile ich gar nicht. Auch oben hatte ich ja schon geschrieben, dass ein Standbild nur begrenzt beurteilbar ist.

[medienonkel]

iasi schrob:
"Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen."

Kennst du, lieber i-assi, eigentlich was anderes, außer Kling und seedance?

Ich finde es ja nur konsequent, dass du pro Video 3 Euro an Credits zahlen musst.

Wer selbst technisch nichts kann, muss zahlen. ;-)

[iasi]

iasi schrob:
"Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen."

Kennst du, lieber i-assi, eigentlich was anderes, außer Kling und seedance?

Ich finde es ja nur konsequent, dass du pro Video 3 Euro an Credits zahlen musst.

Wer selbst technisch nichts kann, muss zahlen. ;-)

Schon bezeichnend, wenn ein "Profi" über 3 Euro pro Video jammert.

Du hast vielleicht noch nicht vernommen, dass Seedance 2.0 recht gut sein soll.
Ich neige dazu, neue Technik zu testen auch wenn es etwas kosten mag.
Denn vielleicht hat es ja das Potential, die Ausdrucksmöglichkeiten zu erweitern und/oder Kosten einzusparen.
Mancher hält es aber standhaft mit "Was der Bauer nicht kennt, das frisst er nicht."

Kling 3.0 hat übrigens auch seine Vorzüge.
Und stell dir mal vor: Ich bin technisch so aufgeschlossen, dass ich Kling 4.0 testen werde, auch wenn ein Video zweifufzig kosten sollte. Dann werde ich es bei meinen Tests auch nicht bei einem Video belassen.

Ich habe jedenfalls schon einiges über die Stärken und Schwächen von Seedance 2.0 gelernt und kann langsam abschätzen, wann und wie man es produktiv einsetzen kann.

[Jott]

Und dann kommt Flashdance 5.0, und du fängst von vorne an.

[iasi]

Erstaunlich finde ich auch, dass du die Standbilder eines ersten Tests als Werbung betrachtest.
Ist das deine Arbeitsweise, dass du ohne Vorbereitung losgehst, aufnimmst und was dabei rauskommt, als Endergebnis betrachtest?

Die Bilder betrachte ich nicht als Werbung. Ich betrachte das Logo eines Energieversorgers in den Bildern als Werbung.
Bei meiner Produktion suche ich das Bildmaterial akribisch ab, und entferne alle Namen, Logos, Marken etc., sogar von Autos entferne ich die Markenlogos. Ich weiß nicht, ob ich damit übertreibe, weil man gerade auf Autos die Markennamen und -logos in Filmen oft (aber nicht immer) sieht, aber vielleicht haben diese Produzenten ja die Genehmigung dafür. Ich will eben auf Nummer Sicher gehen, und würde solche Schriftzüge wie in Deinen Bildern nicht stehen lassen.

Wie schon gesagt: Bei dir sind demnach Tests und Produktionen dasselbe.
Oder anders ausgedrückt: Wenn du etwas testest, dann nur während der Produktion.

Vielleicht entfernst du aber auch aus deinen Urlaubsfotos alle Namen, Logos, Marken etc. ;)

Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen.

Ich bin KI gegenüber offen. Aber ich sehe es so, dass die KI für mich nur ein Werkzeug sein sollte. Ein Prompt von einem Satz, der zu - vor mir aus - 15 Sekunden Film führt, sagt doch klar, dass die KI die "Kreativität" übernommen hat.
Für meinen Film überlege ich sogar, ob ich zwei Tierszenen (insgessamt 5 bis maximal 10 Sekunden) per KI mache, damit das Tier genau das macht, was es soll, und aus der richtigen Perspektive. Wenn ich stock-Material finde, ist es mir auch recht. Aber ich muss erst schauen, bin noch nicht so weit. Das mit einem echten Tier geplant produzieren, wäre mir zu aufwendig, und würde sich auch negativ auf's Budget auswirken.

Es ist mit einem Prompt doch nicht getan.
Die Herausforderung sehe ich nun darin, der KI möglichst enge Grenzen zu setzen, um ein Ergebnis zu erhalten, das möglichst nah an dem ist, was ich benötige.

Ich würde Realaufnahmen von den Tieren durch KI ergänzen. Entweder zeitlich, indem ich die KI-Einstellung (vielleicht sogar ohne sichtbaren Schnitt) in reale Einstellungen einfüge oder inhaltlich, indem ich nur Bildteile durch KI ergänzen lasse.
Und das Erfreuliche an den neuen KIs ist genau diese Möglichkeit.

Einschränkungen sehe ich noch bei Datenrate und Codec, aber das lässt sich dann in einer echten Produktion auch lösen.

Oder wie würdest du dieses Standbild beurteilen:
LotR Intro.png

Das beurteile ich gar nicht. Auch oben hatte ich ja schon geschrieben, dass ein Standbild nur begrenzt beurteilbar ist.

Und doch hast du über die Einsatzmöglichkeit geurteilt.

Ich habe neulich die Kritik zu den Star Wars-Filmen von Behaind angesehen. Er bespricht u.a. auch "Ewoks". Dies war der Film, der mir im Gedächtnis geblieben war, da ich das Kino vorzeitig verließ. Und obwohl die Effekte so schrecklich waren, wurde er so erfolgreich, dass sogar ein zweiter "Ewoks"-Film mit sogar höherem Budget gedreht wurde.
Im Vergleich zu den Effekten (auch den guten) die wir früher geboten bekamen und die dennoch eine Wirkung entfalteten, sind KI-Ergebnisse brilliant.
Oft genügt auch nur 1 Sekunde oder gar einige Frames, um eine enorme Wirkung zu erzeugen.

"Fight Club" hat dies doch demonstriert. ;) :)

[iasi]

Und dann kommt Flashdance 5.0, und du fängst von vorne an.

Hat man dir in der Schule nicht gesagt, dass lebenslanges Lernen von dir erwartet wird.

Aber vielleicht tippst du ja noch immer auf einer mechanischen Schreibmaschine. ;)

[medienonkel]

iasi schrob:
"Wenn jemand wie unser medienonkel lange Beiträge zu KI schreibt, obwohl er maximal mal etwas von seedance 2.0 gehört hat, wundert mich nicht. Aber ich hoffe doch, dass du nicht auch zu denen gehörst, die sich anhand einiger Standbilder eine Meinung bilden und sich in ihren Vorurteilen suhlen."

Kennst du, lieber i-assi, eigentlich was anderes, außer Kling und seedance?

Ich finde es ja nur konsequent, dass du pro Video 3 Euro an Credits zahlen musst.

Wer selbst technisch nichts kann, muss zahlen. ;-)

Schon bezeichnend, wenn ein "Profi" über 3 Euro pro Video jammert.

Du hast vielleicht noch nicht vernommen, dass Seedance 2.0 recht gut sein soll.
Ich neige dazu, neue Technik zu testen auch wenn es etwas kosten mag.
Denn vielleicht hat es ja das Potential, die Ausdrucksmöglichkeiten zu erweitern und/oder Kosten einzusparen.
Mancher hält es aber standhaft mit "Was der Bauer nicht kennt, das frisst er nicht."

Kling 3.0 hat übrigens auch seine Vorzüge.
Und stell dir mal vor: Ich bin technisch so aufgeschlossen, dass ich Kling 4.0 testen werde, auch wenn ein Video zweifufzig kosten sollte. Dann werde ich es bei meinen Tests auch nicht bei einem Video belassen.

Ich habe jedenfalls schon einiges über die Stärken und Schwächen von Seedance 2.0 gelernt und kann langsam abschätzen, wann und wie man es produktiv einsetzen kann.

Ähm.... wo habe ich gejammert?

Du hast dich doch über die leider recht hohen Kosten für deine Videos beschwert... naja, nicht beschwert, aber es bedauert... sonst könntest du ja viel mehr ausprobieren, experimentieren und testen.

Ich gratuliere dir zu der Fähigkeit, dich neuen Techniken zu öffnen und dafür sogar Geld ausgeben zu wollen.
Eine Eigenschaft, die dich wahrlich einzigartig macht.
Nur die Wenigsten schaffen es, für Dinge, die sie faszinieren Geld auszugeben.

Hmmm, man könnte da ja regelrecht ein Business daraus machen und das Bobby, Schleckerlpferd oder Nichtarbeitszeitunterhaltung oder so nennen.
Ich sehe da großes Potential bei Münzen, Briefmarken, Autos, Büchern... oh, das geht ja mit allem!

Ich muss los!!

[72cu]

Wie schon gesagt: Bei dir sind demnach Tests und Produktionen dasselbe.
Oder anders ausgedrückt: Wenn du etwas testest, dann nur während der Produktion.

Vielleicht entfernst du aber auch aus deinen Urlaubsfotos alle Namen, Logos, Marken etc. ;)

Naja, ich bin halt in der Filmproduktion nur Laie. Manche Dinge fallen mir auf, andere übersehe ich. Du hast offenbar Jahrzehnte Erfahrung und Wissen, und kannst daraus schöpfen.
Wenn ich etwas teste dann so, dass ich glaube, das geteste ablehnen, oder damit arbeiten zu können.

Das beurteile ich gar nicht. Auch oben hatte ich ja schon geschrieben, dass ein Standbild nur begrenzt beurteilbar ist.

Und doch hast du über die Einsatzmöglichkeit geurteilt.

"Geurteilt" würde ich das nicht nennen. Sondern ein Beispiel genannt, wo man mit der Qualität, die ich hinter den von Dir geposteten Bildern vermute, wahrscheinlich arbeiten könnte. Du hast diese ja gepostet, weil Du denkst, dass sie eine gewisse Aussagekraft haben.

Ich habe das Gefühl, dass wir etwas aneinander vorbei schreiben.

Jetzt muss ich aber wieder etwas weiter arbeiten, damit heute noch etwas vorwärts geht. Ich bin immer glücklich, wenn ich an einem Tag 10s brauchbaren Trickfilm für den Schnitt etc. schaffe - sind oft genug auch nur 2 oder 4s.

[MaxSchreck]

Um eine einfache Character-Lora zu trainieren muss ich erstmal einen Character entwickeln. IdR. erfolgt sowas mit Papier und Bleistift und durchläuft hier schon diverse Abnahmen. Dann kommen Farben ins Spiel... und überhaupt.

Danke für diesen insight-Tsunami, der Mega-Interessant ist. Trotz meiner allgemeinen Skepsis bzgl. KI beschäftige ich mich mit doch relativ intensiv mit dem Thema und weiß so einiges dazu - aber das war am Ende doch vielleicht nur 20% von dem im Bereich Video-KI, das Du da an Infos rausgeballert hast. Daß es so unglaublich komplex werden kann, wenn man es ernster meint, macht mich baff...

[medienonkel]

Um eine einfache Character-Lora zu trainieren muss ich erstmal einen Character entwickeln. IdR. erfolgt sowas mit Papier und Bleistift und durchläuft hier schon diverse Abnahmen. Dann kommen Farben ins Spiel... und überhaupt.

Danke für diesen insight-Tsunami, der Mega-Interessant ist. Trotz meiner allgemeinen Skepsis bzgl. KI beschäftige ich mich mit doch relativ intensiv mit dem Thema und weiß so einiges dazu - aber das war am Ende doch vielleicht nur 20% von dem im Bereich Video-KI, das Du da an Infos rausgeballert hast. Daß es so unglaublich komplex werden kann, wenn man es ernster meint, macht mich baff...

Häh?
Ich bin leicht verwirrt, du bist doch hier der KI Experte. Zumindest aus meiner Sicht. Ich experimentiere da nur privat ein wenig rum und habe ein Faible für möglichst viel technischen Input.

Ich beziehe mich auch nur auf Bild loras. An echte Video loras habe ich mich aufgrund mangelnder Ressourcen und Notwendigkeit noch nicht gewagt.
Ich muss auch nicht eins zu eins eine reale Person mit Bewegung und Stimme nachbilden.
Man muss das Ding halt mit kuratierten Videosamples füttern.

Komplexität ist auch relativ. Das sammelt sich in vier Jahren an. Ich kann auch immer nur das beschreiben, was ich selbst schon mal ausprobiert habe.
Und ich arbeite nur lokal. Daher gibt es auch nichts zu Modellen oder Workflows, die es nur in der Cloud gibt, zu sagen von mir.

Bzgl. seedance gibt dann sicher gerne der andere User Auskunft ;-)

Für lokales Video ist wanGP sehr gut, um nur gegen Stromkosten viel auszuprobieren.
LTX läuft schon ab 16GB mit einem 22B Modell sehr anständig.
Inkl. Ton und promptbarem Text. Auch auf Deutsch.

[iasi]

Wie schon gesagt: Bei dir sind demnach Tests und Produktionen dasselbe.
Oder anders ausgedrückt: Wenn du etwas testest, dann nur während der Produktion.

Vielleicht entfernst du aber auch aus deinen Urlaubsfotos alle Namen, Logos, Marken etc. ;)

Naja, ich bin halt in der Filmproduktion nur Laie. Manche Dinge fallen mir auf, andere übersehe ich. Du hast offenbar Jahrzehnte Erfahrung und Wissen, und kannst daraus schöpfen.
Wenn ich etwas teste dann so, dass ich glaube, das geteste ablehnen, oder damit arbeiten zu können.

Und doch hast du über die Einsatzmöglichkeit geurteilt.

"Geurteilt" würde ich das nicht nennen. Sondern ein Beispiel genannt, wo man mit der Qualität, die ich hinter den von Dir geposteten Bildern vermute, wahrscheinlich arbeiten könnte. Du hast diese ja gepostet, weil Du denkst, dass sie eine gewisse Aussagekraft haben.

Ich habe das Gefühl, dass wir etwas aneinander vorbei schreiben.

Jetzt muss ich aber wieder etwas weiter arbeiten, damit heute noch etwas vorwärts geht. Ich bin immer glücklich, wenn ich an einem Tag 10s brauchbaren Trickfilm für den Schnitt etc. schaffe - sind oft genug auch nur 2 oder 4s.

Die Bilder habe ich gepostet um zu verdeutlichen, welches Potential darin steckt.
Es waren Standbilder aus einer ersten Generierung eines kurzen prompt mit Bildvorgaben, die ich für ein ganz anderes Video genutzt hatte. Ich wollte nur mal kurz sehen, wie Seedance 2.0 Menschenmassen generiert und dabei vorgegebene Charaktere integriert. Das Ergebnis ist beeindruckend. Zumal ich gerade mal 5 Minuten damit beschäftigt war und weitere 5 Minuten auf das Ergebnis warten musste.

Ich erinnere mich an Strichzeichnungen und Coloristen - und an Folien, Hintergründe und Trickkameratische. So produziert man schon seit geraumer Zeit auch keine Trickfilme mehr.

[MaxSchreck]

Ich beziehe mich auch nur auf Bild loras. An echte Video loras habe ich mich aufgrund mangelnder Ressourcen und Notwendigkeit noch nicht gewagt.

Ah, sorry. Missverständnis. Was Video KIs angeht, bin ich wie gesagt auch noch am Anfang. Der aktuelle Job zwingt mich gerade dazu mich mit Kling, Higgsfield und Seedance zu beschäftigen und könnte mich schon jetzt übergeben. Ich hab Deine Infos daher wohl im Kopf mit meinen Rechercheergebnissen vermischt XD

Bei Stills bin ich übrigens schockiert darüber wie unsagbar mies die vielgepriesenen Nano Banana und Flux sind. Bei einem kürzlichen EnBW Job stanken beide komplett ab und beim laufenden Projekt war auch Firefly, also alle drei in Photoshop verfügbaren Modelle in mehreren Fällen Totaldesaster. Für Mercedes musste ich Stundenlang, ganz wie in den guten Alten Zeiten Stundenlang Cleanplates wortwörtlich malen, weil auch da keine KI etwas nutzbares erzeugen konnte...

Ich bin leicht verwirrt, du bist doch hier der KI Experte. Zumindest aus meiner Sicht.

[Edit] P.S.: :) Danke