OpenAI Sora - das ist der KI-Video Gamechanger!

[iasi]

Ob nun per Unreal Engine oder mit KI erzeugt - beides eröffnet Möglichkeiten gerade für geringe Budgets.

Ja, aber warum sollte ich dann den teueren, zeitintensiven und komplizierten Weg über AI gehen, wenn ich das selbe schneller, effizienter und billiger bequem über Unreal machen kann?

Weil es der schnellere und günstigere Weg ist.
Genügend Rechenpower spart teure Leute, die mit Unreal etwas gestalten, das vielleicht nur unscharf im Hintergrund zu sehen ist.

Mal eben ein Bild von einer KI generieren zu lassen, geht jedenfalls sehr viel schneller, als es einen Grafiker gestalten zu lassen.

[Frank Glencairn]

Ganz offensichtlich hast du weder mit Unreal noch mit AI tatsächliche Erfahrung.

[iasi]

Ganz offensichtlich hast du weder mit Unreal noch mit AI tatsächliche Erfahrung.

Und wieder unsere Franksche Erfahrungs-Sprüche, wenn ihm nichts mehr einfällt.


Wie lange braucht wohl jemand, um in Unreal ein "Blick durch Fensterfront eines Hochhaus hohe Etage bläulich"-Bild zu erzeugen?
Die KI schaffte das inklusive Prompt-Eingabe und 2 Varianten in 5 Minuten. ;)

Nebenbei: Auch der Mann vor dem Unreal-Rechner benötigt eine "Prompt"-ähnliche Angabe. :)

Ganz offensichtlich hast du keine Erfahrung mit Kostenrechnungen. ;) :)

[Frank Glencairn]

Ganz offensichtlich hast du weder mit Unreal noch mit AI tatsächliche Erfahrung.

Und wieder unsere Franksche Erfahrungs-Sprüche, wenn ihm nichts mehr einfällt.


Wie lange braucht wohl jemand, um in Unreal ein "Blick durch Fensterfront eines Hochhaus hohe Etage bläulich"-Bild zu erzeugen?
Die KI schaffte das inklusive Prompt-Eingabe und 2 Varianten in 5 Minuten. ;)

Nebenbei: Auch der Mann vor dem Unreal-Rechner benötigt eine "Prompt"-ähnliche Angabe. :)

Ganz offensichtlich hast du keine Erfahrung mit Kostenrechnungen. ;) :)

Ja sicher, ein statisches Hintergrundbild ist das selbe wie eine dynamische, interaktive 3D Umgebung, die ich auf Knopfdruck an meine Optik, Perspektive, Lichtstimmung, Wetter undwasnichtalles anpassen kann.

Ich würde vorachlagen du legst dich wieder hin und träumst weiter.

[iasi]

Und wieder unsere Franksche Erfahrungs-Sprüche, wenn ihm nichts mehr einfällt.


Wie lange braucht wohl jemand, um in Unreal ein "Blick durch Fensterfront eines Hochhaus hohe Etage bläulich"-Bild zu erzeugen?
Die KI schaffte das inklusive Prompt-Eingabe und 2 Varianten in 5 Minuten. ;)

Nebenbei: Auch der Mann vor dem Unreal-Rechner benötigt eine "Prompt"-ähnliche Angabe. :)

Ganz offensichtlich hast du keine Erfahrung mit Kostenrechnungen. ;) :)

Ja sicher, ein statisches Hintergrundbild ist das selbe wie eine dynamische, interaktive 3D Umgebung, die ich auf Knopfdruck an meine Optik, Perspektive, Lichtstimmung, Wetter undwasnichtalles anpassen kann.

Ich würde vorachlagen du legst dich wieder hin und träumst weiter.

Ach - und Mr. Erfahrung hat also schon mit KI-generierter dynamischer, interaktiven 3D Umgebung gearbeitet.

Und ich hatte gedacht, etwas darüber gelesen zu haben, dass Sora noch nicht öffentlich genutzt werden kann.
Aber der Frank scheint schon Zugang zu haben.
Dann kannst du ja mal die Stopuhr zücken und vergleichen, wie lange du mit Unreal und Sora benötigt, um eine dynamische 3D Umgebung zu generieren.

Wie lange brauchst du denn, um mit Unreal dieses Gold-Rush-Video nachzustellen, das mit Sora berechnet wurde?

Aber es zeigt sich mal wieder, dass Erfahrung (Routine) Innovationen im Wege steht.
Und da muss man sich dann nicht wundern, wenn die routinierte deutsche Filmindustrie nicht mehr konkurrenzfähig ist.

[Frank Glencairn]

Ach - und Mr. Erfahrung hat also schon mit KI-generierter dynamischer, interaktiven 3D Umgebung gearbeitet.

Und ich hatte gedacht, etwas darüber gelesen zu haben, dass Sora noch nicht öffentlich genutzt werden kann.

Ganz ehrlich - wenn du bereits damit überfordert bist, die einfachsten Sätze zu verstehen ...

Ich hab ganz offensichtlich von dem Unterschied zwischen einem dynamischen Unreal Projekt und einem statischen AI Bild gesprochen, da du ja behauptet hast das sei vergleichbar.

Wie lange braucht wohl jemand, um in Unreal ein "Blick durch Fensterfront eines Hochhaus hohe Etage bläulich"-Bild zu erzeugen?
Die KI schaffte das inklusive Prompt-Eingabe und 2 Varianten in 5 Minuten.

Sora war dabei gar nicht im Spiel, und kann auch keine dynamischer, interaktiven 3D Umgebung.

[balkanesel]

na ja, UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

[iasi]

Ach - und Mr. Erfahrung hat also schon mit KI-generierter dynamischer, interaktiven 3D Umgebung gearbeitet.

Und ich hatte gedacht, etwas darüber gelesen zu haben, dass Sora noch nicht öffentlich genutzt werden kann.

Ganz ehrlich - wenn du bereits damit überfordert bist, die einfachsten Sätze zu verstehen ...

Ich hab ganz offensichtlich von dem Unterschied zwischen einem dynamischen Unreal Projekt und einem statischen AI Bild gesprochen, da du ja behauptet hast das sei vergleichbar.

Du willst Äpfel mit Birnen vergleichen.

Und kommst dann auch noch mit "Erfahrungen", die du gar nicht haben kannst.
Einzelbilder kannst du per KI erzeugen, aber Bewegtbilder mit Sora nicht.
Also wie willst du denn dann Bewegtbilder vergleichen?

Wie lange braucht wohl jemand, um in Unreal ein "Blick durch Fensterfront eines Hochhaus hohe Etage bläulich"-Bild zu erzeugen?
Die KI schaffte das inklusive Prompt-Eingabe und 2 Varianten in 5 Minuten.

Sora war dabei gar nicht im Spiel, und kann auch keine dynamischer, interaktiven 3D Umgebung.

Oh doch - wir reden hier von Sora.
Und du wolltest (wieder mal) mit deinen Erfahrungen auftrumpfen.

Die einzigen Erfahrungen die du haben kannst und die für einen Vergleich dienen können, sind Einzelbilder.

Ansonsten bleibt nur, dass du mal die Zeit stoppst, die du benötigst, um mit Unreal so ein Video zu erstellen:


Für den Sora-user war nur diese Eingabe notwendig:

Prompt: Historical footage of California during the gold rush.

[iasi]

na ja, UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

Genau dieses.

Bei sora war nur die Eingabe Historical footage of California during the gold rush. nötig.

[Frank Glencairn]

na ja, UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

Wenn ich - um bei Iasis Beispiel zu bleiben - ein Hochhaus brauche, dann lade ich eines runter und stell es in die Szene. Zeiteinsatz - 1 Minute.

Kein Mensch modelt im Jahre 2024 noch irgendwas selbst, wenn er nicht was ganz spezielles und ungewöhnliches braucht, das es noch nicht gibt.

[Frank Glencairn]

Genau dieses.

Bei sora war nur die Eingabe Historical footage of California during the gold rush. nötig.

Ja, und das Ergebnis von Sora ist für eine kommerzielle Produktion völlig unbrauchbar - abgesehen davon daß man da nicht genau hinsehen darf, weil einem sonst alle mögliche Artefakte ins Auge springen - z.B. der Bigfoot der aus dem Bach klettert, und in einen Esel morpht, oder Pferde die sich nicht entscheiden können ob sie 2 oder 6 Beine haben, oder rückwärts laufen etc. - ist das halt einfach nur ein reines Zufallsprodukt. Das passiert dir bei Unreal nicht - da bekommst du genau das (und nur das) was du willst, schon beim aller ersten mal, und das in einer Primetime Qualität, die jeder Leinwand standhält.

Oder versuch doch nur mal per Prompt die Kamerafahrt in Sora dynamisch und präzise zu steuern - viel Glück damit.

Um zu einem ähnlichen Ergebnis zu kommen, daß ich in Unreal in zwei Stunden zusammen baue, brauchst du mindestens eine Woche Prompten (wenn es überhaupt möglich ist), und dann hast du das Artefakt Problem noch nicht mal gelöst.

Das Ergebnis von Sora ist einfach nur ein Clip - wie ein Stock Video. Und nur so kannst du es auch einsetzen - rein statisch im Hintergrund (am besten geblured). Da ist nix mit dynamisch und interaktiv, wie bei Unreal.

[iasi]

na ja, UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

Wenn ich - um bei Iasis Beispiel zu bleiben - ein Hochhaus brauche, dann lade ich eines runter und stell es in die Szene. Zeiteinsatz - 1 Minute.

Kein Mensch modelt im Jahre 2024 noch irgendwas selbst, wenn er nicht was ganz spezielles und ungewöhnliches braucht, daß es noch nicht gibt.

Wo lädst du denn mal eben ein Bilder herunter, das du dann in einem Projekt, das du veröffentlichen willst, nutzen kannst?

Stop doch mal, wie lange es dauert, bis du ein Bild gefunden und die Urheberfrage geklärt hast.

[Frank Glencairn]

Wo lädst du denn mal eben ein Bilder herunter, das du dann in einem Projekt, das du veröffentlichen willst, nutzen kannst?

Stop doch mal, wie lange es dauert, bis du ein Bild gefunden und die Urheberfrage geklärt hast.

Oh Boy ...

UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

Hast du noch nicht mal kapiert, das wir hier von Modellen und Geometrie reden?
Und du kommst hier allen Ernstes mit "Bilder runterladen und Urheberrecht " an?

Was ist los mit dir?

[iasi]

Genau dieses.

Bei sora war nur die Eingabe Historical footage of California during the gold rush. nötig.

Ja, und das Ergebnis von Sora ist für eine kommerzielle Produktion völlig unbrauchbar - abgesehen davon daß man da nicht genau hinsehen darf, weil einem sonst alle mögliche Artefakte ins Auge springen - z.B. der Bigfoot der aus dem Bach klettert, und in einen Esel morpht, oder Pferde die sich nicht entscheiden können ob sie 2 oder 6 Beine haben, oder rückwärts laufen etc. - ist das halt einfach nur ein reines Zufallsprodukt. Das passiert dir bei Unreal nicht - da bekommst du genau das (und nur das) was du willst, schon beim aller ersten mal, und das in einer Primetime Qualität, die jeder Leinwand standhält.

Oder versuch doch nur mal per Prompt die Kamerafahrt in Sora dynamisch und präzise zu steuern - viel Glück damit.

Um zu einem ähnlichen Ergebnis zu kommen, daß ich in Unreal in zwei Stunden zusammen baue, brauchst du mindestens eine Woche Prompten (wenn es überhaupt möglich ist), und dann hast du das Artefakt Problem noch nicht mal gelöst.

Denkst du wirklich, dass man Sora nicht so weiterentwickeln kann, dass die Kamerafahrten steuerbar sind?
Mit Unreal bekommst du übrigens auch keine Ergebnisse, die völlig realistisch wirken.


Hattest du dich nicht auch für dieses Video bedankt:




Das hatte ich schon vor geraumer Zeit mal generiert - seither gab es reichlich Weiterentwicklungen. Aber selbst dieses Bild wäre in der Hintergrundunschärfe durchaus verwendbar.

_9d70ae6d-03de-466f-bb79-2f51b5a99489weich.jpg

[Frank Glencairn]

Denkst du wirklich, dass man Sora nicht so weiterentwickeln kann, dass die Kamerafahrten steuerbar sind

Wie ich oben schon sagte - viel Glück damit eine Kamera präzise und dynamisch über eine Prompt zu steuern.

Mit Unreal bekommst du übrigens auch keine Ergebnisse, die völlig realistisch wirken.

Out of the box - 1000 mal realistischer als mit Sora und zig mal schneller zum gewünschten Ergebnis.

[iasi]

Wo lädst du denn mal eben ein Bilder herunter, das du dann in einem Projekt, das du veröffentlichen willst, nutzen kannst?

Stop doch mal, wie lange es dauert, bis du ein Bild gefunden und die Urheberfrage geklärt hast.

Oh Boy ...

UE macht ja die Geometrie nicht selber, da muss ein 3D Modell erstellt werden und das ist nach meiner Erinnerung schon sehr viel Arbeit

Hast du noch nicht mal kapiert, das wir hier von Modellen und Geometrie reden?
Und du kommst hier allen Ernstes mit "Bilder runterladen und Urheberrecht " an?

Was ist los mit dir?

Ach - und was ist dann bitte der praktische Unterschied bzgl. finden und Urheberrecht?

Du musst hier gar nicht versuchen, dich irgendwie herauszuwinden.

Der simple Unterschied zwischen der Generierung durch dich und einer KI ist nun einmal, dass die KI es schneller macht.
Ob ich dir nun schreibe, wie das Ergebnis aussehen soll oder ob ich es in ein Prompt eingebe, macht keinen Unterschied. Das Ergebnis liegt mir aber schneller und letztlich billiger vor.

Dass die Integration in Gradingsoftware kommen wird, kann man annehmen.
Was im Foto- also Einzelbildbereich geschieht, das kommt mit zeitlicher Verzögerung auch im Bewegtbildbereich.

[iasi]

Denkst du wirklich, dass man Sora nicht so weiterentwickeln kann, dass die Kamerafahrten steuerbar sind

Wie ich oben schon sagte - viel Glück damit eine Kamera präzise und dynamisch über eine Prompt zu steuern.

Im Einzelbildbereich hat die Verknüpfung von Realmaterial mit KI schon stattgefunden.
Warum denkst du, sollte es nicht möglich sein, dies auch bei Bewegtbildern zu verwirklichen?
Und wenn es nur Trackingdaten sind, die man hochlädt.

Mit Unreal bekommst du übrigens auch keine Ergebnisse, die völlig realistisch wirken.

Out of the box - 1000 mal realistischer als mit Sora und zig mal schneller zum gewünschten Ergebnis.

Ich wüßte jetzt nicht, dass man mit Unreal so etwas realitischer hinbekommen würde:

https://openai.com/sora?video=chinese-new-year-dragon

[Frank Glencairn]

Ach - und was ist dann bitte der praktische Unterschied bzgl. finden und Urheberrecht?

Ich soll dir jetzt allen Ernstes erklären was der Unterschied zwischen dem Download eines fremden Fotos und dem Download eines 3D Models aus einem Modell Shop/Marketplace ist, und wie man nach "Hochaus Model" sucht?

Wow - sorry iasi, aber du bist raus.
Du hast dich so dermaßen disqualifiziert, daß du nicht mehr satisfaktionsfähig bist.

[markusG]

Das Ergebnis von Sora ist einfach nur ein Clip - wie ein Stock Video. Und nur so kannst du es auch einsetzen - rein statisch im Hintergrund (am besten geblured). Da ist nix mit dynamisch und interaktiv, wie bei Unreal.

Zumal - afaik, hab selbst noch nicht damit gearbeitet - es bei einer Virtual Production wie eben mit der Unreal Engine extrem auf eine möglichst geringe Latenz ankommt, sonst ist die Illusion schnell dahin. Bis Sora & Co das erreicht hat...

[macaw]

Das Ergebnis von Sora ist einfach nur ein Clip - wie ein Stock Video. Und nur so kannst du es auch einsetzen - rein statisch im Hintergrund (am besten geblured). Da ist nix mit dynamisch und interaktiv, wie bei Unreal.

Zumal - afaik, hab selbst noch nicht damit gearbeitet - es bei einer Virtual Production wie eben mit der Unreal Engine extrem auf eine möglichst geringe Latenz ankommt, sonst ist die Illusion schnell dahin. Bis Sora & Co das erreicht hat...

Bei virtuellen Studios bräuchte man wohl eher eine komplett andere KI, die einem die Szenerie in 3D baut (und auch gleich optimiert). Sora ist da völlig fehl am Platze. Momentan wüsste ich nicht einmal, wie man Sora überhaupt einsetzen sollte außer dort, wo bisher Stockvideos zu sehen waren.

[Alex]

Zumal - afaik, hab selbst noch nicht damit gearbeitet - es bei einer Virtual Production wie eben mit der Unreal Engine extrem auf eine möglichst geringe Latenz ankommt, sonst ist die Illusion schnell dahin. Bis Sora & Co das erreicht hat...

Bei virtuellen Studios bräuchte man wohl eher eine komplett andere KI, die einem die Szenerie in 3D baut (und auch gleich optimiert).

Da wäre Airen 4D sicher der bessere Ansatz:
viewtopic.php?p=1213832#p1213832

Grobe Geometrie der Landschaft modellieren und den Rest macht die KI?

[Frank Glencairn]

Da wäre Airen 4D sicher der bessere Ansatz:
viewtopic.php?p=1213832#p1213832

Grobe Geometrie der Landschaft modellieren und den Rest macht die KI?

Das lohnt sich überhaupt nicht - die prozeduralen Landschafts-Module von Unreal sind mittlerweile so weit fortgeschritten, daß es völlige Zeitverschwendung wäre da irgendwas von einer AI basteln zu lassen, und dann wieder mal so gut wie keine echte Kontrolle über das Ergebnis zu haben.

[Alex]

die prozeduralen Landschafts-Module von Unreal sind mittlerweile so weit fortgeschritten

Das ist schon ein enormer Fortschritt, der sich da getan hat, fett...

[Frank Glencairn]

JA, und jede Woche gibt's was neues

[iasi]

Zumal - afaik, hab selbst noch nicht damit gearbeitet - es bei einer Virtual Production wie eben mit der Unreal Engine extrem auf eine möglichst geringe Latenz ankommt, sonst ist die Illusion schnell dahin. Bis Sora & Co das erreicht hat...

Bei virtuellen Studios bräuchte man wohl eher eine komplett andere KI, die einem die Szenerie in 3D baut (und auch gleich optimiert). Sora ist da völlig fehl am Platze. Momentan wüsste ich nicht einmal, wie man Sora überhaupt einsetzen sollte außer dort, wo bisher Stockvideos zu sehen waren.

Schau dir an, wie die Entwicklung bei Einzelbildern verlief.

Schau dir an, welche KI-Funktionen in Programmen schon als selbstverständlich betrachtet werden.

Die Unreal Engine ist beeindruckend, aber das bedeutet nicht, dass eine KI es nicht auch bald ebenso gut kann und dies vor allem mit weit geringerem Men-Power-Einsatz.
Ist gibt auch keinen Grund, weshalb es nicht möglich sein sollte, Sora z.B. Kameraperspektiven oder Ausgangsbilder vorgeben zu können.

Latenz ist wiederum eine Frage der Rechenpower und der "Lernkurve" der KI.

Ich hätte jedenfalls nicht erwartet, dass man mit den KIs schon so weit ist, wie aktuell Sora.

Ich sehe Sora eigentlich schon auf einem Niveau, dass man es als Hintergrundgenerator einsetzen kann, sofern die Trackingdaten der Kamerabewegungen berücksichtigt werden.

[Darth Schneider]

Krass, und schon auch beängstigend.
Weil viele Fachkräfte die die ganzen Hintergründe für Animations Serien/Filme heute noch mühsam selber in 3D Programmen gestalten dürfen, sind wohl bald arbeitslos..
Man denke nur daran wie viele zig Arbeitsstunden die KI da schon heute einsparen könnte.
Gruss Boris

[iasi]

JA, und jede Woche gibt's was neues

Es sieht nur auch nicht realistischer aus, als




Oder anders herum formuliert: Man sieht den Videos an, dass sie aus dem Rechner kommen - sowohl bei Unreal als auch Sora.

[Darth Schneider]

Was bei Animations Serien/Filmen und auch bei zig Werbung gar keine Rolle spielt..
Der Markt ist auch riesig.
Gruss Boris

[roki100]

[iasi]

Krass, und schon auch beängstigend.
Weil viele Fachkräfte die die ganzen Hintergründe für Animations Serien/Filme heute noch mühsam selber in 3D Programmen gestalten dürfen, sind wohl bald arbeitslos..
Man denke nur daran wie viele zig Arbeitsstunden die KI da schon heute einsparen könnte.
Gruss Boris

Früher wurde bei Animationen noch auf Papier und Folien gezeichnet und coloriert.

Arbeitslos wird man nur, wenn man nicht dazulernt.

[roki100]

Bald, sicherlich sehr bald, etwas wie Vision Pro über den Kopf, mit Technologie wie Sora, du sagst "baue mir meine Welt...so und so soll es aussehen, ich bin in einem Kino und ich schaue einen SciFi Film, den noch niemand gesehen hat, dauer 2 Std..." und tauchst dann da rein.

[Darth Schneider]

@iasi
Das kannst du mit der Entwicklung jetzt nicht vergleichen.

Heute werden die Figuren und Hintergründe in 3D Programmen immer noch modelliert, mit Texturen versehen, geleuchtet, gestaged und animiert.
Am Rechner aber dennoch von Menschen.
Was alles zusammen sehr viel Wissen, Erfahrung und auch sehr viel Arbeitszeit erfordert.

2/3 der Fachleute für Animtionsfilme und Serien braucht’s dank der KI bald gar nicht mehr.

Die Leute die früher auf Papier oder Folie Frame für Frame gezeichnet haben konnten sich noch auf den Computer und 3D Programme umschulen lassen.

Die KI braucht hingegen nicht viel Hilfe, die lernt und produziert praktisch alleine
Nicht dasselbe.
Gruss Boris

[berlin123]

Oder anders herum formuliert: Man sieht den Videos an, dass sie aus dem Rechner kommen - sowohl bei Unreal als auch Sora.

In Unreal bekommt ein Mensch zwar keine 6 Finger, dafür sehen so manche Gesichter in Sora ohne jede Nachbearbeitng verblüffend echt aus.

Die Verknüpfung von beiden Technologien wird es machen. In bspw. Unreal eine Kamerafahrt durch ein noch schmuckloses Landschafts-Mesh programmieren, ein paar Punkte setzen und mit einer Beschreibung versehen, was dort hinkommen soll. Nach Geschmack mit Fotos oder fertigen 3 Modelle genauer spezifizieren. Schliesslich noch die Art der Landschaft durch ein Foto oder eine Filmsequenz vorgeben. Alles zusammen mit Prompt an die KI übergeben, gleich 5 Varianten machen lassen. Fertig.

[Frank Glencairn]

Alles zusammen mit Prompt an die KI übergeben, gleich 5 Varianten machen lassen. Fertig.

Nur daß sich die wenigsten hier auch nur eine einzige Variante leisten könnten.

Die massive Rechenpower und Hardware die für sowas wie Sora nötig ist jedesmal online zu mieten, wird dich richtig viel Geld kosten.

Und das Geld ist dann natürlich weg, wenn das Ergebnis nicht so wie gewünscht wird, und du mußt für jedes ausprobieren neu bezahlen.

[berlin123]

Alles zusammen mit Prompt an die KI übergeben, gleich 5 Varianten machen lassen. Fertig.

Nur daß sich die wenigsten hier auch nur eine einzige Variante leisten könnten.

Die massive Rechenpower und Hardware die für sowas wie Sora nötig ist jedesmal online zu mieten, wird dich richtig viel Geld kosten.

Und das Geld ist dann natürlich weg, wenn das Ergebnis nicht so wie gewünscht wird, und du mußt für jedes ausprobieren neu bezahlen.

Hast du schon die Preisliste für Sora?