Erste Alpha von Runway Gen-3 vorgestellt - KI-Videogenerator mit Weltmodell

[slashCAM]

Nachdem SORA und Luma in den letzten Tagen und Monaten als SOTA-Modelle für eine Menge Aufsehen gesorgt haben, meldet sich nun einer der KI-Video Pioniere zu Wort. Runway...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Erste Alpha von Runway Gen-3 vorgestellt - KI-Videogenerator mit Weltmodell

[rudi]

Hier bei Twitter übrigens ein paar weitere Clips, die nicht auf alle auf der Webseite sind:
https://x.com/minchoi/status/1802702165107937537

[Alex]

Hier bei Twitter übrigens ein paar weitere Clips, die nicht auf alle auf der Webseite sind:
https://x.com/minchoi/status/1802702165107937537

Krass, wie gut die Ergebnisse der Generatoren mittlerweile auch im Videobereich schon sind. Wenn das in dem Tempo weitergeht, dann glaube auch ich, dass die ersten zusammenhängenden Filme mit konstanten Charakteren und Umgebungen bald täuschend echt möglich sein werden.
Da kommt eine "Brave New World" auf uns zu...

[Frank Glencairn]

Auf der einen Seite ja, auf der anderen Seite finde ich es ebenfalls krass, was für eine völlig unterirdische Qualität mittlerweile als Ausreichend wahrgenommen wird. Ich meine sowas hätten wir vor 20 Jahren bei CGI zum Beispiel niemals toleriert - die Qualitätsansprüche sind mit AI sowas von in den Keller gegangen.

[philr]

Auf der einen Seite ja, auf der anderen Seite finde ich es ebenfalls krass, was für eine völlig unterirdische Qualität mittlerweile als Ausreichend wahrgenommen wird. Ich meine sowas hätten wir vor 20 Jahren bei CGI zum Beispiel niemals toleriert - die Qualitätsansprüche sind mit AI sowas von in den Keller gegangen.

Jup habe ich mir auch gedacht, ich finde es total faszinierend, was da kommt & geht aber die Art und Weise, wie es (insb. auf Linked.in & co) gefeiert wird, vor allem in der Werber-bubble ist ein bisschen befremdlich. Das, wofür einige gute Filmemacher schon in kleinsten details kritisiert wurden und jetzt ein sehr uncanny ergbnis liefert bekommt sofort das "Wow" - wird gefeiert. Es spiegelt auch meine innere Sorge wider, dass die meisten darin eigentlich hoffen ihre eigenen Ergebnisse/Jobs zu prompten und es evtl deshalb etwas anders bewerten.

[Ridge]

Kann mich den Vorrednern nur anschließen. Hut ab vor den Modellentwicklern, aber da warpt alles ganz schön herum. Gesichter bewegen sich uncanny, Insektenbeine verschwinden, Häuserfassaden ändern ihre Fensteranzahl, usw..., wirkt noch alles sehr SD1.5-mäßig.
Die Marketingleute werden es sicher gerne einsetzen, wie schon bei der Bild-KI. Aber die Frage die ich mir stelle ist, in welchem Bereich ist Video-KI denn tatsächlich sinnvoll einsetzbar? Schaut schlechter aus als Stock Images, es fehlt die Nähe und das "Echte", was für die Werbeleute ja unheimlich wichtig geworden ist.
Erst ab dem Punkt wo alles hochmodifizierbar ist und die Konsistenz bis ins kleinste Detail sitzt, dann könnte man über einen professionellen Einsatz reden. Aber da sind wir sicher noch lange entfernt. Natürlich müssen die Leute die davon profitieren sagen, dass das noch lange nicht das Ende der Fahnenstange ist, aber die generationalen Unterschiede werden immer kleiner und kleiner...

[medienonkel]

Da sich die Modelle exponentiell weiter entwickeln und auch innerhalb weniger Jahre eine ganze Industrie auf die Berechnung neuronaler Netze umgeschwenkt ist, wird das alles nicht mehr allzulange in den vermeintlichen Kinderschuhen stecken.
Der Wunsch nach feineren Einstellungsmöglichkeiten der Ergebnisse wird vermutlich auch von der KI gelöst werden.
Ein feedbackloop, in dem die Software selbst das Ergebnis überprüft, den Prompt (vor allem die negativprompts) modellagnostisch anpasst, sich selbst dabei weiter trainiert, nebenbei den menschlichen Prompter besser verstehen lernt, könnte zum Karl Klammer der Zukunft werden...
Oder man prompted sich passende Bedienelemente herbei.

Ich rechne in den nächsten 6-12 Monaten mit so einer Entwicklung. Wahrscheinlich wird an sowas auch schon gearbeitet oder das gibt es schon. Das Interwebs ist groß.

[Frank Glencairn]

Ich denke der erste und wichtigste Schritt dabei ist, sich generell von der Prompt als Input zu verabschieden.
Es war IMHO von Anfang an eine saudumme Idee, da es die denkbar ungünstigste Möglichkeit einer Dateneingabe ist.

[cantsin]

Die Frage ist, ob generative AI auch unter das Modell des Gartner Hype Cycle fällt:



...und wir langsam sehen, dass generative AI sich eben doch nicht quasi unbegrenzt verbessert, sondern systemischen Beschränkungen unterliegt. Bei den letzten Versionsupdates von ChatGPT zeigte sich bereits, dass die Qualität des Modells nicht linear mitskaliert mit dem quantitativen Wachstum von dessen Berechnungsaufwand.

Und dass man die prinzipielle Schwäche von generativer AI nicht loswird, dass sie (a) pur auf Heuristiken und statistischen Wahrscheinlichkeiten beruht, (b) alle Schwächen und Fehler ihres Trainingsmaterials reproduziert und (c) in der Kombination von a und b Halluzinationen erzeugt.

In Bild- und Filmindustrie könnte die praktische Folge sein, dass generative AI einfach ihr eigener (letztlich erkennbarer) Stil bleibt, so wie Airbrush-Illustration oder gezeichnete Animation, und sich so ins Arsenal von Bildtechniken einreiht.

[Alex]

Wobei ich mir sehr sicher bin, dass das, was wir aktuell zu sehen bekommen, noch (lange) nicht das Ende der Fahnenstange bedeutet, ganz im Gegenteil.
Auch wenn das so eintreffen sollte, wie Cantsin skizziert, denke ich, wir werden noch ein ganz anderes (und zwar viel höheres) Level erreichen.
Vielleicht skaliert der Fortschritt jetzt nicht mehr ganz so schnell im Verhältnis zur Zeit, aber es wird recht sicher alles noch wachsen und verbessert werden. Viel mehr, denke ich.

[Frank Glencairn]

Ich denke in 10 Jahren werden wir amüsiert auf solche Sachen wie Prompts und LORAS zurückblicken, wie wir heute auf technische Kuriositäten in 50er Jahre Popular Mechanics Magazinen zurückblicken und sagen - das war ja völlig absurd, was haben die sich (wir uns) nur dabei gedacht?

[philr]

Die Frage ist, ob generative AI auch unter das Modell des Gartner Hype Cycle fällt:



...und wir langsam sehen, dass generative AI sich eben doch nicht quasi unbegrenzt verbessert, sondern systemischen Beschränkungen unterliegt. Bei den letzten Versionsupdates von ChatGPT zeigte sich bereits, dass die Qualität des Modells nicht linear mitskaliert mit dem quantitativen Wachstum von dessen Berechnungsaufwand.

Und dass man die prinzipielle Schwäche von generativer AI nicht loswird, dass sie (a) pur auf Heuristiken und statistischen Wahrscheinlichkeiten beruht, (b) alle Schwächen und Fehler ihres Trainingsmaterials reproduziert und (c) in der Kombination von a und b Halluzinationen erzeugt.

In Bild- und Filmindustrie könnte die praktische Folge sein, dass generative AI einfach ihr eigener (letztlich erkennbarer) Stil bleibt, so wie Airbrush-Illustration oder gezeichnete Animation, und sich so ins Arsenal von Bildtechniken einreiht.

Dazu fand ich Ihren (Sasha Luccioni, PhD. https://huggingface.co/sasha <- viel zum Thema ai & ethik) Ted Talk ganz interessant zu: die evtl. überzogenen Nvidea Aktienkurse sind ja gerade auch ein Zeichen was Bände spricht - in jegliche Richtung.

[cantsin]

Dazu fand ich Ihren (Sasha Luccioni, PhD. https://huggingface.co/sasha <- viel zum Thema ai & ethik) Ted Talk ganz interessant zu: die evtl. überzogenen Nvidea Aktienkurse sind ja gerade auch ein Zeichen was Bände spricht - in jegliche Richtung.

Yep.

Kann man sich mit Googles Gemini übrigens zusammenfassen lassen, was dann per DeepL ins Deutsche übersetzt ergibt:

"In diesem TED-Vortrag argumentiert die KI-Forscherin Sasha Luccioni, dass künstliche Intelligenz nicht aus den Gründen gefährlich ist, die die Menschen normalerweise befürchten, sondern aufgrund ihrer aktuellen Auswirkungen auf die reale Welt. Der Vortrag konzentriert sich auf drei Hauptbedenken: die Auswirkungen der künstlichen Intelligenz auf die Umwelt, die Verletzung des Urheberrechts von Künstlern und das Potenzial der KI, Vorurteile zu kodieren.

Zunächst hebt Luccioni den hohen Energiebedarf hervor, der für das Training von KI-Modellen erforderlich ist. Größere Modelle liegen im Trend, aber das hat seinen Preis. Das Training eines großen Sprachmodells kann so viel Energie verbrauchen wie 30 Haushalte in einem Jahr. Sie schlägt vor, Code Carbon, ein von ihr mitentwickeltes Tool, zu verwenden, um den CO₂-Fußabdruck des Trainings eines KI-Modells zu schätzen. Dies würde es Forschern ermöglichen, nachhaltigere Modelle zu wählen.

Zweitens erörtert Luccioni, wie die Arbeit von Künstlern ohne deren Zustimmung zur Schulung von KI-Modellen verwendet wird. Sie beschreibt ein Tool namens „Have I Been Trained”, mit dem Künstler große Datensätze durchsuchen können, um zu sehen, ob ihre Arbeit darin enthalten ist. Dies kann ein entscheidender Beweis für Klagen wegen Urheberrechtsverletzungen sein.

Schließlich warnt Luccioni vor der Gefahr von Vorurteilen in KI-Modellen. Sie nennt das Beispiel von Gesichtserkennungssystemen, die Frauen mit dunkler Hautfarbe schlechter erkennen. Sie hat ein Tool namens Stable Bias Explorer entwickelt, mit dem Benutzer Vorurteile in Bildgenerierungsmodellen untersuchen können. Das Tool kann beispielsweise zeigen, wie diese Modelle Wissenschaftler oft als weiße Männer darstellen.

Luccioni schließt mit der Forderung, dass wir uns auf diese aktuellen, greifbaren Auswirkungen der KI konzentrieren sollten, anstatt uns über zukünftige existenzielle Risiken Sorgen zu machen. Durch die Entwicklung von Instrumenten zur Messung der Auswirkungen der KI können wir beginnen, diese Probleme zu mildern. Diese Informationen können Unternehmen dabei helfen, nachhaltigere Modelle zu wählen, Gesetzgeber bessere Gesetze zu schreiben und Nutzer vertrauenswürdige KI-Modelle auszuwählen. Letztendlich argumentiert Luccioni, dass sich die KI noch in der Entwicklung befindet und wir gemeinsam entscheiden können, in welche Richtung sie sich entwickeln soll."

(Wobei sich in diesen KI-generierten Zusammenfassungen und Übersetzungen der wirkliche Praxisnutzen generativer KI zeigt, aber eben auch mit allen drei oben beschriebenen Problemen bzw. Nachteilen.)

[philr]

Dazu fand ich Ihren (Sasha Luccioni, PhD. https://huggingface.co/sasha <- viel zum Thema ai & ethik) Ted Talk ganz interessant zu: die evtl. überzogenen Nvidea Aktienkurse sind ja gerade auch ein Zeichen was Bände spricht - in jegliche Richtung.

Yep.

Kann man sich mit Googles Gemini übrigens zusammenfassen lassen, was dann per DeepL ins Deutsche übersetzt ergibt:

"In diesem TED-Vortrag argumentiert die KI-Forscherin Sasha Luccioni, dass künstliche Intelligenz nicht aus den Gründen gefährlich ist, die die Menschen normalerweise befürchten, sondern aufgrund ihrer aktuellen Auswirkungen auf die reale Welt. Der Vortrag konzentriert sich auf drei Hauptbedenken: die Auswirkungen der künstlichen Intelligenz auf die Umwelt, die Verletzung des Urheberrechts von Künstlern und das Potenzial der KI, Vorurteile zu kodieren.

Zunächst hebt Luccioni den hohen Energiebedarf hervor, der für das Training von KI-Modellen erforderlich ist. Größere Modelle liegen im Trend, aber das hat seinen Preis. Das Training eines großen Sprachmodells kann so viel Energie verbrauchen wie 30 Haushalte in einem Jahr. Sie schlägt vor, Code Carbon, ein von ihr mitentwickeltes Tool, zu verwenden, um den CO₂-Fußabdruck des Trainings eines KI-Modells zu schätzen. Dies würde es Forschern ermöglichen, nachhaltigere Modelle zu wählen.

Zweitens erörtert Luccioni, wie die Arbeit von Künstlern ohne deren Zustimmung zur Schulung von KI-Modellen verwendet wird. Sie beschreibt ein Tool namens „Have I Been Trained”, mit dem Künstler große Datensätze durchsuchen können, um zu sehen, ob ihre Arbeit darin enthalten ist. Dies kann ein entscheidender Beweis für Klagen wegen Urheberrechtsverletzungen sein.

Schließlich warnt Luccioni vor der Gefahr von Vorurteilen in KI-Modellen. Sie nennt das Beispiel von Gesichtserkennungssystemen, die Frauen mit dunkler Hautfarbe schlechter erkennen. Sie hat ein Tool namens Stable Bias Explorer entwickelt, mit dem Benutzer Vorurteile in Bildgenerierungsmodellen untersuchen können. Das Tool kann beispielsweise zeigen, wie diese Modelle Wissenschaftler oft als weiße Männer darstellen.

Luccioni schließt mit der Forderung, dass wir uns auf diese aktuellen, greifbaren Auswirkungen der KI konzentrieren sollten, anstatt uns über zukünftige existenzielle Risiken Sorgen zu machen. Durch die Entwicklung von Instrumenten zur Messung der Auswirkungen der KI können wir beginnen, diese Probleme zu mildern. Diese Informationen können Unternehmen dabei helfen, nachhaltigere Modelle zu wählen, Gesetzgeber bessere Gesetze zu schreiben und Nutzer vertrauenswürdige KI-Modelle auszuwählen. Letztendlich argumentiert Luccioni, dass sich die KI noch in der Entwicklung befindet und wir gemeinsam entscheiden können, in welche Richtung sie sich entwickeln soll."

(Wobei sich in diesen KI-generierten Zusammenfassungen und Übersetzungen der wirkliche Praxisnutzen generativer KI zeigt, aber eben auch mit allen drei oben beschriebenen Problemen bzw. Nachteilen.)

Also nur meine Recherche! - Und ich habe schon das Gefühl, dass aktuell wieder Bewegung beim Generative AI Copyright Disclosure Act und dem "Fair Use" Thema aus den USA kommt. Ankündigungen von Sony und anderen Unternehmen pushen zwar, aber es liest sich auch heraus, dass sie sich rechtlich absichern wollen und die kritischen Stimmen ja auch lauter werden. Meta musste ja auch nach aufgebrachter Nutzer auf Anfrage der irischen Datenschutzbehörde die Einführung ihrer AI in Europa für die Nutzer die Nutzung ihrer persönlichen Daten abwählbar machen (schreibt man das so? abwählbar?). Und so Punk-Plattformen wie Civitai werden in der Huggingface-Community ja schon länger kritisiert, da sie urheberrechtlich geschütztes Material sogar so beworben anbieten (Promi-Prompten). Stable Diffusion und Civitai stehen ja irgendwie auch gerade im Clinch. In der Industrie wird wohl vermehrt aufgeklärteres Training gefordert, was wiederum zu einer Reduktion unkontrollierten Trainings führt etc. Das kann natürlich alles die Qualität des AI-Wachstums und der Modelle beeinflussen, da sie mehr auf eigenes Material angewiesen sein müssten, keine Ahnung. Eine AGI ist aber wohl noch weiter entfernt als Elon & Altman das vielleicht erhofften - aber wer weiß. Eigentlich lasse ich mich ja lieber in der Achterbahn im DOM überraschen als hier, aber mit Sora und Co. kam ja zuletzt viel, wo man dachte - Oha, die machen es doch. Aber klar - das, was jetzt aus Luma und Co. kommt, hat noch den Uncanny der früheren Bildgeneratoren und das, was man jetzt mit SD und APIs wie automatic1111 mit Loras & ControlNet oder Midjourney meets Magnific etc. machen kann, ist schon teils sehr nahe am echten Bild. Insbesondere wenn die Leute da noch eine Photoshop-Session dranhängen. Aber sind wir da nicht jetzt schon vielleicht am Limit von dem, was da geht? Insbesondere wenn man bedenkt, dass die Trainingsdaten zum Konditionieren auch mehr und mehr eingeschränkt werden?

Ich glaube daher, der Gartner Hype Cycle passt schon ganz gut. Aber let's see…

[Rick SSon]

Yep.

Kann man sich mit Googles Gemini übrigens zusammenfassen lassen, was dann per DeepL ins Deutsche übersetzt ergibt:



(Wobei sich in diesen KI-generierten Zusammenfassungen und Übersetzungen der wirkliche Praxisnutzen generativer KI zeigt, aber eben auch mit allen drei oben beschriebenen Problemen bzw. Nachteilen.)

Also nur meine Recherche! - Und ich habe schon das Gefühl, dass aktuell wieder Bewegung beim Generative AI Copyright Disclosure Act und dem "Fair Use" Thema aus den USA kommt. Ankündigungen von Sony und anderen Unternehmen pushen zwar, aber es liest sich auch heraus, dass sie sich rechtlich absichern wollen und die kritischen Stimmen ja auch lauter werden. Meta musste ja auch nach aufgebrachter Nutzer auf Anfrage der irischen Datenschutzbehörde die Einführung ihrer AI in Europa für die Nutzer die Nutzung ihrer persönlichen Daten abwählbar machen (schreibt man das so? abwählbar?). Und so Punk-Plattformen wie Civitai werden in der Huggingface-Community ja schon länger kritisiert, da sie urheberrechtlich geschütztes Material sogar so beworben anbieten (Promi-Prompten). Stable Diffusion und Civitai stehen ja irgendwie auch gerade im Clinch. In der Industrie wird wohl vermehrt aufgeklärteres Training gefordert, was wiederum zu einer Reduktion unkontrollierten Trainings führt etc. Das kann natürlich alles die Qualität des AI-Wachstums und der Modelle beeinflussen, da sie mehr auf eigenes Material angewiesen sein müssten, keine Ahnung. Eine AGI ist aber wohl noch weiter entfernt als Elon & Altman das vielleicht erhofften - aber wer weiß. Eigentlich lasse ich mich ja lieber in der Achterbahn im DOM überraschen als hier, aber mit Sora und Co. kam ja zuletzt viel, wo man dachte - Oha, die machen es doch. Aber klar - das, was jetzt aus Luma und Co. kommt, hat noch den Uncanny der früheren Bildgeneratoren und das, was man jetzt mit SD und APIs wie automatic1111 mit Loras & ControlNet oder Midjourney meets Magnific etc. machen kann, ist schon teils sehr nahe am echten Bild. Insbesondere wenn die Leute da noch eine Photoshop-Session dranhängen. Aber sind wir da nicht jetzt schon vielleicht am Limit von dem, was da geht? Insbesondere wenn man bedenkt, dass die Trainingsdaten zum Konditionieren auch mehr und mehr eingeschränkt werden?

Ich glaube daher, der Gartner Hype Cycle passt schon ganz gut. Aber let's see…

naja, wenn du dir überlegst, dass die 20 Jahre Internet zum trainieren als Basis benutzen um auf das Ergebnis zu kommen, dann is halt die Frage wieviele Daten noch benötigt werden um zur Perfektion zu gelangen. Davon ausgehend, dass der Anteil von KI generiertem Content immer mehr ansteigen, aber praktisch zu Dateninzest führt, dürfte eher zu einer Verlangsamung / Stagnation führen?

Alle Daten vor dem KI Hype waren zumindest zu einem sehr hohen Prozentsatz "real". Das Bild von einem Hund war sehr wahrscheinlich ein Foto eines echten Hundes. Heute könnte das Bild eines Hundes sehr wahrscheinlich ein generiertes Bild einer anderen KI, das einen "falschen" Hund zeigt :)

[philr]

Alle Daten vor dem KI Hype waren zumindest zu einem sehr hohen Prozentsatz "real". Das Bild von einem Hund war sehr wahrscheinlich ein Foto eines echten Hundes. Heute könnte das Bild eines Hundes sehr wahrscheinlich ein generiertes Bild einer anderen KI, das einen "falschen" Hund zeigt :)

Merken wir dann, wenn uns Boomertraps völlig normal vorkommen.

[Da_Michl]

...
Alle Daten vor dem KI Hype waren zumindest zu einem sehr hohen Prozentsatz "real". Das Bild von einem Hund war sehr wahrscheinlich ein Foto eines echten Hundes. Heute könnte das Bild eines Hundes sehr wahrscheinlich ein generiertes Bild einer anderen KI, das einen "falschen" Hund zeigt :)

Gibt ja immer noch (tausende) Datenbanken, mit korrektem Text-, Bild-, Video-Material.
Bespiel: jegliches Fachbuch, das Fotos enthält. Bleiben wir von mir aus beim Beispiel mit Hunden, dann eben ein Buch über Hunderassen, Hundetraining, etc.
Klar, das AI Training muss natürlich "gut" gemacht sein - und das Risiko, dass AI eine AI "schlecht" trainiert, steigt wohl dzt. eher.

[philr]

...
Alle Daten vor dem KI Hype waren zumindest zu einem sehr hohen Prozentsatz "real". Das Bild von einem Hund war sehr wahrscheinlich ein Foto eines echten Hundes. Heute könnte das Bild eines Hundes sehr wahrscheinlich ein generiertes Bild einer anderen KI, das einen "falschen" Hund zeigt :)

Gibt ja immer noch (tausende) Datenbanken, mit korrektem Text-, Bild-, Video-Material.
Bespiel: jegliches Fachbuch, das Fotos enthält. Bleiben wir von mir aus beim Beispiel mit Hunden, dann eben ein Buch über Hunderassen, Hundetraining, etc.
Klar, das AI Training muss natürlich "gut" gemacht sein - und das Risiko, dass AI eine AI "schlecht" trainiert, steigt wohl dzt. eher.

Was meinstn mit gut gemacht? Bin kein Experte! Und nach meinem Halbwissen sind wir immer noch bei ziemlich einfachen, von Menschen abgerichteten Modellen, die sehr häufig auf GPT Framework (openai), TensorFlow (Google), PyTorch (Facebook) usw. basieren. Die Gewichte und Datasets werden ja dann noch primär von Menschen gefüttert. Je nachdem, was da dann primär kontrolliert oder unkontrolliert reingekippt wurde, folgt die AI diesem Muster dann weiter? Führt das dann nicht zu Anfälligkeiten wie der sogenannten "Echokammer"? Also das sich das Modell immer weiter in bestimmte Muster oder Vorurteile oder komische Bilder etc hineinsteigern kann. Gibt Methoden wie Dropout und Lasso regularisierung, die da helfen sollen das Overfitting zu reduzieren, aber letztlich greift die AI immer noch auf die dennoch antrainierten Daten zurück - und wenn die Ausgehen bleibts beim Stand von Gestern oder kippt das ganze harte Chaos des www doch wieder rein - auweia

[Da_Michl]

Gibt ja immer noch (tausende) Datenbanken, mit korrektem Text-, Bild-, Video-Material.
Bespiel: jegliches Fachbuch, das Fotos enthält. Bleiben wir von mir aus beim Beispiel mit Hunden, dann eben ein Buch über Hunderassen, Hundetraining, etc.
Klar, das AI Training muss natürlich "gut" gemacht sein - und das Risiko, dass AI eine AI "schlecht" trainiert, steigt wohl dzt. eher.

Was meinstn mit gut gemacht?
...

Ziemlich genau das:

Die Gewichte und Datasets werden ja dann noch primär von Menschen gefüttert. Je nachdem, was da dann primär kontrolliert oder unkontrolliert reingekippt wurde, folgt die AI diesem Muster dann weiter?

...nur ohne das Fragezeichen am Schluss.

[philr]

Was meinstn mit gut gemacht?
...

Ziemlich genau das:

Die Gewichte und Datasets werden ja dann noch primär von Menschen gefüttert. Je nachdem, was da dann primär kontrolliert oder unkontrolliert reingekippt wurde, folgt die AI diesem Muster dann weiter?

...nur ohne das Fragezeichen am Schluss.

Naja und die ganzen Finanzberater und Börsen Heinies die Jensen so gern auf seinen Nvidea Keynotes lauschen wollen dass was wir hier diskutieren… Peak of Inflated Expectations - auch nich so gern hören… die sehen lieber noch mehr $ Zeichen.

Spannend zuzusehen was da teils öffentlich so abgeht unter den ganzen "Ai Boom".

https://www.theverge.com/2024/5/17/2415 ... -ai-safety
"OpenAI researcher resigns, claiming safety has taken ‘a backseat to shiny products’
/ Jan Leike’s departure shines a spotlight on a growing rift inside ChatGPT maker OpenAI."

Zitat - Quelle Neue Züricher Zeitung ( https://www.nzz.ch/technologie/sam-altm ... ld.1834352 )
"Sicherheitsforscher verlassen Open AI und warnen
Darauf, dass bei Open AI einiges im Argen liegt, deuten auch diverse Kündigungen hin. Der bekannteste Abgänger ist Ilya Sutskever, ein Mitgründer von Open AI. Er leitete das sogenannte Superalignment-Team, das vor rund einem Jahr dafür gegründet worden war, sicherzustellen, dass die KI tatsächlich im Dienste der Menschheit arbeitet, und dem 20 Prozent der Rechenpower des Unternehmens zugesichert worden war.

Jan Leike, der das Team mit Sutskever geleitet hatte, kündete ebenfalls und beklagte öffentlichkeitswirksam, die Sicherheit würde bei Open AI zu wenig gewichtet. Das Superalignment-Team wurde inzwischen aufgelöst.

Trotzdem bleiben kritische Worte von ehemaligen Angestellten selten – inzwischen weiss man, warum: Die meisten haben strenge Non-Disclosure-Agreements unterzeichnet, die es verbieten, sich öffentlich über Open AI zu äussern."

[macaw]

naja, wenn du dir überlegst, dass die 20 Jahre Internet zum trainieren als Basis benutzen um auf das Ergebnis zu kommen, dann is halt die Frage wieviele Daten noch benötigt werden um zur Perfektion zu gelangen. Davon ausgehend, dass der Anteil von KI generiertem Content immer mehr ansteigen, aber praktisch zu Dateninzest führt, dürfte eher zu einer Verlangsamung / Stagnation führen?

Das hatte "Computerphile" kürzlich mal auf Youtube erörtert (so wie andere auch). Das Problem ist wohl tatsächlich, daß es schon jetzt nicht genug Daten gibt um wesentlich weiter zu kommen.

[Rick SSon]

naja, wenn du dir überlegst, dass die 20 Jahre Internet zum trainieren als Basis benutzen um auf das Ergebnis zu kommen, dann is halt die Frage wieviele Daten noch benötigt werden um zur Perfektion zu gelangen. Davon ausgehend, dass der Anteil von KI generiertem Content immer mehr ansteigen, aber praktisch zu Dateninzest führt, dürfte eher zu einer Verlangsamung / Stagnation führen?

Das hatte "Computerphile" kürzlich mal auf Youtube erörtert (so wie andere auch). Das Problem ist wohl tatsächlich, daß es schon jetzt nicht genug Daten gibt um wesentlich weiter zu kommen.

Genau das meine ich doch. Die haben schon alles gekrakt und nun gibts zu einem überwiegenden Teil Inzestdaten. Aber die Datenmenge ist auch so hoch, dass du nicht mal sagen könntest ob ein modell tatsächlich vollständig generiert, oder bloss kopiert und ausreichend abgeändert hat. Wahrscheinlich könnte kein Mensch in einem Leben auch nur einen Bruchteil dieser Daten selbst konsumieren, damit ihm die Kopie auffällt 😄 Da reicht es ja, dass die AI einfach uns den Stuff aus Asien abkopiert und denen unseren.

[Frank Glencairn]

Kann mir mal jemand erklären, mit welcher Qualifikation es diese Tussi in den Vorstand von Open AI geschafft hat?
Jedes mal wenn ich die sehe, labert die so einen unfassbaren Müll, daß es schon fast zum Fremdschämen ist.

[Frank Glencairn]

naja, wenn du dir überlegst, dass die 20 Jahre Internet zum trainieren als Basis benutzen um auf das Ergebnis zu kommen, dann is halt die Frage wieviele Daten noch benötigt werden um zur Perfektion zu gelangen. Davon ausgehend, dass der Anteil von KI generiertem Content immer mehr ansteigen, aber praktisch zu Dateninzest führt, dürfte eher zu einer Verlangsamung / Stagnation führen?

Das hatte "Computerphile" kürzlich mal auf Youtube erörtert (so wie andere auch). Das Problem ist wohl tatsächlich, daß es schon jetzt nicht genug Daten gibt um wesentlich weiter zu kommen.

Das Problem betrifft nicht nur Bilder:

About a year ago, everything I heard from companies reaching out was how much they wanted to use Large Language Models to solve their problems.

I'm now getting a ton of commentary about how they are pausing these efforts.

It turns out that scaling LLM-powered applications past a nice-looking demo is hard—maybe even impossible in many instances.

RAG systems aren't the Holy Grail, either. They are better than nothing, but past a certain point, they aren't helping. Embedding structured content and relying on cosine similarity is not reliable or practical in many situations.

The pendulum is swinging back.

This is a good thing. It's about time we leave the hype behind. Only then we'll be free to focus on improving what we have.

[philr]

Kann mir mal jemand erklären, mit welcher Qualifikation es diese Tussi in den Vorstand von Open AI geschafft hat?
Jedes mal wenn ich die sehe, labert die so einen unfassbaren Müll, daß es schon fast zum Fremdschämen ist.

Mira Murati… Ich finde Sie wirklich unangenehm. Sie kommt aus dem Produktmanagement und hat als Praktikantin bei Goldman Sachs angefangen, später dann Produktmanagerin bei Tesla. Laut Wikipedia hat sie mal einen BSc. in Maschinenbau gemacht - beruflich ist sie aber als Managerin einzustufen. Ich würde davon ausgehen, dass Sie als Managerin eher als weibliche Repräsentantin des Unternehmens herhalten soll, da es im Bereich der KI viel gebildetere Frauen gibt - die sehen das ganze Topic nur Teils viel diffenzierter (Wie oben als Bsp. Dr. Sasha Luccionio - schöne Papers zu solchen Themen: https://arxiv.org/abs/2311.16863 Power Hungry Processing: Watts Driving the Cost of AI Deployment?) aber schließlich geht es OpenAi auch nur um Zaster - der Name Open - ist ja auch nur eine "Illusion" - klingt so schön "offen" opensoruce, weltfreundlich…da passen Menschen aus dem Management Berreich für Research, Product & Partnerships wohl eben besser als der Entwicklung & Forschung… :-/

[medienonkel]

Mira Murati... Klingt wie die weibliche Gegenspielerin eines britischen Meisterdetektivs.

Vermutlich eh selbst KI generiert.

[philr]

Mira Murati... Klingt wie die weibliche Gegenspielerin eines britischen Meisterdetektivs.

Vermutlich eh selbst KI generiert.

Wie lässt sich das eigentlich verordnen, wenn ein Hersteller bereits Werbung mit Sora erstellt, wie z. B. die in Cannes vorgestellt wurde, Sora selbst aber eigentlich unter "Fair-Use" Trainingsdaten verwendete, d. h. für den zweck der allgemeinheit bestimmt ist, die Software aber dennoch kontrolliert und kommerziell genutzt wird?

copyright Fairuse:
"Material zugesteht, sofern sie der öffentlichen Bildung und der Anregung geistiger Produktionen dienen. Die Doktrin ist in § 107 des US-amerikanischen Copyright Act (17 U.S.C.) kodifiziert und erfüllt eine vergleichbare Funktion wie die Schrankenbestimmungen des kontinentaleuropäischen Urheberrechts.

Im amerikanischen Rechtsraum gestattet Fair Use neben Zitaten etwa auch Parodien auf ein urheberrechtlich geschütztes Werk, aber nicht Satiren. Eine Parodie als solche muss sehr eng mit dem Original verknüpft sein, ansonsten gilt sie als eine nicht erlaubte Satire. "
https://de.wikipedia.org/wiki/Fair_Use

[medienonkel]

'Werbung kommt doch der Allgemeinheit zugute. Die stimuliert die unsichtbare Hand"
C. Lindner

[Frank Glencairn]

FairUse bezieht sich darauf wenn du einen fremden Clip für irgendwas benutzt - hat aber nix mit Sora zu tun, da werden ja keine fremden Clips zusamen geschnitten, sondern völlig neue - nie dagewesene - erzeugt.

[philr]

FairUse bezieht sich darauf wenn du einen fremden Clip für irgendwas benutzt - hat aber nix mit Sora zu tun, da werden ja keine fremden Clips zusamen geschnitten, sondern völlig neue - nie dagewesene - erzeugt.

Naja, das US-amerikanische AI Act hatte sich auf der Grundlage der Daten, die zur Konditionierung des Modells verwendet wurden, auf FairUse geeinigt - das ist damit nicht gegeben.
Laut unserer Dame da oben wurde es mit "allen" öffentlich verfügbaren Daten trainiert. Unabhängig davon, ob völlig neue Pixel gefummelt werden oder nicht, stammt das Lernmaterial von Künstlern, die ihre Rechte nicht für kommerzielle Zwecke (einschließlich der Konditionierung von AI modellen) weiterverwenden dürfen.

"OpenAI has responded that “training AI models using publicly available internet materials is fair use, as supported by long-standing and widely accepted precedents.” In a blog post about the case, OpenAI cites the Library Copyright Alliance (LCA) position that “based on well-established precedent, the ingestion of ...Jan 23, 2024"

[Frank Glencairn]

Unabhängig davon daß man zwischen Training und Output unterscheiden muß, habe ich 3 Begriffe für dich:

- Transformative Use
- Non Derivative Works
- Amount and Substantiality

Alle 3 betreffen AI Output in sofern, daß die Ergebnisse für gewöhnlich keine signifikanten Anteile an einem Werk beinhalten, daß zum Traing benutzt wurde.

[philr]

Unabhängig davon daß man zwischen Training und Output unterscheiden muß, habe ich 3 Begriffe für dich:

- Transformative Use
- Non Derivative Works
- Amount and Substantiality

Alle 3 betreffen AI Output in sofern, daß die Ergebnisse für gewöhnlich keine signifikanten Anteile an einem Werk beinhalten, daß zum Traing benutzt wurde.

Bitte les nochmal kurz was ich geschrieben habe! Es geht mir um die Frage der "kommerzielle Nutzung eines Tools, deren "Input" nur als legal angesehen wurde wenn er der fairen öffentlichen Nutzung dient - soweit das AI Act zu verstehen. Es geht nicht um den letztendlichen Output, sondern darum, wie die Daten fürs Trainig der Datasets ungefragt genutzt werden, um Gewinne zu erzielen - was laut openAI ja damit erläutert wurde das jeder Zugriff auf ChatGPT hat, aber auf SORA eben noch nicht.

[Frank Glencairn]

Da sind bei dir ne ganze Menge Annahmen und freies Assoziieren im Spiel.
Solange wir keinen Einblick in die tatsächlichen Vereinbarungen und Verträge haben ist das alles reine Spekulation.

Sollte es wirklich illegal sein, werden wir das bei Zeiten erfahren, wenn nicht ist es egal.

Darf ich mal fragen, warum du da so engagiert bist - welchen Hund hast du da im Rennen?

[philr]

Da sind bei dir ne ganze Menge Annahmen und freies Assoziieren im Spiel.
Solange wir keinen Einblick in die tatsächlichen Vereinbarungen und Verträge haben ist das alles reine Spekulation.

Sollte es wirklich illegal sein, werden wir das bei Zeiten erfahren, wenn nicht ist es egal.

Darf ich mal fragen, warum du da so engagiert bist - welchen Hund hast du da im Rennen?

Darfst du. Ich finde das Thema an sich wie viele sehr spannend- Algorithmen, maschinelles Lernen, neuronale Netze - meine Frau promoviert gerade an der TU & Charité zu dem Thema Human Factors - aber eher im medizinischen Bereich. Ich spiele ja auch gerne mit XR, AR & VR rum, AI NPC´s in Unity (Eden AI) & Unreal finde Ich auch super lustig & ja die haben auch mal ganz viel text & Bücher ins Training bekommen. ;-)
Aber ethisch sehe Ich – da ich, wie du, auch sehr lange hinter der Kamera gestanden habe und es immer noch tue, Fragen zum Urheberrecht als wichtig und relevant an. Zumal viele Filmschaffende in unserer Branche ihren Lebensunterhalt gefährdet sehen, und das in einer ohnehin angespannten wirtschaftlichen Situation. Gerade jetzt, da Wettbewerbsvorteile missbraucht werden und Dinge zum finanziellen Gunsten großer Konzerne ausgelegt werden…
Wenn ich hier meine Spaß Modelle selbst trainiere (OpenSora zum Beispiel - das ist eine Art opensource Knockoff auf Huggingface/Github https://github.com/hpcaitech/Open-Sora - übernimmt es ja nach dem Trainieren schon sehr was Ich da rein packe. Das kennen ja viele andere wahrscheinlich auch schon frühstens seit Stable Diffusion. Konditioniere ich nur mit den input den ich auswähle und gebe, kommt nur der Mischmasch heraus, der auf meinen Training basiert. Natürlich verschiebt sich bei der masiven Trainingsdaten Anzahl die Ausgabe wie du scheibst - Amount and Substantiality
entsprechend im Output… Wo mein Hund sonst noch läuft, ich sehe es als problematisch an, dass, wenn ich die Meinung vieler "ex Filmer oder Werber" lese, z.B. im Netz - es wird komplett Film-ablösen, ersetzen e.t.c. (diese Meinungen schwirren nunmal rum, siehe oben Mira´s Twitter) - es einfach nur stänkernd rüberkommt. Und damit ist niemandem gedient, oder?

[Frank Glencairn]

Wenn ich hier meine Spaß Modelle selbst trainiere (OpenSora zum Beispiel - das ist eine Art opensource Knockoff auf Huggingface/Github https://github.com/hpcaitech/Open-Sora - übernimmt es ja nach dem Trainieren schon sehr was Ich da rein packe. Das kennen ja viele andere wahrscheinlich auch schon frühstens seit Stable Diffusion. Konditioniere ich nur mit den input den ich auswähle und gebe, kommt nur der Mischmasch heraus, der auf meinen Training basiert.

Und genau das ist das Schöne daran, wenn Modelle mit möglichst vielen und diversen Daten trainiert werden.
Nicht nur daß der Output qualitativ besser wird, sondern der Anteil des einzelnen Trainingsmaterials dabei gleichzeitig in die völlige Bedeutungslosigkeit versinkt.

Also wenn nur bei jedem zig-tausendsten Bild, das generiert wird, ein einzelnes Trainings-Bild (oder Video), nur einen 10millionstel Anteil am Output hat.

Persönlich hab ich keine Angst vor AI, im Gegenteil, ich - und eigentlich wir alle - nutzen sie ja seit Jahren in allen möglichen Formen zu unserem Vorteil. Wenn ich denke wie viel Arbeit ich - allein in dem winzigen Bereich Roto und Untertitel - in letzter Zeit schon gespart habe..

Deshalb hab ich auch überhaupt kein Problem damit, wenn jemand mein Material zum Training benutzt - Geben und Nehmen - win/win.

Zumal ich ja auch absolut nix davon habe, wenn es nicht benutzt wird.

Wie ich oben schon sagte, wird der eigene Anteil und die eigne Wichtigkeit an der ganzen Nummer von vielen sowieso völlig maßlos überschätzt.

Und was die Typen mit ihrer Panikmache "OMG wir werden alle durch AI ersetzt" betrifft:

Das ist natürlich nur der selbe Blödsinn, von der selben Art von Leuten, den man bei jeder technischen Neuerung hört.
Am Ende des Tages ist AI ist nur ein weiteres Tool in unserer Wekzeugbox.

Das einzig Wichtige dabei ist, es möglichst gut für sich zu nutzen. Niemand wird so schnell durch AI tatsächlich "ersetzt" - wenn überhaupt, dann durch Leute die AI nutzen.