Der Mann schwadroniert davon daß er OpenAI - mit denen er sich total verstritten hat - jetzt damit übertrumpfen will.
Glaubst du allen Ernstes der will seinen neuen Laden (in den er zig Millionen investiert hat) jetzt erst mal mit nem Moratorium lahm legen. Wozu denn auch?
Im Gegenteil, der gibt jetzt erst mal Vollgas.
Das Hirn, in diesem Fall deins, schafft aber keine Fakten, sondern interpretiert.
Heutige AI-Modelle wie ChatGPT haben noch den Vorteil, dass die Daten, mit denen sie trainiert wurden, aus der Vor-AI-Bot-Zeit stammen. Wenn aber die öffentlich verfügbare Information im Internet immer mehr von AI-Bots generiert wurde (vielleicht erreichen wir in naher Zukunft sogar 50% und mehr, wenn z.B. Zeitungen nur noch AI-generierte Artikel öffentlich machen und alle von Journalistien geschriebenen Artikel hinter Bezahlschranken stellen), werden zukünftige AI-Bots mit AI-Bot-Output trainiert und entsteht Bot-Demenz durch Rückkoppelung bzw. Selbstwiederkäuen.
Unser Forum hier ist ja ein schönes Beispiel. Wahrscheinlich bietet es hervorragendes Trainingsmaterial für einen AI-Chatbot, der als Beratungsdienst und Support-Helpline z.B. eines Videofachhändlers eingesetzt wird. Aber spätestens seit gestern (im [url=viewtopic.php?p=1188296#p1188296]Parallelthread[/url) haben wir auch AI-Bot-generierte Postings hier im Forum. Wenn das Schule macht, schwindet die Qualität der Slashcam-Inhalte.
Tatsächlich könnte ein Überhandnehmen von AI-Bot-Postings dieses und andere Foren in ernste Krisen stürzen.
Heutige AI-Modelle wie ChatGPT haben noch den Vorteil, dass die Daten, mit denen sie trainiert wurden, aus der Vor-AI-Bot-Zeit stammen. Wenn aber die öffentlich verfügbare Information im Internet immer mehr von AI-Bots generiert wurde (vielleicht erreichen wir in naher Zukunft sogar 50% und mehr, wenn z.B. Zeitungen nur noch AI-generierte Artikel öffentlich machen und alle von Journalistien geschriebenen Artikel hinter Bezahlschranken stellen), werden zukünftige AI-Bots mit AI-Bot-Output trainiert und entsteht Bot-Demenz durch Rückkoppelung bzw. Selbstwiederkäuen.
Unser Forum hier ist ja ein schönes Beispiel. Wahrscheinlich bietet es hervorragendes Trainingsmaterial für einen AI-Chatbot, der als Beratungsdienst und Support-Helpline z.B. eines Videofachhändlers eingesetzt wird. Aber spätestens seit gestern (im [url=viewtopic.php?p=1188296#p1188296]Parallelthread[/url) haben wir auch AI-Bot-generierte Postings hier im Forum. Wenn das Schule macht, schwindet die Qualität der Slashcam-Inhalte.
Tatsächlich könnte ein Überhandnehmen von AI-Bot-Postings dieses und andere Foren in ernste Krisen stürzen.
Damals in der DDR war uns klar, dass nicht alles stimmt, was in der Zeitung steht. Für manche heute scheint das eine neue Erkenntnis zu sein. Gilt aber immer, egal ob Text von Mensch oder Maschine.
Bei Topaz merkt man zum Beispiel mittlerweile schon eine Übersättigung der Trainingsdaten... die AI greift beim Upscaling immer häufiger daneben und erfindet Unfug dazu, die Ergebnisse weniger austrainierter älterer Modelle sind häufig besser und natürlicher.
cantsin hat geschrieben: ↑Do 13 Jul, 2023 14:35
Aber spätestens seit gestern (im [url=viewtopic.php?p=1188296#p1188296]Parallelthread[/url) haben wir auch AI-Bot-generierte Postings hier im Forum. Wenn das Schule macht, schwindet die Qualität der Slashcam-Inhalte.
Tatsächlich könnte ein Überhandnehmen von AI-Bot-Postings dieses und andere Foren in ernste Krisen stürzen.
Ich sehe die Gefahr derzeit noch eher als gering an. Diese Postings erkennt man (zumindest derzeit) noch halbwegs einfach. Warum eigentlich soll hier eine Krise entstehen? Wo siehst du die tatsächliche Bedrohnung?
dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 14:46
Damals in der DDR war uns klar, dass nicht alles stimmt, was in der Zeitung steht. Für manche heute scheint das eine neue Erkenntnis zu sein. Gilt aber immer, egal ob Text von Mensch oder Maschine.
Mir geht's ja nicht um die Wahrheit von Aussagen, sondern eher um den Informationsgehalt im statistischen Sinne. Weil die AI-Bots bestehendes Material auf extrem generische/allgemeine Weise recyclen, kriegst Du irgendwann nur noch Rauschen bzw. endlose Wiederholungen von Binsen. Ein Forum lebt ja von Spezialwissen, durchaus auch von Spezialmeinungen.
(Uns war damals auch in der BRD und West-Berlin klar, dass nicht alles stimmt, was in der Zeitung steht oder die Regierung behauptet... Zumal in West-Berlin, wo Springer damals mit BZ, BILD und Morgenpost ein Beinahe-Monopol hatte... Und dann gab's noch "Die Wahrheit", die Tageszeitung der Sozialistischen Einheitspartei Westberlin [SEW], die ich damals zum Spaß abonniert hatte...)
cantsin hat geschrieben: ↑Do 13 Jul, 2023 14:35
Aber spätestens seit gestern (im [url=viewtopic.php?p=1188296#p1188296]Parallelthread[/url) haben wir auch AI-Bot-generierte Postings hier im Forum. Wenn das Schule macht, schwindet die Qualität der Slashcam-Inhalte.
Tatsächlich könnte ein Überhandnehmen von AI-Bot-Postings dieses und andere Foren in ernste Krisen stürzen.
Ich sehe die Gefahr derzeit noch eher als gering an. Diese Postings erkennt man (zumindest derzeit) noch halbwegs einfach. Warum eigentlich soll hier eine Krise entstehen? Wo siehst du die tatsächliche Bedrohnung?
Neue Form von Forenmüll/-spam, die schwieriger (und z.Zt. noch gar nicht automatisiert) 'rauszufiltern ist. Wenn wir eine Situation kriegen, in der jedes dritte oder zweite Forenposting AI-Bot-Gelaber ist, haken die verbliebenen nicht-Bots entnervt ab und stirbt das Forum.
dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 14:46
Damals in der DDR war uns klar, dass nicht alles stimmt, was in der Zeitung steht. Für manche heute scheint das eine neue Erkenntnis zu sein. Gilt aber immer, egal ob Text von Mensch oder Maschine.
Mir geht's ja nicht um die Wahrheit von Aussagen, sondern eher um den Informationsgehalt im statistischen Sinne. Weil die AI-Bots bestehendes Material auf extrem generische/allgemeine Weise recyclen, kriegst Du irgendwann nur noch Rauschen bzw. endlose Wiederholungen von Binsen. Ein Forum lebt ja von Spezialwissen, durchaus auch von Spezialmeinungen.
(Uns war damals auch in der BRD und West-Berlin klar, dass nicht alles stimmt, was in der Zeitung steht oder die Regierung behauptet... Zumal in West-Berlin, wo Springer damals mit BZ, BILD und Morgenpost ein Beinahe-Monopol hatte... Und dann gab's noch "Die Wahrheit", die Tageszeitung der Sozialistischen Einheitspartei Westberlin [SEW], die ich damals zum Spaß abonniert hatte...)
Ich sehe die Gefahr derzeit noch eher als gering an. Diese Postings erkennt man (zumindest derzeit) noch halbwegs einfach. Warum eigentlich soll hier eine Krise entstehen? Wo siehst du die tatsächliche Bedrohnung?
Neue Form von Forenmüll/-spam, die schwieriger (und z.Zt. noch gar nicht automatisiert) 'rauszufiltern ist. Wenn wir eine Situation kriegen, in der jedes dritte oder zweite Forenposting AI-Bot-Gelaber ist, haken die verbliebenen nicht-Bots entnervt ab und stirbt das Forum.
Wenn es nur um einen statistisch relevanten Informationsgehalt geht, also wenn dir, vereinfacht gesagt, die Texte zu lang sind, und das vielen so geht, ich weiß nicht, ich denke, das wird die AI schaffen.
Man merkt, dass du unterrichtest, du möchtest dein Gegenüber bewerten. Das ist natürlich schwierig mit einer Wand ;)
cantsin hat geschrieben: ↑Do 13 Jul, 2023 15:10
Neue Form von Forenmüll/-spam, die schwieriger (und z.Zt. noch gar nicht automatisiert) 'rauszufiltern ist. Wenn wir eine Situation kriegen, in der jedes dritte oder zweite Forenposting AI-Bot-Gelaber ist, haken die verbliebenen nicht-Bots entnervt ab und stirbt das Forum.
Das ist allerdings eine These, und ob das so wäre ist nicht sicher.
Was ich persönlich bedenklicher finde, ist nicht nur, dass die KI Informationen aufnimmt - und damit lernt. Sie erkennt (und merkt sich) offenbar auch, WER ihr die Frage stellt. Wenn die weiß, von wem die Frage kommt, und wenn sie einen Fragesteller schon "kennt", dann antwortet sie bereits anders.
Neue Form von Forenmüll/-spam, die schwieriger (und z.Zt. noch gar nicht automatisiert) 'rauszufiltern ist. Wenn wir eine Situation kriegen, in der jedes dritte oder zweite Forenposting AI-Bot-Gelaber ist, haken die verbliebenen nicht-Bots entnervt ab und stirbt das Forum.
... oder es passiert das selbe, was dank zu viel Werbung im Netz passiert ist - Werbeblocker.
Demnächst gibt's dann halt automatische AI-Blocker.
wolfgang hat geschrieben: ↑Do 13 Jul, 2023 15:37
Was ich persönlich bedenklicher finde, ist nicht nur, dass die KI Informationen aufnimmt - und damit lernt. Sie erkennt (und merkt sich) offenbar auch, WER ihr die Frage stellt.
Natürlich weiß die wer du bist, du mußt dich ja vorher anmelden - ansonsten halt noch das übliche Cookies/IP etc.
dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 15:19
Wenn es nur um einen statistisch relevanten Informationsgehalt geht, also wenn dir, vereinfacht gesagt, die Texte zu lang sind, und das vielen so geht, ich weiß nicht, ich denke, das wird die AI schaffen.
Man merkt, dass du unterrichtest, du möchtest dein Gegenüber bewerten. Das ist natürlich schwierig mit einer Wand ;)
Nee, mit statistischem Informationsgehalt meine ich Signal vs. Rauschen. Was ChatGPT & Co. zu unseren Kameradiskussionen beizutragen hat, ist null informativ, weil der Bot nur irgendwelche wolkig-unangreifbaren Allgemeinplätze von sich gibt. Und wenn dann die Bots sich gegenseitig als machine learning-Trainingsmaterial gebrauchen, wird das (s.o. verlinkten Heise-Artikel) nicht besser...
dienstag_01 hat geschrieben: ↑Do 13 Jul, 2023 13:35
Das Hirn, in diesem Fall deins, schafft aber keine Fakten, sondern interpretiert.
Andere Hirne interpretieren das anders.
Also da macht einer mit Millioneninvestitionen ne neue AI Firma auf,
und sagt seinem verhassten Konkurrenten OpenAI gleichzeitig den Kampf an.
Wie würde dein Hirn die Haltung von so jemandem zu AI einschätzen?
A - bitte bitte macht mir meinen AI Laden sofort wieder dicht, weil das ist a sooo gefährlich - scheiß auf die Investitionen, und das was ich über OpenAI gesagt hab war sowieso nicht ernst gemeint.
B - von wegen Moratorium, ich hab doch nicht zig Millionen da reingepumpt und den Laden eröffnet, um ihn dann am nächsten Tag wieder zu schließen. OpenAI bekommt jetzt wie versprochen erst mal eine vor den Latz, und meine anderen Firmen profitieren auch .
Frank Glencairn hat geschrieben: ↑Do 13 Jul, 2023 15:51
... oder es passiert das selbe, was dank zu viel Werbung im Netz passiert ist - Werbeblocker.
Demnächst gibt's dann halt automatische AI-Blocker.
Wäre aber vielleicht erst wieder eine KI...
Frank Glencairn hat geschrieben: ↑Do 13 Jul, 2023 15:54
Natürlich weiß die wer du bist, du mußt dich ja vorher anmelden - ansonsten halt noch das übliche Cookies/IP etc.
Nein, anmelden und registrieren muss man sich bei ChatGPT nicht. Die Erkennung, "wer" man ist, erfolgt offenbar nur über IPs/Proxies. DAS halte ich für sensibel - denn wenn die KI hier beginnt über mich Daten abzulegen, also ein Profil erstellt, dann widerspricht das nicht nur einer Datengrundverordnung. Sondern es kann hier auch ein Profil im Hintergrund entstehen, welches ich lieber gar nicht bei einer KI wissen will. Derartige Daten sind eben nicht wertfrei.
Lieben Gruß,
Wolfgang
Zuletzt geändert von wolfgang am Do 13 Jul, 2023 16:06, insgesamt 1-mal geändert.
Neue Form von Forenmüll/-spam, die schwieriger (und z.Zt. noch gar nicht automatisiert) 'rauszufiltern ist. Wenn wir eine Situation kriegen, in der jedes dritte oder zweite Forenposting AI-Bot-Gelaber ist, haken die verbliebenen nicht-Bots entnervt ab und stirbt das Forum.
... oder es passiert das selbe, was dank zu viel Werbung im Netz passiert ist - Werbeblocker.
Demnächst gibt's dann halt automatische AI-Blocker.
Ja, die gibt's ja schon, wie auch den AI-Bot-Checker, den ich für das A6700-Forenposting eingesetzt habe. Die sind jetzt noch für Schulen und Hochschulen gedacht, um Aufsätze und Seminararbeiten zu checken, werden aber bald garantiert breiter eingesetzt.
Nur dürften die ziemlich rechenaufwändig sein (da sie ja sozusagen invertierte AI-Bots sind) und daher nicht so ohne weiteres lokal auf einem Webserver installierbar, was dann wiederum das heutige Arbeitsprinzip von Slashcam & Co. (Foren auf selbstgehosteten Servern) kaputtmacht.
cantsin hat geschrieben: ↑Do 13 Jul, 2023 16:01
Und wenn dann die Bots sich gegenseitig als machine learning-Trainingsmaterial gebrauchen, wird das (s.o. verlinkten Heise-Artikel) nicht besser...
Ich bin nicht sicher ob das überhaupt geht, daß bereits gelerntes Trainingsmaterial nochmal gelernt wird - wozu auch, ist ja bereits im Speicher. Ich denke da wir die Entropie relativ schnell erreicht sein.
Man kann halt nicht eine Datenbank mit Daten aus der selben Datenbank erweitern.
Das muss deutlich komplexer sein - und insbesonders einen Algorithmus beinhalten, der eine KI erlaubt zu erkennen, ob eine Information neu ist, oder bereits vorhanden ist.
cantsin hat geschrieben: ↑Do 13 Jul, 2023 16:01
Und wenn dann die Bots sich gegenseitig als machine learning-Trainingsmaterial gebrauchen, wird das (s.o. verlinkten Heise-Artikel) nicht besser...
Ich bin nicht sicher ob das überhaupt geht, daß bereits gelerntes Trainingsmaterial nochmal gelernt wird - wozu auch, ist ja bereits im Speicher. Ich denke da wir die Entropie relativ schnell erreicht sein.
Man kann halt nicht eine Datenbank mit Daten aus der selben Datenbank erweitern.
Es geht darum, dass AI-Bots das World Wide Web und die darauf öffentlich zugängliche Information (wie z.B. auch dieses Forum) als ihr Trainingsmaterial verwenden, und dass es dann zu AI-"Demenz"-Rückkoppelungseffekten kommt, sobald das Web zu einem signifikanten Anteil aus AI-Bot-generierten Inhalten besteht.
Der "Fluch der Rekursion" tut mir aber unendlich leid... was für mich vielleicht bedeutet, dass sich die KIs selbst schädigen. Oder dass sie hier bessere Schutzmechanismen entwickeln müssen. Und sich so doch die eigene Realität erschaffen?
Es geht darum, dass AI-Bots das World Wide Web und die darauf öffentlich zugängliche Information (wie z.B. auch dieses Forum) als ihr Trainingsmaterial verwenden, und dass es dann zu AI-"Demenz"-Rückkoppelungseffekten kommt, sobald das Web zu einem signifikanten Anteil aus AI-Bot-generierten Inhalten besteht.
Da sind einige eher zweifelhafte Prämissen drin.
1. warum sollten wir hier aufhören zu schreiben?
2. warum sollte irgendwer einen Anreiz haben Geld zu zahlen, nur um völlig umständlich hier ne Menge Fake Accounts anzulegen und irgendwelche Bots auf Slashcam los zu lassen?
3. warum sollte AI Inhalte, die bereits in ihren Trainigssätzen enthalten waren nochmal völlig sinnlos trainieren (gerade AI sollte besser als das sein).
Die wenigsten haben auch nur ein grobes Grundverständnis was Machine Learning betrifft.
Das führt zu Unsicherheit - Unsicherheit macht Angst und die führt dann zu solchen Gloom&Doom Artikeln.
Das sieht man ja schon an der Vermenschlichung die in letzter Zeit immer populärer geworden ist.
In Wirklichkeit weiß GPT nix, und versteht auch nix. Das ist nur ne riesige Datenhalde, welche die Wahrscheinlichkeit ausrechnet, welches Wort als nächstes kommt. Ganz sicher aber hat AGI keine Persönlichkeit oder sowas wie ein Bewußtsein, obwohl ja schon die ersten danach schreien ihr Persönlichkeitsrechte zu zugestehen.
Frank Glencairn hat geschrieben: ↑Do 13 Jul, 2023 17:34
2. warum sollte irgendwer einen Anreiz haben Geld zu zahlen, nur um völlig umständlich hier ne Menge Fake Accounts anzulegen und irgendwelche Bots auf Slashcam los zu lassen?
Bei KI Demenz sollte dasselbe passieren wie 2002 ff mit Ergebnissen von Suchmaschinen wie Altavista vs Google. Qualität wird vom User belohnt. Und da wo der hingeht wird das Geld verdient.
Damals hat Google davon profitiert dass die Konkurrenz schlechter war.
Bei chatGPT steckt ein großer Teil des Aufwands ja im Trainings durch echte Menschen. Dieser Aufwand wird dann wohl zukünftig dafür sorgen, dass es kleinere LLM Newcomer schwer haben sich gegen die großen Platzhirschen durchzusetzen
Es geht darum, dass AI-Bots das World Wide Web und die darauf öffentlich zugängliche Information (wie z.B. auch dieses Forum) als ihr Trainingsmaterial verwenden, und dass es dann zu AI-"Demenz"-Rückkoppelungseffekten kommt, sobald das Web zu einem signifikanten Anteil aus AI-Bot-generierten Inhalten besteht.
Da sind einige eher zweifelhafte Prämissen drin.
1. warum sollten wir hier aufhören zu schreiben?
2. warum sollte irgendwer einen Anreiz haben Geld zu zahlen, nur um völlig umständlich hier ne Menge Fake Accounts anzulegen und irgendwelche Bots auf Slashcam los zu lassen?
3. warum sollte AI Inhalte, die bereits in ihren Trainigssätzen enthalten waren nochmal völlig sinnlos trainieren (gerade AI sollte besser als das sein).
Die wenigsten haben auch nur ein grobes Grundverständnis was Machine Learning betrifft.
Das führt zu Unsicherheit - Unsicherheit macht Angst und die führt dann zu solchen Gloom&Doom Artikeln.
Das sieht man ja schon an der Vermenschlichung die in letzter Zeit immer populärer geworden ist.
In Wirklichkeit weiß GPT nix, und versteht auch nix. Das ist nur ne riesige Datenhalde, welche die Wahrscheinlichkeit ausrechnet, welches Wort als nächstes kommt. Ganz sicher aber hat AGI keine Persönlichkeit oder sowas wie ein Bewußtsein, obwohl ja schon die ersten danach schreien ihr Persönlichkeitsrechte zu zugestehen.
Habe ich ja auch nicht behauptet. Ich glaube, wir schreiben hier aber sowieso aneinander vorbei. Mit "AI-Bots" meine ich nicht Bots, die auf Foren wie Slashcam selbsttätig posten, sondern bestehende Systeme wie ChatGPT, Bard & Co.
Und der verlinkte Artikel ist kein Doom-Journalismus und "Singularity"-Geschwafel, sondern bezieht sich auf eine Studie, die in Oxford und Cambridge gemacht wurde.
Man kann das ganze vielleicht besser mit den AI-Bildgeneratoren wie Dall-E, Midjourney und Stable Diffusion erklären. Die erzielen ihre - unbestreitbare - Qualität dadurch, dass sie an klassisch erstellten, z.T. hochqualitativen Fotos, Illustration, Kunstwerken etc. trainiert wurden. Trotzdem machen sie Fehler wie Hände mit sechs Fingern etc. Je mehr sich solches (AI-generiertes) Bildmaterial im Internet verbreitet, in Google Image Search auftaucht, in stock photo-Datenbanken landet etc., desto höher die Wahrscheinlichkeit, dass es in den Trainingssets künftiger Bildgeneratoren landet. Das ist schon deshalb nicht vermeidbar, weil die AI-Generatoren wie bei Photoshop Generative Fill etc. auch in herkömmlicher Bildbearbeitungssoftware landen. Je mehr AI-Bilder im Trainingsset, desto höher die Wahrscheinlichkeit, dass künftige AI-Bildgeneratoren die AI-typischen Bildfehler lernen und verstärken. Das ist mit "AI-Demenz" gemeint.
Bezogen auf Slashcam: Wir kriegen irgendwann Foristen, die ohne ChatGPT & Co.-Hilfe sich nicht mehr trauen zu schreiben, und die AI-Schreibtools werden direkt in Textverarbeitungsprogramme und Browser eingebaut sein. Ich nehme mal an, dass der ChatGPT-Beitrag im A6700-Thread aus Wichtigmacherei geschrieben/gepostet wurde.
Wenn, wie in diesem Beitrag, zwischen ein paar handgeschriebenen Einwürfen eine ganze Batterie von ChatGPT-geschriebenen (und weitgehend nichtssagenden) Absätzen steht, müllt nicht nur das Forum zu. Sondern ein AI-System wie ChatGPT, dass die Postings dieses Forums als Trainingsset verwendet, trainiert sich dann teilweise am Output eines anderen AI-Bots oder einer älteren Version seiner selbst. Das führt dann zu "AI-Demenz" - also nicht dass die Menschheit dement wird durch AI, sondern dass künftige AI dadurch metaphorisch dement wird, dass sie unbeabsichtigt mit AI-Output trainiert wurde und damit in Recycling-/Feedbackschleifen ihrer selbst endet. "AI-Inzest" wäre eventuell das bessere Wort...
cantsin hat geschrieben: ↑Do 13 Jul, 2023 20:45
... Das führt dann zu "AI-Demenz" - also nicht dass die Menschheit dement wird durch AI, sondern dass künftige AI dadurch metaphorisch dement wird, dass sie unbeabsichtigt mit AI-Output trainiert wurde und damit in Recycling-/Feedbackschleifen ihrer selbst endet. "AI-Inzest" wäre eventuell das bessere Wort...
Ein Gedanke, der mir in meinem Beitrag vom 30. Juni ebenfalls durch den Kopf ging .. ohne einen Heise-Artikel dazu gelesen zu haben. ;-) viewtopic.php?p=1186703#p1186703
Ich nannte es dort "digitale Inzucht", als ich schrieb ..
Skeptiker hat geschrieben:
" .. Das würde bedeuten, dass im Laufe der technischen Entwicklung der Trainings-Datensatz für A.I. zu immer grösserem Anteil aus A.I.-generierten Texten besteht und das Ergebnis einer Frage (des "Prompts") an die A.I. durch Selbst-Referenzierung beeinflusst wird - digitale Inzucht sozusagen. ..
cantsin hat geschrieben: ↑Do 13 Jul, 2023 20:45
Das führt dann zu "AI-Demenz" - also nicht dass die Menschheit dement wird durch AI, sondern dass künftige AI dadurch metaphorisch dement wird, dass sie unbeabsichtigt mit AI-Output trainiert wurde und damit in Recycling-/Feedbackschleifen ihrer selbst endet. "AI-Inzest" wäre eventuell das bessere Wort...
Das hab ich schon verstanden, ich hab die Studie gelesen.
Und ja, Inzest wäre tatsächlich das treffendere Wort dafür.
Das mit der Demenz hat sich wohl jemand bei Heise ausgedacht, der bestenfalls das Abstract gelesen hat, und irgendeine clickbaitige Headline brauchte.
In dem Papier sprechen die hauptsächlich von "Model Collapse" durch Statistical Approximation Fehler und Functional Approximation Fehler, was dann auch deutlich mehr Sinn macht als Heises "AI-Demenz".
Ganz interessant was die in ihrer Conclusion schreiben:
Preserving the ability of LLMs to model low-probability events is essential to the fairness of their predictions:
such events are often relevant to marginalised groups. Low-probability events are also vital to understand complex
systems [Taleb, 2007].
Our evaluation suggests a “first mover advantage” when it comes to training models such as LLMs. In our work we
demonstrate that training on samples from another generative model can induce a distribution shift, which over time
causes Model Collapse. This in turn causes the model to mis-perceive the underlying learning task. To make sure that
learning is sustained over a long time period, one needs to make sure that access to the original data source is preserved
and that additional data not generated by LLMs remain available over time. The need to distinguish data generated
by LLMs from other data raises questions around the provenance of content that is crawled from the Internet: it is
unclear how content generated by LLMs can be tracked at scale. One option is community-wide coordination to ensure
that different parties involved in LLM creation and deployment share the information needed to resolve questions of
provenance. Otherwise, it may become increasingly difficult to train newer versions of LLMs without access to data
that was crawled from the Internet prior to the mass adoption of the technology, or direct access to data generated by
humans at scale.
klusterdegenerierung hat geschrieben: ↑So 09 Jul, 2023 11:31
Meine kranke Frau zu Ärtzen fahren, oder meine Kids von A nach B bzw von einem Store zum anderen Fahren, das wäre was, dann hätte ich vielleicht auch wieder Zeit für die Arbeit! :-=
???Welche Arbeit???
Dafür gibt's schliesslich Roboter.
Lässt sich evtl. auch einfach als 'Stille Post Effekt' beschreiben?
Degradationsprozesse durch informationsverzerrung gabs ja zB auch in den analogen Videozeiten mit der Degradation der 2. 3. 4. ... Kopiengeneration der jeweiligen Bänder.
Auch in den Sozialwissenschaften zB ist in vielen Bereichen das 'Auffrischen' der teils zueinander referentiellen Diskurse durch frische empirische Daten vonnöten um nicht in wirklichkeitsferne 'Inzucht' zu driften.
Den Effekt der Selbstreferenzialität gibt's ja auch zB im bio-menschlichen Journalismus, wo in dutzenden Portalen alle ihre 'eigenen' News doch nur von Spiegel-Online und ein paar wenigen anderen Inputs mit leichten Umformulierungen abschreiben, was dann wieder von anderen aufgegriffen wird ...
Das Problem beim Biomensch-journalismus ist dabei aber weniger die sukzessive Stille-Post-Entstellung des ursprünglichen Inputs, sondern eher die Einengung des Berichterstattungskorridors durch bloße Multiplikation des Immergleichen.
Da mag zur Zeit noch ein Unterschied bestehen zwischen Bio-Mensch und KI, schliesslich sind wir noch längst nicht bei der KI-Qualität von Offizier 'Data' angekommen, aber wer weiss:
Scottys 'transparentes Aluminium' wird ja auch schon seit Jahren eingesetzt, wenn auch nicht zum Transport von Buckelwalen.
Und dass Kinderkrankheiten bei neuen Technologien auftreten ist ja ne Binse, weshalb sowas eher nicht als unüberwindbare prinzipielle Barriere begriffen werden sollte, sondern als interessanter Effekt aktueller updates, der absehbar zur weiteren Verbesserung von Ki-systemen beitragen wird.
Interessant scheint mir bei diesen degradierten Ki-Bildern der x-ten selbstreferentiellen Generation, dass in den Ki Erzeugnissen ja vermutlich bereits in der 1.Generation der generierten Bilder Informationen stecken müssen, die für Bio-Menschen nicht dechiffrierbar zu sein scheinen, die aber von der Ki beim generieren weiterer Bild-Generationen mitverarbeitet werden, was dann für Menschen 'unecht' aussieht.
Spricht dafür, dass die Unterscheidung von echten vs. Ki-generierten Bildern (und Inhalten?) wohl eher nicht von Menschen getroffen werden kann, sondern hierfür der Einsatz von Ki notwendig ist.
KI verliert Verstand, wenn man sie mit den eigenen Daten trainiert
Das menschengemachte Trainingsmaterial für KIs wird knapp. Doch warum die Systeme nicht mit ihrem eigenen Output füttern? Forscher haben jetzt genau diesen Ansatz untersucht und müssen feststellen: Dann dreht die künstliche Intelligenz schnell einfach durch.
@bluboy
Womöglich verliert die KI auch den Verstand weil gar nicht wenige Menschen (von denen sie schlussendlich auch lernt) ja auch einen Knacks in der Schüssel haben..;)
Gruss Boris
Was wird wohl die Lösung gegen die Verblödung/Verödung der KI sein? Die Firmen werden halt selbst Kameras überall aufstellen und so endlos Trainingsmaterial erzeugen, aber dann halt "reines", ohne Filter und sonstige Verzerrungen.
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
