Wichtiger Hinweis, vielen Dank für den interessanten Artikel.slashCAM hat geschrieben: .. ..
Zudem sollte man nicht die Größe des "Decoders" aus dem Auge verlieren. Um eine PNG-Datei zu dekomprimieren reicht in der Regel ein sehr kleines Programm mit wenigen KB-Code aus, während ein Chinchilla 70B Modell als Decoder mehrere parallel geschaltete Hochleistungs-GPUs und hunderte GB GPU-RAM benötigt.
.. ..
Da ging's um die Entdeckung 2013, dass Xerox-Kopierer systematisch "Zahlendreher" (bzw. Ersatzzahlen) als Kopierergebnis liefern konnten, also Dinge erfanden, die in der Vorlage gar nicht vorkamen. Und der deutsche Informatiker David Kriesel hatte das entdeckt.
Danke für den Tipp.Skeptiker hat geschrieben: ↑Mo 02 Okt, 2023 13:33Wichtiger Hinweis, vielen Dank für den interessanten Artikel.slashCAM hat geschrieben: .. ..
Zudem sollte man nicht die Größe des "Decoders" aus dem Auge verlieren. Um eine PNG-Datei zu dekomprimieren reicht in der Regel ein sehr kleines Programm mit wenigen KB-Code aus, während ein Chinchilla 70B Modell als Decoder mehrere parallel geschaltete Hochleistungs-GPUs und hunderte GB GPU-RAM benötigt.
.. ..
Da ging's um die Entdeckung 2013, dass Xerox-Kopierer systematisch "Zahlendreher" (bzw. Ersatzzahlen) als Kopierergebnis liefern konnten, also Dinge erfanden, die in der Vorlage gar nicht vorkamen. Und der deutsche Informatiker David Kriesel hatte das entdeckt.
Übrigens, wer an Logik/Mathematik/Informatik interessiert ist und einen etwas tieferen Blick hinter die Kulissen von ChatGPT werfen möchte, der kann das mit einen Blick in Stephen Wolfram's "What Is ChatGPT Doing … and Why Does It Work?" (auch in deutscher Übersetzung als "Das Geheimnis hinter CHATGPT - Wie die KI arbeitet und warum sie funktioniert") werfen. Da geht's neben einfachen Regeln und Wahrscheinlichkeiten u. a. auch um Schlagworte wie "neuronale Netze".
Wolfram ist ein Mathe-Genius und Programmierer des Mathematik-Programms Mathematica (wer wissen will, wie 1 Million Nachkommastellen von Pi aussehen - damit geht's!), das auch eine Programmiersprache ist/bietet plus eine Wissenschafts-Frage/Antwort-Suchmaschine namens Wolfram Alpha (die evtl. mit ChatGPT verknüpft werden könnte - das ist als Anhang samt Ausblick in der deutschen Buchversion nachzulesen). Sein Buch von 2002 mit dem sehr ambitionierten Titel "A New Kind of Science" (Eine neue Art von Wissenschaft) verursachte nach dem Erscheinen neben Erstaunen auch einiges Kopfschütteln in der Wissenschaftsgemeinde und ist bis heute durchaus auch umstritten. Es geht dabei um sogenannte zelluläre Automaten (cellular automata) und die Möglichkeit, durch die Anwendung sehr einfacher Regeln und Voraussetzungen in x-facher Wiederholung komplexe Ergebnisse / Muster zu erzeugen oder Fragen zu beantworten / Problemstellungen zu lösen.
Wolfram hat seither auch ein Forschungsprogramm initiiert mit dem Ziel, auf diese Weise neue physikalische bzw. wissenschaftliche Gesetze und Gesetzmässigkeiten zu entdecken bzw. existierende Gesetze auf eine Basis von möglichst einfachen Regeln/Formeln zu stellen, also etwas, das seinem Buchtitel gerecht werden könnte.
Erinnert an das, was nun ChatGPT mit Backup durch einen Riesen-Lerndatensatz zum Erstaunen aller (selbst der Programmentwickler) zustandebringt, nämlich aufgrund von Wahrscheinlichkeitsanalysen (welches Wort in einem zu erzeugenden Satz folgt mit grösster Wahrscheinlichkeit als nächstes aufgrund der Wörter, die bereits dastehen (Stichworte "Wahrscheinlichkeiten/Gesetzmässigkeiten/Mustererkennung")?) Wort für Wort zusammengesetzt vernünftig klingende Sätze zu erzeugen.
Mit dem Wissen, dass diese Sätze SO entstehen, sollte man (siehe auch Xerox-Beispiel) vorläufig sehr vorsichtig sein, die so generierten (und vielleicht überzeugend formulierten) Aussagen für bare Münze zu nehmen. Aber faszinierend ist diese Möglichkeit, Inhalte zu generieren, zweifellos!