slashCAM
Administrator
Administrator
Beiträge: 11262

Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von slashCAM »



Generative KI-Modelle wie Midjourney, Runway oder Stable Diffusion werden immer leichter für jedermann zu bedienen. Dennoch verstehen die wenigsten Anwender was hinter den Kulissen vor sich geht. Das versuchen wir mit einfachen Worten zu ändern...



Hier geht es zu Artikel auf den slashCAM Magazin-Seiten:
Grundlagen: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss



-paleface-
Beiträge: 4458

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von -paleface- »

Das ist wie mit LUTs... Hab ich damals auch nicht gerafft.

Daher les ich mit euren Artikel in 5 jahren noch mal durch, dann kapiere ich vermutlich mehr :-D
www.mse-film.de | Kurzfilme & Videoclips

www.daszeichen.de | Filmproduktion & Postproduktion
Zuletzt geändert von -paleface- am Fr 04 Aug, 2023 19:54, insgesamt 3-mal geändert.



Darth Schneider
Beiträge: 19501

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Darth Schneider »

Also die ersten 2 Punkte inklusive der Einleitung sind mir klar, aber ab dem Perzeptron verstehe ich eigentlich gar nix mehr…;)
Gruss Boris



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

Wenn ich eine Grafik sehe, die extra mit Bezeichnern versehen ist (1,2,3), auf die dann im Text mit keiner Silbe eingegangen wird, frage ich mich, welche KI den Artikel geschrieben hat.
Echt krass ;)



rudi
Administrator
Administrator
Beiträge: 1479

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von rudi »

Die Grafik stammt aus einem anderen Artikel und ich habe versucht wirklich alle Mathematik rauszulassen. Aber falls es wichtig ist, dann bitte gerne...

1) Eingabe Schicht (=Input),
2) Zwischenschicht (Hidden)
3) Ausgabe Schicht (=Output).



berlin123
Beiträge: 724

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von berlin123 »

Mann kann den Text mal durch ChatGPT jagen (ich schätze aufgrund einiger Sätze dass er von einen Menschen formuliert wurde?) und im Stil seiner Wahl erklären lassen. zum Beispiel für „10-Jährige Grundschüler“. (No offense, mache ich öfter, auch „for 5-year olds“).

Man kann sich auch YouTube Videos zu neuronalen Netzen anschauen, dann wird das alles verständlich. So hab ich mir die basics raufgeschafft.



rudi
Administrator
Administrator
Beiträge: 1479

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von rudi »

Mir ging es vor darum, als Grundidee zu vermitteln, dass man Input-Output Werte präsentiert und dann die Gewichte der Verbindungen danach ändert, ob ein Neuron etwas positives oder negatives zum Ergebnis beigetragen hat... Und hoffe, daß sich darunter viele Leute etwas vorstellen können.



iasi
Beiträge: 24462

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von iasi »

Bin auf die Fortsetzung gespannt.

Würde mich schon interessieren, wie man den beiden Problemfeldern Overfitting und Datenqualität begegnet.



restlichtVerwerter

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von restlichtVerwerter »

Danke Rudi!
Du machst das super und genau richtig in kleinsten Dosen.
Wenn Du die Zeit hast und das in einer kleinen Serie aufbaust, dann
wäre das der Hammer.
Und dann machen wir in einigen Wochen kleine Beispiele, die in unsere
Richtung gehen, was, sehen wir dann.

Zum Begriff " hidden" der kann ganz nett fuchsen, weil man da nette kleinste
Varianzen rein bringen können, die Modelle absolut unterschiedlichst kollabieren
lassen. Dazu mehr nach dem Urlaub.
( eine kleine Partie von Technikern und Ärzten hat vor 2 Jahren ein ministartup
gegründet, mit dem Ziel auf der Metaebene Alveolen, Atmen zu verstehen um es
technisch in einer biologisch bionischen Umgebung gezielt um zusetzen..
Und da sind wir in tiefen Rechenmodellen gelandet und immer mehr Wissen über Ki
und vernetze Ki-stämme etz.. Pandora auf aber zielgerichtet. Rechnergesteuertes atmen
in biologischer Umgebung in etwa. Prototyp rennt..

Das ganze hatten wir 2019 als Forschung eingereicht, Geld spielt Rolle, und wurde
im Bescheid am 21. Februar 2020 abgelehnt. " man braucht das nicht!" shortbase.
Und dann brach Corrona aus. copy?)

Danke, dass Du dafür Zeit hast. man kann nie genug wissen und lernen... LG

Finnland. 10 hoch 9 Gelsen per qm2.. lol



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

Hallo Rudi,
rudi hat geschrieben: Fr 04 Aug, 2023 16:59 Mir ging es vor darum, als Grundidee zu vermitteln, dass man Input-Output Werte präsentiert und dann die Gewichte der Verbindungen danach ändert, ob ein Neuron etwas positives oder negatives zum Ergebnis beigetragen hat... Und hoffe, daß sich darunter viele Leute etwas vorstellen können.
Ich habe Deinen Artikel gelesen. Die Idee der Neuronalen Netze für Laien begreifbar zu machen ist gut (immerhin wird viel darüber geredet, aber die wenigsten wissen überhaupt auch nur Ansatzweise, was passiert), allerdings finde ich, dass eine zu stark vereinfachte Darstellung, ganz ohne Mathematik, eher problematisch für das Verständnis ist.

Denn so enorm vereinfacht kommt einfach kein wirkliches Verständnis auf. Da die eigentliche Anwendung eines fertigen Netzes fast nur Grundrechenarten benötigt, ist zumindest dieser Schritt von praktisch jedem nachvollziehbar.

Falls Interesse besteht könnte ich mir vorstellen, an einem einführenden Text mitzuwirken.



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

-paleface- hat geschrieben: Fr 04 Aug, 2023 14:36 Das ist wie mit LUTs... Hab ich damals auch nicht gerafft.
Mit einer LUT arbeitet man im Prinzip so, wie man mit Tafelwerken und Tabellenbüchern arbeitet. Man sucht den Eingabewert in der Tabelle heraus und erhält das tabellierte Ergebnis (=Ausgabe). Wenn der Eingabewert irgendwo zwischen den tabellierten Werten liegt, was oft der Fall ist, dann nimmt man den nächstliegenden Eintrag (einfachste Vorgehensweise) oder interpoliert zwischen benachbarten Tabelleneinträgen, was zu einem genaueren Ergebnis führt.

Bevor es Taschenrechner gab, hat man solche Tabellen z.B. für trigonometrische Funktionen viel verwendet.



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

Ich kann noch nicht mal eine gute Frage für diesen Thread formulieren, da ich absolut nicht weiß, was die KI selber können muß, um bspw. Wörter in einem Audiostream als Wörter zu erkennen (oder ein Gesicht in einer Pixelmenge/Bild) und was die Trainingsdaten dazu leisten. Was ja auch irgendwie ne Frage ist ;)
Zuletzt geändert von dienstag_01 am Fr 04 Aug, 2023 21:49, insgesamt 1-mal geändert.



cantsin
Beiträge: 14277

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von cantsin »

Machine Learning-KI = gedopte Markovketten.

Wer schon mal mit Markovketten gespielt hat, versteht das Prinzip.



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

cantsin hat geschrieben: Fr 04 Aug, 2023 21:49 Machine Learning-KI = gedopte Markovketten.

Wer schon mal mit Markovketten gespielt hat, versteht das Prinzip.
Ah, alles klar ;)



rudi
Administrator
Administrator
Beiträge: 1479

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von rudi »

TheBubble hat geschrieben: Fr 04 Aug, 2023 20:59 Falls Interesse besteht könnte ich mir vorstellen, an einem einführenden Text mitzuwirken.
Danke für dein Angebot, aber ich denke es gibt schon sehr viele Texte, welche die Basics mit der dahinterliegenden Mathematik recht klar darstellen, sofern man etwas mathematisches Verständnis mitbringt. Da wollte ich keinen weiteren dazu gesellen. Ich wollte (besonders als Grundlage für den zweiten Teil) mal versuchen auch Leute mitzunehmen, die bei Formeln immer gleich abschalten. Keine Ahnung, ob das letztlich eine gute Idee war, aber mal sehen.



rudi
Administrator
Administrator
Beiträge: 1479

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von rudi »

cantsin hat geschrieben: Fr 04 Aug, 2023 21:49 Machine Learning-KI = gedopte Markovketten.

Wer schon mal mit Markovketten gespielt hat, versteht das Prinzip.
Diffusions-Modelle als Teilgebiet der KI => full ack



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

rudi hat geschrieben: Fr 04 Aug, 2023 21:56
TheBubble hat geschrieben: Fr 04 Aug, 2023 20:59 Falls Interesse besteht könnte ich mir vorstellen, an einem einführenden Text mitzuwirken.
Danke für dein Angebot, aber ich denke es gibt schon sehr viele Texte, welche die Basics mit der dahinterliegenden Mathematik recht klar darstellen, sofern man etwas mathematisches Verständnis mitbringt. Da wollte ich keinen weiteren dazu gesellen. Ich wollte (besonders als Grundlage für den zweiten Teil) mal versuchen auch Leute mitzunehmen, die bei Formeln immer gleich abschalten. Keine Ahnung, ob das letztlich eine gute Idee war, aber mal sehen.
Klar gibt es sehr viele einführende Texte, vor allem viele mittelmäßige. Alle Berechnungsvorschriften, auch wenn sie noch so einfach sind, wegzulassen verkompliziert die Sache IMO jedoch gewaltig, denn das Prinzip eines Perzeptrons ist wirklich ganz einfach zu verstehen. Die darauf aufbauenden Netze/Graphen sind es im Grunde auch. Kombiniert mit einem einfachen Beispiel, dann versteht es fast jeder.

Bitte verstehe mich nicht falsch, möglicherweise ist das nur mein Eindruck, aber ich finde den Text viel zu unklar. Das kannst Du besser.



rudi
Administrator
Administrator
Beiträge: 1479

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von rudi »

Das kannst Du besser.
Whow, das triggert natürlich ;)
Aber vielleicht nochmal anders. Kurz gegoogelt, und beispielsweise das hier unter den ersten Treffern gefunden:
https://www.heise.de/ratgeber/Neuronale ... ?seite=all
Das ist jetzt mit etwas Mathe und doch (beim Querlesen) ziemlich gut und verständlich. Wüsste kaum, was man daran noch groß besser machen könnte. Ich denke, in diesem Bereich gibt es schon tausend gute Texte, da muss man nicht noch den 1001ten produzieren.



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

rudi hat geschrieben: Sa 05 Aug, 2023 07:42
Das kannst Du besser.
Whow, das triggert natürlich ;)
Ich will gar nicht triggern. Eigentlich geht es mit nur darum, dass viele für Laien gedachte Erklärungen viel zu schwammig sind. So gibt es im Grunde gar keine Chance den Vorgang wirklich zu verstehen.

Es reicht ja, ein oder zwei einfach nachvollziehbare konkrete Beispiele zu bringen. Man muss nicht im Detail erklären, wie und warum Stable Diffusion funktioniert.
rudi hat geschrieben: Sa 05 Aug, 2023 07:42 Aber vielleicht nochmal anders. Kurz gegoogelt, und beispielsweise das hier unter den ersten Treffern gefunden:
https://www.heise.de/ratgeber/Neuronale ... ?seite=all
Das ist jetzt mit etwas Mathe und doch (beim Querlesen) ziemlich gut und verständlich.
Wenn man will kann man die Grundideen IMO noch weniger "formal", dafür anschaulicher, beschreiben. Ich finde auch, dass viel zu viele Fachbegriffe fallen, ohne dass sie erklärt werden. Wenn man etwas nicht erklärt, kann man auch die Bezeichnung weglassen.
rudi hat geschrieben: Sa 05 Aug, 2023 07:42 Wüsste kaum, was man daran noch groß besser machen könnte. Ich denke, in diesem Bereich gibt es schon tausend gute Texte, da muss man nicht noch den 1001ten produzieren.
Ja, die die meist in Einführungen herangezogenen Modellprobleme sind fast ausgelutscht. Sie eignen sich als erste Einführung in die Thematik aber durchaus recht gut.

Und wie immer gilt auch hier: Das Bessere ist der Feind des Guten :)



Darth Schneider
Beiträge: 19501

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Darth Schneider »

Also ich denke es ist bestimmt nicht Rudis Schuld das ich den Text da oben noch nicht wirklich verstehe.
Eher meine Schuld, hab mich bisher einfach viel zu wenig mit dem Thema befasst.

Ich finde nicht das der Artikel unklar oder zu kompliziert geschrieben ist.
Gruss Boris



Frank Glencairn
Beiträge: 23126

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Frank Glencairn »

Darth Schneider hat geschrieben: Sa 05 Aug, 2023 08:54
Ich finde nicht das der Artikel unklar oder zu kompliziert geschrieben ist.
Ja, ich fand ihn auch nicht schwer zu verstehen.
Mag daran liegen daß ich mich schon seit ner ganzen Weile mit dem Thema beschäftige, aber um einfach mal ein Grundverständnis für die "Black Box" zu bekommen, ist das doch prima geschrieben.
Sapere aude - de omnibus dubitandum



Jalue
Beiträge: 1423

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Jalue »

Ich finde das Ganze ganz gut erklärt und verstehe das Prinzip, allerdings fehlt mir zum vollen Verständnis die Erklärung der technischen Umsetzung: Ist das Perpetron/Neutron eine Art Code-Snippet oder Hardware-basiert, so wie die Potenzialsenke (Pixel) auf einem Bildwandler? Und was sind die Schichten/Layer, in denen sie platziert sind? Sind das mehrere Chips "übereinander"? Hintereinander geschaltete Rechner? Oder ebenfalls nur verschiedene "Teilbereiche" eines Codes?

Von daher ist der Text ein bisschen so, als würde man jemanden versuchen zu erklären, warum ein Flugzeug fliegt, indem man ihm die Bernoulli-Gleichung erläutert, ohne zu erwähnen, dass es dazu bestimmter "Hardware" bedarf, also profilierter Tragflächen, irgendein Antrieb, usw.



berlin123
Beiträge: 724

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von berlin123 »

Jalue hat geschrieben: Sa 05 Aug, 2023 10:10 Ich finde das Ganze ganz gut erklärt und verstehe das Prinzip, allerdings fehlt mir zum vollen Verständnis die Erklärung der technischen Umsetzung: Ist das Perpetron/Neutron eine Art Code-Snippet oder Hardware-basiert, so wie die Potenzialsenke (Pixel) auf einem Bildwandler? Und was sind die Schichten/Layer, in denen sie platziert sind? Sind das mehrere Chips "übereinander"? Hintereinander geschaltete Rechner? Oder ebenfalls nur verschiedene "Teilbereiche" eines Codes?

Von daher ist der Text ein bisschen so, als würde man jemanden versuchen zu erklären, warum ein Flugzeug fliegt, indem man ihm die Bernoulli-Gleichung erläutert, ohne zu erwähnen, dass es dazu bestimmter "Hardware" bedarf, also profilierter Tragflächen, irgendein Antrieb, usw.
Das ist Software. Sie läuft bloß auf bestimmten Chips schneller als auf anderen. Zum Beispiel auf GPU besser als auf CPU.

Größte Open Source AI Spielwiese, mit tausenden neuronalen Netzen zum Download auf den eigenen Rechner: https://huggingface.co/



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

Ich freue mich für Rudi, dass sein Artikel gut ankommt. Allerdings befürchte ich meine Bedenken leider auch irgendwie bestätigt zu sehen:
Jalue hat geschrieben: Sa 05 Aug, 2023 10:10 Ich finde das Ganze ganz gut erklärt und verstehe das Prinzip, allerdings fehlt mir zum vollen Verständnis die Erklärung der technischen Umsetzung: Ist das Perpetron/Neutron eine Art Code-Snippet oder Hardware-basiert, so wie die Potenzialsenke (Pixel) auf einem Bildwandler? Und was sind die Schichten/Layer, in denen sie platziert sind? Sind das mehrere Chips "übereinander"? Hintereinander geschaltete Rechner? Oder ebenfalls nur verschiedene "Teilbereiche" eines Codes?
Das künstliche Neuron ist keine Hardware und auch kein Code-Snippet. Es ist einer der am häufigsten eingesetzten und wiederkehrenden Berechnungsvorschriften in einem neuronalen Netzwerk. Im Grunde eine Art immer wieder eingesetzter Block/Baustein. Man kann es als eine Art Blackbox auffassen. Die tatsächliche Umsetzung kann in Soft- und Hardware auf unterschiedliche Art und Weise erfolgen. Warum dabei GPUs und spezielle Hardware aus Gründen der Performance besser als allgemeine CPUs geeignet sind, würde jetzt zu weit führen.

Der Aufbau eines künstlichen Neurons ist immer gleich: Jedes einzelne Neuron hat nur einen Ausgabewert/Ausgang, kann aber viele Eingabewerte/Eingänge haben. Es wird meistens eine gewichtete Summe aus allen Eingabewerten gebildet, eine Konstante (Bias) hinzuaddiert und eine Funktion (Aktivierungsfunktion) auf die gebildete Summe angewendet. Fertig ist der Ausgabewert.

Genauer: Das Verhalten der Ausgabe am Ausgang wird, abgesehen vom Zustand der Eingänge, nur durch einen Satz an (konstanten) Gewichten, für jeden Eingang eines, einer weiteren Konstante (Bias) und der Wahl einer Aktivierungsfunktion beeinflusst: Ausgabe = Aktivierungsfunktion(Bias + Eingang1 * Gewicht1 + Eingang2 * Gewicht2 + ... ).

Analog zu elektronischen Schaltungen, wo aus einzelnen Bausteinen (z.B. Gattern) größere Schaltungen zusammengebaut werden, kann man viele dieser grundlegenden Blöcke miteinander verbinden bzw. verschalten. Meistens wird dies in Form von Schichten (Layern) getan und auch so beschrieben. Eine Schicht besteht häufig aus einer Anzahl an Blöcken (künstlichen Neuronen), die sich die gleichen Eingabewerte an ihren Eingängen teilen. Die Ausgänge der einen Schicht sind daher meistens die Eingänge der nachfolgenden Schicht.

Schichten kann man als einen weiteren Block oder Baustein auf höherer Ebene betrachten. Viele miteinander verbundene Schichten bilden dann das gesamte (Teil-) Netz, das man wiederum als Blackbox auf noch höherer Ebene ansehen kann.

Schichten sind auch in Hardware umgesetzt keine Chips die irgendwie "übereinander" gestapelt werden müssen.

Was ist das Besondere an Neuronalen Netzen? Es sind die vielen Gewichte und Bias-Konstanten der einzelnen künstlichen Neuronen, die sich mit Hilfe bekannter zusammengehöriger Paare aus Eingaben und Ausgaben algorithmisch und damit automatisiert bestimmen lassen (bestimmte Anforderungen an das Netz mit seinen Bausteinen müssen jedoch erfüllt sein). Dieser Vorgang wird als Lernen bezeichnet.

Man legt also das grundlegende Netz und die Aktivierungsfunktionen vorher fest und lässt sich die Gewichte und Bias-Konstanten danach anhand von Trainingsdaten mit einem Algorithmus bestimmen.

PS: Meine obige Beschreibung ist eine enorm verdichtete Kurzform, beschreibt nur den groben grundlegenden Aufbau der Netze und lässt viele viele Dinge offen bzw. unbeantwortet. Bei ernsthaftem Interesse rate ich dringend zu entsprechender (offline) Literatur.
Zuletzt geändert von TheBubble am Sa 05 Aug, 2023 12:04, insgesamt 3-mal geändert.



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

Wie kann man die Gewichte verstehen? Beispiel: 1 Output verteilt sich auf 4 Inputs der nächsten Schicht. Werden die dann einfach 1/4, 1/2, 3/4 und 1 gewichtet oder liegen dem komplexe mathematische Modelle (vielleicht sogar je nach Aufgabe anders) zu Grunde?



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

dienstag_01 hat geschrieben: Sa 05 Aug, 2023 11:43 Wie kann man die Gewichte verstehen? Beispiel: 1 Output verteilt sich auf 4 Inputs der nächsten Schicht. Werden die dann einfach 1/4, 1/2, 3/4 und 1 gewichtet oder liegen dem komplexe mathematische Modelle (vielleicht sogar je nach Aufgabe anders) zu Grunde?
Die Gewichte eines künstlichen Neurons werden in der Praxis erst im Trainingsschritt per Algorithmus ermittelt. Bei ganz einfachen Beispielen, kann man sie natürlich auch per Hand festlegen.

Die Ausgabewerte einer vorangehenden Schicht können bzw. werden als Eingabe der nächsten Schicht verwendet. Die Anzahl muss zueinander passen. Bei der Verbindung von Schichten kommen (in der Regel) keine zusätzlichen Gewichte im Rahmen der Verbindung zwischen zwei als Blackbox anzusehenden Schichten zum Einsatz. Gewichte sind dann nur Teil der einzelnen Neuronen, die sich innerhalb einer Schicht befinden bzw. sie ausmachen.

Im Spezialfall so genannter Fully-Connected-Layers ist jedes Neuron seiner Schicht mit allen Eingängen seiner Schicht (und so in der Regel mit allen Ausgängen der vorangehenden Schicht) verbunden. Die Anzahl der Ausgänge der Schicht entspricht dann der Anzahl an Neuronen (da jedes Neuron immer genau einen Ausgabewert liefert). Jedes Neuron einer solchen Schicht hat seine eigenen Gewichte (und den Bias). Die Anzahl unabhängige Gewichte in einer Fully-Connected-Layer ist damit Anzahl der Eingänge mal Anzahl der Neuronen in der Schicht. Die Anzahl der Bias-Konstanten einer Schicht entspricht der Anzahl der Neuronen in der Schicht.

Ich vermute ich weiß, was noch zum Verständnis fehlt. Hier wäre jetzt ein Schaubild ideal, leider kann ich im Moment keines auf die Schnelle machen.

Ansonsten sind die Gewichte einfach nur reelle Zahlen.



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

TheBubble hat geschrieben: Sa 05 Aug, 2023 12:01
dienstag_01 hat geschrieben: Sa 05 Aug, 2023 11:43 Wie kann man die Gewichte verstehen? Beispiel: 1 Output verteilt sich auf 4 Inputs der nächsten Schicht. Werden die dann einfach 1/4, 1/2, 3/4 und 1 gewichtet oder liegen dem komplexe mathematische Modelle (vielleicht sogar je nach Aufgabe anders) zu Grunde?
Die Gewichte eines künstlichen Neurons werden in der Praxis erst im Trainingsschritt per Algorithmus ermittelt. Bei ganz einfachen Beispielen, kann man sie natürlich auch per Hand festlegen.

Die Ausgabewerte einer vorangehenden Schicht können bzw. werden als Eingabe der nächsten Schicht verwendet. Die Anzahl muss zueinander passen. Bei der Verbindung von Schichten kommen (in der Regel) keine zusätzlichen Gewichte im Rahmen der Verbindung zwischen zwei als Blackbox anzusehenden Schichten zum Einsatz. Gewichte sind dann nur Teil der einzelnen Neuronen, die sich innerhalb einer Schicht befinden bzw. sie ausmachen.

Im Spezialfall so genannter Fully-Connected-Layers ist jedes Neuron seiner Schicht mit allen Eingängen seiner Schicht (und so in der Regel mit allen Ausgängen der vorangehenden Schicht) verbunden. Die Anzahl der Ausgänge der Schicht entspricht dann der Anzahl an Neuronen (da jedes Neuron immer genau einen Ausgabewert liefert). Jedes Neuron einer solchen Schicht hat seine eigenen Gewichte (und den Bias). Die Anzahl unabhängige Gewichte in einer Fully-Connected-Layer ist damit Anzahl der Eingänge mal Anzahl der Neuronen in der Schicht. Die Anzahl der Bias-Konstanten einer Schicht entspricht der Anzahl der Neuronen in der Schicht.

Ich vermute ich weiß, was noch zum Verständnis fehlt. Hier wäre jetzt ein Schaubild ideal, leider kann ich im Moment keines auf die Schnelle machen.

Ansonsten sind die Gewichte einfach nur reelle Zahlen.
Das hilft mir schon weiter, weil ich mich noch immer frage, was ist das Netz (mit seiner Mathe) und was sind die Daten bzw. an welcher Stelle kommen die ins Spiel. Und du schreibst gerade, die kommen bei den Gewichten ins Spiel.
Wahrscheinlich auch bem bias.



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

dienstag_01 hat geschrieben: Sa 05 Aug, 2023 12:20 Das hilft mir schon weiter, weil ich mich noch immer frage, was ist das Netz (mit seiner Mathe) und was sind die Daten bzw. an welcher Stelle kommen die ins Spiel. Und du schreibst gerade, die kommen bei den Gewichten ins Spiel.
Wahrscheinlich auch bem bias.
Die Daten im Sinne der Eingabedaten? Bei der Anwendung eines fertigen Netzes sind dies die Eingabewerte für die erste Schicht aus künstlichen Neuronen. Oft werden die Eingabewerte auch als Eingabeschicht (input layer) bezeichnet bzw. als solche dargestellt.

Die Gewichte und Bias-Werte sind bei der Anwendung eines fertigen Netzes feste Konstanten. Die Eingabewerte sind natürlich variabel. Die Ausgabewerte werden einfach ausgerechnet.

Lediglich beim Training werden die Gewichte und Bias-Werte als noch zu bestimmende Variablen betrachtet. Hierbei kann man dann die bekannten Paare aus Eingabe- und Ausgabewerten (die Trainingsdaten) als konstant ansehen.



dienstag_01
Beiträge: 13472

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von dienstag_01 »

TheBubble hat geschrieben: Sa 05 Aug, 2023 12:30
dienstag_01 hat geschrieben: Sa 05 Aug, 2023 12:20 Das hilft mir schon weiter, weil ich mich noch immer frage, was ist das Netz (mit seiner Mathe) und was sind die Daten bzw. an welcher Stelle kommen die ins Spiel. Und du schreibst gerade, die kommen bei den Gewichten ins Spiel.
Wahrscheinlich auch bem bias.
Die Daten im Sinne der Eingabedaten? Bei der Anwendung eines fertigen Netzes sind dies die Eingabewerte für die erste Schicht aus künstlichen Neuronen. Oft werden die Eingabewerte auch als Eingabeschicht (input layer) bezeichnet bzw. als solche dargestellt.

Die Gewichte und Bias-Werte sind bei der Anwendung eines fertigen Netzes feste Konstanten. Die Eingabewerte sind natürlich variabel. Die Ausgabewerte werden einfach ausgerechnet.

Lediglich beim Training werden die Gewichte und Bias-Werte als noch zu bestimmende Variablen betrachtet. Hierbei kann man dann die bekannten Paare aus Eingabe- und Ausgabewerten (die Trainingsdaten) als konstant ansehen.
Daten im Sinne von Aufgabenstellung. Gibt es in diesem Pixelbrei ein Gesicht? Wäre Aufgabenstellung (Pixelbrei als Daten). Trainingsdaten wären Bilder mit Gesichtern, beim Durchlaufen des Netztes optimieren die die Werte von Gewicht und bias.
Richtig?



Jalue
Beiträge: 1423

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Jalue »

Hey, danke für die Erklärungen. In einem Spielfilm über die Finanzmarkrise spielt Jeremy Irons einen Bankmanager. Als einer seiner Analysten ihm die komplexen Hintergründe des Crahs zu erklären versucht, unterbricht Irons ihn und sagt: "Erklären Sie es mir so, wie sie es einem Hund erklären würden."

Ich denke, das ist auch bei diesem Thema (und zumindest bezogen auf die meisten von uns "Film-Heinis") ein guter Ratschlag ;-)

Also, der "Hund Jalue" versteht die Sache so: Da gibt's die Black Box "Neuron" mit X Eingängen. Der Input aus dem Eingängen wird in der Black Box -qua einprogrammierten Erfahrungswerten- vermittels Bias und Gewichten so modifiziert, das ein wahrscheinlich korrekter, summierter Output dabei herauskommt. Das wird nun an den nächsten Layer aus Neuronen weitergeleitet, in dem, so meine Vermutung, die Ergebnisse aus dem ersten Layer weiter summiert und fehlerkorrigiert werden. Je mehr Neuronen pro Layer und je mehr Layer insgesamt, desto präziser das Endergebnis und desto schneller der Prozess. So in etwa? Aber was mir bei all dem aber nicht klar ist: Wie kann so ein "neuronales Netzwerk" eigenständig lernen? Denn das ist ja das eigentlich Neue daran oder?



bennik88
Beiträge: 62

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von bennik88 »

Super Artikel. Selbst für diejenigen die sich bereits mit AI auskennen bestimmt ein interessanter reminder.



Skeptiker
Beiträge: 5940

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von Skeptiker »

Jalue hat geschrieben: Sa 05 Aug, 2023 13:31 ... In einem Spielfilm über die Finanzmarkrise spielt Jeremy Irons einen Bankmanager. Als einer seiner Analysten ihm die komplexen Hintergründe des Crahs zu erklären versucht, unterbricht Irons ihn und sagt: "Erklären Sie es mir so, wie sie es einem Hund erklären würden." ..
..
Etwas mehr, als mit "wuff, wuff" ins Forum zu bellen, ist aber doch erfreulich!

Wuff!
(muss mich auch noch perzeptronisch schlauer machen, als ich jetzt schon (noch nicht) bin ;)



cantsin
Beiträge: 14277

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von cantsin »

Hinsichtlich des Perzeptrons - die Grundlagentechnologie (neuronaler Netze) wurde schon 1957 entwickelt:



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

dienstag_01 hat geschrieben: Sa 05 Aug, 2023 13:29 Daten im Sinne von Aufgabenstellung. Gibt es in diesem Pixelbrei ein Gesicht? Wäre Aufgabenstellung (Pixelbrei als Daten). Trainingsdaten wären Bilder mit Gesichtern, beim Durchlaufen des Netztes optimieren die die Werte von Gewicht und bias.
Richtig?
Die Pixel/Helligkeitswerte von Bitmaps mit und ohne Gesichter wären die Eingabe. Soweit alles richtig. Beim Anwenden eines Netzes zum Erkennen von Gesichtern wird dann entschieden, ob es sich um ein Gesicht handelt (ja/nein Antwort). Das Netz unterscheidet somit Bitmaps von Gesichtern von allen übrigen Bitmaps.

Beim Training lässt man das Netz mit den bisherigen Gewichten auch auf die Bitmaps (mit und ohne Gesicht) los, kennt aber die jeweils richtige Antwort. Aufgrund der Abweichungen von der erwarteten Antwort (dem "Fehler", ausgedrückt durch eine Fehlerfunktion) werden anschließend die Gewichte (+Bias) in Schritten so angepasst, dass der Fehler (über alle Trainingsdaten hinweg) möglichst minimal wird. Ist der Fehler gering genug, dann ist man fertig und die Gewichte (+Bias) sind festgelegt.



TheBubble
Beiträge: 1910

Re: Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

Beitrag von TheBubble »

Jalue hat geschrieben: Sa 05 Aug, 2023 13:31 Also, der "Hund Jalue" versteht die Sache so: Da gibt's die Black Box "Neuron" mit X Eingängen. Der Input aus dem Eingängen wird in der Black Box -qua einprogrammierten Erfahrungswerten- vermittels Bias und Gewichten so modifiziert, das ein wahrscheinlich korrekter, summierter Output dabei herauskommt.
Ich bin mir jetzt nicht ganz sicher, wie ich Dich verstehen soll. Die Eingabe wird jedenfalls an ein oder mehrere künstliche Neuronen weitergegeben und von ihnen wird jeweils aus den Eingaben eine gewichtete Summe als Ausgabe berechnet.
Jalue hat geschrieben: Sa 05 Aug, 2023 13:31 Das wird nun an den nächsten Layer aus Neuronen weitergeleitet, in dem, so meine Vermutung, die Ergebnisse aus dem ersten Layer weiter summiert und fehlerkorrigiert werden. Je mehr Neuronen pro Layer und je mehr Layer insgesamt, desto präziser das Endergebnis und desto schneller der Prozess. So in etwa?
Ob ein oder mehrere Schichten muss man als Blackbox sehen, die vom Problem abhängt. Jedenfalls kann man nicht grundsätzlich sagen, dass viele Schichten und viele Neuronen immer bessere Ergebnisse liefern (im Extremfall werden überflüssige Neuronen durch entsprechende Null-Gewichte einfach ausgeblendet).

Man kann auch nicht grundsätzlich sagen, dass weitere Schichten ein Ergebnis verfeinern, so dass man z.B. schon nach der Hälfte der Schichten abbrechen könnte, um ein zwar ungenaueres aber doch in die richtige Richtung gehendes Ergebnis zu extrahieren.

Je nach Aufgabenstellung könnte sogar eine Schicht bestehend aus einem einzigen Perzeptron ausreichen (z.B. Nachbildung der booleschen NAND Funktion mittels Perzeptron).

Je mehr Neuronen und je mehr Schichten, desto länger dauert die Berechnung, denn es muss viel mehr multipliziert und aufsummiert werden. Bei großen Netzen kann man mitunter nicht so genau sagen, was in welchem Teil "passiert", d.h. inwieweit welcher Teil des Netzes zu welchem Teil der Entscheidungsfindung beiträgt. Das macht sie Sache unter Umständen problematisch, denn man kann die Korrektheit nicht so einfach beweisen, wie man es bei herkömmlicher Programmlogik kann. Auch weiß man nicht sicher, ob womöglich Trainingsdaten nicht doch irgendwo im Netz unverfälscht derart als Gewichte gespeichert werden, dass sie über geschickte Eingaben wieder herausgeholt werden können. Das lässt die Frage nach möglichen Urheberrechtsverletzungen aufkommen.
Jalue hat geschrieben: Sa 05 Aug, 2023 13:31 Aber was mir bei all dem aber nicht klar ist: Wie kann so ein "neuronales Netzwerk" eigenständig lernen? Denn das ist ja das eigentlich Neue daran oder?
Das neue ist, dass man die Gewichte im Netz mit Hilfe vieler Trainingsdaten algorithmisch bestimmen kann, man also nur die Struktur und Aktivierungsfunktionen vorgibt. Darüber hinaus muss man auch nicht verstehen, warum das fertige Netz funktioniert.

Eigenständig lernen kann ein einfaches feedforward Netz, wie wir es hier besprochen haben, jedoch nicht, d.h. bei seiner reinen Anwendung verändert es nicht automatisch seine Gewichte. Veränderungen dieser muss man schon explizit anstoßen/durchführen/umsetzen.

Es ist natürlich möglich ein auf neuronalen Netzen basierendes System zu bauen das sich weiter anpasst, um aus bekannt gewordenen Fehlern zu lernen oder sich anderweitig zu adaptieren (z.B. auf die Handschrift einer bestimmten Person, nachdem es zunächst anhand der Handschrift der Durchschnittsbevölkerung trainiert wurde).



 Aktuelle Beiträge [alle Foren]
 
» Blackmagic PYXIS 6K: Die Vollformat „Box“-Kamera mit Viewfinder, 2x SDI, Sideplates (!) uvm.
von iasi - So 20:33
» Panasonic HC X2000 und Rode
von rush - So 20:11
» Was schaust Du gerade?
von Frank Glencairn - So 19:58
» Linsen (Vintage, Anamorphic & Co.)
von Bildlauf - So 19:54
» Was hast Du zuletzt gekauft?
von Darth Schneider - So 19:24
» Air2S Problem Speicherkarte
von gammanagel - So 18:54
» CyberLink PowerDirector: Noch mehr integrierte KI-Effekte für Video
von medienonkel - So 18:40
» Anfänger im Schnitt Stunden- bzw. Tageshonorar Beteiligung am Gewinn
von Bergspetzl - So 18:17
» AOCs neue Preisbrecher-Monitore für Bildverarbeitung
von cantsin - So 17:51
» Tilta Khronos Zubehör-System fürs iPhone 15 Pro
von iasi - So 16:17
» Was hörst Du gerade?
von klusterdegenerierung - So 1:19
» Ärger mit Micro Sandisk extr Pro
von macaw - So 0:15
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von roki100 - So 0:04
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von soulbrother - Sa 22:53
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Sa 22:10
» AJA kündigt zahlreiche Produkt-Updates mit neuen Funktionen an
von medienonkel - Sa 19:26
» Meine erste Kritik in Filmthreat :-)
von Darth Schneider - Sa 15:26
» Werbung - es geht auch gut ;) Sammelthread
von Alex - Sa 12:37
» Sony bringt weiteres Weitwinkel-Zoomobjektiv - FE 16-25mm F2.8 G
von TomStg - Sa 9:27
» Samyang V-AF - Autofokus-Objektive für (Sony Alpha-)Filmer
von radneuerfinder - Fr 23:35
» Dank KI: Propagandafilm leichtgemacht
von macaw - Fr 21:12
» Netflix „Ripley“
von Frank Glencairn - Fr 19:17
» Insta360 X4 360°-Action-Kamera filmt in 8K
von Achim KCW - Fr 18:35
» Blackmagic URSA Cine 12K - 16 Blendenstufen für 15.000 Dollar!
von Frank Glencairn - Fr 17:33
» Fujinon XF 18-120mmF4 LM OZ WR - Erfahrungsbericht
von Skeptiker - Fr 15:44
» BADEN GEHEN | Making Of + Teaser
von Clemens Schiesko - Fr 15:38
» Angelbird MagSafe externe Recording Modules - nicht nur für iPhones
von soulbrother - Fr 11:47
» Blackmagic URSA Cine 12K erklärt: Dynamikumfang, Monitoring-Setup uvm...
von slashCAM - Fr 11:39
» Messevideo: Atomos NINJA PHONE erklärt
von rob - Fr 10:02
» Western Digital stellt weltweit erste 4 TB SD-Karte vor
von dienstag_01 - Fr 10:00
» Microsoft VASA-1 generiert realistische Video-Portraits aus einer Audiodatei
von 7River - Fr 7:21
» Repariert bebob noch ältere Produkte?
von Skeptiker - Fr 0:01
» NAB 2024 Neuigkeiten
von pillepalle - Do 22:35
» Suche JVC DT-V1910CG oder Sony BVM D/A-Serie Monitore
von guut - Do 19:16
» Western Digital Ultrastar Transporter: 368 TB in der Aktentasche
von juergensaibic - Do 15:54