Logo Logo
/// 

Grundlagen : Künstliche Intelligenz einfach erklärt - Perzeptron, Backpropagation und Loss

von Fr, 4.August 2023 | 4 Seiten | diesen Artikel auf einer Seite lesen

 Feed Forward und Backpropagation
 Loss und Overfitting

Neue Echtzeit 3D-Effekte von Canopus



Feed Forward und Backpropagation



Wenn wir hier irgendwelche Daten in die ersten Input-Neuronen "füttern", so werden diese über die gewichteten Verbindungen zu den Ausgabe Neuronen weitergeleitet. Diese Berechnung (die eigentlich "nur" eine Transformation mit sehr vielen Parametern ist) nennt man auch allgemein "Feed Forward".

Wenn wir hierfür ein "frisches" (also untrainiertes) Netz mit zufälligen Gewichten benutzen, wird die Ausgabe nichts mit unserer gewünschten Ausgabe zu tun haben. Es kommt einfach nur ein wirrer Output an den Ausgabe-Neuronen an. Aber hier kommt nun eine wichtige fundamentale Idee der KI ins Spiel:

Wenn wir aufgrund von echten Beispiel-Paaren wissen, welche Ausgabe aus einem Output-Neuron kommen soll, nachdem wir den zugehörigen Input an den Input-Neuronen präsentiert haben, können wir dies einfach lernen. Und zwar, indem wir nach jedem Input/Output-Beispiel die Gewichte der Verbindungen nach einer einfachen Regel ändern: So geben wir den Verbindungen im Modell ein bisschen mehr Gewicht, die zum "richtigen", gewollten Output beigetragen haben. Die Gewichte der "falschen" Verbindungen stufen wir dagegen etwas herab. Wenn wir dies mit zigtausenden Beispielen "durchspielen" und die Gewichte zwischen allen Perzepten bei jedem Beispiel ein kleines bisschen ändern, lernt das Netz über die Zeit implizite Zusammenhänge zwischen Eingabe-Daten und den Ausgabe-Daten. Dieses Korrigieren der Gewichte erfolgt meist über eine Kettenregel mit Ableitungen und nennt sich übrigens "Backpropagation".



Loss und Overfitting



Die Qualität eines Modells lässt sich jederzeit feststellen, indem man mit einer Kennzahl den Unterschied zwischen der Soll- und der Ist-Ausgabe des Outputs während des Lernens beobachtet. Diese Kennzahl nennt man üblicherweise "Loss". Füttert man sein Modell mit sehr vielen Beispieldaten, so fällt der Loss üblicherweise für eine gewisse Zeit stetig ab.

Bereits mit diesem einfachen Lernprinzip lässt sich viel anstellen, sofern man ausreichend relevante Daten zur Verfügung hat. Ein Problem aus der Praxis ist jedoch, was solche Netze letztlich lernen. Denn ist das Netz für das eigentliche Problem zu groß ausgelegt und/oder lässt man es zu lange lernen, so lernt das Netz zu viele Details der Trainigsdaten - was man dann "Overfitting" nennt. In der Regel will man jedoch primär, dass ein Netz "nur" die generellen Zusammenhänge lernt, und gerade keine spezifischen Details. Im Falle von generativer AI wäre die stärkste Form von Overfitting, wenn das Modell die zum Training verwendeten Bilder 1:1 reproduzieren könnte.

Das Gegenteil gibt es ebenfalls. Wenn das Netz zu klein ausgelegt ist oder die Lernphase zu kurz ist, dann kommt es zu keinen vernünftigen Ergebnissen.

Ein dritte häufige Fehlerquelle ist die Qualität der Daten. Sind die gesuchten Regeln und Zusammenhänge nicht in den Daten vorhanden, so können sie auch nicht von einem KI-Modell entdeckt werden.

Dies waren einmal in aller Einfachheit die Grundbegriffe des Lernens mit neuronalen Netzen. Im nächsten Artikel wollen wir sehen, wie sich dies alles mit neuronalen Autoencodern, Diffusionsmodellen und dem ominösen Latent Space zusammenfügt.

Und wer nun etwas Blut geleckt hat und sich noch weiter mit der technischen Funktionsweise von einfachen neuronalen Netzen befassen will, findet zum Beispiel hier einen schönen Online-Simulator im Browser zum Herumspielen. Allerdings wird man hierfür dann doch auch etwas mathematisches Verständnis mitbringen müssen.


Das Perzeptron


4 Seiten:
Einleitung / Wirklich eine Blackbox?
Das Perzeptron
Feed Forward und Backpropagation / Loss und Overfitting
  

[36 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
cantsin    15:06 am 10.8.2023
Mal 'ne neugierige Praxisfrage: Entspricht die bei Stable Diffusion in "Steps" einstellbare Rechentiefe der Anzahl der Schichten des neuronalen Netzwerks? Denn der Effekt dieses...weiterlesen
Jalue    11:08 am 10.8.2023
@TheBubble: Habe deine Antwort erst jetzt entdeckt (die "Slashcam-KI" benachrichtigt scheinbar nicht immer zuverlässig über Antworten ;-). Vielen Dank, dass du dir die Mühe...weiterlesen
TheBubble    23:03 am 7.8.2023
Ich bin mir jetzt nicht ganz sicher, wie ich Dich verstehen soll. Die Eingabe wird jedenfalls an ein oder mehrere künstliche Neuronen weitergegeben und von ihnen wird jeweils aus...weiterlesen
[ Alle Kommentare ganz lesen]

Weitere Artikel:


Grundlagen: Wichtige KI-Begriffe einfach erklärt - Was bedeutet Seed und wofür braucht man das? Di, 11.April 2023
Nein, Generative KI geht ganz sicher nicht mehr weg und darum ist es sicherlich niemals zu früh, sich mit den Basics vertraut zu machen. Wie beispielsweise mit dem sogenannten Seed...
Grundlagen: Megatrend oder Nischen-Technologie? - Cloud-Services in der Videoproduktion Fr, 29.April 2022
Auf der NAB 2022 hat es letztlich nur ein Thema geschafft, eine dominante Rolle zu spielen: Die Cloud. Oder besser gesagt, Cloud-Lösungen, die speziell für die Videoproduktion angeboten werden. Was diese bringen können und für wen, fassen wir hier einmal zusammen.
Grundlagen: Was ist eigentlich eine LUT? Fr, 6.August 2021
Wer keinen tiefen Einblick in Video- und Filmtechnologie hat, versteht vielleicht gar nicht, was eine LUT eigentlich ist. Dem wollen wir mit etwas Grundlagenwissen nachhelfen...
Grundlagen: Investitionen und Steuern für selbständige / freiberufliche Filmer Di, 26.Januar 2021
Steuern und Finanzen sind durchaus für viele Filmemacher relevant. Darum wollten wir auch mal ein paar grundlegende Worte dazu verlieren...
Grundlagen: Richtig satt - Was bei der Sättigung eines Video-Clips falsch laufen kann Di, 21.Juli 2020
Grundlagen: Warum man Camcorder/Kameras nicht einfach als Webcams nutzen kann Di, 14.April 2020
Grundlagen: Was ist ETTR und wann macht es Sinn? Di, 17.Dezember 2019
Grundlagen: Warum braucht(e) man eine Videoschnittkarte? Do, 28.November 2019
Grundlagen: Die Philosophie des Editings - Typische Schritte des Filmschnitts Do, 19.Juli 2018
Grundlagen: Rigkomponenten: Schärfezieheinrichtung (Follow Focus) Teil 2 Di, 18.August 2015
Grundlagen: Rigkomponenten: Schärfezieheinrichtung (Follow Focus) Teil 1 Di, 4.August 2015
Grundlagen: Mikrofone Fr, 5.Juli 2013


[nach oben]


[nach oben]















Artikel-Übersicht



Artikel-Kategorien:



update am 21.September 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*