Grundwissen zur Künstlichen Intelligenz

1. Erkläre die Begriffe „Künstliche Intelligenz“, „Maschinelles Lernen“, „Neuronale Netzwerke“
2. Welche grundlegenden Prinzipien und Abläufe liegen der prozeduralen Programmierung, der objektorientierten Programmierung und neuronalen Netzwerken zugrunde, und worin unterscheiden sie sich? Erkläre an einem konkreten Beispiel.
3. Wie funktionieren Neuronale Netzwerke und Maschinelles Lernen konkret? Erkläre die Begriffe:
   1. Neuronen, Gewichte (weights), Bias (Schwellwert)
   2. Schichten (Layers)
   3. Kostenfunktion
   4. Backpropagation
   5. Aktivierungsfunktion (z.B. Sigmoid)
4. LLMs
   1. Erkläre grob, was ein LLM ist und wie es funktioniert
   2. Inwieweit kann man ein LLM als eine Mathematische Funktion bezeichnen?
   3. Was versteht man unter Pre-Training und RLHF (Reinforcement Learning from Human Feedback)?
   4. Warum brachte die Transformer-Architektur einen gewaltigen Vorteil gegenüber herkömmlichen Verfahren und worin besteht sie grob gesagt?
   5. Wie werden Wörter codiert? Was versteht man unter dem „Attention-Mechanismus“

Neuronale Netzwerke: Deep Learning (3Blue1Brown)

Backpropagation (3Blue1Brown)

LLMs kurz erklärt (3Blue1Brown)