ef:ki:llm

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung		 Vorhergehende Überarbeitung
ef:ki:llm [2026/04/22 18:02] – [3. Training von LLMs] emmeneggergef:ki:llm [2026/04/23 12:32] (aktuell) – [5. GPUs] emmeneggerg
Zeile 11: Zeile 11:
 </WRAP> </WRAP>
  
-<WRAP important>+<WRAP info>
 Ein LLM arbeitet nicht direkt mit Wörtern, sondern mit Tokens. Ein solches Token kann verschiedene Formen haben z.B.  Ein LLM arbeitet nicht direkt mit Wörtern, sondern mit Tokens. Ein solches Token kann verschiedene Formen haben z.B. 
   * ein ganzes Wort (Baum)   * ein ganzes Wort (Baum)
Zeile 30: Zeile 30:
  
 Das Modell wählt dabei nicht immer strikt das wahrscheinlichste Token aus, sondern variiert seine Auswahl leicht, um natürlichere und abwechslungsreichere Texte zu erzeugen. Dies erklärt, weshalb bei identischen Eingaben unterschiedliche Antworten entstehen können. Das Modell wählt dabei nicht immer strikt das wahrscheinlichste Token aus, sondern variiert seine Auswahl leicht, um natürlichere und abwechslungsreichere Texte zu erzeugen. Dies erklärt, weshalb bei identischen Eingaben unterschiedliche Antworten entstehen können.
 +
 +Sobald ein Token dem Text hinzugefügt wurde, beginnt das Ganze von neuem und der nächste Token wird vorhergesagt. Nun gehört das vorher generierte Token zum gegebenen Text. Es folgt einem autoregressiven Modell. 
 +
 +<WRAP box>
 +Beispiel: Starttext: «Der Hund». Das LLM ergänzt das Token «rennt». Nun ist der neue Kontext: «Der Hund rennt» und ein neues Token wird generiert.
 +</WRAP>
 +
  
 Um solche Wahrscheinlichkeiten berechnen zu können, wird ein LLM mit enormen Mengen an Textdaten trainiert, die häufig aus dem Internet stammen. Um solche Wahrscheinlichkeiten berechnen zu können, wird ein LLM mit enormen Mengen an Textdaten trainiert, die häufig aus dem Internet stammen.
Zeile 35: Zeile 42:
 ===== 3. Training von LLMs ===== ===== 3. Training von LLMs =====
 Für das Training kann man sich das LLM wie eine riesige Maschine mit unzähligen Hebeln vorstellen, die richtig eingestellt werden muss. Wird die Position eines Hebels verändert, also die Einstellungen verstellt, kommt ein anderes Ergebnis heraus. Bei einem LLM sind es jedoch keine Hebel, sondern sogenannte Weights (Gewichte)/Parameter, die je nach Einstellung andere Wahrscheinlichkeiten für die Tokens berechnen.  Für das Training kann man sich das LLM wie eine riesige Maschine mit unzähligen Hebeln vorstellen, die richtig eingestellt werden muss. Wird die Position eines Hebels verändert, also die Einstellungen verstellt, kommt ein anderes Ergebnis heraus. Bei einem LLM sind es jedoch keine Hebel, sondern sogenannte Weights (Gewichte)/Parameter, die je nach Einstellung andere Wahrscheinlichkeiten für die Tokens berechnen. 
-{{ :ef:ki:gewichtseinstellungen.png?600 |Je nach Einstellung der Parameter ändern sich die Vorhersagen.}}+{{ :ef:ki:gewichtseinstellungen.png?900 |Je nach Einstellung der Parameter ändern sich die Vorhersagen.}} 
 +//Je nach Einstellung der Parameter ändern sich die Vorhersagen.//
  
 ==== Training Schritt 1 ==== ==== Training Schritt 1 ====
Zeile 44: Zeile 52:
 Die Anzahl an Berechnungen, die es braucht, um ein LLM zu trainieren, sind unglaublich zahlreich. Dies liegt unter anderem an den vielen Parametern, die eingestellt werden müssen, und an den Bergen von Trainingsdaten, die dazu verwendet werden.  Die Anzahl an Berechnungen, die es braucht, um ein LLM zu trainieren, sind unglaublich zahlreich. Dies liegt unter anderem an den vielen Parametern, die eingestellt werden müssen, und an den Bergen von Trainingsdaten, die dazu verwendet werden. 
  
 +<WRAP box>
 Gedankenexperiment: Stell dir vor, pro Sekunde könnte man eine Milliarde Additionen und eine Milliarde Multiplikationen durchführen. Wie lange würde es wohl gehen, um ein LLM zu trainieren? 1 Woche? 1 Jahr? 1'000 Jahre?  Gedankenexperiment: Stell dir vor, pro Sekunde könnte man eine Milliarde Additionen und eine Milliarde Multiplikationen durchführen. Wie lange würde es wohl gehen, um ein LLM zu trainieren? 1 Woche? 1 Jahr? 1'000 Jahre? 
  
 Es sind über 100'000'000 Jahre!  Es sind über 100'000'000 Jahre! 
 +</WRAP>
  
 ==== Training Schritt 2: RLHF - Reinforcement Learning with Human Feedback ==== ==== Training Schritt 2: RLHF - Reinforcement Learning with Human Feedback ====
 Nach dem ersten Trainingsschritt kann das Modell zwar Texte vervollständigen, ist jedoch noch nicht optimal auf die Interaktion mit Menschen abgestimmt.  Nach dem ersten Trainingsschritt kann das Modell zwar Texte vervollständigen, ist jedoch noch nicht optimal auf die Interaktion mit Menschen abgestimmt. 
- 
 Deshalb werden zusätzliche Trainingsschritte durchgeführt, bei denen Menschen die Antworten des Modells bewerten. Das Modell erhält Rückmeldungen darüber, welche Antworten hilfreich und korrekt sind und welche nicht. Auf dieser Grundlage wird es weiter optimiert, um als hilfreicher Assistent zu fungieren. Deshalb werden zusätzliche Trainingsschritte durchgeführt, bei denen Menschen die Antworten des Modells bewerten. Das Modell erhält Rückmeldungen darüber, welche Antworten hilfreich und korrekt sind und welche nicht. Auf dieser Grundlage wird es weiter optimiert, um als hilfreicher Assistent zu fungieren.
  
Zeile 57: Zeile 66:
  
 Der Transformer ermöglicht es, einen gesamten Textabschnitt gleichzeitig zu analysieren und Zusammenhänge zwischen verschiedenen Teilen des Textes herzustellen. Der Transformer ermöglicht es, einen gesamten Textabschnitt gleichzeitig zu analysieren und Zusammenhänge zwischen verschiedenen Teilen des Textes herzustellen.
 +
 +{{ :ef:ki:altes_vs._neues_model.png?nolink&600 |}}
 +//Bild: Wie frühere Modelle Sätze bearbeiten und wie Transformer dies tun.//
  
 Da ein Transformer nicht direkt mit rohem Text arbeiten kann, wird dieser zunächst in Tokens zerlegt (Tokenisierung). Anschliessend werden die Tokens in sogenannte Vektoren umgewandelt, die in einem mehrdimensionalen Raum angeordnet sind. Diese Vektoren werden als Embeddings bezeichnet. Wörter mit ähnlicher Bedeutung liegen dabei nahe beieinander, während inhaltlich unterschiedliche Wörter weiter voneinander entfernt sind. Die Vektoren für «Mann» und «Frau» liegen nahe beieinander, während der Vektor für «König» viel weiter weg ist. Die Bedeutung wird als Position im Raum dargestellt.  Da ein Transformer nicht direkt mit rohem Text arbeiten kann, wird dieser zunächst in Tokens zerlegt (Tokenisierung). Anschliessend werden die Tokens in sogenannte Vektoren umgewandelt, die in einem mehrdimensionalen Raum angeordnet sind. Diese Vektoren werden als Embeddings bezeichnet. Wörter mit ähnlicher Bedeutung liegen dabei nahe beieinander, während inhaltlich unterschiedliche Wörter weiter voneinander entfernt sind. Die Vektoren für «Mann» und «Frau» liegen nahe beieinander, während der Vektor für «König» viel weiter weg ist. Die Bedeutung wird als Position im Raum dargestellt. 
  
-{{:bild_embeddings.png|}}+{{ :ef:ki:embeddings.png?nolink&600 |Beispiel wie Wörter als Embeddings dargestellt werden}} 
 +//Bild: Beispiel wie Wörter als Embeddings dargestellt werden//
  
 Der Transformer besteht aus wiederkehrenden Schichten von Attention-Mechanismen und FNN. Der Transformer besteht aus wiederkehrenden Schichten von Attention-Mechanismen und FNN.
-  * Attention-Mechanismus (Aufmerksamkeitsmechanismus) 
-  * FNN: Feedforward-Neuronal-Networks 
  
 +<WRAP info>
 +**Attention-Mechanismus (Aufmerksamkeitsmechanismus)**
 Der Aufmerksamkeitsmechanismus ermöglicht dem LLM, sich auf relevante Teile der Daten zu konzentrieren und irrelevante Details zu ignorieren. Indem Tokens je nach Kontext als unterschiedlich wichtig gewertet werden, können Zusammenhänge besser dargestellt und verstanden werden.  Der Aufmerksamkeitsmechanismus ermöglicht dem LLM, sich auf relevante Teile der Daten zu konzentrieren und irrelevante Details zu ignorieren. Indem Tokens je nach Kontext als unterschiedlich wichtig gewertet werden, können Zusammenhänge besser dargestellt und verstanden werden. 
  
Zeile 71: Zeile 84:
  
 Sogenannte Kontextfenster bestimmen, wie viel Text das Modell gleichzeitig berücksichtigt. Kleinere Modelle berücksichtigen ca. 2'000 Tokens, grössere Modelle über 100'000 Tokens. Nur die Inhalte, die in diesem Kontextfenster vorkommen, werden auch für das Generieren der Antworten berücksichtigt.  Sogenannte Kontextfenster bestimmen, wie viel Text das Modell gleichzeitig berücksichtigt. Kleinere Modelle berücksichtigen ca. 2'000 Tokens, grössere Modelle über 100'000 Tokens. Nur die Inhalte, die in diesem Kontextfenster vorkommen, werden auch für das Generieren der Antworten berücksichtigt. 
 +</WRAP>
  
 +<WRAP info>
 +**FNN: Feedforward-Neuronal-Networks**
 Die FNN sind einfache neuronale Netzwerke, die Informationen von einer Schicht zur nächsthöheren weitergeben. Sie werden verwendet damit das Gelernte aus dem Training angewendet werden kann.  Die FNN sind einfache neuronale Netzwerke, die Informationen von einer Schicht zur nächsthöheren weitergeben. Sie werden verwendet damit das Gelernte aus dem Training angewendet werden kann. 
 +</WRAP>
 +
  
 Die Daten durchlaufen mehrfach diese Schichten, wodurch das Modell schrittweise ermittelt, welche Informationen entscheidend sind, um das nächste Token vorherzusagen.  Die Daten durchlaufen mehrfach diese Schichten, wodurch das Modell schrittweise ermittelt, welche Informationen entscheidend sind, um das nächste Token vorherzusagen. 
 +{{ :ef:ki:transformer_2.png?nolink&600 |}}
 +
  
 Am Ende dieses Prozesses wird der letzte Vektor vorhergesagt, der von allen vorhergegangenen Vektoren und auch dem Wissen aus dem Training beeinflusst werden konnte. Auch hier ist der Output eine Liste von Token und deren Wahrscheinlichkeiten, als Nächstes zu kommen.  Am Ende dieses Prozesses wird der letzte Vektor vorhergesagt, der von allen vorhergegangenen Vektoren und auch dem Wissen aus dem Training beeinflusst werden konnte. Auch hier ist der Output eine Liste von Token und deren Wahrscheinlichkeiten, als Nächstes zu kommen. 
 +{{ :ef:ki:vektoren.png?nolink&400 |Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.}}
 +//Bild: Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.//
  
-{{:bild_transformer.png|Bild: Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.}} 
- 
-Sobald ein Token dem Text hinzugefügt wurde, beginnt das Ganze von neuem und der nächste Token wird vorhergesagt. Nun gehört das vorher generierte Token zum Kontext. Es folgt also einem autoregressiven Modell.  
- 
-<WRAP box> 
-Beispiel: Starttext: «Der Hund». Das LLM ergänzt das Token «rennt». Nun ist der neue Kontext: «Der Hund rennt» und ein neues Token wird generiert. 
-</WRAP> 
  
 Wissenschaftler haben das Grundgerüst von diesen Transformern gebaut, doch wie sie sich dann verhalten, hängt davon ab, wie die Parameter im Training eingestellt worden sind. Darum ist es äusserst schwierig zu sagen, warum ein LLM ein Token vorschlägt. Doch die Ergebnisse sprechen für sich: LLM produzieren flüssige Texte, die kaum mehr zu unterscheiden sind von Texten, die von Menschen geschrieben wurden.  Wissenschaftler haben das Grundgerüst von diesen Transformern gebaut, doch wie sie sich dann verhalten, hängt davon ab, wie die Parameter im Training eingestellt worden sind. Darum ist es äusserst schwierig zu sagen, warum ein LLM ein Token vorschlägt. Doch die Ergebnisse sprechen für sich: LLM produzieren flüssige Texte, die kaum mehr zu unterscheiden sind von Texten, die von Menschen geschrieben wurden. 
Zeile 91: Zeile 106:
 Um LLMs herzustellen, braucht man spezielle Computerchips, die viele Rechnungen gleichzeitig durchführen können. Diese werden GPUs genannt.  Um LLMs herzustellen, braucht man spezielle Computerchips, die viele Rechnungen gleichzeitig durchführen können. Diese werden GPUs genannt. 
  
-{{:bild_gpu.png|}}+{{ :ef:ki:gpu.png?nolink&300 |Beispiel eines GPUs}}
  
 ===== 6. Grenzen und Probleme von LLMs ===== ===== 6. Grenzen und Probleme von LLMs =====
   * LLMs erfordern erhebliche Ressourcen für Entwicklung und Training. Häufig werden grössere Modelle auf bereits bestehenden Basismodellen aufgebaut, die ein grundlegendes Sprachverständnis besitzen.   * LLMs erfordern erhebliche Ressourcen für Entwicklung und Training. Häufig werden grössere Modelle auf bereits bestehenden Basismodellen aufgebaut, die ein grundlegendes Sprachverständnis besitzen.
 +  * LLMs verstehen nichts im menschlichen Sinne. Sie haben Probleme mit logischen Schlussfolgerungen, dem Übertragen von Wissen auf neue Kontexte und ähnlichen Aufgaben. 
   * Da LLMs auf Wahrscheinlichkeiten basieren, können sie Antworten erzeugen, die überzeugend wirken, jedoch faktisch falsch sind. Diese bezeichnet man als Halluzinationen.   * Da LLMs auf Wahrscheinlichkeiten basieren, können sie Antworten erzeugen, die überzeugend wirken, jedoch faktisch falsch sind. Diese bezeichnet man als Halluzinationen.
   * Selbst wenn die LLM durch Transformer riesige Teile des Textes beachten, bleibt die Kapazität endlich. Das LLM kann nur Informationen anschauen, welche in einem begrenzten Kontextfenster liegen. Dies führt dazu, dass frühere Gesprächsteile vergessen werden oder Zusammenhänge verloren gehen. Dies passiert insbesondere bei sehr langen Argumentationen.    * Selbst wenn die LLM durch Transformer riesige Teile des Textes beachten, bleibt die Kapazität endlich. Das LLM kann nur Informationen anschauen, welche in einem begrenzten Kontextfenster liegen. Dies führt dazu, dass frühere Gesprächsteile vergessen werden oder Zusammenhänge verloren gehen. Dies passiert insbesondere bei sehr langen Argumentationen. 
-  * LLMs verstehen nichts im menschlichen Sinne. Sie haben Probleme mit logischen Schlussfolgerungen, dem Übertragen von Wissen auf neue Kontexte und ähnlichen aufgaben.  
   * Da LLMs mit menschengemachten Texten trainiert werden, können Vorurteile aus den Trainingsdaten übernommen werden. Es entstehen Verzerrungen (Bias). Siehe 6. Gruppe.    * Da LLMs mit menschengemachten Texten trainiert werden, können Vorurteile aus den Trainingsdaten übernommen werden. Es entstehen Verzerrungen (Bias). Siehe 6. Gruppe. 
   * Zudem ist das Wissen eines LLMs in der Regel auf den Trainingszeitraum beschränkt und wird nicht automatisch aktualisiert. Dadurch fehlen Informationen über aktuelle Entwicklungen oder neue wissenschaftliche Erkenntnisse.   * Zudem ist das Wissen eines LLMs in der Regel auf den Trainingszeitraum beschränkt und wird nicht automatisch aktualisiert. Dadurch fehlen Informationen über aktuelle Entwicklungen oder neue wissenschaftliche Erkenntnisse.
  • ef/ki/llm.1776873747.txt.gz
  • Zuletzt geändert: 2026/04/22 18:02
  • von emmeneggerg