loading . . . Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle? von Niklas Kelm und Mareike Schäffer
## Embeddings: Die semantische Grundlage von LLMs
Wortvektoren, auch **Embeddings** genannt, sind die grundlegende Technologie, welche dafür sorgen, dass der Computer in der Lage, ist Sprache semantisch zu verarbeiten. Wortvektoren repräsentieren Wörter bzw. das dahinterliegende Konzept in einem mathematischen Raum. Dabei gilt: Je ähnlicher die Bedeutung zweier Wörter, desto näher liegen ihre Vektoren im Raum beieinander. In den meisten LLMs werden jedoch keine ganzen Wörter, sondern kleinere Wortbestandteile (sogenannte Tokens) als Vektoren abgebildet. Diese Unterteilung ermöglicht eine genauere und flexiblere Darstellung von Bedeutung und agiert somit robuster auf regionale Schreibarten oder „Typos“. ``Zur Anschaulichkeit bleiben wir für unser Beispiel jedoch bei ganzen Wörtern. So würden beispielsweise die Vektoren für „Hund“ oder „Kuh“ näher beieinanderliegen als „Kuh“ und „Laptop“, da sich die Wörter „Hund“ und „Kuh“ semantisch ähnlicher sind als die Wörter „Kuh“ und „Laptop“. (siehe Abb. 1) Über die Verteilung der Vektoren im Raum werden außerdem auch semantische Beziehungen abgebildet. Schaut man sich beispielsweise an, wie die Vektoren „Hund“ und „Welpe“ zueinander liegen, fällt auf, dass die Länge und Richtung der Entfernung der zwischen den Vektoren „Kuh“ und „Kalb“ entspricht. (s. Abb. 2) Eine Richtung im Vektorraum kann demnach grob als ein „Konzept“, hier das Konzept „Erwachsenenform und Jungform“, verstanden werden.
Abb. 1 Verteilung der Embeddings im Vektorraum (Eigene Abbildung) Abb. 2 Semantische Beziehungen zwischen den Wortvektoren (Eigene Abbildung)
Im Vektorraum gibt es nicht nur einzelne Richtungen, sondern auch Kombinationen verschiedener Richtungen (Superposition), die gleichzeitig mehrere Konzepte in einem einzigen Vektor repräsentieren. So kann ein Vektor für ein Wort wie „Laptop“ aus einer Kombination von Konzepten wie u.a. „Computer“, „tragbar“ und „Arbeit“ bestehen, wodurch die Bedeutung des Wortes komplex und präzise dargestellt wird.
Embeddings werden durch das Training eines Embeddingmodells mit einer großen Menge an Textdaten erstellt. Hierbei lernen die Embeddingmodelle die Bedeutung von Wörtern basierend auf ihrem Kontext und den statistischen Beziehungen zu anderen Wörtern. Es wird demnach analysiert, wie oft Wörter in welchem Kontext zusammen auftreten. Das Model platziert die Wörter damit auf Grundlage ihrer semantischen Bedeutung und Beziehungen zu anderen Wörtern im Vektorraum und erlernt somit deren semantische Bedeutung. Die Berechnung der Word-Embeddings ist Teil des sogenannten Trainings von LLMs.
## Training: Wie Maschinen Sprache lernen
Als Training wird generell jeder Schritt bezeichnet, in dem das Verhalten des Modells hin zu einem gewünschten Verhalten angepasst wird. Ausgangspunkt sind dabei die Trainingsdaten, also ein Korpus bestehender Daten, welche als Grundlage des Modells fungieren. Je nach Sprachmodell umfassen diese gewaltige Menge an (Text-)Daten, die meist durch Webscraping zusammengetragen werden. Dabei gilt generell, dass eine größere Menge Trainingsdaten die Qualität des resultierenden Modells erhöhen.
Abb. 3 Skizze des Trainingsprozesses (Eigene Abbildung)
Der erste Schritt, aus Trainingsdaten ein Modell zu erstellen, beginnt mit dem sogenannten **Pretraining**. Das Modell wird mit zufälligen Parametern und Embeddings initialisiert und bekommt Satzteile aus den Trainingsdaten, für welche es das nachfolgende Wort vorhersagen soll (diese Vorhersage bildet die Grundfunktion des LLM!). Je nachdem, ob das Wort korrekt vorhergesagt wurde, werden die Parameter und Embeddings anschließend in die eine oder andere Richtung leicht angepasst. Dieser Prozess läuft so lange, bis die Fehlerrate des Modells unter einem von den Entwickler:innen festgelegten Grenzwert fällt – ein rechenintensiver und langwieriger Prozess, der daher mit hohen Kosten verbunden ist. Nach dem Pretraining erhält man also ein generelles Modell, welches Text mit einiger Genauigkeit weiterführen kann. Daraus ergeben sich zwar schon eine Bandbreite an Fähigkeiten, aber für spezifischere Aufgaben ist das Modell meist noch ungeeignet.
Um das LLM auf eine bestimmte Aufgabe (als Chatbot, Übersetzungsprogramm,…) zu “fokussieren”, nutzt man mehrere Methoden:
* Beim **Finetuning** wird das Modell noch einmal mit zusätzlichen, für die Aufgaben spezifischen Texten trainiert. Dies ist besonders nützlich, wenn bestimmte Arten von Output oder domänenspezifische Fakten erlernt werden sollen.
* **Reinforcement-Learning (RL)** optimiert ein Modell, indem Ausgaben bewertet werden. Durch die Belohnung für gewünschte Ausgaben, was auf Grundlage entsprechender Beispiele auch automatisch erfolgen kann, wird das Modell immer weiter angepasst. Dies kann zum Beispiel durch die Bewertung des Outputs durch Nutzende des Modells geschehen, hier spricht man auch von Reinforcement Learning with Human Feedback (RLHF).
* Der **Systemprompt** ist Text, der der eigentlichen Nutzeranfrage an das Modell vorangestellt wird. Möchte man zum Beispiel einen Chatbot wie ChatGPT entwickeln, könnte der Systemprompt “Du bist ein Chatbot, der hilfreiche Antworten auf folgende Frage liefert:” lauten, wobei tatsächliche Anwendungen um ein Vielfaches längere Prompts benutzen.
* **In-Context-Learning** basiert, ähnlich dem Systemprompt, auf der Eingabe in das Sprachmodell. Dabei werden mit dem Prompt Beispiele geliefert, wie das LLM die Eingabe beantworten soll. Man unterscheidet hierbei zwischen _Zero_ -, _One_ – und _Few-Shot-Learning_ , womit die Anzahl der genutzten Beispiele gemeint ist. Der Prompt “Schreibe Wörter rückwärts. Hallo -> ollaH, Katze ->” wäre also ein Beispiel für _One-Shot-Learning_ , weil ein korrektes Ergebnis als Anleitung mitgegeben wird. Wie auch beim Systemprompt findet hier kein permanentes Trainieren des Modells statt, sondern nur eine Manipulation des Outputs durch die Manipulation des dem Modell zur Vervollständigung übergebenen Textes (Kontext).
Modelle wie ChatGPT nutzen eine Kombination dieser Methoden für das sogenannte **Human Alignment** , womit die Anpassung des Modells an seine Aufgaben, zum Beispiel als genereller Chatbot mit Beschränkungen bei sensitiven Themen, gemeint ist.
## Transformer und Self-Attention: Wie LLMs den Kontext verstehen
Im Abschnitt zum Training wurde bereits angesprochen, dass LLMs grundsätzlich immer, ausgehend vom Kontext, das nächste wahrscheinliche Wort berechnen. LLMs basieren dabei auf einem speziellen Aufbau, der sogenannten Transformerarchitektur. Sie ermöglicht die Verarbeitung von Texten und bildet die Grundlage dafür, dass LLMs in der Lage sind, verschiedene Aufgabestellungen wie beispielsweise Übersetzungen oder Zusammenfassungen zu lösen.
Um eingegebene Texte „verstehen“ und korrekte Ausgaben erzeugen zu können , muss das Modell die einzelnen Wörter bzw. Tokens im Kontext des gesamten Textes repräsentieren. Dieses kontextuelle „Verständnis“ eignet sich das LLM mit Hilfe des _Self-Attention-Mechanismus_ an. Bei der Self-Attention wird für jedes Wort bzw. jeden Token im gegebenen Textausschnitt (Kontext) ermittelt, wie es mit den anderen Wörtern bzw. Tokens in Beziehung steht. Dafür verfügt das Modell über zahlreiche Attention-Heads, die während des Trainings verschiedene Beziehungen – etwa Subjekt-Verb-Abhängigkeiten – erlernen, ohne dass diese davor explizit vorgegeben wurden. Dafür werden in jede, Attention-Head für jedes Wort bzw. Token drei Vektoren erzeugt: der Query-Vektor, der Key-Vektor und der Value-Vektor. Der Query-Vektor eines Tokens formuliert, nach welchen Eigenschaften es bei anderen Tokens sucht, während der Key-Vektor die Eigenschaften des jeweiligen Tokens selbst beschreibt. Der Value-Vektor schließlich enthält den eigentlichen Inhalt des Tokens, der dann dort weitergereicht wird, wo Query und Key zusammenpassen.
Nehmen wir als Beispiel den Satz: „Die Kuh steht auf der Weide.“ Für das Wort „steht“ wird ein Query-Vektor erzeugt, der nach einem Subjekt sucht. Der Query-Vektor von „steht“ wird dann mit den Key-Vektoren der anderen Wörter verglichen und findet das Wort „Kuh“ als zugehöriges Subjekt. Das Modell überträgt dann die Informationen aus dem Value-Vektor von „Kuh“ auf „steht“, um so die Beziehung zwischen dem Subjekt und der Handlung korrekt zu erfassen. (siehe Abb. 4) Durch die Einbeziehung des Kontext sind LLMs in der Lage mehrdeutige Wörter z.B. Maus (Computermaus oder die Maus als Tier) richtig zu interpretieren.
Abb. 4 Transformer (Eigene Abbildung)
Um besonders effizient zu arbeiten ohne dabei wichtige Zusammenhänge zu verlieren, werden die Wörter im **Transformer** nicht nacheinander, sondern parallel zueinander analysiert, was die Verarbeitung von besonders großen Textmengen ermöglicht. Der Transformer betrachtet also alle Wörter gleichzeitig und berechnet für jedes Wort zeitgleich, mit welchen anderen es in welcher Weise in Beziehung steht. Sowohl Transformer als auch Attention-Mechanismen berechnen ihre Ausgabe mittels beim Training angepasster und in der Verwendung des Modells dann fixer Werte, die zu den Parametern des Modells gehören.
Wie funktioniert das ganze nun in der Praxis? Grundsätzlich generieren LLMs nacheinander immer ein Wort (Token), basierend auf den vorangehenden Wörtern (der eingegebene Prompt + bereits generierte Wörter). Je nach Komplexität des Modells haben sie dabei ein unterschiedlich großes **Context Window** , das den Umfang des Textes beschreibt, der gleichzeitig in der Self-Attention Architektur verarbeitet werden kann. Zur Berechnung des nächsten Outputs führen sie eine Vielzahl von Matrizenrechnungen aus (zu denen auch die bereits erwähnten Transformer- und Attentionalgorithmen zählen), um schlussendlich einen Vektor zu erhalten, der die Position des nächsten Wortes im Embedding-Raum abbildet. Damit der ausgegebene Text dann aber nicht immer der gleiche ist, verwenden die Modelle bei der Ausgabe dann allerdings nicht immer das wahrscheinlichste nächste Wort: Sprachmodelle haben häufig zudem eine eingebaute variable Zufälligkeit, die sogenannte **Temperatur** , um regelmäßig “kreativere” Wörter zu nutzen und damit „kreativere“ Texte erstellen zu können.
## Fazit
Wie dieser Beitrag gezeigt hat, sind LLMs mitnichten “Hexenwerk”. Allerdings macht es ihre Komplexität und unvorstellbare Vielzahl an einzelnen Parametern schwierig für unser Vorstellungsvermögen, den genauen Weg von Input zu Output nachzuvollziehen. Diese Größe ist es allerdings auch, die es ihnen erlaubt, eine Vielzahl von für Historiker*innen nützliche Aufgaben zu übernehmen, für welche früher spezialisiertere Tools nötig waren.
Die ethischen Implikationen der LLM-Nutzung, wie u. a. Nachhaltigkeit, die Provenienz der (Trainings-)daten, Transparenz oder die Frage nach Open Access, müssen jedoch immer mitgedacht werden, wenn sich Forschende für die Nutzung von LLMs in ihren Projekten entscheiden.
* * *
* * *
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (21. Mai 2025). Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle? _Digital History Berlin_. Abgerufen am 1. Juli 2025 von https://doi.org/10.58079/13zpc
* * *
* * * * *
https://dhistory.hypotheses.org/10423
