Wie Sprachmodelle funktionieren: Von Tokens zu ChatGPT, Schritt für Schritt

Die ganze Idee in einer Kette

Hier ist der gesamte Weg. Keine Sorge, wenn er sich zunächst wie ein Rätsel liest; der Rest des Artikels erklärt jedes Glied.

Zerlege einen Satz in Stücke, und du erhältst Tokens. Verwandle Tokens in Zahlenlisten, und du erhältst Embeddings. Lass jedes Token eine Frage stellen, und du erhältst eine Query; lass die anderen antworten, und du erhältst Keys und Values. Vergleiche Queries mit Keys, und du erhältst Attention-Scores. Normalisiere sie mit Softmax, und du erhältst Attention-Gewichte. Nutze die Gewichte, um die Values zu mischen, und du erhältst Kontext. Mach das für jedes Token, und du erhältst Self-Attention. Füge ein Feed-Forward-Netz, Residualverbindungen und Normalisierung hinzu, und du erhältst einen Transformer-Block. Stapele die Blöcke, und du erhältst einen Transformer. Trainiere ihn darauf, das nächste Token vorherzusagen, und du erhältst ein Sprachmodell. Bring ihm bei, Anweisungen zu befolgen und aus menschlichem Feedback zu lernen, und du erhältst etwas, das ChatGPT sehr nahekommt.

Schritt 1: Zerlege einen Satz in Stücke, und du erhältst Tokens

Ein Computer kann Wörter nicht so lesen wie du. Als Erstes zerschneidet ein Sprachmodell den Text in kleine Stücke, die Tokens heißen. Ein Token kann ein ganzes Wort sein („Vorstellungsgespräch“), ein Wortteil („Vorstellungs“ + „gespräch“), ein Satzzeichen oder sogar ein Leerzeichen, das an einem Wort hängt.

Warum nicht ganze Wörter? Es gibt zu viele, und täglich kommen neue hinzu. Mit Wortteilen kann ein Modell jeden Text verarbeiten, auch seltene Namen und Tippfehler, mit einem festen Vokabular aus einigen Zehntausend Tokens. Jedes Token dieses Vokabulars bekommt eine ID-Nummer. Der Satz „Ich habe das Gespräch gemeistert“ könnte so aussehen: [40, 1734, 279, 7274].

Ein Token entspricht ungefähr drei Vierteln eines englischen Wortes. Ein „Kontextfenster von 128.000 Tokens“ bedeutet also etwa 95.000 Wörter, die das Modell auf einmal berücksichtigen kann.

Schritt 2: Verwandle Tokens in Vektoren, und du erhältst Embeddings

Eine Token-ID wie 7274 ist nur ein Etikett und sagt nichts über Bedeutung aus. Deshalb schlägt das Modell jede ID in einer großen Tabelle nach und ersetzt sie durch eine lange Zahlenliste, oft mit Hunderten oder Tausenden Einträgen. Diese Liste heißt Vektor, und der Vektor, der ein Token darstellt, heißt Embedding.

Niemand schreibt diese Zahlen von Hand. Sie beginnen zufällig und werden im Training angepasst, bis sie erfassen, was jedes Token bedeutet und wie es verwendet wird.

Schritt 3: Trage die Embeddings in den Raum ein, und Bedeutung wird zu Geometrie

Behandle jedes Embedding als Koordinaten eines Punktes, und jedes Token wird zu einem Ort in einem riesigen, vieldimensionalen Raum. Tausend Dimensionen kann man sich nicht vorstellen, aber die Idee funktioniert schon in zwei oder drei.

In diesem Raum liegen Tokens mit ähnlicher Bedeutung nah beieinander. „Gehalt“ liegt nahe bei „Lohn“ und „Vergütung“. „Vorstellungsgespräch“ liegt nahe bei „Treffen“ und „Einstellung“. Sogar Richtungen können Bedeutung tragen: Das berühmte Beispiel ist, dass der Schritt von „Mann“ zu „Frau“ ungefähr in dieselbe Richtung zeigt wie der Schritt von „König“ zu „Königin“.

Embeddings allein sagen nicht, wo ein Token steht, und die Reihenfolge ändert die Bedeutung: „Die Bewerberin interviewt den Manager“ ist nicht dasselbe wie „Der Manager interviewt die Bewerberin“. Deshalb fügen Modelle jedem Vektor auch Positionsinformationen hinzu.

Schritt 4: Jedes Token stellt und beantwortet Fragen: Queries, Keys und Values

Wörter ändern ihre Bedeutung je nach Nachbarn: „Bank“ bedeutet in „Parkbank“ etwas anderes als in „Bankkonto“. Jedes Token muss sich also die anderen ansehen. Das ist die wichtigste Idee der modernen KI.

Aus dem Embedding jedes Tokens erzeugt das Modell drei neue Vektoren, indem es es mit drei gelernten Zahlentabellen multipliziert:

• Query: die Frage, die dieses Token stellt. Stell dir das Wort „es“ vor, das fragt: „Auf welches Nomen weiter vorn im Satz beziehe ich mich?“
• Key: das, was dieses Token anbietet, wie ein Etikett an einem Aktenschrank. Der Key eines Nomens könnte sinngemäß sagen: „Ich bin etwas, auf das man sich beziehen kann.“
• Value: die eigentliche Information, die dieses Token herausgibt, wenn ein anderes Token sie für relevant hält.

Denk an eine Bibliothek: Die Query ist deine Suchanfrage, die Keys sind die Titel in den Regalen, und die Values sind der Inhalt der Bücher.

Schritt 5: Vergleiche eine Query mit den Keys, und du erhältst Attention-Scores

Jedes Token vergleicht seine Query mit dem Key jedes Tokens, das es sehen kann, mit einem Skalarprodukt: Man multipliziert die beiden Vektoren Zahl für Zahl und addiert die Ergebnisse. Ähnliche Richtungen ergeben ein großes Ergebnis, unverwandte ein kleines oder negatives.

Das Ergebnis sind Attention-Scores, einer für jedes Paar von Tokens. Ein hoher Score bedeutet: „Dieses andere Token scheint für meine Frage relevant zu sein.“ Im Satz „Die Recruiterin rief die Bewerberin an, weil sie ihr Portfolio mochte“ sollte das Token „ihr“ einen hohen Score mit „Bewerberin“ und einen niedrigeren mit „Recruiterin“ erzeugen.

Schritt 6: Normalisiere die Scores mit Softmax, und du erhältst Attention-Gewichte

Rohe Scores können beliebig groß, positiv oder negativ sein. Eine Funktion namens Softmax macht daraus positive Werte, die sich genau zu 1 summieren und den größten Scores einen deutlich größeren Anteil geben.

Diese Anteile sind die Attention-Gewichte, gewissermaßen Prozentwerte der Aufmerksamkeit. Ein vereinfachtes Beispiel für „ihr“:

„Ihr“ widmet also etwa 84 % seiner Aufmerksamkeit dem Token „Bewerberin“.

Schritt 7: Nutze die Gewichte, um die Values zu mischen, und du erhältst Kontext

Nun bildet jedes Token einen neuen Vektor als gewichtete Mischung der Values: 84 % vom Value von „Bewerberin“, 11 % von „Recruiterin“ und so weiter. Das Ergebnis ist eine neue Darstellung von „ihr“, die Informationen darüber trägt, wer mit „ihr“ tatsächlich gemeint ist.

Das ist mit Kontext innerhalb eines Modells gemeint. Das Wort ist nicht mehr nur „ihr“ im Abstrakten, sondern „ihr, gemeint ist die Bewerberin, in einem Satz über ein Portfolio“.

Schritt 8: Lass jedes Token das tun, und du erhältst Self-Attention

Wenn jedes Token diesen Prozess gleichzeitig durchläuft, spricht man von Self-Attention: Der Satz richtet seine Aufmerksamkeit auf sich selbst.

Zwei Verfeinerungen machen sie leistungsfähig:

• Nur die Tokens, die es sehen darf. In einem Modell, das Text schreibt, darf jedes Token nur auf die Tokens davor schauen, nie nach vorn. Diese kausale Maske gibt es, weil beim Generieren die künftigen Wörter noch nicht existieren.
• Viele Köpfe gleichzeitig. Modelle führen mehrere Attention-Prozesse parallel aus, sogenannte Attention Heads, jeder mit eigenen Query-, Key- und Value-Tabellen. Einer verfolgt vielleicht die Grammatik, ein anderer, wer auf wen verweist. Das nennt man Multi-Head-Attention.

Schritt 9: Füge Feed-Forward, Residualverbindungen und Normalisierung hinzu, und du erhältst einen Transformer-Block

Attention teilt Informationen; das Modell muss sie auch verarbeiten. Drei weitere Bausteine vervollständigen die Einheit:

• Feed-Forward-Netz: Nach der Attention durchläuft der Vektor jedes Tokens für sich ein kleines neuronales Netz. Wenn die Attention eine Besprechung ist, in der alle ihre Notizen teilen, verarbeitet hier jeder die Notizen an seinem Schreibtisch.
• Residualverbindungen: Statt den Vektor eines Tokens durch das neue Ergebnis zu ersetzen, addiert das Modell das Ergebnis zum Original. So bleibt frühere Information erhalten, und tiefe Netze lassen sich leichter trainieren.
• Normalisierung: ein Schritt, der die Zahlen auf einen stabilen Bereich skaliert, damit sie beim Durchlaufen vieler Schichten weder außer Kontrolle wachsen noch gegen null schrumpfen.

Attention plus Feed-Forward, umhüllt von Residualverbindungen und Normalisierung, ergibt einen Transformer-Block.

Schritt 10: Stapele die Blöcke, und du erhältst einen Transformer

Ein Block ergibt ein bescheidenes Verständnis. Stapelt man Dutzende davon, sodass die Ausgabe des einen in den nächsten fließt, entsteht ein Transformer, die Architektur, die Google-Forscher 2017 im Paper „Attention Is All You Need“ vorstellten. Er ist das „T“ in GPT, was für „Generative Pre-trained Transformer“ steht.

Jede Schicht verfeinert das Bild: Frühe Schichten erfassen tendenziell Grammatik, spätere abstraktere Ideen wie Tonfall und Absicht. Die Gewichte in all diesen Tabellen, die Zahlen, die das Modell lernt, sind das, was man Parameter nennt. Große Modelle haben Milliarden davon.

Schritt 11: Trainiere es darauf, das nächste Token vorherzusagen, und du erhältst ein Sprachmodell

Bisher haben wir eine Maschine, die Text in kontextbewusste Vektoren verwandelt. Jetzt geben wir ihr eine Aufgabe. Am Ende des Stapels macht das Modell aus dem Vektor des letzten Tokens einen Score für jedes Token seines Vokabulars und wendet dann erneut Softmax an, um für jedes eine Wahrscheinlichkeit zu erhalten. Mit anderen Worten: „Was kommt nach allem bisher Gesagten als Nächstes?“

Beim Training liest das Modell riesige Textmengen: Bücher, Artikel, Code, Webseiten. An jeder Position rät es das nächste Token, vergleicht seinen Tipp mit dem echten und verschiebt alle seine Parameter ein winziges Stück in die Richtung, die die richtige Antwort wahrscheinlicher gemacht hätte. Wiederhole das billionenfach, und das Ergebnis ist ein Sprachmodell.

Diese einfache Aufgabe lehrt viel: Um das nächste Wort in einem Lehrbuch oder einem Vertrag vorherzusagen, muss ein Modell Grammatik, Fakten und Denkmuster aufschnappen.

Text zu generieren ist nichts anderes als diese Vorhersage im Dauerbetrieb. Das Modell wählt ein nächstes Token, meist durch Ziehen aus den Wahrscheinlichkeiten (eine Einstellung namens Temperatur steuert, wie wagemutig die Wahl ausfällt), hängt es an den Text an und sagt erneut vorher, Token für Token.

Schritt 12: Bring ihm bei, Anweisungen zu folgen und aus Feedback zu lernen, und du erhältst ChatGPT

Ein Modell, das nur auf die Vorhersage des nächsten Tokens trainiert wurde, ist eine brillante Autovervollständigung, aber kein Assistent. Stellt man ihm eine Frage, antwortet es vielleicht mit drei weiteren Fragen. Zwei weitere Trainingsphasen beheben das:

1. Instruction Tuning: Das Modell wird mit vielen Beispielen trainiert, in denen auf eine Anfrage eine gute, hilfreiche Antwort folgt. Es lernt das Muster „Jemand fragt, ich antworte nützlich“.
2. Lernen aus menschlichem Feedback: Menschen vergleichen Paare von Modellantworten und wählen die bessere. Diese Präferenzen steuern das Modell weiter zu Antworten, die hilfreich, korrekt und sicher sind. Das nennt man Reinforcement Learning from Human Feedback, kurz RLHF.

Setze eine Chat-Oberfläche darauf, und du erhältst etwas, das ChatGPT, Claude oder Gemini nahekommt: derselbe Transformer, geformt, um als Assistent zu agieren.

Alles zusammen: Die Reise eines Satzes

Stell dir vor, du tippst: „Die schwierigste Interviewfrage ist…“ In einem Sekundenbruchteil passiert Folgendes:

1. Der Text wird in Tokens zerlegt, und jedes wird zu einem Embedding mit Positionsinformation.
2. In jedem Transformer-Block bildet jedes Token eine Query, einen Key und einen Value, bewertet die früheren Tokens, macht aus den Scores Gewichte und mischt deren Values ein. „Schwierigste“ verbindet sich mit „Interviewfrage“, und die Wendung wird als Interviewthema verstanden.
3. Feed-Forward-Schichten verarbeiten jeden aktualisierten Vektor; Residuen und Normalisierung halten alles stabil; Dutzende Blöcke verfeinern ihn weiter.
4. Der letzte Vektor wird zu Wahrscheinlichkeiten über das Vokabular. Ein Token wie „Erzähl“ bekommt einen hohen Score; das Modell wählt es, hängt es an und beginnt von vorn.

Kleines Glossar

Warum das für deine Karriere wichtig ist

Wenn du dich auf eine Stelle bewirbst, die mit KI zu tun hat, ist es ein echter Vorteil, Tokens oder Attention in einfachen Worten erklären zu können. Außerdem machst du dich zu einem klügeren Nutzer von KI-Tools: Du verstehst, warum sie falsche Fakten selbstsicher behaupten können (sie sagen wahrscheinlichen Text voraus, nicht überprüfte Wahrheit) und warum ein klarer, konkreter Prompt bessere Antworten liefert. Für die Praxis siehe unsere Ratgeber zu KI-Tools zum Üben von Vorstellungsgesprächen und was KI-Interview-Copiloten wirklich verändern.

Häufige Fragen

Was ist der Unterschied zwischen einem Token und einem Wort?

Ein Token ist die Einheit, die ein Sprachmodell liest. Häufige Wörter sind oft ein einzelnes Token, längere oder seltenere Wörter werden in mehrere Teile zerlegt. Im Englischen entspricht ein Token im Schnitt etwa drei Viertel eines Wortes.

Versteht ein Sprachmodell, was es sagt?

Es bildet reichhaltige interne Darstellungen von Bedeutung und Kontext, wird aber darauf trainiert, wahrscheinlichen Text vorherzusagen, nicht Fakten zu prüfen. Deshalb können seine Antworten selbstsicher klingen und trotzdem falsch sein; wichtige Aussagen sollte man immer überprüfen.

Ist ChatGPT einfach nur ein Transformer?

Im Kern ja: ein großer Transformer, der darauf trainiert wurde, das nächste Token vorherzusagen. Zum hilfreichen Assistenten wird er durch zusätzliches Training mit Anweisungen und menschlichem Feedback sowie durch das Produkt drumherum.