Was ist ein Token bei LLMs? Tokenisierung und Kostenberechnung erklärt

Ein Token ist die kleinste Texteinheit, in die ein Sprachmodell (LLM) einen Text zerlegt, bevor es ihn verarbeitet. Ein Token ist oft ein ganzes Wort, häufig aber auch nur ein Wortteil, ein einzelnes Zeichen oder eine Kombination aus Wort und Satzzeichen. Sprachmodelle lesen und erzeugen keinen Fließtext, sondern Folgen solcher Token. Weil Anbieter die Nutzung nach Token abrechnen, ist der Token zugleich die zentrale Recheneinheit für die Kosten.

Wer mit KI-Systemen arbeitet, stößt schnell auf den Begriff Token – etwa in der Preisliste eines Anbieters oder bei der Größe eines Kontextfensters. Dieser Artikel erklärt, was ein Token technisch ist, wie die Zerlegung (Tokenisierung) funktioniert und wie Sie daraus die Kosten eines KI-Einsatzes abschätzen.

Was genau ist ein Token?

Wenn Sie mit einem großen Sprachmodell arbeiten, wird Ihr Text zuerst in Einheiten zerlegt, die Token genannt werden – Wörter, Zeichenketten oder Kombinationen aus Wörtern und Satzzeichen. Diese Zerlegung übernimmt ein sogenannter Tokenizer (Microsoft Learn).

Ein Sprachmodell ist im Kern ein Vorhersagemodell: Es ist darauf trainiert, das nächste Element in einer Folge auf Basis der vorangehenden Elemente vorherzusagen (Sean Trott). Die Token bilden dabei das „Vokabular" des Modells – die Bausteine, die es erkennt und erzeugt. Jeder Token ist intern einer Zahl (einer ID) zugeordnet. Das Modell rechnet also nicht mit Buchstaben, sondern mit diesen Nummern; erst am Ende werden die erzeugten Zahlen wieder zu lesbarem Text zusammengesetzt.

Wichtig für das Verständnis: Ein Token entspricht nicht zwingend einem Wort. Häufige Wörter sind oft ein einzelner Token, seltene oder lange Wörter werden in mehrere Teilstücke zerlegt. Der Satz „This is some text" wird vom GPT-2-Tokenizer beispielsweise in nur 4 Token zerlegt statt in 17 Zeichen (Sebastian Raschka).

Wie funktioniert Tokenisierung?

Die meisten modernen Sprachmodelle nutzen ein Verfahren namens Byte Pair Encoding (BPE). BPE wurde ursprünglich 1994 als Methode zur Datenkomprimierung beschrieben und später für die Sprachverarbeitung übernommen (Sebastian Raschka).

Die Grundidee: BPE arbeitet mit Teilwörtern (Subwords). Statt jedes Wort komplett oder jeden Buchstaben einzeln zu speichern, lernt das Verfahren häufige Zeichenfolgen als eigene Token. So lassen sich auch unbekannte Wörter darstellen, ohne dass das Vokabular unüberschaubar groß wird (Vizuara). Das ist der Kompromiss zwischen zwei Extremen: Ein reines Wort-Vokabular scheitert an neuen Wörtern; ein reines Zeichen-Vokabular bläht die Token-Zahl stark auf.

Praktisch heißt das: Deutscher Text mit langen zusammengesetzten Wörtern erzeugt tendenziell mehr Token als der gleiche Inhalt auf Englisch, weil das Vokabular vieler Modelle auf englischsprachige Muster ausgelegt ist. Wer die Token-Zahl eines Textes genau kennen will, prüft sie am besten mit dem Tokenizer des jeweiligen Anbieters – denn jedes Modell bringt sein eigenes Vokabular mit.

Input-Token und Output-Token: warum das für Kosten zählt

Bei der Abrechnung unterscheiden Anbieter zwischen zwei Arten von Token:

• Input-Token sind das, was Sie an das Modell schicken – Ihr Prompt inklusive Systemprompt und übergebenem Kontext.
• Output-Token sind das, was das Modell erzeugt – die Antwort.

Output-Token sind in der Regel teurer als Input-Token, weil das Erzeugen von Text rechenintensiver ist als das Einlesen. Ein Beispiel aus einer öffentlichen Preisübersicht: Das Modell Kimi K3 kostet dort rund 2,85 USD pro Million Input-Token gegenüber 14,25 USD pro Million Output-Token (pricepertoken.com). Preise werden fast immer pro Million Token angegeben.

Die Preisspanne zwischen Modellen ist erheblich. Öffentliche Vergleichsseiten listen günstige Modelle wie Qwen3.7 Flash bei etwa 0,03 USD / 0,13 USD pro Million Input-/Output-Token, während Modelle der Spitzenklasse deutlich darüber liegen (benchlm.ai). Solche Angaben ändern sich laufend – für eine belastbare Kalkulation zählt immer die aktuelle Preisliste des Anbieters.

So schätzen Sie die Kosten ab

Die Grundrechnung ist einfach: Kosten = (Input-Token × Input-Preis) + (Output-Token × Output-Preis), jeweils pro Million Token. Für eine Abschätzung brauchen Sie drei Größen: die typische Länge einer Anfrage, die typische Antwortlänge und die Zahl der Anfragen pro Monat.

Ein illustratives Rechenbeispiel aus der Praxis zeigt, wie stark die Modellwahl durchschlägt: Für dasselbe Anfragevolumen kam eine Kalkulation auf rund 3.246 USD pro Monat mit einem großen Modell gegenüber 408 USD mit einer kleineren Variante (Medium). Die Zahlen sind Beispielwerte, aber das Muster gilt allgemein: Ein achtfacher Kostenunterschied allein durch die Modellwahl ist realistisch.

Zwei Stellhebel senken die Token-Zahl spürbar: kompaktere Prompts (weniger unnötiger Kontext) und gezieltes Nachladen von Wissen statt Übergabe ganzer Dokumente. Genau hier setzt Retrieval-Augmented Generation (RAG) an – es liefert nur die relevanten Textausschnitte an das Modell, statt das ganze Kontextfenster zu füllen. Auch Embedding-Caching reduziert wiederkehrende Rechenschritte.

Token im Kontext von AI-Mitarbeitern

Für ein einzelnes Chat-Gespräch spielen Token-Kosten selten eine große Rolle. Anders sieht es aus, wenn ein KI-System dauerhaft und in großer Menge arbeitet – etwa ein AI-Mitarbeiter wie Carl, der laufend Leads anreichert und qualifiziert. Bei tausenden Vorgängen pro Monat summieren sich Token schnell, und die Wahl von Modell, Prompt-Länge und Architektur entscheidet mit über die Wirtschaftlichkeit.

Deshalb gehört die Token-Betrachtung in jede saubere Wirtschaftlichkeitsrechnung. Wie sich der Aufwand gegen den Nutzen stellt, lässt sich strukturiert über den ROI eines AI-Mitarbeiters bewerten. Der Token-Verbrauch ist dabei nur ein Posten – aber ein gut kalkulierbarer, sobald man versteht, wie er zustande kommt.

Häufige Fragen

Wie viele Token sind ein Wort?

Das lässt sich nicht exakt sagen, weil ein Token ein Wortteil, ein ganzes Wort oder eine Zeichenfolge mit Satzzeichen sein kann. Als grobe Orientierung gilt bei englischem Text oft die Faustregel, dass ein Wort etwas mehr als ein Token ergibt; bei deutschem Text mit langen zusammengesetzten Wörtern liegt das Verhältnis meist höher. Genau erfahren Sie es nur über den Tokenizer des jeweiligen Modells.

Warum sind Output-Token teurer als Input-Token?

Weil das Erzeugen von Text rechenintensiver ist als das Einlesen. Das Modell muss jeden Output-Token einzeln vorhersagen, während der Input in einem Durchgang verarbeitet wird. In einer öffentlichen Preisübersicht kostet Kimi K3 etwa 2,85 USD pro Million Input-Token gegenüber 14,25 USD pro Million Output-Token (pricepertoken.com).

Wie kann ich Token-Kosten senken?

Der wirksamste Hebel ist die Modellwahl: Zwischen einem großen und einem kleineren Modell liegen leicht Kostenunterschiede um den Faktor acht (Medium). Daneben helfen kürzere, präzisere Prompts und Verfahren wie RAG, die nur relevante Textausschnitte übergeben, statt ganze Dokumente in das Kontextfenster zu laden.

Was hat das Kontextfenster mit Token zu tun?

Das Kontextfenster gibt an, wie viele Token ein Modell gleichzeitig verarbeiten kann – also Input plus laufender Output zusammen. Ist das Fenster voll, „vergisst" das Modell frühere Teile der Eingabe. Mehr dazu im Beitrag zum Kontextfenster bei LLMs.

Zählt jedes Modell Token gleich?

Nein. Jedes Modell bringt seinen eigenen Tokenizer und sein eigenes Vokabular mit, deshalb kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Token ergeben. Für eine belastbare Kostenrechnung sollten Sie die Token-Zahl daher immer mit dem Tokenizer des konkret genutzten Modells prüfen.