Was ist ein Kontextfenster (Context Window) bei LLMs?

Ein Kontextfenster (englisch Context Window, auch Kontextlänge) ist die maximale Textmenge – gemessen in sogenannten Tokens – die ein großes Sprachmodell (Large Language Model, LLM) auf einmal berücksichtigen kann, wenn es eine Antwort erzeugt. Man kann es sich als das Arbeitsgedächtnis des Modells vorstellen: Alles, was in dieses Fenster passt (Ihre Eingabe, der bisherige Gesprächsverlauf, angehängte Dokumente und die entstehende Antwort), kann das Modell einbeziehen. Was nicht hineinpasst, wird abgeschnitten oder „vergessen" (IBM).

Tokens: die Maßeinheit des Kontextfensters

Ein LLM verarbeitet Text nicht als Wörter oder Buchstaben, sondern als Tokens. Ein Token ist ein Textbaustein – oft ein Wortteil, manchmal ein ganzes kurzes Wort oder ein Satzzeichen. Als grobe Faustregel entspricht ein Token im Deutschen und Englischen ungefähr vier Zeichen. Die Größe des Kontextfensters wird deshalb in Tokens angegeben und nicht in Wörtern.

Das Fenster umfasst dabei beide Seiten der Verarbeitung: den Text vor und nach einem bestimmten Punkt (dem sogenannten Ziel-Token), also den gesamten Bereich, den das Modell gleichzeitig betrachten kann (TechTarget). Praktisch heißt das: Die Summe aus Eingabe und Ausgabe muss in das Kontextfenster passen. Ein größeres Fenster erlaubt längere Eingaben und die Berücksichtigung von mehr Informationen pro Antwort (Unstructured).

Warum es eine Obergrenze gibt

Das Kontextfenster ist begrenzt, weil die Verarbeitung mit der Textlänge nicht linear, sondern überproportional teurer wird. Der zugrunde liegende Mechanismus – die sogenannte Attention – setzt jeden Token mit jedem anderen in Beziehung. Verdoppelt sich die Eingabelänge, steigt der Rechenaufwand stärker als das Doppelte (DataCamp). Größere Fenster bedeuten deshalb mehr Rechenzeit und höhere Kosten pro Anfrage.

Wenn eine Eingabe – ein Prompt, ein langes Gespräch, ein Dokument oder eine Codebasis – das Kontextfenster überschreitet, muss das Modell Teile weglassen (IBM). In der Praxis fällt dann meist der älteste Teil des Gesprächs heraus. Das erklärt, warum ein Chatbot in langen Unterhaltungen frühere Details „vergisst": Sie sind schlicht aus dem Fenster gerutscht.

Was das für die Praxis bedeutet

Für den Einsatz von KI im Unternehmen hat das Kontextfenster konkrete Folgen. Wer ein 80-seitiges Handbuch, einen langen Vertrag oder eine ganze Kundenhistorie in einer einzigen Anfrage verarbeiten will, stößt schnell an die Grenze. Zwei Konsequenzen ergeben sich daraus:

• Relevanz vor Menge: Es reicht nicht, möglichst viel Text hineinzugeben. Was zählt, ist, die richtigen Informationen an der richtigen Stelle bereitzustellen. Wie man Eingaben präzise formuliert, behandelt das Prompt Engineering.
• Auslagern statt vollstopfen: Statt alles Wissen in das Fenster zu pressen, holt man nur die passenden Ausschnitte gezielt heran. Diese Technik heißt Retrieval-Augmented Generation (RAG): Relevante Textstellen werden per semantischer Suche gefunden und nur diese ins Kontextfenster gegeben.

Auch mit sehr großen Fenstern bleibt Sorgfalt nötig. Modelle finden Informationen mitten in langen Eingaben oft schlechter als am Anfang oder Ende. Ein größeres Fenster löst also nicht automatisch jedes Problem – es verschiebt nur, wann die Grenze erreicht wird.

Kontextfenster und AI-Mitarbeiter

Ein AI-Mitarbeiter übernimmt eine feste Rolle mit einer klar umrissenen Aufgabe – etwa Lead-Recherche oder das Beantworten wiederkehrender Fragen. Damit die Antworten verlässlich bleiben, muss das relevante Wissen in das Kontextfenster passen: die Rollenbeschreibung, der Ton, die aktuelle Aufgabe und die dafür nötigen Fakten.

Weil ein Kontextfenster endlich ist, arbeiten unsere AI-Mitarbeiter nicht so, dass sie das gesamte Unternehmenswissen in jede Anfrage laden. Stattdessen greifen sie gezielt auf die jeweils passenden Informationen zu – etwa über RAG und angebundene Datenquellen. So bleibt das Fenster mit dem Wesentlichen gefüllt, und die Antworten sind konsistent, statt in langen Abläufen den Faden zu verlieren. Bei komplexeren Aufgaben teilen sich mehrere spezialisierte Rollen die Arbeit, sodass jede nur mit ihrem eigenen, überschaubaren Kontext arbeitet (Multi-Agenten-Systeme).

Kurz gesagt: Das Kontextfenster ist keine reine Zahl im Datenblatt, sondern eine Design-Frage. Wer versteht, was in das Arbeitsgedächtnis eines Modells passt und wie man die richtigen Informationen dorthin bringt, baut zuverlässigere KI-Anwendungen – unabhängig davon, wie groß das Fenster gerade ist.

Häufige Fragen

Wie groß ist ein typisches Kontextfenster?

Das hängt stark vom eingesetzten Modell ab und ändert sich laufend, weshalb sich eine feste Zahl schnell überholt. Ältere Modelle verarbeiteten einige tausend Tokens, neuere Generationen deutlich mehr. Wichtiger als der Maximalwert ist, dass die tatsächlich benötigten Informationen sicher hineinpassen und gut auffindbar sind.

Was passiert, wenn mein Text zu lang für das Kontextfenster ist?

Dann muss das Modell Teile weglassen, meist den ältesten Abschnitt der Eingabe oder des Gesprächs. Das kann dazu führen, dass frühere Anweisungen oder Details ignoriert werden. Abhilfe schaffen Zusammenfassungen des bisherigen Verlaufs oder Ansätze wie RAG, die nur die relevanten Ausschnitte einspeisen.

Ist ein größeres Kontextfenster immer besser?

Nicht automatisch. Ein größeres Fenster erlaubt längere Eingaben, kostet aber mehr Rechenzeit und Geld, weil der Aufwand überproportional mit der Länge steigt (DataCamp). Zudem finden Modelle Informationen in der Mitte sehr langer Eingaben oft schlechter. Häufig ist es wirksamer, die Eingabe gezielt zu kürzen und nur Relevantes bereitzustellen.

Was ist der Unterschied zwischen Kontextfenster und dem Training eines Modells?

Das Training legt fest, was ein Modell grundsätzlich „kann" und aus riesigen Datenmengen gelernt hat; es ist dauerhaft. Das Kontextfenster ist das kurzfristige Arbeitsgedächtnis für die aktuelle Anfrage und wird nach jeder Interaktion neu gefüllt. Ob man Wissen ins Training gibt oder zur Laufzeit bereitstellt, behandelt der Beitrag zu Fine-Tuning vs. RAG.