Was ist RAG-Chunking? Dokumente sinnvoll für Retrieval aufteilen

RAG-Chunking bezeichnet das Aufteilen von Dokumenten in kleinere, in sich sinnvolle Abschnitte (englisch „chunks"), bevor sie für ein KI-System durchsuchbar gemacht werden. Bei Retrieval-Augmented Generation (RAG) sucht die KI nicht im gesamten Dokument, sondern in diesen einzelnen Abschnitten nach der Textstelle, die zu einer Frage passt. Die richtige Aufteilung entscheidet mit darüber, ob die KI relevante und vollständige Antworten liefert oder Kontext verliert.

Warum überhaupt aufgeteilt wird

Ein Sprachmodell kann nicht beliebig viel Text auf einmal verarbeiten. Sowohl das Kontextfenster des LLM als auch die Embedding-Modelle, die Text in Zahlenvektoren übersetzen, haben Token-Grenzen. Ein Token ist dabei eine Texteinheit, meist ein Wortteil. Übergibt man ein ganzes Handbuch am Stück, wird es entweder abgeschnitten oder unbrauchbar für die Suche.

Deshalb wird der Text vorab in Chunks zerlegt. Jeder Chunk wird einzeln in einen Vektor umgewandelt und in einer Vektordatenbank abgelegt. Kommt eine Frage, sucht das System die Chunks mit der größten inhaltlichen Nähe – dieser Schritt heißt semantische Suche. Nur diese wenigen passenden Abschnitte gibt das System dann an das Sprachmodell weiter, das daraus die Antwort formuliert.

Der Chunk ist damit die kleinste Einheit, die gefunden werden kann. Ist er zu groß, enthält er neben der relevanten Stelle viel Ballast. Ist er zu klein, fehlt der Zusammenhang, um die Frage zu beantworten. Ein Anbieterüberblick beschreibt Chunking deshalb als „Fundament" eines RAG-Systems – die Qualität der Aufteilung wirkt sich direkt auf die Antwortqualität aus (Databricks Community).

Die gängigen Chunking-Strategien

Es gibt kein Verfahren, das für alle Dokumente gleich gut passt. In der Praxis haben sich einige Ansätze etabliert:

• Fixed-Size-Chunking (feste Größe): Der Text wird nach einer festen Zahl von Tokens geschnitten, unabhängig vom Inhalt. Das ist der einfachste und rechnerisch günstigste Ansatz und laut mehreren Quellen für viele Standardfälle völlig ausreichend (Medium / AI Forum).
• Recursive Character Splitting (rekursives Aufteilen): Der Text wird bevorzugt an natürlichen Grenzen wie Absätzen, dann Sätzen, dann Wörtern getrennt. So bleiben zusammengehörige Sätze eher beieinander. Ein Anbietervergleich nennt rekursives Splitting bei 400–512 Tokens mit 10–20 % Overlap als guten Startpunkt für die meisten Textinhalte (Firecrawl).
• Seiten- oder strukturbasiertes Chunking: Bei PDFs oder Dokumenten mit klarer Seitenstruktur wird pro Seite oder pro Abschnitt geschnitten. Für paginierte Dokumente schneidet dieser Ansatz laut Firecrawl am besten ab.
• Semantisches Chunking: Hier bestimmt der inhaltliche Zusammenhang die Grenzen – benachbarte Sätze werden zusammengefasst, solange sie thematisch ähnlich sind. Das kann die Trefferquote erhöhen, ist aber deutlich rechenintensiver (Firecrawl).

Bemerkenswert: Eine Untersuchung von Vectara stellt den pauschalen Vorteil des semantischen Chunkings infrage und zeigt, dass es gegenüber dem einfacheren Fixed-Size-Ansatz nicht immer die versprochene Verbesserung liefert (Vectara). Die Empfehlung aus mehreren Quellen lautet daher, zwei bis drei Strategien an den eigenen Dokumenten und typischen Fragen zu testen, statt sich auf eine Faustregel zu verlassen.

Chunk-Größe und Overlap

Zwei Stellschrauben bestimmen das Ergebnis besonders stark: die Größe der Chunks und der Überlappungsbereich zwischen ihnen.

Für die Chunk-Größe gibt es keinen universellen Wert. Übliche Empfehlungen liegen zwischen 128 und 512 Tokens (Milvus). Kleinere Chunks (etwa 128–256 Tokens) eignen sich für faktenbasierte Fragen, bei denen es auf eine präzise Einzelstelle ankommt. Größere Chunks (256–512 Tokens) sind besser, wenn ein breiterer Zusammenhang gebraucht wird, etwa um ein Konzept zusammenzufassen.

Der Overlap (die Überlappung) sorgt dafür, dass die letzten Tokens eines Chunks am Anfang des nächsten wiederholt werden. So geht kein Kontext verloren, wenn eine wichtige Information genau an einer Schnittkante liegt. Üblich sind 10–20 % der Chunk-Größe (DEV Community). Ein praktischer Test in Towards Data Science variierte etwa Chunk-Größen von 80, 220 und 500 Tokens mit passendem Overlap, um die Wirkung systematisch zu vergleichen (Towards Data Science). Das zeigt: Die Werte sind experimentelle Größen, keine feststehenden Konstanten.

Warum Chunking gegen falsche Antworten hilft

Schlecht geschnittene Chunks sind eine häufige Ursache für schwache oder falsche Antworten. Fehlt der entscheidende Satz im gefundenen Abschnitt, füllt das Sprachmodell die Lücke leicht mit erfundenen Angaben – das Problem der KI-Halluzinationen. Sauberes Chunking allein verhindert das nicht, reduziert aber die Wahrscheinlichkeit, weil die richtigen Informationen überhaupt erst auffindbar werden.

Chunking ist damit ein Baustein, kein Selbstzweck. Es wirkt im Zusammenspiel mit dem Embedding-Modell, der Vektordatenbank und der Suchlogik. Wer eines dieser Elemente vernachlässigt, verliert die Wirkung der anderen.

Einordnung: Wissen für AI-Mitarbeiter

Bei uns ist Chunking ein Teil der Wissensanbindung von AI-Mitarbeitern. Ein AI-Mitarbeiter wie ein Company Expert oder ein interner Onboarding-Assistent greift auf firmeneigene Dokumente zu – Handbücher, Produktdatenblätter, Richtlinien. Ob eine Antwort präzise auf die passende Textstelle verweist oder nur ungefähr in die richtige Richtung deutet, hängt maßgeblich davon ab, wie diese Dokumente aufgeteilt wurden.

Für unterschiedliche Branchen – etwa in der Versicherung mit langen Bedingungswerken oder im Handwerk mit technischen Anleitungen – bedeutet das jeweils eine eigene, getestete Chunking-Strategie. Ob RAG überhaupt der richtige Weg ist oder wann sich stattdessen Fine-Tuning lohnt, ist eine vorgelagerte Entscheidung. Chunking wird erst relevant, wenn RAG feststeht.

Häufige Fragen

Wie groß sollte ein Chunk sein?

Es gibt keinen festen Wert. Übliche Empfehlungen liegen zwischen 128 und 512 Tokens, wobei kleinere Chunks für konkrete Faktenfragen und größere für zusammenhängende Erklärungen besser passen. Ein häufig genannter Startpunkt sind 400–512 Tokens mit rekursivem Splitting. Der beste Wert für Ihre Dokumente ergibt sich aus dem Testen mehrerer Einstellungen.

Was bedeutet Overlap beim Chunking?

Overlap ist der überlappende Bereich zwischen zwei aufeinanderfolgenden Chunks. Die letzten Tokens eines Abschnitts werden am Anfang des nächsten wiederholt, üblicherweise 10–20 % der Chunk-Größe. So bleibt der Zusammenhang erhalten, wenn eine wichtige Information genau an einer Schnittkante liegt.

Ist semantisches Chunking immer besser?

Nein. Semantisches Chunking kann die Trefferquote erhöhen, ist aber rechenintensiver, und eine Untersuchung von Vectara zeigt, dass es gegenüber dem einfachen Fixed-Size-Ansatz nicht immer besser abschneidet. In vielen Standardfällen reicht die einfachere Methode aus. Empfehlenswert ist, beide an den eigenen Daten zu vergleichen.

Was hat Chunking mit Halluzinationen zu tun?

Wenn der gefundene Chunk die entscheidende Information nicht enthält, fehlt dem Sprachmodell die Grundlage – und es füllt die Lücke leichter mit erfundenen Angaben. Gutes Chunking sorgt dafür, dass relevante Stellen überhaupt auffindbar sind, und senkt so das Risiko falscher Antworten. Es ist einer von mehreren Bausteinen gegen Halluzinationen.

Muss man Chunking selbst einstellen?

Für eine belastbare Lösung sollte die Strategie zum jeweiligen Dokumenttyp passen und getestet werden. Ein langes Vertragswerk verlangt eine andere Aufteilung als ein knappes Produktdatenblatt. Bei uns ist diese Abstimmung Teil der Wissensanbindung eines AI-Mitarbeiters und wird nicht dem Zufall überlassen.