Was ist Retrieval-Augmented Generation (RAG)?

Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein großes Sprachmodell (LLM) vor der Antwort gezielt passende Informationen aus einer externen Wissensquelle abruft und diese in die Antwort einbezieht. Das Modell stützt sich also nicht nur auf das, was es beim Training gelernt hat, sondern zusätzlich auf aktuelle, geprüfte Daten – zum Beispiel eigene Dokumente, Produktdaten oder ein Wiki. Das macht Antworten genauer, aktueller und nachvollziehbarer.

Der Name beschreibt die zwei Bestandteile: Retrieval (Abrufen) und Generation (Erzeugen). Erst wird relevantes Wissen gesucht, dann wird daraus eine Antwort formuliert. Diese Kombination löst ein zentrales Problem reiner Sprachmodelle: Sie kennen nur ihren Trainingsstand und neigen dazu, fehlende Fakten plausibel klingend zu erfinden („Halluzinationen"). RAG liefert ihnen den fehlenden, aktuellen Kontext mit.

Warum reicht ein Sprachmodell allein nicht aus?

Ein LLM wird einmal mit großen Datenmengen trainiert. Danach ist sein Wissen eingefroren: Neue Preise, neue Verträge oder ein Produkt-Update von letzter Woche kennt es nicht. Außerdem sind interne Unternehmensdaten – etwa Ihre Angebotsvorlagen oder Ihr Support-Wiki – nie Teil des öffentlichen Trainings gewesen.

Ohne Zugriff auf solche Quellen passiert eines von zwei Dingen: Das Modell antwortet allgemein und unkonkret, oder es erfindet Details. Beides ist im Geschäftsalltag unbrauchbar. RAG schließt diese Lücke, indem es dem Modell zur Laufzeit genau die Dokumente vorlegt, die zur Frage passen.

Wie funktioniert RAG Schritt für Schritt?

Der Ablauf lässt sich in vier Schritten beschreiben:

1. Vorbereitung der Wissensbasis: Dokumente werden in kleinere Abschnitte zerlegt (sogenanntes Chunking) und in eine durchsuchbare Form gebracht. Üblich ist die Speicherung als Embeddings – numerische Darstellungen von Textbedeutung – in einer Vektordatenbank. So lassen sich Inhalte nicht nur nach Stichwort, sondern nach inhaltlicher Ähnlichkeit finden.
2. Retrieval: Stellt jemand eine Frage, sucht das System die dazu passendsten Textabschnitte aus der Wissensbasis heraus.
3. Anreicherung des Prompts: Die gefundenen Abschnitte werden zusammen mit der ursprünglichen Frage an das Sprachmodell übergeben.
4. Generation: Das Modell formuliert eine Antwort, die sich auf die mitgelieferten Informationen stützt – idealerweise mit Verweis auf die Quelle.

Der entscheidende Punkt: Das Modell selbst wird dabei nicht verändert. Es bekommt lediglich besseren Kontext. Genau das unterscheidet RAG vom Fine-Tuning, bei dem ein Modell mit zusätzlichen Daten nachtrainiert wird.

RAG, Fine-Tuning oder Prompt Engineering – wann was?

Es gibt mehrere Wege, ein Sprachmodell an eine konkrete Aufgabe anzupassen:

• Prompt Engineering formuliert die Anweisung geschickt, fügt aber kein neues Wissen hinzu.
• Fine-Tuning trainiert das Modell mit zusätzlichen Daten nach – aufwendig, und neue Informationen erfordern erneutes Training.
• RAG bindet eine Wissensquelle an, die sich jederzeit aktualisieren lässt, ohne das Modell anzufassen.

Für Wissen, das sich häufig ändert oder unternehmensspezifisch ist, ist RAG meist der praktischere Weg. Ändert sich ein Dokument, wird einfach die Wissensbasis aktualisiert – die nächste Antwort berücksichtigt es sofort.

Welche Vorteile bietet RAG im Unternehmen?

• Aktualität: Antworten beruhen auf dem jeweils aktuellen Datenbestand, nicht auf einem alten Trainingsstand.
• Nachvollziehbarkeit: Weil die Antwort auf konkreten Dokumenten fußt, lässt sich die Quelle benennen. Das schafft Vertrauen und erleichtert Prüfungen.
• Weniger Halluzinationen: Das Modell muss Fakten nicht „erraten", sondern findet sie in der Quelle.
• Datenkontrolle: Sensible Inhalte bleiben in der eigenen Wissensbasis. Beim Training muss nichts offengelegt werden – ein Aspekt, der für die Einhaltung der DSGVO relevant ist.

Zu beachten ist, dass RAG kein Selbstläufer ist: Die Antwortqualität hängt unmittelbar von der Qualität und Pflege der Wissensbasis ab. Sind Dokumente veraltet, widersprüchlich oder schlecht strukturiert, spiegelt sich das in den Antworten wider. Auch die Berücksichtigung von Zugriffsrechten – wer welche Inhalte sehen darf – muss von Anfang an mitgedacht werden.

RAG als Grundlage für AI-Mitarbeiter

RAG ist eine der wichtigsten Techniken, um aus einem allgemeinen Sprachmodell einen Helfer zu machen, der das eigene Unternehmen wirklich kennt. Genau hier setzt das Konzept der AI-Mitarbeiter an: Eine klar umrissene Rolle wird mit dem relevanten Firmenwissen verbunden und übernimmt dauerhaft eine konkrete Aufgabe.

Ein Beispiel: Ein Sales Assistant wie Carl kann auf Produktinformationen und Argumentationshilfen zugreifen, um bei der Lead-Qualifizierung belastbare Auskünfte zu geben, statt allgemein zu bleiben. In der Wettbewerbsbeobachtung wiederum sorgt der Zugriff auf aktuelle Quellen dafür, dass Einschätzungen auf echten Informationen beruhen.

Wer die technische Einordnung vertiefen möchte, findet weiterführende Grundlagen in den Artikeln Was sind KI-Agenten? und KI-Grundlagen für Entscheider.

Fazit

Retrieval-Augmented Generation verbindet die Sprachfähigkeit eines Modells mit dem konkreten Wissen einer externen Quelle. Das Ergebnis sind Antworten, die aktueller, präziser und überprüfbarer sind – ohne dass das Modell selbst neu trainiert werden muss. Für den Unternehmenseinsatz ist RAG damit ein zentraler Baustein: Es macht generative KI dort verlässlich, wo es auf eigene, sich ändernde Daten ankommt.