BEGRIFF· 16.01.2026
Retrieval Augmented Generation (RAG)
RAG lässt ein Sprachmodell in deinen Daten nachschlagen, bevor es antwortet. Wie die Architektur funktioniert und wo sie in der Praxis scheitert.
Was RAG löst
Ein Sprachmodell klingt eloquent und hat trotzdem keine Ahnung von deinem Geschäft. Es kennt weder deine Preisliste noch deine internen Support-Richtlinien, und was es nicht weiß, erfindet es oft dazu. RAG erlaubt dem Modell, vorher nachzuschlagen.
Trainiert wird dabei nichts. Deine Daten bleiben in deiner Datenbank, das System reicht dem Modell nur für diese eine Anfrage den passenden Textauszug in den Prompt. Ändert sich ein Preis, tauschst du das Dokument aus statt das Modell.
Der Ablauf hat drei Schritte. Der Nutzer fragt. Das System durchsucht deine Dokumente nach dem passenden Absatz. Dann reicht es die gefundene Stelle mit der Frage an das Modell weiter, samt Anweisung, genau diese Information zu nutzen. Der kritische Punkt ist die Suche: Findet sie die falsche Stelle, wird die Antwort falsch, egal wie gut das Modell ist.
Die Pipeline dahinter
Am Anfang steht das Chunking, also die Zerlegung deiner Dokumente in sinnvolle Häppchen. Danach kommt die Vektorisierung, und das ist der eigentliche Trick. Ein Embedding-Modell wandelt jeden Chunk in eine lange Zahlenreihe um, die seine Bedeutung repräsentiert und nicht seinen Wortlaut. Zwei Textstellen, die dasselbe meinen, landen dadurch nah beieinander im Zahlenraum.
Genau das macht semantische Suche möglich. Zur Frage nach "Auto" findet das System auch den Chunk mit "PKW". Diese Zahlenreihen lagern in einer Vektordatenbank, und bei einer Anfrage wird auch die Frage in ein Embedding umgerechnet.
Die Suche liefert meist drei bis zehn Treffer, sortiert nach Relevanz. Die landen direkt im Prompt, zusammen mit der Frage und einer Anweisung wie "Beantworte ausschließlich auf Basis der folgenden Auszüge". Jeder Chunk kostet dabei Platz im Context Window, und zu viele Treffer verwässern die Antwort genauso wie zu wenige sie unvollständig machen.
RAG oder Fine-Tuning
Hier verbrennen Unternehmen gern Budget mit der Frage, ob man das Modell nicht einfach auf die eigenen Daten trainieren sollte. Meistens lautet die Antwort nein.
Fine-Tuning ist wie das Lernen für eine Prüfung: Du veränderst das Modell dauerhaft. Das ist teuer, langsam, und das Wissen ist veraltet, sobald sich deine Daten ändern. Für einen Stil eignet es sich gut, für Fakten schlecht. RAG ist eher der Spickzettel. Das Modell bleibt bei deinen Daten dumm, weiß aber, wo der Zettel liegt.
Wo RAG scheitert
Drei Stellen brechen in der Praxis am häufigsten. Liefert die Vektorsuche eine thematisch ähnliche, aber inhaltlich falsche Textstelle, übernimmt das Modell den Fehler mit demselben Selbstbewusstsein wie eine korrekte Antwort. Steht im Ausgangsdokument Unsinn, liefert auch die sauberste Architektur Unsinn. Und wird ein Absatz beim Chunking an der falschen Stelle durchtrennt, verliert er seinen Zusammenhang.
Bevor du in teure Lizenzen investierst, lohnt sich also der Blick auf die eigenen Dokumente. Strukturierte, aktuelle und sauber geschnittene Quellen entscheiden mehr über die Antwortqualität als die Wahl der Vektordatenbank.
Zwei Weiterentwicklungen sind einen Blick wert. GraphRAG versteht Verbindungen zwischen Inhalten über einen Wissensgraphen, statt nur ähnliche Dokumente zu listen. Agentic RAG merkt selbst, wenn die erste Suche nicht reicht, und recherchiert eigenständig weiter, ähnlich wie ein KI-Agent mehrere Schritte plant. Wie viel Gewicht ein gefundener Chunk am Ende behält, gehört ins Context Engineering.
Zurück zum AI und Automation Glossar.
FAQ
- Muss ich mein Modell für RAG neu trainieren?
- Nein, und das ist genau der Punkt. Die Daten bleiben in deiner Datenbank, das Modell bekommt sie nur zur Antwortzeit als Textauszug in den Prompt gereicht. Ändert sich ein Preis oder eine Regel, tauschst du das Dokument aus, nicht das Modell. Ein Neutraining wäre für diesen Fall unnötig teuer und langsam.
- Verhindert RAG Halluzinationen komplett?
- Nein. RAG senkt das Risiko deutlich, weil das Modell seine Antwort an gelieferten Fakten ausrichten muss, statt frei zu erfinden. Liefert die Suche aber die falsche Textstelle oder gar keine, kann das Modell trotzdem danebenliegen oder aus den Lücken heraus fantasieren. RAG ist eine Lesebrille, kein Beweis.
- Brauche ich für RAG unbedingt eine Vektordatenbank?
- Für einfache Stichwortsuche nicht, für semantische Suche schon. Eine Vektordatenbank findet auch Textstellen, die dasselbe meinen, aber andere Wörter benutzen, etwa "PKW" bei einer Frage nach "Auto". Ohne sie bleibt RAG eine simple Suche nach exakten Begriffen, und die trifft in der Praxis viel zu oft daneben.
