RAG koppelt ein LLM mit einer durchsuchbaren Wissensbasis: Zur Frage werden die relevantesten eigenen Textstellen gesucht und dem Modell im Prompt mitgegeben — ohne Training.
Was bedeutet RAG?
Architektur, die ein LLM mit einer durchsuchbaren Wissensbasis koppelt: Zur Frage werden die relevantesten Textabschnitte aus den eigenen Dokumenten gesucht und dem Modell im Prompt mitgegeben. Das Modell antwortet dann auf Basis dieser Belege statt nur aus dem Gedächtnis.
Abgrenzung — worauf es ankommt
RAG trainiert nichts — das Modell bleibt unverändert, das Wissen liegt in der Datenbank. Vorteile gegenüber Fine-Tuning: tagesaktuell aktualisierbar, Quellenangaben möglich, Rechteverwaltung pro Dokument, deutlich billiger. Vorteil gegenüber „alles ins Kontextfenster werfen“: schneller, günstiger, präziser bei großen Dokumentmengen.
Beispiel aus der Praxis
Interner HR-Bot: Frage zum Urlaubsanspruch → System findet die zwei passenden Absätze aus der aktuellen Betriebsvereinbarung → LLM antwortet und verlinkt die Fundstelle.
Zum Weiterdenken
Typische Fehlerquellen in der Praxis: schlechtes Chunking (Zusammenhänge zerschnitten), veralteter Index, Retrieval findet die falschen Stellen (dann halluziniert das LLM „auf Basis“ irrelevanter Chunks), fehlende Berechtigungsprüfung. Faustregel: Die Qualität eines RAG-Systems steht und fällt mit dem Retrieval, nicht mit dem LLM.
RAG in Ihrem Unternehmen nutzen?
Von der Theorie in die Praxis: Wir zeigen Ihnen den passenden Weg — pragmatisch, DSGVO-konform und messbar.
Kostenlos · unverbindlich