Retrieval Augmented Generation (RAG)

Was bedeutet Retrieval Augmented Generation (RAG)?

Der Begriff beschreibt den Ablauf in drei Wörtern: Retrieval heißt Abrufen, Augmented angereichert, Generation Erzeugen. Stellt jemand eine Frage, durchsucht das System zuerst den eigenen Wissensbestand nach den passenden Textstellen. Diese Abschnitte bekommt das Sprachmodell zusammen mit der Frage vorgelegt, und erst dann formuliert es die Antwort – auf Grundlage genau dieser Unterlagen und im besten Fall mit Angabe, aus welchem Dokument sie stammt. Damit das funktioniert, werden die Dokumente vorher in kurze Abschnitte zerlegt und so erschlossen, dass das System nach Bedeutung sucht und nicht nur nach Stichwörtern. Fachleute sprechen hier von semantischer Suche oder Vektorsuche.

Der Grund für den Aufwand ist einfach: Ein Sprachmodell wie ChatGPT kennt nur das, was in seinen Trainingsdaten stand. Ihre Preisliste, Ihr Wartungshandbuch oder die Kundenabsprache von letzter Woche gehören nicht dazu. Fehlt einem Modell eine Information, füllt es die Lücke oft mit einer plausibel klingenden Erfindung, einer sogenannten Halluzination. RAG gibt dem Modell ein Nachschlagewerk an die Hand: Es antwortet aus Ihren Unterlagen statt aus dem Gedächtnis, und es kann sagen, wenn die Unterlagen zu einer Frage nichts hergeben.

Abzugrenzen ist RAG vor allem vom Fine-Tuning. Dabei wird das Modell selbst mit eigenen Daten nachtrainiert – das ist aufwendig, das Wissen veraltet mit jedem neuen Dokument, und welche Quelle hinter einer Antwort steckt, lässt sich kaum nachvollziehen. Bei RAG bleibt das Modell unverändert; aktualisiert wird, indem man Dokumente austauscht. Ein Unternehmens-GPT, also ein KI-Assistent mit Firmenwissen, ist meist die Anwendung, die Mitarbeitende sehen – RAG ist das Verfahren darunter. Auch ein digitaler Mitarbeiter nutzt RAG, wenn er Aufgaben mit Firmenwissen erledigt. Nicht verwechseln sollte man RAG mit Generative Engine Optimization: Dort geht es darum, dass öffentliche KI-Suchsysteme, die intern ebenfalls nach dem RAG-Prinzip Quellen aus dem Netz abrufen, Ihre Website als Quelle verwenden.

Für den Mittelstand ist wichtig: RAG ist kein fertiges Produkt, sondern ein Bauprinzip. Die Qualität der Antworten hängt weniger vom gewählten Sprachmodell ab als von den Dokumenten, ihrem Zuschnitt und den Zugriffsrechten. Welche Wissensbestände sich in einem Betrieb zuerst lohnen, klärt eine KI-Potenzialanalyse; wo Abläufe danach ohne manuelles Zutun weiterlaufen sollen, beginnt die Prozessautomatisierung.

Retrieval Augmented Generation (RAG) kurz erklärt: die wichtigsten Punkte

• Die KI schlägt vor jeder Antwort in festgelegten Quellen nach – Handbücher, Verträge, Angebote, Wissensdatenbanken, FAQ.
• Das Sprachmodell wird nicht verändert; neues Wissen ist nutzbar, sobald das Dokument im Bestand liegt.
• Gute RAG-Systeme nennen zu jeder Antwort die Quelle, sodass Mitarbeitende sie in Sekunden prüfen können.
• Die Antwortqualität steht und fällt mit dem Wissensbestand: veraltete, doppelte oder widersprüchliche Dokumente führen zu falschen Antworten.
• Zugriffsrechte gehören ins System: Wer eine Unterlage im Original nicht sehen darf, darf auch die Antwort daraus nicht bekommen.

Retrieval Augmented Generation (RAG) in der Praxis

• Technischer Kundendienst: Ein Servicetechniker fragt am Telefon oder auf dem Tablet nach dem Fehlercode einer bestimmten Anlage. Das System durchsucht Bedienungsanleitungen, Servicehandbücher und frühere Störungsberichte und liefert die Lösungsschritte mit Verweis auf die Seite im Handbuch – statt dass er einen erfahrenen Kollegen anruft oder im Ordner blättert.
• Angebote im Handwerk und Vertrieb: Für eine neue Anfrage sucht das System vergleichbare frühere Angebote, die passenden Positionen aus dem eigenen Leistungsverzeichnis und die aktuellen Materialpreise heraus und schlägt daraus einen Entwurf vor. Der Meister oder Vertriebsmitarbeiter prüft Mengen und Preise und gibt frei.
• Einarbeitung neuer Mitarbeitender: Fragen wie „Wie läuft bei uns die Reklamation ab?“ oder „Welche Prüfschritte gelten für dieses Bauteil?“ beantwortet ein Assistent aus Betriebshandbuch, Arbeitsanweisungen und QM-Dokumenten. Erfahrene Kolleginnen und Kollegen werden seltener unterbrochen, und Wissen geht nicht verloren, wenn jemand den Betrieb verlässt.

Woran Sie ein gut umgesetztes RAG-System erkennen

1. Jede Antwort nennt ihre Quelle – Dokument und Stelle –, sodass sie sich in Sekunden nachprüfen lässt.
2. Findet das System nichts Passendes, sagt es das ausdrücklich, statt eine Antwort zu erfinden.
3. Die Zugriffsrechte der Ablage gelten auch im System; vertrauliche Unterlagen bleiben bei den Berechtigten.
4. Für den Wissensbestand gibt es eine verantwortliche Person und einen festen Weg, wie neue Fassungen hinein- und alte herauskommen.
5. Die Qualität wird an einem Katalog echter Testfragen gemessen – vor dem Start und danach in regelmäßigen Abständen.

Typische Fehler

• Alles hineinkippen: Wer das gesamte Laufwerk mit alten Versionen, Entwürfen und Dubletten einspielt, bekommt widersprüchliche Antworten. Besser ist ein kleiner, gepflegter Bestand, der Schritt für Schritt wächst.
• Scans und Tabellen unterschätzen: Eingescannte PDFs ohne Texterkennung, handschriftliche Notizen oder verschachtelte Tabellen kann das System nur lesen, wenn sie vorher aufbereitet wurden.
• Rechte vergessen: Landen Gehaltslisten, Personalakten oder Kundendaten ohne Rechtekonzept im Wissensbestand, kann jeder Nutzer sie über eine geschickte Frage abrufen.
• Ohne Prüfung live gehen: Ohne Testfragen und Quellenangaben fällt eine falsche Antwort erst beim Kunden auf – und dann leidet das Vertrauen ins ganze System.

Mein Bezug

Ich nutze dieses Prinzip in meinen eigenen Unternehmen täglich. Die rund 40 digitalen Mitarbeiter bei pxMEDIA und ONFYR arbeiten mit einem gemeinsamen Firmengehirn: Bevor sie einen Text entwerfen, ein Angebot vorbereiten oder eine Frage beantworten, schlagen sie im gepflegten Firmenwissen nach, statt aus dem allgemeinen Wissen eines Sprachmodells zu schöpfen. Dabei habe ich gelernt, dass die meiste Arbeit nicht in der Technik steckt, sondern im Aufräumen und Pflegen der Unterlagen. Genau dort setze ich auch bei Kunden an: erst klären, welches Wissen wo liegt und wer es braucht, dann den ersten Assistenten für einen klar umrissenen Bereich bauen und im Alltag einführen.

Die Beratung davor ist für kleine und mittlere Unternehmen förderfähig: In Mecklenburg-Vorpommern bezuschusst das BAFA 80 Prozent der förderfähigen Beratungskosten, bemessen an höchstens 3.500 Euro netto je Beratung – Antrag vor Beratungsbeginn, nach geltender Richtlinie bis 31. Dezember 2026. Für die Umsetzung kommt in MV die KI-Förderung mit 50 Prozent und bis zu 50.000 Euro je Vorhaben in Frage. Was ein solcher Assistent konkret leistet und kostet, beschreibe ich im Beitrag zum Unternehmens-GPT.

Verwandte Begriffe

• Digitaler Mitarbeiter
• KI-Potenzialanalyse
• Prozessautomatisierung
• Generative Engine Optimization (GEO)
• KI-Berater

Weiterführende Beiträge

• Unternehmens-GPT: Was ein eigener KI-Assistent mit Firmenwissen kann
• Kann man KI-Antworten trauen? Halluzinationen einfach erklärt
• Wissen sichern, wenn der beste Mitarbeiter geht
• Was heute nur auf Papier steht, kann morgen keine KI nutzen
• ChatGPT im Betrieb: erlaubt oder Datenschutz-Falle?

Häufige Fragen zu Retrieval Augmented Generation (RAG)

Was ist Retrieval Augmented Generation einfach erklärt?

Retrieval Augmented Generation bedeutet, dass eine KI vor ihrer Antwort in Ihren eigenen Unterlagen nachschlägt und nur auf dieser Grundlage antwortet. Sie funktioniert damit wie ein Mitarbeiter, der vor jeder Auskunft kurz im richtigen Ordner nachsieht, statt aus dem Gedächtnis zu antworten. Gute Systeme nennen dazu die Quelle, aus der die Antwort stammt.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Bei RAG bleibt das Sprachmodell unverändert und bekommt zu jeder Frage die passenden Dokumente vorgelegt, beim Fine-Tuning wird das Modell selbst mit eigenen Daten nachtrainiert. Für Firmenwissen ist RAG meist die bessere Wahl: Neue Unterlagen sind sofort nutzbar, Antworten lassen sich auf Quellen zurückführen, und es fällt kein teures Nachtraining an. Fine-Tuning lohnt sich eher, wenn ein Modell einen bestimmten Stil oder ein festes Format lernen soll.

Verhindert RAG Halluzinationen vollständig?

Nein, aber RAG senkt das Risiko deutlich, weil die KI aus vorgelegten Quellen statt aus dem Gedächtnis antwortet. Fehler entstehen weiterhin, wenn die Suche den falschen Abschnitt findet, Dokumente veraltet oder widersprüchlich sind oder das Modell eine Quelle falsch zusammenfasst. Deshalb gehören Quellenangaben, ein Testfragenkatalog und bei wichtigen Auskünften eine menschliche Prüfung dazu.

Kann man RAG datenschutzkonform betreiben?

Ja, wenn vorher feststeht, welche Dokumente in das System gehen, wo sie gespeichert und verarbeitet werden und wer worauf zugreifen darf. Möglich sind Sprachmodelle mit Verarbeitung in der EU oder selbst betriebene Modelle, jeweils mit Auftragsverarbeitungsvertrag und Rechtekonzept. Personenbezogene oder besonders sensible Unterlagen sollten nur aufgenommen werden, wenn es dafür einen klaren Zweck und eine Rechtsgrundlage gibt.

Wird ein RAG-Projekt gefördert?

Beratung und Umsetzung können über getrennte Programme gefördert werden. Die Beratung, etwa Potenzialanalyse und Konzept, bezuschusst das BAFA für kleine und mittlere Unternehmen in Mecklenburg-Vorpommern mit 80 Prozent auf höchstens 3.500 Euro netto je Beratung, Antrag vor Beratungsbeginn, nach geltender Richtlinie bis 31. Dezember 2026. Für die Umsetzung kommt in MV die KI-Förderung mit 50 Prozent und bis zu 50.000 Euro je Vorhaben in Frage; die Bedingungen müssen vor dem Antrag geprüft werden.