Retrieval Augmented Generation: wie RAG die KI-Nutzung im Unternehmen verändert

Retrieval Augmented Generation (RAG) ist eine KI-Architektur, bei der ein Sprachmodell vor jeder Antwort gezielt passende Informationen aus euren eigenen Datenquellen abruft und als Kontext nutzt. Der Begriff stammt aus einer Forschungsarbeit von Lewis et al. aus dem Jahr 2020. Inzwischen ist RAG der Standardweg, um KI-Assistenten mit Firmenwissen zu versorgen, ohne ein eigenes Modell zu trainieren.

Große Sprachmodelle wie GPT oder Claude sind beeindruckend. Sie formulieren fließend, fassen zusammen, beantworten Fragen. Aber sie haben ein Problem: Sie wissen nur, was in ihren Trainingsdaten steht. Fragt man sie nach etwas Aktuellem oder Unternehmensspezifischem, passiert eines von zwei Dingen. Entweder sie sagen ehrlich, dass sie es nicht wissen. Oder sie erfinden eine plausibel klingende, aber falsche Antwort. In der KI-Welt heißt das Halluzination.

Retrieval Augmented Generation, kurz RAG, löst genau dieses Problem.

Was ist RAG und warum wird es wichtig?

RAG ist ein Ansatz, bei dem ein Sprachmodell nicht nur auf seine Trainingsdaten zurückgreift, sondern vor jeder Antwort passende Informationen aus externen Quellen abruft. Das können interne Dokumente sein, Wikis, Datenbanken, Ticketsysteme oder E-Mail-Archive.

Der Ablauf ist im Kern einfach: Ein Nutzer stellt eine Frage. Das System durchsucht die freigegebenen Datenquellen nach passenden Textstellen. Diese Stellen werden dem Sprachmodell als Kontext mitgegeben. Das Modell formuliert die Antwort auf Basis dieses Kontexts und nennt im besten Fall die Quelle.

Der entscheidende Unterschied zu einem normalen KI-Chatbot: Die Antwort basiert nicht auf Vermutungen, sondern auf tatsächlich vorhandenen, aktuellen Daten aus eurem Betrieb.

Wie funktioniert RAG technisch, in einfachen Worten?

Du musst die Technik nicht bauen können, um zu verstehen, was passiert. Vier Schritte:

1. Dokumente zerlegen

Eure Dokumente werden in kleine Abschnitte geteilt, etwa Absätze oder Seiten. Ein 80-seitiges Handbuch wird so zu einigen hundert Bausteinen.

2. Bausteine indexieren

Jeder Baustein wird in eine Zahlenreihe übersetzt, die seine Bedeutung abbildet. Ähnliche Inhalte liegen in diesem Index nah beieinander, auch wenn sie andere Wörter verwenden. „Kündigungsfrist” und „wann kann ich den Vertrag beenden” landen nebeneinander.

3. Passende Stellen finden

Stellt jemand eine Frage, wird sie genauso übersetzt. Das System holt die fünf bis zehn Bausteine, die der Frage am nächsten liegen. Das ist der Retrieval-Teil.

4. Antwort formulieren

Die gefundenen Stellen und die Frage gehen zusammen an das Sprachmodell, mit der Anweisung: Antworte nur auf Basis dieser Stellen und nenne die Quelle. Das ist der Generation-Teil.

Der Index wird aktualisiert, sobald sich ein Dokument ändert. Deshalb kennt ein RAG-System die Preisliste von gestern, während das Sprachmodell selbst unverändert bleibt.

Welches Problem löst RAG?

Klassische Sprachmodelle haben zwei fundamentale Schwächen, die für den Unternehmenseinsatz problematisch sind.

Veraltete Informationen: Ein Modell weiß nur, was zum Zeitpunkt seines Trainings verfügbar war. Produktpreise, Lagerbestände, aktuelle Richtlinien oder neue Verträge kennt es nicht.

Halluzinationen: Wenn ein Modell keine passende Information hat, erfindet es häufig eine. Für allgemeine Unterhaltung mag das akzeptabel sein. Für Kundenkommunikation, interne Wissenssysteme oder operative Entscheidungen ist es ein ernstes Risiko.

RAG entschärft beide Probleme, weil das Modell auf Basis der abgerufenen Informationen antwortet. Gibt es keine relevanten Daten, kann das System das sagen, statt etwas zu erfinden. Ganz verschwinden Halluzinationen nicht, aber sie werden selten und, weil die Quelle mitgeliefert wird, überprüfbar.

Wo macht RAG im Unternehmen einen Unterschied?

Internes Wissensmanagement

Viele Betriebe haben ihr Wissen verteilt auf Dutzende Dokumente, Wikis, Laufwerke und Postfächer. Mitarbeitende verbringen Stunden damit, Informationen zu suchen. Ein RAG-System macht diese Quellen durchsuchbar und beantwortet Fragen in natürlicher Sprache: Wie ist die Kündigungsfrist bei Vertrag XY? Welche Schritte umfasst unser Onboarding? Was steht in der Reisekostenrichtlinie? Wie ein solcher interner Wissens-Chatbot im KMU eingeführt wird, beschreibt der Praxisbeitrag.

Einarbeitung neuer Mitarbeitender

Der teuerste Teil der Einarbeitung ist die Zeit erfahrener Kollegen: die zehnte Erklärung, wie ein Lieferschein gebucht wird oder wo die Vorlagen liegen. Ein Wissens-Assistent, der auf eure Dokumentation zugreift, beantwortet das Wiederkehrende. Vorgesetzte erklären nur noch das Besondere. Mehr dazu im Use Case Mitarbeiter-Onboarding und Schulung.

Kundensupport

Statt einen Chatbot mit starren Regeln auszustatten, greift ein RAG-System auf Produktdaten, FAQ-Sammlungen und Support-Historien zu. Die Antworten sind spezifisch und aktuell, weil sie auf euren Daten basieren. Standardfragen werden sofort beantwortet, der Rest geht mit Zusammenfassung an einen Menschen.

Dokumente und Vorlagen

Verträge, Handbücher, Prüfberichte: RAG-Systeme erschließen große Dokumentenbestände und beantworten gezielte Fragen dazu. Dasselbe Prinzip hilft beim Erstellen: Wenn das Modell eure bisherigen Gefährdungsbeurteilungen oder Angebote als Kontext bekommt, klingt der Entwurf nach eurem Betrieb, nicht nach Lehrbuch.

RAG vs. andere KI-Ansätze im Vergleich

Kriterium	Standalone-Sprachmodell	Fine-Tuning	RAG
Datenaktualität	Nur Trainingsdaten	Stand des letzten Trainings	Aktuelle Daten bei jeder Anfrage
Halluzinationen	Häufig bei Firmenwissen	Weniger, aber nicht überprüfbar	Selten und mit Quelle überprüfbar
Einführungsaufwand	Gering (API-Zugang)	Hoch (Training, Daten, Infrastruktur)	Mittel (Index und Anbindung)
Zeit bis zum Nutzen	Sofort	Wochen bis Monate	Tage bis Wochen
Neue Daten einpflegen	Nicht möglich	Erneutes Training nötig	Dokument ablegen, fertig
Nachvollziehbarkeit	Gering	Gering	Hoch (Quellen referenzierbar)
Laufende Kosten	API-Nutzung	Hosting plus API	API-Nutzung plus Index

Für Betriebe mit 10–50 Mitarbeitenden ist Fine-Tuning fast nie sinnvoll. Der Aufwand steht in keinem Verhältnis, und die Daten veralten. RAG liefert dasselbe Ziel mit einem Bruchteil des Aufwands.

Was braucht RAG, um zu funktionieren?

RAG ist kein Selbstläufer. Die Qualität der Antworten hängt von der Qualität der Datenquellen ab. Wenn eure Dokumente veraltet, widersprüchlich oder schlecht strukturiert sind, liefert auch RAG keine guten Antworten.

Drei Voraussetzungen sind entscheidend:

• Gepflegte Datenquellen: Die Informationen müssen aktuell und korrekt sein. Zwei widersprüchliche Versionen der Reisekostenrichtlinie führen zu zwei widersprüchlichen Antworten. Die Datenvorbereitung ist in fast jedem Projekt der größte Aufwand.
• Klarer Anwendungsfall: RAG funktioniert am besten mit definiertem Einsatzbereich. Ein interner Assistent für HR-Fragen ist ein guter Start. Ein System, das alles über alles wissen soll, ist es nicht.
• Menschliche Kontrolle: Besonders in der Anfangsphase sollten Antworten geprüft werden. Mit der Zeit wird das System zuverlässiger, aber blinde Automatisierung ist auch bei RAG keine gute Idee.

Der große Kostenvorteil: Du musst kein eigenes KI-Modell trainieren. RAG nutzt bestehende Sprachmodelle und reichert sie mit euren Daten an. Der Aufwand liegt im Aufräumen und Anbinden der Dokumente, nicht in der KI.

Wie sieht es mit Datenschutz aus?

Bei RAG bleiben die Dokumente in eurer Ablage: SharePoint, Google Drive, eigener Server. Nur die für eine Frage relevanten Textstellen gehen an das Sprachmodell. Das lässt sich so konfigurieren, dass keine Daten zum Training des Anbieters verwendet werden und die Verarbeitung in der EU stattfindet.

Wichtig ist die Rechteverwaltung: Wer im Betrieb die Gehaltsliste nicht sehen darf, darf sie auch nicht über den Assistenten erfragen können. Gute Systeme übernehmen die Berechtigungen aus der Ablage. Für personenbezogene Daten braucht es einen Auftragsverarbeitungsvertrag mit dem Modell-Anbieter. Mehr dazu im Beitrag Automatisierung und Datenschutz.

Wann lohnt sich RAG und wann nicht?

RAG ist sinnvoll, wenn:

• Mitarbeitende regelmäßig in verteilten Datenquellen nach Informationen suchen.
• Kunden spezifische Fragen zu euren Produkten oder Leistungen haben.
• Entscheidungen auf Basis interner Dokumente getroffen werden, die schwer auffindbar sind.
• Du KI einsetzen willst, aber Halluzinationen nicht akzeptabel sind.

RAG ist nicht nötig, wenn:

• Eure Prozesse mit klassischer regelbasierter Automatisierung gut funktionieren.
• Die Datenbasis zu klein oder zu unstrukturiert ist, um sinnvolle Ergebnisse zu liefern.
• Ein einfacher FAQ-Bereich ohne KI das Problem bereits löst.

Kommentar von Jonas Rump

RAG wird oft als rein technisches Thema behandelt. Dabei liegt die eigentliche Arbeit in der Datenaufbereitung. Die Betriebe, die ich begleitet habe, unterschätzten fast alle den Aufwand, ihre Dokumente so aufzuräumen, dass die Suche zuverlässig funktioniert. Veraltete PDFs, widersprüchliche Wikis, Wissen in E-Mail-Threads: All das muss sortiert werden, bevor RAG seinen Wert zeigt.

Ein Beispiel, das zeigt, was das Prinzip bringt: Bei einem Aufzug-Dienstleister mit sieben Mitarbeitenden dauerte eine Gefährdungsbeurteilung drei Stunden. Heute sind es 20 Minuten, inklusive fertiger PDF. Das ist kein klassischer Wissens-Chatbot, aber dieselbe Mechanik: Das Modell bekommt die eigenen Vorlagen und bisherigen Beurteilungen als Kontext und schreibt den Entwurf so, wie der Betrieb ihn schreiben würde. Der Sicherheitsingenieur prüft, statt zu tippen.

Meine Warnung: Ein RAG-System, das keine Quelle anzeigt, ist ein Chatbot mit besserem Marketing. Besteh darauf, dass jede Antwort die Stelle nennt, aus der sie stammt. Nur so kann ein Mitarbeiter in fünf Sekunden prüfen, ob die Antwort stimmt, und nur so merkt ihr, wenn ein veraltetes Dokument die Antworten verfälscht.

Und die zweite Warnung: Fangt klein an. Ein Assistent für einen Bereich, etwa Onboarding oder Servicehandbücher, ist in wenigen Wochen produktiv. Ein Assistent für „alles im Betrieb” ist nach einem halben Jahr noch in der Datenaufbereitung. Wo ein RAG-Projekt im eigenen Betrieb sinnvoll ansetzt, klärt sich am schnellsten in einem Gespräch, etwa in der KI-Beratung in Ulm und Umgebung.

Fazit

RAG macht KI im Unternehmen zuverlässiger. Statt sich auf die Trainingsdaten eines Modells zu verlassen, gründen sich Antworten auf aktuelle, eigene Informationen. Das reduziert Halluzinationen, verbessert Kundenkommunikation und internes Wissensmanagement und senkt die Hemmschwelle für den KI-Einsatz.

Wer bereits mit Sprachmodellen arbeitet oder darüber nachdenkt, sollte RAG als Standard betrachten, nicht als Zusatzfunktion. Die wichtigste Voraussetzung ist eine gepflegte Dokumentenbasis. Wie du sie aufbaust, zeigt der Use Case Dokumentenmanagement und Ablage. Und wie sich RAG in das größere Bild einfügt, wenn du deine Geschäftsprozesse automatisieren willst, erfährst du im Praxis-Guide.

Häufig gestellte Fragen

Was ist Retrieval Augmented Generation (RAG) einfach erklärt? RAG ist ein Verfahren, bei dem eine KI vor der Antwort passende Informationen aus euren eigenen Datenquellen abruft. Statt nur auf Trainingswissen zurückzugreifen, nutzt das Sprachmodell aktuelle, unternehmensspezifische Dokumente als Grundlage und kann die Quelle nennen.

Wie unterscheidet sich RAG von Fine-Tuning? Beim Fine-Tuning wird ein Sprachmodell mit zusätzlichen Daten nachtrainiert. Das ist teuer, dauert, und die Daten veralten. RAG greift zur Laufzeit auf aktuelle Datenquellen zu, ohne das Modell zu verändern. Das macht RAG flexibler und deutlich günstiger.

Welche Datenquellen kann RAG nutzen? Grundsätzlich jede textbasierte Quelle: interne Wikis, PDF-Dokumente, Datenbanken, CRM-Systeme, E-Mail-Archive, SharePoint-Bibliotheken oder ERP-Daten. Die Inhalte werden indexiert, damit das System sie nach Bedeutung durchsuchen kann.

Wie sicher sind Unternehmensdaten in einem RAG-System? Die Dokumente bleiben in eurer Infrastruktur oder bei einem von euch gewählten Cloud-Anbieter. Nur relevante Textstellen gehen an das Sprachmodell, und das lässt sich so konfigurieren, dass nichts zum Training verwendet wird. Zugriffsrechte lassen sich übernehmen, sodass Nutzer nur freigegebene Informationen sehen.

Wie lange dauert die Einführung eines RAG-Systems? Ein fokussierter Anwendungsfall, etwa ein interner Wissens-Assistent für ein Themengebiet, lässt sich in wenigen Wochen umsetzen. Der größte Zeitfaktor ist die Datenaufbereitung, nicht die Technik.

Ab welcher Unternehmensgröße lohnt sich RAG? Es gibt keine Mindestgröße. Entscheidend ist, ob ein relevanter Dokumentenbestand existiert, in dem Mitarbeitende oder Kunden regelmäßig suchen. Schon ab 5–10 Mitarbeitenden kann ein RAG-System im internen Wissensmanagement spürbar Zeit sparen.

Quellen

• Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020)

Verwandte Artikel: Wie KI-gesteuerte Automatisierung Geschäftsprozesse revolutioniert, Agenten statt Tool-Chaos: wie Handoffs sauber werden, No-Code/Low-Code: Automatisierung ohne Programmierkenntnisse