RAG-Systeme im Unternehmen: Wie Sie Ihr eigenes Wissen für KI nutzbar machen

Stand: 27. Oktober 2026. Ich habe den Beitrag um einen Vergleich zwischen fertiger RAG-Plattform und eigenem RAG-System sowie um Antworten auf häufige Fragen ergänzt.

Sprachmodelle wie ChatGPT, Claude oder Gemini kennen weite Teile des öffentlichen Internets, aber kein einziges Dokument aus Ihrem Unternehmen. Für viele praxisrelevante Aufgaben ist genau das aber entscheidend: Kundenhistorie im CRM, Produktdatenblätter, interne Richtlinien, Verträge, Handbücher. Die Antwort darauf heißt RAG, kurz für Retrieval Augmented Generation. Dieser Artikel erklärt, was dahinter steckt, warum es für die meisten Mittelständler der pragmatischere Weg als Fine-Tuning ist, wann eine fertige RAG-Plattform reicht und wie ein erstes Projekt aussieht.

Was ist RAG überhaupt?

Die Grundidee ist einfach: Statt dem Sprachmodell alles „beizubringen", was es wissen soll, stellen Sie ihm zur Laufzeit genau die Informationen bereit, die es zur Beantwortung einer konkreten Frage braucht. Das Modell selbst bleibt das allgemeine, vortrainierte LLM, aber es antwortet auf Basis Ihrer Daten.

Technisch läuft das in drei Schritten ab: Zunächst werden Ihre Dokumente in kleine, semantisch sinnvolle Abschnitte zerlegt und als sogenannte Embeddings (Zahlenvektoren) in einer Vektordatenbank gespeichert. Stellt ein Nutzer eine Frage, wird auch diese Frage in einen Vektor übersetzt und die ähnlichsten Dokumenten-Ausschnitte werden gesucht. Diese Fundstellen werden dem LLM zusammen mit der Frage übergeben, und auf dieser Basis formuliert es eine präzise Antwort mit Quellenangabe.

RAG oder Fine-Tuning: Was ist besser?

Eine Frage, die in nahezu jedem Erstgespräch aufkommt. Meine ehrliche Antwort lautet für die allermeisten mittelständischen Anwendungsfälle: RAG. Die Gründe dafür sind wirtschaftlicher und technischer Natur.

Fine-Tuning bedeutet, ein Modell mit eigenen Daten nachtrainieren zu lassen. Das ist teuer, setzt eine große Menge gut aufbereiteter Trainingsdaten voraus und muss bei jeder inhaltlichen Änderung wiederholt werden. RAG hingegen lässt sich inkrementell aktualisieren: Ein neues Dokument wird einfach indexiert und steht sofort zur Verfügung. Außerdem sind die Antworten nachvollziehbar: Das Modell kann die Quelle zitieren, aus der es seine Information bezogen hat.

Konkrete Anwendungsfälle aus der Praxis

Interne Wissensdatenbank

Mitarbeiter stellen natürlichsprachige Fragen zu Unternehmensrichtlinien, Prozessen oder Produkten und erhalten präzise Antworten, inklusive Link zum Originaldokument. Besonders wertvoll für neue Kollegen, die sonst mehrere Wochen Einarbeitung brauchen.

Angebots- und Vertragsassistent

Ein RAG-System, das auf historische Angebote, Kundenspezifika und Produktkataloge zugreift, kann Vertriebsmitarbeiter beim Erstellen neuer Angebote deutlich entlasten. Besonders in Branchen mit vielen Varianten und Sonderausstattungen ist das ein echter Hebel.

Technischer Support

Support-Mitarbeiter finden in Sekunden die passende Lösung aus tausenden Tickets, Handbüchern und Service-Dokumentationen. Das kann die Bearbeitungszeit pro Anfrage spürbar senken und die Antworten einheitlicher machen.

In allen drei Fällen liefert das System Antworten und Entwürfe, mit denen ein Mensch weiterarbeitet. Soll es zusätzlich selbst Vorgänge anlegen oder Daten in anderen Systemen ändern, wird daraus ein fester Ablauf mit KI-Schritt oder ein Agent, je nachdem, ob der Weg vorab feststeht. Den Unterschied zwischen Chatbot und KI-Agent erkläre ich in einem eigenen Leitfaden.

Datenschutz und Vertraulichkeit

Ein häufiger Einwand: „Ich möchte meine Unternehmensdaten nicht einfach in die Cloud schicken." Völlig berechtigt und glücklicherweise technisch gut lösbar. Moderne RAG-Architekturen lassen sich so aufbauen, dass sensible Daten on-premises oder in einer geschützten Cloud-Umgebung verbleiben. Nur die konkrete Anfrage und der relevante Kontextausschnitt wird an das LLM übergeben, und auch das kann über Anbieter mit Rechenzentren in der EU und einem Vertrag zur Auftragsverarbeitung laufen. Wer gar keine Daten nach außen geben will, kann das Sprachmodell selbst betreiben. Wann sich ein lokales Sprachmodell im Mittelstand lohnt, beschreibe ich in einem eigenen Beitrag.

RAG-Plattform oder eigenes RAG-System?

Wer heute ein RAG-System im Unternehmen einführen will, muss nicht bei null anfangen. Die großen Cloud-Anbieter haben fertige Bausteine im Programm. Für die verwaltete Variante von Amazon Bedrock Knowledge Bases übernimmt AWS laut eigener Dokumentation Einlesen, Indexierung und Suche und bietet Anbindungen unter anderem an SharePoint, Confluence und Google Drive. Microsoft beschreibt für Azure AI Search einen eigenen RAG-Ablauf, der unter anderem Berechtigungen aus SharePoint übernehmen kann. Solche Plattformen sparen Entwicklungsarbeit, binden Sie aber an einen Anbieter und dessen Cloud.

Ein eigenes RAG-System setze ich aus einzelnen Bausteinen zusammen: Vektordatenbank, Embedding-Modell, Sprachmodell und die Anbindung an Ihre Systeme. Das ist mehr Arbeit, lässt Ihnen aber die Wahl, wo die Daten liegen und welches Modell antwortet. Welcher Weg passt, entscheiden meist diese Punkte:

• Datenquellen: Liegen Ihre Dokumente ohnehin in SharePoint oder Confluence, bringt eine Plattform oft passende Anbindungen mit. Stecken die wichtigen Informationen in einer Branchensoftware, einer eigenen Datenbank oder alten Dateiablagen, brauchen Sie in jedem Fall eine eigene Schnittstelle.
• Zugriffsrechte: Das System darf niemandem Inhalte zeigen, die er im Original nicht öffnen dürfte. Prüfen Sie, ob die Plattform die Rechte Ihrer Quellsysteme übernimmt oder ob sie nachgebildet werden müssen.
• Hosting: Eine Plattform läuft in der Cloud ihres Anbieters. Ein eigenes System kann beim Hoster Ihrer Wahl oder bei Ihnen im Haus laufen.
• Datenschutz: Klären Sie Region, Auftragsverarbeitung und mögliche Übermittlungen in Drittländer, bevor das erste Dokument indexiert wird. Worauf es dabei ankommt, beschreibe ich im Beitrag zu Hosting in der EU und Drittlandübermittlungen.
• Aktualität: Wie schnell muss eine geänderte Richtlinie oder ein neues Datenblatt in den Antworten auftauchen? Davon hängt ab, wie oft und auf welchem Weg neu indexiert wird.
• Kosten: Bei einer Plattform zahlen Sie laufend für den Dienst, bei einem eigenen System fällt mehr Aufwand für Aufbau und Betrieb an. Was am Ende günstiger ist, hängt von Datenmenge, Nutzerzahl und Anfragevolumen ab und lässt sich erst für den konkreten Fall seriös abschätzen.

Beide Wege wachsen inzwischen mit KI-Agenten zusammen. AWS nennt für seine verwalteten Wissensbasen ausdrücklich die Anbindung über das Model Context Protocol (MCP), damit Agenten sie als Werkzeug nutzen können. Dasselbe lässt sich auch mit einem eigenen RAG-System umsetzen, indem man die Suche als MCP-Server bereitstellt.

Typische Stolpersteine

Der größte Fehler bei RAG-Projekten ist ungenügende Datenqualität. Wenn Ihre Dokumentation inkonsistent, veraltet oder widersprüchlich ist, wird das RAG-System genau diese Widersprüche zutage fördern. Der zweite häufige Fehler: zu optimistische Erwartungen an die Out-of-the-Box-Qualität. Ein RAG-System muss iterativ verbessert werden: durch besseres Chunking, bessere Embeddings, Prompt-Optimierung und regelmäßiges Feedback.

Ein realistischer Projektrahmen

Ein erstes, produktiv nutzbares RAG-System für einen klar abgegrenzten Anwendungsfall lässt sich typischerweise in vier bis acht Wochen umsetzen. Voraussetzung ist, dass die Ausgangsdokumente in digitaler Form vorliegen und strukturell halbwegs sauber sind. Den größten Teil des Aufwands macht nicht die KI, sondern die Datenaufbereitung aus. Diesen Punkt sollte man in der Planung nicht unterschätzen.

Häufige Fragen zu RAG-Systemen im Unternehmen

Was ist ein RAG-System im Unternehmen?

Ein RAG-System verbindet ein Sprachmodell mit Ihren eigenen Dokumenten und Daten. Bei jeder Frage sucht es zuerst die passenden Textstellen heraus und gibt sie dem Modell mit. Die Antwort beruht damit auf Ihrem Wissen und kann die Quelle nennen, aus der sie stammt.

Was unterscheidet eine RAG-Plattform von einem eigenen RAG-System?

Eine RAG-Plattform ist ein fertiger Dienst eines Cloud-Anbieters, bei dem Einlesen, Indexierung und Suche weitgehend vorgegeben sind. Ein eigenes RAG-System wird aus einzelnen Bausteinen gebaut. Es macht mehr Arbeit, lässt aber Hosting, Sprachmodell und Anbindung an Ihre Systeme offen.

Kann ein RAG-System mit einem lokalen Sprachmodell laufen?

Ja. Suche, Vektordatenbank und Sprachmodell lassen sich vollständig im eigenen Haus oder beim Hoster Ihrer Wahl betreiben. Dann verlassen weder Dokumente noch Anfragen Ihre Umgebung. Was das an Hardware und Aufwand bedeutet, beschreibe ich im Beitrag über lokale Sprachmodelle im Mittelstand.

Sieht dann jeder Mitarbeiter alle Dokumente?

Das darf nicht passieren und muss von Anfang an eingeplant werden. Das System sollte bei jeder Suche nur Inhalte berücksichtigen, die der fragende Nutzer auch im Original öffnen dürfte. Dafür werden die Rechte aus den Quellsystemen übernommen oder im RAG-System nachgebildet.

Wie lange dauert die Einführung eines RAG-Systems?

Ein erstes, produktiv nutzbares System für einen klar abgegrenzten Anwendungsfall lässt sich typischerweise in vier bis acht Wochen umsetzen. Den größten Teil des Aufwands macht die Aufbereitung der Dokumente aus, nicht die KI.

Was ist der Unterschied zwischen einem RAG-System und einem KI-Agenten?

Ein RAG-System beantwortet Fragen auf Basis Ihrer Daten. Ein KI-Agent führt darüber hinaus selbst Arbeitsschritte aus, legt zum Beispiel Vorgänge an oder ändert Daten in anderen Systemen. Häufig nutzt ein Agent ein RAG-System als eines seiner Werkzeuge. Mehr dazu in meinem Leitfaden zu KI-Agenten im Mittelstand.