Large Language Models wie GPT-4 oder Claude kennen weite Teile des öffentlichen Internets - aber kein einziges Dokument aus Ihrem Unternehmen. Für viele praxisrelevante Aufgaben ist genau das aber entscheidend: Kundenhistorie im CRM, Produktdatenblätter, interne Richtlinien, Verträge, Handbücher. Die Antwort darauf heißt RAG - Retrieval Augmented Generation. Dieser Artikel erklärt, was dahinter steckt, warum es für die meisten Mittelständler der pragmatischere Weg als Fine-Tuning ist und wie ein erstes Projekt aussieht.

Was ist RAG überhaupt?

Die Grundidee ist einfach: Statt dem Sprachmodell alles „beizubringen", was es wissen soll, stellen Sie ihm zur Laufzeit genau die Informationen bereit, die es zur Beantwortung einer konkreten Frage braucht. Das Modell selbst bleibt das allgemeine, vortrainierte LLM - aber es antwortet auf Basis Ihrer Daten.

Technisch läuft das in drei Schritten ab: Zunächst werden Ihre Dokumente in kleine, semantisch sinnvolle Abschnitte zerlegt und als sogenannte Embeddings (Zahlenvektoren) in einer Vektordatenbank gespeichert. Stellt ein Nutzer eine Frage, wird auch diese Frage in einen Vektor übersetzt und die ähnlichsten Dokumenten-Ausschnitte werden gesucht. Diese Fundstellen werden dem LLM zusammen mit der Frage übergeben - und auf dieser Basis formuliert es eine präzise Antwort mit Quellenangabe.

RAG oder Fine-Tuning - was ist besser?

Eine Frage, die in nahezu jedem Erstgespräch aufkommt. Die ehrliche Antwort lautet für 90 % der mittelständischen Anwendungsfälle: RAG. Die Gründe dafür sind wirtschaftlicher und technischer Natur.

Fine-Tuning bedeutet, ein Modell mit eigenen Daten nachtrainieren zu lassen. Das ist teuer, setzt eine große Menge gut aufbereiteter Trainingsdaten voraus und muss bei jeder inhaltlichen Änderung wiederholt werden. RAG hingegen lässt sich inkrementell aktualisieren: Ein neues Dokument wird einfach indexiert und steht sofort zur Verfügung. Außerdem sind die Antworten nachvollziehbar - das Modell kann die Quelle zitieren, aus der es seine Information bezogen hat.

Konkrete Anwendungsfälle aus der Praxis

Interne Wissensdatenbank

Mitarbeiter stellen natürlichsprachige Fragen zu Unternehmensrichtlinien, Prozessen oder Produkten und erhalten präzise Antworten - inklusive Link zum Originaldokument. Besonders wertvoll für neue Kollegen, die sonst mehrere Wochen Einarbeitung brauchen.

Angebots- und Vertragsassistent

Ein RAG-System, das auf historische Angebote, Kundenspezifika und Produktkataloge zugreift, kann Vertriebsmitarbeiter beim Erstellen neuer Angebote deutlich entlasten. Besonders in Branchen mit vielen Varianten und Sonderausstattungen ist das ein echter Hebel.

Technischer Support

Support-Mitarbeiter finden in Sekunden die passende Lösung aus tausenden Tickets, Handbüchern und Service-Dokumentationen. Die Bearbeitungszeit pro Anfrage sinkt spürbar, die Qualität der Antworten steigt.

Datenschutz und Vertraulichkeit

Ein häufiger Einwand: „Ich möchte meine Unternehmensdaten nicht einfach in die Cloud schicken." Völlig berechtigt - und glücklicherweise technisch gut lösbar. Moderne RAG-Architekturen lassen sich so aufbauen, dass sensible Daten on-premises oder in einer geschützten Cloud-Umgebung verbleiben. Nur die konkrete Anfrage und der relevante Kontextausschnitt wird an das LLM übergeben - und auch das kann über datenschutzkonforme Anbieter mit Rechenzentren in der EU erfolgen.

Typische Stolpersteine

Der größte Fehler bei RAG-Projekten ist ungenügende Datenqualität. Wenn Ihre Dokumentation inkonsistent, veraltet oder widersprüchlich ist, wird das RAG-System genau diese Widersprüche zutage fördern. Der zweite häufige Fehler: zu optimistische Erwartungen an die Out-of-the-Box-Qualität. Ein RAG-System muss iterativ verbessert werden - durch besseres Chunking, bessere Embeddings, Prompt-Optimierung und regelmäßiges Feedback.

Ein realistischer Projektrahmen

Ein erstes, produktiv nutzbares RAG-System für einen klar abgegrenzten Anwendungsfall lässt sich typischerweise in vier bis acht Wochen umsetzen. Voraussetzung ist, dass die Ausgangsdokumente in digitaler Form vorliegen und strukturell halbwegs sauber sind. Den größten Teil des Aufwands macht nicht die KI, sondern die Datenaufbereitung aus - ein Punkt, den man in der Planung nicht unterschätzen sollte.