Die Antwort auf viele Fragen im Arbeitsalltag steht irgendwo: im Qualitätshandbuch, in einer Arbeitsanweisung, in einem Vertrag von 2021 oder in einem alten Ticket. Gefunden wird sie oft nicht, also fragt man die Kollegin, die schon lange dabei ist. Ein öffentliches Sprachmodell hilft hier nicht weiter, denn es kennt Ihre Unterlagen nicht. Genau diese Lücke schließt ein RAG-System.
Was ein RAG-System macht
RAG steht für Retrieval-Augmented Generation. Das System sucht zu jeder Frage zuerst die passenden Abschnitte aus Ihren eigenen Dokumenten heraus und gibt sie dem Sprachmodell als Grundlage mit. Das Modell formuliert die Antwort aus diesen Fundstellen und nennt die Quelle. Ihre Dokumente werden dafür nicht in das Modell eintrainiert, sie bleiben in einem eigenen, durchsuchbaren Index. Ändert sich eine Richtlinie, wird der Index aktualisiert, das Modell bleibt dasselbe.
Wofür sich das im Mittelstand eignet
- Interne Wissenssuche: Fragen zu Prozessen, Produkten oder Richtlinien in normaler Sprache stellen und die Fundstelle gleich mitbekommen.
- Kundenservice und Vertrieb: Antwortentwürfe auf Basis von Produktdokumentation und früheren Fällen, die ein Mitarbeiter prüft und freigibt.
- Einarbeitung: Neue Kolleginnen und Kollegen finden Antworten, ohne jedes Mal jemanden unterbrechen zu müssen.
- Technische Dokumentation: Wartungsanleitungen, Normen und Prüfprotokolle gezielt abfragen.
Was vor dem Start geklärt sein sollte
- Dokumentenbestand: Welche Quellen sollen hinein, und sind sie aktuell? Ein RAG-System gibt auch veraltete Anweisungen überzeugend wieder, wenn sie im Bestand liegen.
- Berechtigungen: Wer darf was sehen? Personalunterlagen oder Kalkulationen gehören nicht in einen Index, den das ganze Haus abfragt. Die Zugriffsrechte der Ablage müssen sich im System wiederfinden.
- Datenschutz: Enthalten die Dokumente personenbezogene Daten, braucht die Verarbeitung eine Rechtsgrundlage, bei einem Cloud-Anbieter einen Auftragsverarbeitungsvertrag und je nach Risiko eine Datenschutz-Folgenabschätzung.
- Betriebsort: Für vertrauliche Unterlagen kommt ein Betrieb auf eigener Hardware oder in einem deutschen Rechenzentrum in Frage. Dann verlässt kein Dokument das Unternehmen.
- Verantwortung: Jemand muss den Bestand pflegen, Rückmeldungen auswerten und entscheiden, welche Quellen dazukommen.
Wo die Grenzen liegen
Ein RAG-System senkt das Risiko erfundener Antworten deutlich, weil das Modell an Ihre Quellen gebunden wird. Ausschließen lässt es sich nicht. Deshalb gehören die Quellenangabe und eine kurze Prüfung durch den Menschen zum Konzept, vor allem bei Auskünften an Kunden. Schlecht gescannte PDFs, Tabellen und Zeichnungen brauchen Vorarbeit, bevor sie brauchbare Treffer liefern. Und wer das System nutzt, sollte wissen, wie es arbeitet: Art. 4 AI Act verlangt ausreichende KI-Kompetenz bei den Mitarbeitenden, die mit KI-Systemen umgehen.
Klein anfangen
Bewährt hat sich ein Pilot mit einem abgegrenzten Bestand, etwa dem Qualitätshandbuch oder der Produktdokumentation einer Sparte, und einer kleinen Gruppe von Nutzern. Nach einigen Wochen zeigt sich, welche Fragen gut beantwortet werden und wo Dokumente fehlen oder sich widersprechen. Diese Erkenntnis ist oft schon für sich ein Gewinn.
Weiterlesen
Wie ein RAG-System für Unternehmen technisch aufgebaut wird und was es kostet, beschreibt unser Team für KI- und Softwareentwicklung. Für vertrauliche Daten lohnt der Blick auf lokale KI auf eigener Hardware. Welche Fragen Sie einem Anbieter zum Datenschutz stellen sollten, steht im Ratgeber DSGVO-konforme KI-Tools prüfen.