Gewinne:
- Verstehen Sie, wie RAG Halluzinationen reduziert, indem es die Antwort mit den tatsächlichen Dokumenten der Institution verknüpft und darauf verweist und die Bedeutung einer sauberen Dokumentenbasis berücksichtigt
- Möglichkeit, die Quelle, das Datum und die Währung der RAG-Ausgabe zu überprüfen und widersprüchliche Versionen zu unterscheiden
- Möglichkeit, die Privatsphäre des Unternehmens zu schützen, indem Antworten von nicht autorisierten Dokumenten mit Zugriffskontrolle verhindert werden
Das Gedächtnis einer Organisation lebt in Tausenden verstreuter Dokumente: Berichte, Handbücher, Protokolle, Verfahren, E-Mails. Ein Mitarbeiter kann stundenlang nach Dokumenten suchen, um eine einfache Frage zu beantworten („Wie funktioniert dieses Verfahren?“). Der Traum des Wissensmanagers besteht darin, dass dieses Gedächtnis direkte, aber quellenbasierte Antworten auf Fragen liefert. Genau das verspricht die RAG. In dieser Einheit erfahren Sie, was RAG ist, wie Sie es im Unternehmensinformationsmanagement einsetzen und wie Sie es im Hinblick auf Genauigkeit, Vertraulichkeit und Aktualität sichern können.
Lassen Sie uns das Konzept definieren. Bei RAG (Retrieval-Augmented Generation) beantwortet eine KI eine Frage, indem sie zunächst relevante Teile aus der unternehmenseigenen Dokumentation findet (abruft) und dann die Antwort ausschließlich auf der Grundlage dieser Teile generiert. Dies unterscheidet sich grundlegend von einer allgemeinen KI, die eine Antwort aus dem Gedächtnis generiert: RAG verknüpft und bezieht die Antwort auf echte, nachvollziehbare Dokumente. Dadurch werden Halluzinationen stark reduziert, da die KI aus dem Dokument der Institution spricht, nicht aus ihrem „Kopf“.
Schritt für Schritt: Ein Unternehmens-RAG-System verstehen
1. Bereiten Sie die Dokumentenbasis vor. Die zuverlässigen, aktuellen Dokumente der Organisation werden gesammelt, bereinigt und in Chunks (aussagekräftige kleine Abschnitte eines Dokuments) unterteilt. Wenn fehlerhafte, veraltete oder widersprüchliche Dokumente in das System gelangen, sind die Antworten schlecht: „Müll rein, Müll raus.“
2. Einbetten und indizieren. Jeder Block wird in einen Vektor umgewandelt (Einbettung), der seine Bedeutung darstellt, und in einen durchsuchbaren Index eingefügt. Wenn eine Frage auftaucht, findet das System die Teile, deren Bedeutung am nächsten kommt.
3. Bringen Sie relevante Teile mit. Wenn eine Frage gestellt wird, ruft das System einige der relevantesten Teile aus der Dokumentenbasis ab. Dieser Schritt ist entscheidend: Wenn die falsche Figur eingebracht wird, ist auch die Antwort falsch.
4. Generieren Sie eine quellenbasierte Antwort. Die KI generiert eine Antwort ausschließlich auf Basis der abgerufenen Fragmente und gibt an, aus welchem Dokument sie entnommen wurde. Eine Antwort ohne Quellenangabe widerspricht dem Zweck des RAG.
5. Überprüfen Sie und melden Sie sich zurück. Der Benutzer sollte in der Lage sein, zur angezeigten Quelle zu gehen und die Antwort zu bestätigen. Falsche oder unvollständige Antworten werden zu Rückmeldungen zur Verbesserung der Dokumentationsbasis.
Tipp: Die Qualität von RAG hängt maßgeblich von der Qualität der Dokumentenbasis ab. Aktualisieren Sie Dokumente, entfernen Sie widersprüchliche/veraltete Versionen und fügen Sie Datums- und Herkunftsinformationen zu jedem Dokument hinzu, bevor Sie es in das System eingeben. 500 gut organisierte Dokumente liefern bessere Antworten als 5.000 verstreute Dokumente.
Grenzen und Sicherheitspunkte der RAG
RAG reduziert die Halluzination, setzt sie jedoch nicht zurück. Wenn das System das falsche Teil zurückgibt, kann die KI dennoch die falsche Antwort geben, indem sie diesem falschen Teil „treu“ bleibt. Darüber hinaus kann die KI abgerufene Teile falsch interpretieren oder mehrere Teile auf widersprüchliche Weise kombinieren. Daher sollte die RAG-Ausgabe insbesondere bei kritischen Entscheidungen auch überprüft werden, indem man zur Quelle geht.
Datenschutz ist ein zentrales Thema im Corporate RAG. Die Dokumentenbasis kann sensible Informationen (Personal, Verträge, Strategie) enthalten. Das System sollte keine Antworten aus Dokumenten generieren, die nicht vom Benutzer autorisiert wurden. Die Zugriffskontrolle (wer kann welches Dokument sehen) sollte auch auf RAG angewendet werden. Andernfalls könnte ein Mitarbeiter über RAG auf Informationen zugreifen, die er nicht sehen kann.
Achtung: Auch bei der Zitierung eines Dokuments übernimmt die RAG keine Gewähr für die Aktualität und Richtigkeit des Dokuments. Das System antwortet möglicherweise mit einem alten Verfahrensdokument von vor drei Jahren. Es liegt in der Verantwortung des Benutzers und des Informationsmanagers, das Datum und die Gültigkeit des Quelldokuments zu überprüfen.
drei Mini-Koffer
Fall 1 – Verfahrensfragen beschleunigt. Eine Organisation richtete ein RAG-System für ihre 1.200 Seiten umfassenden internen Verfahrenshandbücher ein. Die „Wie geht das?“-Fragen der Mitarbeiter wurden innerhalb von Sekunden mit Angabe der Quelle beantwortet. Die durchschnittliche Anrufdauer verringerte sich von 25 Minuten auf 2 Minuten. Da jede Antwort mit dem Abschnitt der Dokumentation verknüpft war, auf dem sie beruhte, konnten die Mitarbeiter sie überprüfen.
Fall 2 – Altes Dokument erfasst. Ein RAG-System beantwortete eine Frage zum Genehmigungsverfahren anhand eines alten Dokuments aus dem Jahr 2021; Im Jahr 2024 wurde jedoch eine aktualisierte Version veröffentlicht. Der Mitarbeiter, der den Quelllink öffnete, bemerkte, dass das Datum veraltet war und fand das aktualisierte Dokument. Der Informationsmanager hat die alte Version aus der Dokumentenbasis entfernt.
Fall 3 – Unbefugter Zugriff verhindert. Bei der Ersteinrichtung hat RAG alle Dokumente öffentlich gescannt; Ein Mitarbeiter erhielt eine Antwort von einem Lohn- und Gehaltsabrechnungsdokument, das er nicht sehen sollte. Das Team hat RAG um eine Zugriffskontrolle erweitert: Das System generiert jetzt nur Antworten von Dokumenten, für die der Benutzer berechtigt ist.
Bewertung, Feedback und kontinuierliche Verbesserung
Ein RAG-System ist kein Werkzeug, das man einmal installiert und dann vergisst; Es erfordert eine ständige Bewertung und Verbesserung. Grundlage hierfür ist die regelmäßige Messung der Antworten des Systems auf reale Fragen. Zwei Fragen sind entscheidend: Ruft das System die richtigen Dokumentteile ab (Zugriffsqualität) und erzeugt es aus den abgerufenen Teilen die richtige Antwort (Produktionsqualität)? Es ist notwendig, diese beiden Schichten getrennt zu bewerten; Denn das richtige Dokument mitzubringen und es falsch zu interpretieren und das falsche Dokument mitzubringen und es getreu zu übertragen, sind unterschiedliche Probleme und erfordern unterschiedliche Lösungen. Eine bewährte Vorgehensweise besteht darin, einen Satz „Testfragen“ mit bekanntermaßen korrekten Antworten aufzubewahren und das System bei jedem Update mit diesem Satz zu testen. Darüber hinaus zeigt das Feedback der Benutzer „War diese Antwort hilfreich / war die Quelle korrekt?“ sowohl Lücken in der Dokumentenbasis als auch falsch abgerufene Teile. KI kann dabei helfen, dieses Feedback zusammenzufassen und die Arten von Fragen zusammenzufassen, die am häufigsten fehlschlagen. Die Entscheidung darüber, welches Dokument hinzugefügt, aktualisiert oder entfernt werden soll, liegt jedoch beim Informationsmanager. Das System erfordert Pflege wie ein lebender Organismus; Eine vernachlässigte RAG wird aufgrund der mit der Zeit alternden Dokumentation zunehmend irreführend.
Tipp: Sobald Sie das RAG-System eingerichtet haben, bereiten Sie einen kleinen Testsatz mit 20 bis 30 echten Fragen und bekannten richtigen Antworten vor. Die Ausführung dieses Satzes bei jeder Dokumentaktualisierung zeigt sofort, ob eine Änderung das System verbessert oder zerstört.
Vier kopierbare Vorlagen
1) Quellenbasierte Antwortaufforderung:
Ihre Rolle: Unternehmensinformationsassistent. Nachfolgend finden Sie Dokumentationen zu dieser Frage. Geben Sie die Antwort NUR auf der Grundlage dieser Teile und geben Sie für jede Information an, aus welchem Dokument/Teil sie stammt. Wenn es in den Teilen keine Antwort gibt, sagen Sie „Diese Informationen sind nicht in den bereitgestellten Dokumenten enthalten“, raten Sie nicht. Frage: [hier] / Teile: [hier]
2) Widerspruch und Währungskontrolle:
Gibt es Widersprüche oder unterschiedliche Datierungen zwischen den folgenden Stücken? Wenn ja, markieren Sie es und geben Sie an, welches aktueller aussieht. Teile (mit Datum): [hier]
3) Prüfung der Dokumentenbasisreinigung:
Gibt es in der Dokumentenliste unten veraltete, widersprüchliche oder Dokumente unsicherer Herkunft, die aussortiert werden müssen, bevor sie in ein RAG-System eingegeben werden? Kreuzen Sie an und schreiben Sie warum. Liste (mit Datum/Quelle): [hier]
4) Datenschutz und Zugriffsvorkontrolle:
Enthalten die folgenden Dokumentfragmente sensible Informationen (persönliche Daten, vertrauliche Vereinbarung, Strategie)? Klassifizieren Sie jedes als „öffentlicher/eingeschränkter Zugang“ und geben Sie eine Begründung an. Titel: [hier]
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Erläutern Sie das Genehmigungsverfahren unserer Einrichtung.
Liegt keine Dokumentation vor, produziert die KI aus ihrem Gesamtgedächtnis oder aus der Umsetzung anderer Institutionen ein erfundenes Verfahren; Es kann für die tatsächliche Herrschaft der Institution irrelevant sein.
Kraftvolle Aufforderung:
Ihre Rolle: Unternehmensinformationsassistent. Nachfolgend finden Sie die Dokumente (mit Datum) zum Genehmigungsverfahren der Einrichtung. Beantworten Sie die Frage allein anhand dieser Teile und geben Sie bei jedem Schritt das Quelldokument und das Datum an. Wenn die Teile widersprüchlich sind, verwenden Sie das aktuellste und sagen Sie es. Wenn es nicht im Dokument enthalten ist, sagen Sie „keine Informationen“. Frage: [hier] / Teile: [hier]
Leistungsstarke Eingabeaufforderung; verknüpft die Antwort mit tatsächlichen Dokumenten der Institution, fragt nach Quellen und Daten und geht ehrlich auf die Widersprüche und Lücken ein.
RAG-Komponenten- und Risikotabelle
Komponente
Funktion
Hauptrisiko
Sicherheit
Dokumentenbasis
Quelle der Antwort
Veraltetes/widersprüchliches Dokument
Sauberkeit, Geschichte, Herkunft
Abruf
Finden Sie das relevante Teil
falsches Stück
Qualitätsprüfung, Feedback
Produktion
Antwort
falscher Kommentar
Quellenangabe, Überprüfung
Zugangskontrolle
Autoritätsprüfung
unbefugte Offenlegung
Benutzerbasierte Einschränkung
Häufige Fehler
- Aufbau einer schmutzigen Dokumentenbasis. Veraltetes/widersprüchliches Dokument führt zu schlechter Reaktion.
- Eine Antwort akzeptieren, ohne die Quelle anzugeben. Der Zweck von RAG ist die Rückverfolgbarkeit.
- Das Dokumentdatum wird nicht überprüft. Eine Antwort, von der angenommen wird, dass sie aktualisiert wird, stammt aus der alten Version.
- Zugangskontrolle umgehen. Unbefugte Personen greifen auf sensible Informationen zu.
- Ich denke, dass RAG völlig immun gegen Halluzinationen ist. Das falsche Stück liefert immer noch die falsche Antwort.
Zusammenfassend
RAG bietet einen großen Mehrwert für das Wissensmanagement, indem es das organisatorische Gedächtnis in ein ressourcenbasiertes, reaktionsfähiges System umwandelt. Im Gegensatz zur allgemeinen KI verknüpft und liefert sie die Antwort mit den tatsächlichen Dokumenten der Organisation und reduziert so Halluzinationen erheblich. Der Erfolg hängt jedoch von einer sauberen und aktuellen Dokumentationsbasis, einem genauen Titelzugriff, Quellenangabe, Datums-/Aktualitätsprüfung und Zugriffskontrolle ab. RAG setzt die Halluzination nicht zurück; Kritische Antworten werden durch Rückgriff auf die Quelle überprüft und die Vertraulichkeit wird von Anfang an gewahrt.
Anwendungsaufgabe
Bereiten Sie einen kleinen Satz Dokumente vor (5–8 tatsächliche Dokumente oder Musterdokumente der Agentur mit Datum); Fügen Sie bewusst eine alte und eine aktuelle widersprüchliche Version ein. Stellen Sie eine Frage mit der Vorlage „Quellenbasierte Antwortaufforderung“ und prüfen Sie, ob die KI die Quelle angibt. Bewerten Sie anschließend mit der Vorlage „Konflikt und aktuelle Versionsprüfung“, ob die KI den Konflikt und die aktuelle Version korrekt erkannt hat.
Checkliste
- [ ] Ich habe die Dokumentenbasis aktualisiert und alte/widersprüchliche Dokumente aussortiert.
- [ ] Ich habe sichergestellt, dass jede Antwort auf das Quelldokument verweist.
- [ ] Ich habe das Datum und die Gültigkeit der Quelldokumente überprüft.
- [ ] Ich habe die Generierung von Antworten aus nicht autorisierten Dokumenten mit Zugriffskontrolle verhindert.
- [ ] Ich habe die kritischen Antworten anhand des Originaldokuments überprüft.