Einheiten
1. Was ist RAG und warum ist es notwendig? 2. Einbettung und Vektordatenbanklogik 3. Chunking und Dokumentenvorbereitung 4. Retrieval-Strategien: Top-k, Hybrid, Re-Ranking 5. Assistentenarchitektur, die mit Unternehmensdaten kommuniziert 6. Zugriffskontrolle, Prompt-Vorlage und Konversationsmanagement 7. Halluzinationsreduktion und Ressourcenrepräsentation 8. RAG-Bewertung und -Überwachung 9. KI-Agenten und Tool-Nutzung 10. Agenten-Workflows und mehrstufige Aufgaben 11. Agentensicherheit, Datenschutz, Ethik und Bereitstellung
Einheit 7 / 11

Halluzinationsreduktion und Ressourcenrepräsentation

Gewinne:

  • Erklären Sie die Ursachen von Halluzinationen und die Rolle der Erdung
  • Anwenden von Techniken, die das Modell dazu bringen, „Ich weiß nicht“ zu sagen, wenn es nicht im Kontext steht
  • Gewährleistung von Vertrauen und Überprüfbarkeit durch das Hinzufügen überprüfbarer Quellen/Zitate zu den Antworten

Das gefährlichste Verhalten eines Sprachmodells besteht darin, etwas, das er nicht weiß, in einem selbstbewussten und überzeugenden Ton zu erfinden. Dies nennt man Halluzination. Bei einem Unternehmensassistenten zu halluzinieren, ist nicht nur ärgerlich, sondern geradezu riskant: Der falsche freie Tag, der falsche Preis, die falsche rechtliche Substanz können einen Mitarbeiter oder Kunden tatsächlich gefährden. In dieser Einheit behandeln wir, warum Halluzinationen auftreten, wie man sie im RAG reduziert und wie man die Antwort überprüfbar macht.

Was verursacht Halluzinationen?

Das Modell wird darauf trainiert, das nächstwahrscheinlichste Wort zu erzeugen; Nicht „die Wahrheit sagen“, sondern „flüssige und vernünftige Texte verfassen“. Wenn Informationen fehlen, können sie die Lücke mit etwas statistisch Plausiblem, aber sachlich Falschem füllen. Drei typische Auslöser:

  • Im Kontext gibt es keine Antwort, aber das Model fühlt sich dennoch genötigt, etwas zu sagen.
  • Der Kontext ist widersprüchlich oder unzureichend; Das Modell schließt die Lücke mit der Vorhersage.
  • Die Frage geht über den Kontext hinaus; Das Modell kehrt zu seinem eigenen allgemeinen (und möglicherweise veralteten) Wissen zurück.

RAG reduziert Halluzinationen, weil es dem Modell eine echte Quelle gibt – aber es setzt es nicht zurück. Wenn Sie das falsche Teil mitbringen oder dem Modell die „Freiheit zum Füllen der Lücke“ lassen, passt das System mit RAG auch dazu.

Art der Halluzination

Symptom

Grundursache

Lösungsschicht

aus dem Abruf stammend

Die richtige Antwort steht im Dokument, ist aber nicht angekommen

Falsches/fehlendes Teil geliefert

Chunking, Hybrid, Re-Ranking (Einheit 3-4)

Generation bezogen

Der richtige Teil ist angekommen, aber die Antwort ist falsch/muss hinzugefügt werden

Das Modell füllte die Lücke mit Vorhersagen

Erdung, „Ich weiß nicht“-Erlaubnis, geringe Kreativität

Quellenangabe

Die Antwort ist richtig, aber die Quelle ist falsch

Modell verwies auf falsches Teil

Zitierverifizierung (siehe Einheit 8)

Hinweis: Teilen Sie die Halluzination in zwei Teile. Quelle: Abruf: Falsches/fehlendes Teil eingetroffen (Lösung: Abruf verbessern). Generierungsquelle: Das richtige Teil ist angekommen, aber das Modell hat es falsch gelesen/hinzugefügt (Lösung: Eingabeaufforderung und Erdung). Sie können es nicht reparieren, wenn Sie nicht wissen, um welches es sich handelt.

Erdung: Die Antwort im Kontext festhalten

Als Grounding werden alle Techniken bezeichnet, die dem Modell sagen: „Verlassen Sie sich einfach auf den Text, den ich Ihnen gebe, gehen Sie nicht darüber hinaus.“ Seine einfachste und effektivste Technik: Dem Model ausdrücklich die Erlaubnis geben, „Ich weiß nicht“ zu sagen. Das Modell zögert ebenso wie der Mensch, „Ich weiß nicht“ zu sagen; Hierzu müssen Sie ihm ausdrücklich die Erlaubnis erteilen.

Antworten Sie nur basierend auf dem KONTEXT unten. Wenn die Antwort im Kontext nicht eindeutig ist, schreiben Sie genau Folgendes: „Ich konnte in der Dokumentation nicht genügend Informationen dazu finden.“ Geben Sie keine Zahlen, Daten oder Namen an, die nicht im Kontext stehen. Raten Sie nicht.

Zusätzliche Erdungstechniken:

  • Zitatpflicht: Vor jedem Anspruch ist der Kontext wörtlich zu zitieren („Im Dokument steht: ‚...‘“). Für das Modell ist es schwieriger, fabrizierte Angebote zu erstellen.
  • Niedrige Temperatur: Die Temperatur (Temperatur, Kreativität/zufällige Einstellung) sollte niedrig sein. Hinweis: Bei einigen aktuellen Modellen wurde dieser Parameter entfernt; In ihnen sorgen Sie mit einer Aufforderung für Erdung. Hohe Kreativität ist der Feind der Unternehmensintegrität.
  • Umfangsbeschränkung: „Reagieren Sie nur auf Fragen der Einwilligungsrichtlinie; lehnen Sie die Abmeldung höflich ab.“

Zitat

Die stärkste systemische Abwehr gegen Halluzinationen besteht darin, die Antwort überprüfbar zu machen. Wenn der Benutzer sehen kann, auf welchem ​​Dokument die Antwort basiert: (1) kann er den Fehler selbst erkennen, (2) wird eine Prüfung möglich, (3) das Vertrauen steigt und (4) das Modell arbeitet vorsichtiger mit dem Bewusstsein, dass „ich die Quelle zitieren muss“.

Zwei gängige Ansätze:

Inline-Attribution: Quellen-Tag neben jedem Anspruch. „Der Jahresurlaub beträgt 14 Tage [1].“ Nachfolgend finden Sie die vollständige Dokumentation von [1].

Strukturierte Ausgabe: Aufforderung an das Modell, die Antwort und die Quellenliste in separaten Feldern zu erstellen; Ressourcen als anklickbare Links in der Benutzeroberfläche anzeigen.

# Erstellen einer strukturierten Antwort basierend auf dem Modell (konzeptionell) Geben Sie Ihre Antwort in der folgenden Struktur an:- Antwort: <kontextbasierte Antwort>- Quellen: [{"part_no": 1, "file": "...", "section": "..."}]- Vertrauen: <hoch|mittel|niedrig> # Wie eindeutig unterstützt der Kontext dies? Wenn der Kontext die Antwort nicht unterstützt, schreiben Sie „keine Informationen gefunden“ in das Antwortfeld und lassen Sie die Quellen leer.

Damit die Zitierung wirklich funktioniert, muss überprüft werden, ob die Quellenangabe korrekt ist. Das Modell kann manchmal die richtige Antwort geben, aber die falsche Quelle angeben. Fortgeschrittene Systeme prüfen automatisch, ob jede erstellte Behauptung tatsächlich in dem Teil, auf den sie verweist, unterstützt wird (die „Treue“-Messung in der nächsten Einheit).

Schwach/Stark: Schnell gegen Halluzinationen

Schwach (Aufforderung, die Lücke auszufüllen):

Beantworten Sie die Frage so gut wie möglich mit den Informationen, die Sie haben: {context} Frage: {question}# „So gut Sie können“ bedeutet für das Modell „raten Sie, wenn Sie es nicht wissen“.

Stark (Begründung + Erlaubnis nicht bekannt + Quelle + Vertrauen):

Verlassen Sie sich einfach auf CONTEXT. Andernfalls sagen Sie „Ich konnte keine Informationen finden“; Stellen Sie Nummer/Datum/Name zusammen. Fügen Sie zu jedem Anspruch [n] Quellnummer hinzu. Geben Sie die vom Kontext unterstützte Vertrauensebene an.CONTEXT: [1]... [2]... FRAGE: {Frage}

Drei Mini-Hüllen

Fall 1 – Erfundene Artikelnummer. Ein Anwaltsgehilfe verfasste eine aus dem Zusammenhang gerissene „Artikel 17/B“-Erklärung und gab dem Mitarbeiter falsche Informationen. Durch die Hinzufügung der Anweisung „Geben Sie keine Artikelnummer an, die nicht im Kontext steht, andernfalls sagen Sie, ich weiß es nicht“ + der Pflicht zur Angabe von Zitaten sanken die Fälle von fabrizierten Artikeln in 40 Beispielen von 11 auf 0.

Fall 2 – Richtige Antwort, falsche Quelle. Ein Support-Mitarbeiter hat die korrekte Rückgabefrist angegeben, aber den falschen Artikel zitiert; Als der Kunde auf den Link klickte, öffnete sich eine irrelevante Seite. Als die Zitierverifizierung (Prüfung, ob die Behauptung im zitierten Artikel vorkommt) hinzugefügt wurde, sank die Falschzitierungsrate von 23 % auf 2 %.

Fall 3 – „Ich weiß nicht“-Erlaubnis wurde nicht erteilt. Ein HR-Assistent hatte eine plausible, aber falsche Antwort auf eine Frage gefunden, die nicht im Dokument enthalten war. Wenn der Eingabeaufforderung eine ausdrückliche „Ich weiß nicht“-Einwilligung und ein vollständiger Text („Ich konnte in der Dokumentation keine Informationen dazu finden“) hinzugefügt wurden, stieg die ehrliche Ablehnungsrate für Fragen ohne Antwort statt einer Fälschung von 8 % auf 95 %.

Häufige Fehler

  • „Ich weiß nicht“ nicht zulassen: Das Modell füllt die Lücke mit der Erfindung.
  • Kreativität hoch halten: Zufälligkeit schadet der Unternehmensintegrität.
  • Der Quelle vertrauen, ohne sie zu überprüfen: Das Modell kann der richtigen Antwort die falsche Quelle zuordnen.
  • Keine Unterscheidung zwischen den beiden Arten von Halluzinationen: Sie korrigieren die falsche Stelle, ohne zu wissen, ob sie durch Abruf oder Generierung verursacht wird.
  • Verwechslung von Zitaten mit Kosmetika: Die Quellenangabe dient sowohl der Bestätigung als auch der Abschreckung; nimm es ernst.
Achtung: „Das Modell sieht sehr selbstbewusst aus“ ist nicht dasselbe wie „Das Modell ist korrekt“. Halluzinationen sind im Allgemeinen die fließendsten und sichersten Sätze. Lesen Sie das Vertrauen anhand der Quelle, auf die es hinweist, und nicht anhand des Tons des Satzes.

Zusammenfassend

  • Von Halluzination spricht man, wenn das Modell die Informationslücke mit plausiblem, aber falschem Text füllt; RAG verringert sich, wird jedoch nicht zurückgesetzt.
  • Die Halluzination kann durch Retrieval (falscher Teil) oder Generation (falsches Lesen) verursacht werden; Bestimmen Sie zuerst, welches.
  • Die wirkungsvollste Technik von Grounding besteht darin, dem Modell die explizite „Ich weiß nicht“-Erlaubnis zu erteilen; außerdem Zitierpflicht und geringe Kreativität.
  • Das Zitieren macht die Antwort überprüfbar; Es gibt sowohl Selbstvertrauen als auch drängt dazu, das Modell vorsichtig zu produzieren.
  • Auch die Richtigkeit des Zitats sollte überprüft werden; Möglicherweise ist der richtigen Antwort die falsche Quelle beigefügt.

Anwendungsaufgabe

(1) Bereiten Sie 4 Fragen für Ihren Assistenten vor, deren Antworten nicht in den Dokumenten enthalten sind (Fangfragen). Testen Sie jedes einzelne mit der schwachen und starken Eingabeaufforderung und markieren Sie, ob das Modell passt oder nicht. (2) Für die 4 Fragen, deren Antworten im Dokument enthalten sind, lassen Sie das Modell die Schweißnahtnummer generieren und überprüfen Sie manuell, ob die angezeigte Schweißnaht tatsächlich das richtige Teil ist. (3) Prüfen Sie, ob das Modell in mindestens einem Fall „richtige Antwort, falsche Quelle“ liefert und schreiben Sie in einem Satz, wie Sie dies automatisch erfassen können.

Checkliste

  • [ ] Ich kann sagen, warum die Halluzination auftritt und dass RAG sie reduziert, aber nicht zurücksetzt.
  • [ ] Ich kann zwischen Abruf- und generationsbedingten Halluzinationen unterscheiden und die richtige Stelle korrigieren.
  • [ ] Ich füge der Eingabeaufforderung explizite „Ich weiß nicht“-Berechtigungs- und Sperrregeln hinzu.
  • [ ] Ich füge der Antwort eine überprüfbare Quelle (Zitat) hinzu.
  • [ ] Ich verstehe die Notwendigkeit, die Richtigkeit der Namensnennung weiter zu überprüfen.
Zurück Weiter