Gains :
- Expliquer les causes de l'hallucination et le rôle de l'ancrage
- Appliquer des techniques qui font dire au modèle « Je ne sais pas » si ce n'est pas dans son contexte.
- Garantir la confiance et l’auditabilité en ajoutant des sources/citations vérifiables aux réponses
Le comportement le plus dangereux d’un modèle de langage est d’inventer quelque chose qu’il ne connaît pas sur un ton confiant et persuasif. C’est ce qu’on appelle des hallucinations. Halluciner chez un assistant d'entreprise n'est pas seulement ennuyeux, c'est carrément risqué : un mauvais jour de congé, un mauvais prix, une mauvaise substance juridique peuvent en fait mettre un employé ou un client en danger. Dans cette unité, nous expliquons pourquoi les hallucinations se produisent, comment les réduire dans RAG et comment rendre la réponse vérifiable.
Quelles sont les causes des hallucinations ?
Le modèle est entraîné pour produire le prochain mot le plus probable ; Non pas « dire la vérité », mais « produire un texte fluide et raisonnable ». Si des informations manquent, elles peuvent combler le vide avec quelque chose de statistiquement plausible mais factuellement incorrect. Trois déclencheurs typiques :
- Il n’y a pas de réponse dans le contexte, mais le modèle se sent quand même obligé de dire quelque chose.
- Le contexte est conflictuel ou inadéquat ; Le modèle comble l’écart avec la prédiction.
- La question dépasse le contexte ; le modèle revient à ses propres connaissances générales (et peut-être obsolètes).
RAG réduit les hallucinations car il donne au modèle une véritable source – mais il ne la réinitialise pas. Si vous apportez la mauvaise pièce ou si vous laissez au modèle "la liberté de combler le vide", le système avec RAG peut également l'adapter.
type d'hallucination
symptôme
cause profonde
couche de solution
provenant de la récupération
La bonne réponse est dans le document mais elle n'est pas arrivée
Mauvaise pièce/pièce manquante livrée
Morceaux, hybrides, reclassement (Unité 3-4)
Génération sourcée
La bonne pièce est arrivée mais la réponse est fausse/doit être ajoutée
Le modèle a comblé le vide grâce à la prédiction
Mise à la terre, autorisation « je ne sais pas », faible créativité
Citation provenant
La réponse est correcte mais la source est fausse
Modèle référencé à la mauvaise pièce
Vérification des citations (voir unité 8)
Astuce : divisez l’hallucination en deux parties. Provenant de la récupération : une pièce erronée/manquante est arrivée (solution : améliorer la récupération). Source de génération : la bonne pièce est arrivée, mais le modèle ne l'a pas lue/ajoutée de manière incorrecte (solution : invite et mise à la terre). Vous ne pouvez pas le réparer à moins de savoir de quel type il s'agit.
Mise à la terre : définir la réponse dans son contexte
Le grounding est le nom donné à toutes les techniques pour dire au modèle « fiez-vous simplement au texte que je vous donne, n'allez pas au-delà ». Sa technique la plus basique et la plus efficace : donner explicitement au modèle la permission de dire « je ne sais pas ». Le modèle, comme l’humain, hésite à dire « je ne sais pas » ; Vous devez lui donner une autorisation expresse pour ce faire.
Répondez uniquement en fonction du CONTEXTE ci-dessous. Si la réponse n'est pas CLAIREMENT dans le contexte, écrivez exactement ceci : "Je n'ai pas trouvé suffisamment d'informations à ce sujet dans la documentation." N'incluez aucun chiffre, date ou nom qui ne soit pas dans le contexte. Ne devinez pas.
Techniques de mise à la terre supplémentaires :
- Exigence de citation : Avant chaque affirmation, citez le contexte textuellement (« Le document dit : '...' »). La production de devis fabriqués est plus difficile pour le modèle.
- Basse température : La température (température, créativité/réglage aléatoire) doit être basse. Remarque : dans certains modèles actuels, ce paramètre a été supprimé ; En eux, vous fournissez une mise à la terre avec une invite. Une grande créativité est l’ennemie de l’intégrité de l’entreprise.
- Limite de portée : « Répondez uniquement aux problèmes de politique de consentement ; refusez poliment de vous désinscrire. »
Citation
La défense systémique la plus efficace contre les hallucinations est de rendre la réponse vérifiable. Si l'utilisateur peut voir sur quel document la réponse est basée : (1) il peut détecter lui-même l'erreur, (2) l'audit devient possible, (3) la confiance augmente et (4) le modèle produit avec plus de prudence en étant conscient que « je devrai citer la source ».
Deux approches courantes :
Attribution en ligne : balise source à côté de chaque revendication. "Le congé annuel est de 14 jours [1]." Vous trouverez ci-dessous la documentation complète de [1].
Sortie structurée : demander au modèle de produire la réponse et la liste des sources dans des champs séparés ; Affichage des ressources sous forme de liens cliquables dans l'interface.
# Produire une réponse structurée basée sur le modèle (conceptuel) Donnez votre réponse dans la structure suivante :- réponse : <réponse basée sur le contexte>- sources : [{"part_no": 1, "file": "...", "section": "..."}]- confiance : <élevée|moyenne|faible> # Dans quelle mesure le contexte la soutient-il ? Si le contexte ne supporte pas la réponse, écrivez « aucune information trouvée » dans le champ de réponse et laissez les sources vides.
Pour que Citation fonctionne réellement, il est nécessaire de vérifier que l’attribution est correcte. Le modèle peut parfois donner la bonne réponse mais donner la mauvaise source. Les systèmes avancés vérifient automatiquement que chaque affirmation produite est réellement étayée dans la pièce à laquelle elle pointe (la mesure de « fidélité » dans l'unité suivante).
Faible/Fort : Invite contre les hallucinations
Faible (invitation à remplir le vide) :
Répondez à la question du mieux que vous pouvez avec les informations dont vous disposez : {context} Question : {question}# "Du mieux que vous pouvez" signifie "devinez si vous ne savez pas" pour le modèle.
Fort (mise à la terre + autorisation ne sait pas + source + confiance) :
Fiez-vous simplement au CONTEXTE. Sinon, dites « Je n'ai trouvé aucune information » ; composez le numéro/la date/le nom. Ajoutez [n] numéro de source à chaque réclamation. Spécifiez le niveau de confiance pris en charge par le contexte.CONTEXT : [1]... [2]... QUESTION : {question}
Trois mini-étuis
Cas 1 — Numéro d'article inventé. Un parajuriste a inventé une déclaration « Article 17/B » hors de son contexte et a donné de fausses informations à l'employé. Lorsque la consigne "Ne pas donner un numéro d'article qui n'est pas dans le contexte, sinon dire je ne sais pas" + l'obligation de citer a été ajoutée, les cas d'articles fabriqués ont diminué de 11 à 0 sur 40 exemples.
Cas 2 — Bonne réponse, mauvaise source. Un assistant d'assistance a indiqué la période de retour correcte mais a cité le mauvais article ; Lorsque le client cliquait sur le lien, une page non pertinente s’ouvrait. Lorsque la vérification des citations (vérifiant si l'allégation apparaît dans l'article cité) a été ajoutée, le taux de fausses citations est passé de 23 % à 2 %.
Cas 3 — L'autorisation « Je ne sais pas » n'a pas été accordée. Un assistant RH avait inventé une réponse plausible mais incorrecte à une question qui ne figurait pas dans le document. Lorsque le consentement explicite « Je ne sais pas » et le texte intégral (« Je n'ai pas trouvé d'informations à ce sujet dans la documentation ») ont été ajoutés à l'invite, le taux de rejet honnête des questions sans réponse, plutôt que de la fabrication, est passé de 8 % à 95 %.
Erreurs courantes
- Ne pas autoriser le « je ne sais pas » : le modèle comble le vide par la fabrication.
- Maintenir un niveau élevé de créativité : le hasard nuit à l’intégrité de l’entreprise.
- Faire confiance à la source sans la vérifier : le modèle peut associer la mauvaise source à la bonne réponse.
- Ne pas faire de distinction entre les deux types d'hallucinations : Vous corrigez le mauvais endroit sans savoir si cela est dû à la récupération ou à la génération.
- Citation erronée pour les cosmétiques : la citation de la source est à la fois une confirmation et un effet dissuasif ; prends-le au sérieux.
Attention : « Le modèle a l'air très confiant » n'est pas la même chose que « le modèle est correct ». Les hallucinations sont généralement les phrases les plus fluides et les plus confiantes. Lisez la confiance à partir de la source qu'elle indique, et non à partir du ton de la phrase.
En résumé
- L'hallucination se produit lorsque le modèle comble le manque d'informations avec un texte plausible mais faux ; RAG réduit mais ne se réinitialise pas.
- L'hallucination peut être provoquée par une récupération (mauvaise partie) ou une génération (mauvaise lecture) ; Déterminez lequel en premier.
- La technique la plus puissante de Grounding consiste à donner au modèle la permission explicite « Je ne sais pas » ; également une exigence de citation et une faible créativité.
- La citation rend la réponse vérifiable ; Cela donne à la fois confiance et pousse le modèle à être produit avec prudence.
- L'exactitude de la citation doit également être vérifiée ; La mauvaise source peut être attachée à la bonne réponse.
Tâche de candidature
(1) Préparez 4 questions à poser à votre assistant dont les réponses ne figurent pas dans les documents (questions pièges). Testez chacun d’eux avec l’invite faible et forte et marquez si le modèle convient ou non. (2) Pour les 4 questions dont les réponses sont dans le document, faites générer par le modèle le numéro de soudure et vérifiez manuellement si la soudure qu'il montre est bien la bonne pièce. (3) Vérifiez si le modèle donne « bonne réponse, mauvaise source » dans au moins un cas et écrivez en une phrase comment vous pouvez détecter cela automatiquement.
liste de contrôle
- [ ] Je peux dire pourquoi l'hallucination se produit et que RAG la réduit mais ne la réinitialise pas.
- [ ] Je peux faire la distinction entre les hallucinations induites par la récupération et celles induites par la génération et corriger le bon endroit.
- [ ] J'ajoute des règles d'autorisation et de mise à la terre explicites "Je ne sais pas" à l'invite.
- [ ] J'ajoute une source vérifiable (citation) à la réponse.
- [ ] Je comprends la nécessité de vérifier davantage l'exactitude de l'attribution.