Gains :
- Comprendre comment RAG réduit les hallucinations en reliant et en référençant la réponse aux documents réels de l'institution et en appliquant l'importance d'une base de documents propre
- Possibilité de vérifier la source, la date et la devise de la sortie RAG et de distinguer les versions contradictoires
- Capacité à protéger la confidentialité de l'entreprise en empêchant les réponses provenant de documents non autorisés grâce au contrôle d'accès
La mémoire d'une organisation réside dans des milliers de documents dispersés : rapports, manuels, procès-verbaux, procédures, courriels. Un salarié peut rechercher des documents pendant des heures pour répondre à une question simple (« comment fonctionne cette procédure ? »). Le rêve du gestionnaire de connaissances est que cette mémoire fournisse des réponses directes mais basées sur la source aux questions. C'est exactement ce que promet RAG. Dans cette unité, vous apprendrez ce qu'est RAG, comment l'utiliser dans la gestion des informations d'entreprise et comment le sécuriser en termes d'exactitude, de confidentialité et d'actualité.
Définissons le concept. RAG (Retrieval-Augmented Generation) se produit lorsqu'une IA répond à une question en trouvant (récupérant) d'abord les éléments pertinents de la propre documentation de l'organisation, puis en générant la réponse basée uniquement sur ces éléments. Ceci est fondamentalement différent d’une IA générale générant une réponse de mémoire : RAG relie et source la réponse à des documents réels et traçables. Ainsi les hallucinations sont fortement réduites car l’IA parle à partir du document de l’institution, et non à partir de sa « tête ».
Étape par étape : comprendre un système RAG d’entreprise
1. Préparez la base documentaire. Les documents fiables et à jour de l'organisation sont collectés, nettoyés et divisés en morceaux (petites sections significatives d'un document). Si des documents erronés, périmés ou contradictoires entrent dans le système, les réponses seront mauvaises : « poubelle entrée, poubelle sortie ».
2. Intégrer et indexer. Chaque morceau est converti en un vecteur (intégration) représentant sa signification et placé dans un index consultable. Lorsqu’une question se pose, le système trouve les parties dont le sens est le plus proche.
3. Apportez les pièces pertinentes. Lorsqu'une question est posée, le système extrait quelques-uns des éléments les plus pertinents de la base documentaire. Cette étape est cruciale : si la mauvaise pièce est introduite, la réponse sera également fausse.
4. Générez une réponse basée sur la source. L'IA génère une réponse basée uniquement sur les fragments récupérés et indique de quel document elle est issue. Une réponse qui ne cite pas la source est contraire à l’objectif de RAG.
5. Vérifiez et faites un rapport. L'utilisateur doit pouvoir accéder à la source affichée et confirmer la réponse. Les réponses incorrectes ou incomplètes deviennent des retours pour améliorer la base documentaire.
Astuce : La qualité de RAG dépend en grande partie de la qualité de la base documentaire. Mettez à jour les documents, éliminez les versions contradictoires/obsolètes et ajoutez des informations sur la date et la provenance de chaque document avant de le mettre dans le système. 500 documents bien organisés produisent de meilleures réponses que 5 000 documents dispersés.
Frontières et points de sécurité du RAG
RAG réduit l'hallucination mais ne la réinitialise pas. Si le système renvoie la mauvaise pièce, l'IA peut toujours donner la mauvaise réponse en restant « fidèle » à cette mauvaise pièce. De plus, l’IA peut mal interpréter les éléments récupérés ou combiner plusieurs éléments de manière contradictoire. Par conséquent, les résultats du RAG doivent également être vérifiés en accédant à la source, en particulier pour les décisions critiques.
La confidentialité est une question centrale dans les entreprises RAG. La base documentaire peut contenir des informations sensibles (personnel, contrats, stratégie). Le système ne doit pas générer de réponses à partir de documents non autorisés par l'utilisateur ; Le contrôle d'accès (qui peut voir quel document) doit également être appliqué à RAG. Sinon, un employé peut accéder via RAG à des informations qu'il ne peut pas voir.
Attention : Même en citant un document, RAG ne garantit pas que ce document est à jour et exact. Le système peut répondre à partir d'un ancien document de procédure datant d'il y a trois ans. Il appartient à l'utilisateur et au gestionnaire de l'information de vérifier la date et la validité du document source.
trois mini-cases
Cas 1 — Les questions de procédure se sont accélérées. Une organisation a mis en place un système RAG pour ses manuels de procédures internes de 1 200 pages. Les questions des employés « comment faire cela » ont été résolues en quelques secondes avec des réponses indiquant la source ; La durée moyenne des appels est passée de 25 minutes à 2 minutes. Chaque réponse étant liée à la section de la documentation sur laquelle elle était basée, les employés ont pu la vérifier.
Cas 2 — Ancien document capturé. Un système RAG a répondu à une question de procédure d’autorisation à partir d’un ancien document daté de 2021 ; Cependant, une version mise à jour a été publiée en 2024. L'employé qui a ouvert le lien source a remarqué que la date était obsolète et a trouvé le document mis à jour. Le gestionnaire d'informations a supprimé l'ancienne version de la base documentaire.
Cas 3 — Accès non autorisé empêché. Dans la configuration initiale, RAG a numérisé tous les documents publiquement ; un employé a reçu une réponse provenant d'un document de paie qu'il n'était pas censé voir. L'équipe a ajouté le contrôle d'accès à RAG : le système génère désormais uniquement des réponses à partir des documents pour lesquels l'utilisateur est autorisé.
Évaluation, feedback et amélioration continue
Un système RAG n’est pas un outil à installer une seule fois et à oublier ; Cela nécessite une évaluation et une amélioration constantes. La base de cela est la mesure régulière des réponses du système à des questions réelles. Deux questions sont essentielles : le système récupère-t-il les bons éléments de document (qualité d'accès) et produit-il la réponse correcte à partir des éléments récupérés (qualité de production) ? Il est nécessaire d’évaluer ces deux couches séparément ; Parce qu'apporter le bon document, l'interpréter mal et apporter le mauvais document et le transmettre fidèlement sont des problèmes différents et nécessitent des solutions différentes. Une bonne pratique consiste à conserver un ensemble de « questions de test » avec des réponses correctes connues et à tester le système avec cet ensemble à chaque mise à jour. De plus, les commentaires des utilisateurs « Cette réponse était-elle utile/la source était-elle exacte » révèlent à la fois des lacunes dans la base de documents et des parties mal récupérées. L'IA peut aider à regrouper ces commentaires et à résumer les types de questions qui échouent le plus fréquemment ; Mais la décision concernant le document à ajouter, mettre à jour ou supprimer appartient au gestionnaire de l'information. Le système nécessite des soins comme un organisme vivant ; Un RAG négligé devient de plus en plus trompeur en raison du vieillissement de la documentation au fil du temps.
Astuce : Dès que vous avez configuré le système RAG, préparez une petite série de tests de 20 à 30 questions réelles et de réponses correctes connues. L'exécution de cet ensemble à chaque mise à jour de document montre instantanément si une modification améliore ou endommage le système.
Quatre modèles copiables
1) Invite de réponse basée sur la source :
Votre rôle : assistant information corporate. Vous trouverez ci-dessous des éléments de documentation évoqués concernant la question. Donnez la réponse basée UNIQUEMENT sur ces éléments et indiquez de quel document/élément pour chaque élément d'information il provient. S'il n'y a pas de réponse dans les parties, dites « ces informations ne figurent pas dans les documents fournis », ne devinez pas. Question : [ici] / Pièces : [ici]
2) Contradiction et contrôle des devises :
Y a-t-il des contradictions ou des versions datées différentes entre les pièces suivantes ? Si tel est le cas, marquez-le et indiquez lequel semble le plus à jour. Pièces (avec dates) : [ici]
3) Audit de nettoyage de la base documentaire :
Dans la liste de documents ci-dessous, y a-t-il des documents obsolètes, contradictoires ou d'origine incertaine qui doivent être triés avant d'être intégrés dans un système RAG ? Cochez et écrivez pourquoi. Liste (avec date/source) : [ici]
4) Contrôle préalable de la confidentialité et de l’accès :
Les fragments de documents suivants contiennent-ils des informations sensibles (données personnelles, accord de confidentialité, stratégie) ? Classez chacun comme « accès public/restreint » et justifiez. Pistes : [ici]
Invite faible/Invite forte
Invite faible :
Expliquer la procédure de permis de notre institution.
Si aucune documentation n'est fournie, l'IA produit une procédure inventée à partir de sa mémoire générale ou de la mise en œuvre d'autres institutions ; Cela n’a peut-être aucun rapport avec le gouvernement même de l’institution.
Invite puissante :
Votre rôle : assistant information corporate. Vous trouverez ci-dessous les documents (avec leurs dates) concernant la procédure d'autorisation de l'établissement. Répondez à la question en vous basant uniquement sur ces parties, en citant le document source et la date à chaque étape. Si les parties sont en conflit, utilisez la plus récente et dites-le. Si ce n'est pas dans le document, dites « aucune information ». Question : [ici] / Pièces : [ici]
Invite puissante ; relie la réponse aux documents réels de l'institution, demande des sources et des dates et aborde honnêtement les contradictions et les lacunes.
Composant RAG et tableau des risques
composant
Fonction
Risque principal
Assurance
Base documentaire
Source de la réponse
Document obsolète/conflit
Propreté, histoire, origine
Récupération
Trouver la pièce concernée
mauvaise pièce
Tests de qualité, retour d'information
Fabrication
Répondre
mauvais commentaire
Source citant, vérification
Contrôle d'accès
Contrôle d'autorité
divulgation non autorisée
Restriction basée sur l'utilisateur
Erreurs courantes
- Établir une base documentaire sale. Un document obsolète/conflit produit une mauvaise réponse.
- Accepter une réponse sans citer la source. Le but de RAG est la traçabilité.
- Ne pas vérifier la date du document. Une réponse que l'on pensait mise à jour provient de l'ancienne version.
- Contourner le contrôle d’accès. Une personne non autorisée accède à des informations sensibles.
- Pensant que RAG est complètement immunisé contre les hallucinations. Le mauvais élément produit toujours la mauvaise réponse.
En résumé
RAG produit une grande valeur dans la gestion des connaissances en transformant la mémoire organisationnelle en un système réactif basé sur les ressources ; Contrairement à l’IA générale, elle relie et fournit la réponse aux documents réels de l’organisation, réduisant ainsi considérablement les hallucinations. Mais le succès dépend d’une base de documentation propre et à jour, d’un accès précis aux pistes, de l’attribution des sources, de la vérification de la date/actualité et du contrôle d’accès. RAG ne réinitialise pas l'hallucination ; Les réponses critiques sont vérifiées en remontant à la source et la confidentialité est respectée dès le début.
Tâche de candidature
Préparez un petit ensemble de documents (5 à 8 documents réels ou exemples de documents d'agence, avec des dates) ; Consciemment mis dans une ancienne version et une version actuelle contradictoire. Posez une question avec le modèle « Invite de réponse basée sur la source » et vérifiez si l'IA cite la source. Évaluez ensuite si l'IA a correctement détecté le conflit et la version actuelle avec le modèle « Conflit et vérification de la version actuelle ».
liste de contrôle
- [ ] J'ai mis à jour la base documentaire, éliminé les documents anciens/conflits.
- [ ] Je me suis assuré que chaque réponse pointe vers le document source.
- [ ] J'ai vérifié la date et la validité des documents sources.
- [ ] J'ai empêché la génération de réponses à partir de documents non autorisés grâce au contrôle d'accès.
- [ ] J'ai vérifié les réponses critiques en consultant le document original.