Κέρδη:
- Κατανοήστε πώς το RAG μειώνει τις παραισθήσεις συνδέοντας και αναφέροντας την απάντηση στα πραγματικά έγγραφα του ιδρύματος και εφαρμόζοντας τη σημασία μιας καθαρής βάσης εγγράφων
- Δυνατότητα ελέγχου της πηγής, της ημερομηνίας και του νομίσματος της εξόδου RAG και διάκρισης των αντικρουόμενων εκδόσεων
- Δυνατότητα προστασίας του εταιρικού απορρήτου αποτρέποντας απαντήσεις από μη εξουσιοδοτημένα έγγραφα με έλεγχο πρόσβασης
Η μνήμη ενός οργανισμού ζει σε χιλιάδες διασκορπισμένα έγγραφα: αναφορές, εγχειρίδια, πρακτικά, διαδικασίες, email. Ένας υπάλληλος μπορεί να αναζητά έγγραφα για ώρες για να απαντήσει σε μια απλή ερώτηση ("πώς λειτουργεί αυτή η διαδικασία;"). Το όνειρο του διαχειριστή γνώσης είναι αυτή η μνήμη να παρέχει άμεσες αλλά βασισμένες στην πηγή απαντήσεις σε ερωτήσεις. Αυτό ακριβώς υπόσχεται η RAG. Σε αυτή την ενότητα θα μάθετε τι είναι το RAG, πώς να το χρησιμοποιείτε στη διαχείριση εταιρικών πληροφοριών και πώς να το ασφαλίζετε όσον αφορά την ακρίβεια, την εμπιστευτικότητα και την επικαιρότητα.
Ας ορίσουμε την έννοια. Το RAG (Retrieval-Augmented Generation) είναι όταν ένα AI απαντά σε μια ερώτηση βρίσκοντας (ανάκτηση) σχετικά κομμάτια από την τεκμηρίωση του ίδιου του οργανισμού και στη συνέχεια δημιουργώντας την απάντηση που βασίζεται αποκλειστικά σε αυτά τα κομμάτια. Αυτό είναι θεμελιωδώς διαφορετικό από μια γενική τεχνητή νοημοσύνη που παράγει μια απάντηση από τη μνήμη: Το RAG συνδέει και προμηθεύει την απάντηση σε πραγματικά, ανιχνεύσιμα έγγραφα. Έτσι η ψευδαίσθηση μειώνεται πολύ επειδή η τεχνητή νοημοσύνη μιλά από το έγγραφο του ιδρύματος, όχι από το «κεφάλι» του.
Βήμα προς βήμα: κατανόηση ενός εταιρικού συστήματος RAG
1. Προετοιμάστε τη βάση εγγράφων. Τα αξιόπιστα, ενημερωμένα έγγραφα του οργανισμού συλλέγονται, καθαρίζονται και χωρίζονται σε κομμάτια (σημαντικά μικρά τμήματα ενός εγγράφου). Εάν εισέλθουν στο σύστημα κακώς, ξεπερασμένα ή αντικρουόμενα έγγραφα, οι απαντήσεις θα είναι κακές: "arbage in, garbage out."
2. Ενσωμάτωση και ευρετήριο. Κάθε κομμάτι μετατρέπεται σε διάνυσμα (ενσωμάτωση) που αντιπροσωπεύει τη σημασία του και τοποθετείται σε ένα ευρετήριο με δυνατότητα αναζήτησης. Όταν τίθεται μια ερώτηση, το σύστημα βρίσκει τα μέρη που είναι πιο κοντινά σε νόημα.
3. Φέρτε σχετικά εξαρτήματα. Όταν τίθεται μια ερώτηση, το σύστημα τραβά μερικά από τα πιο σχετικά κομμάτια από τη βάση εγγράφων. Αυτό το βήμα είναι κρίσιμο: εάν εισαχθεί το λάθος κομμάτι, η απάντηση θα είναι επίσης λάθος.
4. Δημιουργήστε απόκριση βάσει πηγής. Το AI δημιουργεί μια απόκριση που βασίζεται αποκλειστικά στα ληφθέντα τμήματα και υποδεικνύει από ποιο έγγραφο πήρε. Μια απάντηση που δεν αναφέρει την πηγή είναι αντίθετη με τον σκοπό του RAG.
5. Επαληθεύστε και αναφέρετε. Ο χρήστης θα πρέπει να μπορεί να μεταβεί στην πηγή που εμφανίζεται και να επιβεβαιώσει την απάντηση. Οι λανθασμένες ή ελλιπείς απαντήσεις γίνονται ανατροφοδότηση για τη βελτίωση της βάσης τεκμηρίωσης.
Συμβουλή: Η ποιότητα του RAG εξαρτάται σε μεγάλο βαθμό από την ποιότητα της βάσης εγγράφων. Ενημερώστε έγγραφα, εξαλείψτε τις αντικρουόμενες/παλαιωμένες εκδόσεις και προσθέστε πληροφορίες ημερομηνίας και προέλευσης σε κάθε έγγραφο πριν το τοποθετήσετε στο σύστημα. 500 καλά οργανωμένα έγγραφα δίνουν καλύτερες απαντήσεις από 5.000 διάσπαρτα έγγραφα.
Τα σύνορα και τα σημεία ασφαλείας της RAG
Το RAG μειώνει την ψευδαίσθηση αλλά δεν την επαναφέρει. Εάν το σύστημα επιστρέψει το λάθος κομμάτι, το AI μπορεί να δώσει τη λάθος απάντηση παραμένοντας «πιστός» σε αυτό το λάθος κομμάτι. Επιπλέον, η τεχνητή νοημοσύνη μπορεί να παρερμηνεύσει τα κομμένα κομμάτια ή να συνδυάσει πολλά κομμάτια με αντιφατικούς τρόπους. Επομένως, η έξοδος RAG θα πρέπει επίσης να επαληθεύεται πηγαίνοντας στην πηγή, ειδικά για κρίσιμες αποφάσεις.
Το απόρρητο είναι ένα κεντρικό ζήτημα στο εταιρικό RAG. Η βάση εγγράφων μπορεί να περιέχει ευαίσθητες πληροφορίες (προσωπικό, συμβάσεις, στρατηγική). Το σύστημα δεν πρέπει να δημιουργεί απαντήσεις από έγγραφα που δεν είναι εξουσιοδοτημένα από τον χρήστη. Ο έλεγχος πρόσβασης (ποιος μπορεί να δει ποιο έγγραφο) θα πρέπει επίσης να εφαρμοστεί στο RAG. Διαφορετικά, ένας υπάλληλος μπορεί να έχει πρόσβαση σε πληροφορίες μέσω RAG που δεν μπορεί να δει.
Προσοχή: Ακόμη και όταν παραθέτει ένα έγγραφο, η RAG δεν εγγυάται ότι αυτό το έγγραφο είναι ενημερωμένο και ακριβές. Το σύστημα μπορεί να απαντήσει από ένα παλιό έγγραφο διαδικασίας πριν από τρία χρόνια. Είναι ευθύνη του χρήστη και του διαχειριστή πληροφοριών να ελέγξουν την ημερομηνία και την εγκυρότητα του εγγράφου προέλευσης.
τρεις μίνι θήκες
Περίπτωση 1 — Επίσπευση των διαδικαστικών ερωτήσεων. Ένας οργανισμός δημιούργησε ένα σύστημα RAG για τα εγχειρίδια εσωτερικών διαδικασιών 1.200 σελίδων. Οι ερωτήσεις των εργαζομένων "πώς να το κάνουμε αυτό" επιλύθηκαν μέσα σε δευτερόλεπτα με τις απαντήσεις να αναφέρουν την πηγή. Η μέση διάρκεια κλήσης μειώθηκε από 25 λεπτά σε 2 λεπτά. Επειδή κάθε απάντηση συνδεόταν με την ενότητα της τεκμηρίωσης στην οποία βασιζόταν, οι εργαζόμενοι μπορούσαν να την επαληθεύσουν.
Περίπτωση 2 — Παλιό έγγραφο που συλλαμβάνεται. Ένα σύστημα RAG απάντησε σε ερώτηση διαδικασίας άδειας από ένα παλιό έγγραφο με ημερομηνία 2021. Ωστόσο, μια ενημερωμένη έκδοση κυκλοφόρησε το 2024. Ο υπάλληλος που άνοιξε τον σύνδεσμο πηγής παρατήρησε ότι η ημερομηνία ήταν παλιά και βρήκε το ενημερωμένο έγγραφο. Ο διαχειριστής πληροφοριών αφαίρεσε την παλιά έκδοση από τη βάση εγγράφων.
Περίπτωση 3 — Αποτράπηκε η μη εξουσιοδοτημένη πρόσβαση. Στην αρχική εγκατάσταση, η RAG σάρωνε όλα τα έγγραφα δημόσια. ένας υπάλληλος έλαβε απάντηση από έγγραφο μισθοδοσίας που δεν έπρεπε να δει. Η ομάδα πρόσθεσε τον έλεγχο πρόσβασης στο RAG: το σύστημα πλέον δημιουργεί απαντήσεις μόνο από έγγραφα στα οποία ο χρήστης είναι εξουσιοδοτημένος.
Αξιολόγηση, ανατροφοδότηση και συνεχής βελτίωση
Ένα σύστημα RAG δεν είναι ένα εργαλείο που πρέπει να εγκατασταθεί μια φορά και να ξεχαστεί. Απαιτεί συνεχή αξιολόγηση και βελτίωση. Η βάση για αυτό είναι η τακτική μέτρηση των απαντήσεων του συστήματος σε πραγματικές ερωτήσεις. Δύο ερωτήματα είναι κρίσιμα: το σύστημα ανακτά τα σωστά κομμάτια εγγράφου (ποιότητα πρόσβασης) και παράγει τη σωστή απόκριση από τα ληφθέντα κομμάτια (ποιότητα παραγωγής); Είναι απαραίτητο να αξιολογηθούν αυτά τα δύο επίπεδα χωριστά. Διότι η προσκόμιση του σωστού εγγράφου και η παρερμηνεία του και η μεταφορά του λάθος εγγράφου και η πιστή μεταφορά του είναι διαφορετικά προβλήματα και απαιτούν διαφορετικές λύσεις. Μια καλή πρακτική είναι να διατηρείτε ένα σύνολο "τεστ ερωτήσεων" με γνωστές σωστές απαντήσεις και να δοκιμάζετε το σύστημα με αυτό το σετ σε κάθε ενημέρωση. Επιπλέον, τα σχόλια των χρηστών "ήταν αυτή η απάντηση χρήσιμη / ήταν η πηγή ακριβής" αποκαλύπτει τόσο κενά στη βάση του εγγράφου όσο και εξαρτήματα που έχουν ληφθεί εσφαλμένα. Η τεχνητή νοημοσύνη μπορεί να βοηθήσει στη συγκέντρωση αυτών των σχολίων και στη σύνοψη των τύπων ερωτήσεων που αποτυγχάνουν πιο συχνά. Ωστόσο, η απόφαση σχετικά με το ποιο έγγραφο θα προσθέσετε, θα ενημερώσετε ή θα αφαιρέσετε ανήκει στον διαχειριστή πληροφοριών. Το σύστημα απαιτεί φροντίδα σαν ζωντανός οργανισμός. Ένα παραμελημένο RAG γίνεται όλο και πιο παραπλανητικό λόγω της γήρανσης της τεκμηρίωσης με την πάροδο του χρόνου.
Συμβουλή: Μόλις ρυθμίσετε το σύστημα RAG, ετοιμάστε ένα μικρό δοκιμαστικό σετ 20-30 πραγματικών ερωτήσεων και γνωστών σωστών απαντήσεων. Η εκτέλεση αυτού του συνόλου με κάθε ενημέρωση εγγράφου δείχνει αμέσως εάν μια αλλαγή βελτιώνει ή καταστρέφει το σύστημα.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Προτροπή απάντησης βάσει πηγής:
Ο ρόλος σας: βοηθός εταιρικών πληροφοριών. Παρακάτω παρουσιάζονται τεκμηρίωση σχετικά με την ερώτηση. Δώστε την απάντηση ΜΟΝΟ σε αυτά τα κομμάτια και αναφέρετε από ποιο έγγραφο/τεμάχιο για κάθε πληροφορία προέρχεται. Εάν δεν υπάρχει απάντηση στα μέρη, πείτε "αυτές οι πληροφορίες δεν περιλαμβάνονται στα έγγραφα που παρέχονται", μην μαντέψετε. Ερώτηση: [εδώ] / Μέρη: [εδώ]
2) Έλεγχος αντιθέσεων και νομισμάτων:
Υπάρχουν αντιφάσεις ή διαφορετικές χρονολογημένες εκδοχές μεταξύ των παρακάτω κομματιών; Εάν ναι, σημειώστε το και υποδείξτε ποιο φαίνεται πιο ενημερωμένο. Μέρη (με ημερομηνίες): [εδώ]
3) Έλεγχος καθαρισμού βάσης εγγράφων:
Στην παρακάτω λίστα εγγράφων, υπάρχουν τυχόν παρωχημένα, αντικρουόμενα ή αβέβαιης προέλευσης έγγραφα που πρέπει να διευθετηθούν πριν τοποθετηθούν σε ένα σύστημα RAG; Σημειώστε και γράψτε γιατί. Λίστα (με ημερομηνία/πηγή): [εδώ]
4) Απόρρητο και προέλεγχος πρόσβασης:
Περιέχουν τα ακόλουθα τμήματα εγγράφων ευαίσθητες πληροφορίες (προσωπικά δεδομένα, εμπιστευτική συμφωνία, στρατηγική); Ταξινομήστε το καθένα ως "δημόσια/περιορισμένη πρόσβαση" και αιτιολογήστε το. Κομμάτια: [εδώ]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή:
Εξηγήστε τη διαδικασία αδειοδότησης του ιδρύματός μας.
Εάν δεν παρέχεται τεκμηρίωση, το AI παράγει μια επινοημένη διαδικασία από τη γενική του μνήμη ή από την εφαρμογή άλλων ιδρυμάτων. Μπορεί να είναι άσχετο με τον πραγματικό κανόνα του ιδρύματος.
Ισχυρή προτροπή:
Ο ρόλος σας: βοηθός εταιρικών πληροφοριών. Ακολουθούν τα έγγραφα (με τις ημερομηνίες τους) σχετικά με τη διαδικασία αδειοδότησης του ιδρύματος. Απαντήστε στην ερώτηση με βάση αυτά τα μέρη και μόνο, αναφέροντας το έγγραφο πηγής και την ημερομηνία σε κάθε βήμα. Εάν τα μέρη συγκρούονται, χρησιμοποιήστε το πιο πρόσφατο και πείτε το. Εάν δεν υπάρχει στο έγγραφο, πείτε "χωρίς πληροφορίες". Ερώτηση: [εδώ] / Μέρη: [εδώ]
Ισχυρή προτροπή. συνδέει την απάντηση με πραγματικά έγγραφα του ιδρύματος, ζητά πηγές και ημερομηνίες και αντιμετωπίζει με ειλικρίνεια την αντίφαση και το κενό.
Στοιχείο RAG και πίνακας κινδύνου
συστατικό
Λειτουργία
Κύριος κίνδυνος
Διαβεβαίωση
Βάση εγγράφων
Πηγή της απάντησης
Απαρχαιωμένο/αντιφατικό έγγραφο
Καθαριότητα, ιστορία, καταγωγή
Ανάκτηση
Βρείτε το σχετικό μέρος
λάθος κομμάτι
Δοκιμή ποιότητας, ανατροφοδότηση
Παραγωγή
Απάντηση
λάθος σχόλιο
Αναφορά πηγής, επαλήθευση
Έλεγχος πρόσβασης
Έλεγχος αρχής
μη εξουσιοδοτημένη αποκάλυψη
Περιορισμός βάσει χρήστη
Συνήθη λάθη
- Δημιουργία βάσης βρώμικων εγγράφων. Το παρωχημένο/σε αντικρουόμενο έγγραφο παράγει κακή ανταπόκριση.
- Αποδοχή απάντησης χωρίς αναφορά της πηγής. Ο σκοπός του RAG είναι η ιχνηλασιμότητα.
- Δεν γίνεται έλεγχος της ημερομηνίας του εγγράφου. Μια απάντηση που θεωρείται ότι θα ενημερωθεί προέρχεται από την παλιά έκδοση.
- Παράκαμψη ελέγχου πρόσβασης. Μη εξουσιοδοτημένο άτομο έχει πρόσβαση σε ευαίσθητες πληροφορίες.
- Σκεπτόμενος ότι το RAG είναι εντελώς άνοσο στις παραισθήσεις. Το λάθος κομμάτι εξακολουθεί να παράγει τη λάθος απάντηση.
Συνοπτικά
Το RAG παράγει μεγάλη αξία στη διαχείριση γνώσης μετατρέποντας την οργανωτική μνήμη σε ένα σύστημα που βασίζεται σε πόρους. Σε αντίθεση με τη γενική τεχνητή νοημοσύνη, συνδέει και προμηθεύει την απάντηση στα πραγματικά έγγραφα του οργανισμού, μειώνοντας έτσι σημαντικά τις παραισθήσεις. Ωστόσο, η επιτυχία εξαρτάται από μια καθαρή και ενημερωμένη βάση τεκμηρίωσης, την ακριβή πρόσβαση στο κομμάτι, την απόδοση πηγής, τον έλεγχο ημερομηνίας/τρέχουσας κατάστασης και τον έλεγχο πρόσβασης. Το RAG δεν επαναφέρει την ψευδαίσθηση. Οι κρίσιμες απαντήσεις επαληθεύονται μεταβαίνοντας στην πηγή και η εμπιστευτικότητα τηρείται από την αρχή.
Εργασία εφαρμογής
Προετοιμάστε ένα μικρό σύνολο εγγράφων (5-8 πραγματικά ή δείγματα εγγράφων πρακτορείου, με ημερομηνίες). Βάλτε συνειδητά μια παλιά και μια τρέχουσα αντικρουόμενη εκδοχή. Κάντε μια ερώτηση με το πρότυπο "Προτροπή απάντησης βάσει πηγής" και ελέγξτε εάν το AI αναφέρει την πηγή. Στη συνέχεια, αξιολογήστε εάν η τεχνητή νοημοσύνη εντόπισε σωστά τη διένεξη και την τρέχουσα έκδοση με το πρότυπο "Έλεγχος διένεξης και τρέχουσας έκδοσης".
λίστα ελέγχου
- [ ] Ενημέρωσα τη βάση εγγράφων, εξάλειψα παλιά/αντιφατικά έγγραφα.
- [ ] Βεβαιώθηκα ότι κάθε απάντηση οδηγεί στο έγγραφο προέλευσης.
- [ ] Έλεγξα την ημερομηνία και την εγκυρότητα των εγγράφων πηγής.
- [ ] Απέτρεψα τη δημιουργία απαντήσεων από μη εξουσιοδοτημένα έγγραφα με έλεγχο πρόσβασης.
- [ ] Επιβεβαίωσα τις κρίσιμες απαντήσεις πηγαίνοντας στο αρχικό έγγραφο.