Κέρδη:
- Κατανόηση της λογικής της παραγωγής βασισμένης στη γνώση (RAG) και γιατί μειώνει τις παραισθήσεις
- Δυνατότητα απάντησης του μοντέλου με παραπομπή, με βάση μόνο τα έγγραφα πηγής που παρέχονται
- Δυνατότητα διαχείρισης ερωτήσεων που δεν υπάρχουν στην πηγή μεταφέροντάς τες με ασφάλεια, χωρίς να δημιουργεί ερωτήσεις
Ένα μοντέλο γλώσσας «ξέρει» πολλά, αλλά δεν γνωρίζει την πολιτική επιστροφών της εταιρείας σας σήμερα, τον τρέχοντα τιμοκατάλογο ή τη συμφωνία αποστολής που άλλαξε χθες. Το χειρότερο, όταν δεν ξέρει, συχνά το φτιάχνει και γράφει με εξαιρετικά σίγουρο τόνο. Αυτό είναι ένα θανατηφόρο ελάττωμα στην εξυπηρέτηση πελατών: το μοντέλο λέει "Οι επιστροφές χρημάτων εκδίδονται εντός 30 ημερών", ενώ το συμβόλαιό σας μπορεί να είναι 14 ημέρες. Η προσέγγιση που κλείνει αυτό το κενό ονομάζεται RAG: Retrieval-Augmented Generation, δηλαδή «retrieval-augmented production».
Η ιδέα είναι απλή: Το μοντέλο απαντά στην ερώτηση όχι από μνήμη, αλλά από τα σωστά έγγραφα πηγής που τοποθετούνται μπροστά του εκείνη τη στιγμή. Πρώτον, το σωστό κομμάτι εγγράφου που σχετίζεται με την ερώτηση είναι η "ανάκτηση" και μετά το μοντέλο "δημιουργεί" την απάντηση με βάση μόνο αυτό το κομμάτι. Σε αυτήν την ενότητα, θα κατανοήσετε τη λογική του RAG και θα μάθετε πώς να χαλιναγωγείτε το μοντέλο, ώστε να κολλάει μόνο στην επαληθευμένη πηγή που παρέχετε.
Σημείωση: Αυτή η ενότητα διδάσκει τη λογική εργασίας και την άμεση πλευρά του RAG. Τα συστήματα αυτόματης ανάκτησης εγγράφων σε κλίμακα επιχείρησης (διανυσματική βάση δεδομένων, κ.λπ.) απαιτούν τεχνική εγκατάσταση. Η πειθαρχία εδώ είναι η βάση για να ανταποκριθεί σωστά αυτό το σύστημα.
Γιατί το RAG μειώνει τις ψευδαισθήσεις;
Παραίσθηση είναι όταν το μοντέλο παράγει μη πραγματικές πληροφορίες σαν να ήταν αληθινές. Το μοντέλο είναι προγραμματισμένο να παράγει μια απόκριση που φαίνεται «πιθανή» όταν βλέπει ένα κενό. Δεν ξέρω αν είναι αλήθεια ή όχι. Το RAG καλύπτει αυτό το κενό: δίνετε στο μοντέλο το πραγματικό σχετικό κείμενο μαζί με την ερώτηση και λέτε "μόνο απάντηση από εδώ". Έτσι το μοντέλο δεν «χρειάζεται» να ταιριάζει.
Υπάρχουν τρία συστατικά:
- Γνωσιακή βάση: Αξιόπιστα κείμενα όπως συχνές ερωτήσεις, έγγραφα πολιτικής, εγχειρίδια προϊόντων, τιμοκατάλογοι.
- Ανάκτηση: Εύρεση του τμήματος του εγγράφου που περιέχει την απάντηση στην ερώτηση και δίνοντάς το στο μοντέλο.
- Περιορισμένη έκδοση: Το μοντέλο απαντά με προσφορά, με βάση μόνο το παρεχόμενο ανταλλακτικό.
Βήμα προς βήμα: Μια πιστή απάντηση στην πηγή
- Προετοιμάστε την πηγή. Βρείτε το κείμενο στο οποίο θα βασίζεται η απάντηση (πολιτική, FAQ) σε σαφή και ενημερωμένη μορφή.
- Ενσωματώστε την πηγή στην προτροπή. Τοποθετήστε το κείμενο σε μια ετικέτα όπως <πηγή>.
- Γράψτε τον κανόνα πίστης. "Χρησιμοποιήστε μόνο τις πληροφορίες από την πηγή, μην απομακρυνθείτε από την πηγή."
- Απαιτείται αναφορά. Αφήστε τον/την να υποδείξει σε ποια ενότητα βασίζεται η απάντηση.
- Προσδιορίστε τη συμπεριφορά χωρίς πόρους. Αν η απάντηση δεν είναι στην πηγή, ας πει «δεν έχω αυτές τις πληροφορίες» και τη διαβιβάζει.
- Επαληθεύω. Επιβεβαιώστε την απάντηση συγκρίνοντάς την με την πρόταση πηγής στην οποία βασίζεται.
Αντιγράψιμα μηνύματα
Προτροπή απάντησης με βάση την υποκείμενη πηγή:
Ρόλος: Είστε βοηθός υποστήριξης πελατών. Απαντήστε στην ερώτηση ΜΟΝΟ με βάση τις πληροφορίες στο μπλοκ <source> παρακάτω. Μην προσθέτετε πληροφορίες που δεν υπάρχουν στην πηγή, εικασίες ή απαντήσεις από τις γενικές σας γνώσεις. Προσθέστε την ενότητα στην οποία βασίζεστε στο τέλος της απάντησής σας με τη μορφή "[Πηγή: ...]". Εάν η απάντηση δεν υπάρχει στην πηγή, γράψτε τα εξής: "Δεν έχω οριστικές πληροφορίες για αυτό το θέμα, σας μεταφέρω σε έναν υπάλληλο που μπορεί να δώσει τη σωστή απάντηση."<source>{{ policy_or_faq_text }}</source>Ερώτηση: {{ customer_question }}
Σε περίπτωση πολλαπλών πηγών, η προτροπή για να δείξει σε ποιο έγγραφο βασίζεται:
Υπάρχουν πολλοί πόροι αριθμημένοι παρακάτω. Όταν απαντάτε στην ερώτηση, αναφέρετε τον αριθμό της πηγής που χρησιμοποιήσατε, όπως [Πηγή 2]. Εάν περισσότερες από μία πηγές σας αντικρούουν, πείτε το ξεκάθαρα και δηλώστε ότι θα πρέπει να ρωτήσετε ποια είναι πιο ενημερωμένη.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Ερώτηση: {{ customer_question }}
Προτροπή που διαχειρίζεται με ασφάλεια την ερώτηση που δεν είναι πηγή:
Εάν η απάντηση στην ερώτηση βρίσκεται ΜΕΡΡΙΚΑ στην πηγή: απαντήστε μόνο στο τμήμα που καλύπτεται από την πηγή και πείτε "αυτή η λεπτομέρεια δεν υπάρχει στην πηγή" για το υπόλοιπο μέρος. Ποτέ μην συμπληρώνετε το μέρος που λείπει μαντεύοντας.
Προτροπή που μεταφράζει την απάντηση στη γλώσσα πελάτη, αλλά παραμένει πιστή στην πηγή:
Μεταφράστε την επίσημη/τεχνική έκφραση στην πηγή σε απλή γλώσσα που μπορεί να κατανοήσει ο πελάτης, αλλά ΜΗΝ αλλάξετε τη σημασία και τις αριθμητικές τιμές (ημέρα, ποσό, τιμή). Για παράδειγμα, στρογγυλοποίηση "14 ημερολογιακές ημέρες" σε "περίπου δύο εβδομάδες". κρατήστε την πλήρη αξία.
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμη προτροπή
Ισχυρή προτροπή
"Πείτε μας για την πολιτική επιστροφών μας"
Ενσωματώνει πηγή + "απάντηση μόνο εδώ" + αιτήματα προσφοράς
Απάντηση από μνήμη του μοντέλου (ίσως λάθος)
Απάντηση από το τρέχον έγγραφό σας
Αν δεν υπάρχει στην πηγή, το φτιάχνει
Λέει «δεν έχω αυτές τις πληροφορίες» και τις μεταδίδει.
Μπορεί να στρογγυλοποιεί και να παραμορφώνει αριθμούς
Διατηρεί ακριβώς την ημέρα/ποσό/τιμή
Η διαφορά είναι ότι η ισχυρή προτροπή δίνει στο μοντέλο μια άγκυρα (κείμενο πηγής) και μια απαγόρευση (απενεργοποίηση από την πηγή). Το μοντέλο δεν μιλά πλέον από μνήμης, αλλά από την πραγματικότητα που έχει μπροστά του.
Τρεις Μίνι Θήκες
Περίπτωση 1 — Η παλιά παγίδα πολιτικής. "Επιστροφές γίνονται δεκτές εντός 30 ημερών", είπε το bot ενός καταστήματος ενώ λειτουργούσε χωρίς πίστωση. Ωστόσο, η εταιρεία μείωσε την περίοδο σε 14 ημέρες. Όταν το ενημερωμένο κείμενο πολιτικής προστίθεται στην πηγή στην εγκατάσταση RAG, το bot απαντά τώρα "14 ημερολογιακές ημέρες [Πηγή: Πολιτική επιστροφής, άρθρο 2]". Οι διαφορές επιστροφής χρημάτων που προκύπτουν από ψευδείς υποσχέσεις έχουν επαναφερθεί.
Περίπτωση 2 — Πιάστε την αντίφαση. Ένας πελάτης ρώτησε για τα έξοδα αποστολής. Τόσο ο παλιός όσο και ο νέος τιμοκατάλογος μπήκαν στο σύστημα ως πηγές. Χάρη στην προτροπή πολλών πηγών, το μοντέλο είπε: "Δύο πηγές δίνουν διαφορετικές τιμές (49 TL και 59 TL), πρέπει να επιβεβαιώσω την τρέχουσα" και μετέφερε το ζήτημα στον άνθρωπο. Αντί να πει στον πελάτη ένα λανθασμένο ποσό, κοινοποίησε την αβεβαιότητα με ειλικρίνεια.
Περίπτωση 3 — Πειθαρχία μερικής απόκρισης. «Στέλνετε το προϊόν στο εξωτερικό και ποιος πληρώνει το τελωνείο;» Στην ερώτηση η πηγή είπε μόνο ότι η αποστολή έγινε, δεν υπήρχε τίποτα για το ποιος πλήρωσε τον φόρο. Το μοντέλο είπε, "Ναι, η αποστολή γίνεται στο εξωτερικό [Πηγή: Cargo FAQ]. Ωστόσο, δεν αναφέρεται σε αυτό το έγγραφο ποιος πληρώνει τον τελωνειακό δασμό. Σας μεταφέρω στον υπάλληλο για να το διευκρινίσετε." Αντί για μια μισή αλήθεια, μισή κατασκευασμένη απάντηση, παρήγαγε ένα ειλικρινές και σίγουρο αποτέλεσμα.
Συμβουλή: Διατηρήστε την πιο πρόσφατη και μοναδική πηγή αλήθειας έκδοση της βάσης γνώσεών σας. Το να έχετε τις ίδιες πληροφορίες (π.χ. περίοδος επιστροφής) γραμμένες διαφορετικά σε τρία ξεχωριστά έγγραφα είναι ο μεγαλύτερος εχθρός του RAG. Το μοντέλο ανταποκρίνεται διαφορετικά ανάλογα με το ποιο κοιτάζει. Καταργήστε πρώτα τα αντίγραφα των εγγράφων σας και μετά αυτοματοποιήστε τα.
Επαλήθευση: Μην χαλαρώνετε μόνο και μόνο επειδή υπάρχει η πηγή
Το RAG μειώνει σημαντικά την ψευδαίσθηση αλλά δεν την επαναφέρει. Το μοντέλο μπορεί μερικές φορές να παρερμηνεύει την πηγή, ανακατεύοντας δύο προτάσεις ή βγάζοντας ένα «συμπέρασμα» που δεν υπάρχει στην πηγή. Γι' αυτό η απαίτηση αναφοράς είναι κρίσιμη: ανοίξτε την ενότητα στην οποία ισχυρίζεται ότι βασίζεται η απάντηση και ελέγξτε αν όντως το λέει. Αυτός ο έλεγχος είναι αδιαπραγμάτευτος, ειδικά σε απαντήσεις που περιέχουν αριθμούς (ημέρα, ποσότητα, ρυθμός) και συνθήκες (εξαίρεση, όρος).
Προσοχή: Εάν η ίδια η πηγή είναι λανθασμένη ή ξεπερασμένη, το RAG επαναλαμβάνει πιστά αυτό το λάθος. Λέγοντας "το μοντέλο μιλάει από την πηγή" δεν σημαίνει ότι "το μοντέλο μιλάει σωστά". Είστε υπεύθυνοι για το νόμισμα και την ακρίβεια της πηγής σας.
Διατήρηση της Γνωσιακής Βάσης Έτοιμη για Απόκριση
Η ποιότητα του RAG εξαρτάται σε μεγάλο βαθμό από το πώς γράφεται το κείμενο πηγής. Το μοντέλο επιστρέφει μια πολύ πιο ακριβή απάντηση από τα καλά δομημένα, με τίτλο, κείμενα ενός θέματος. Πρακτικές συμβουλές: γράψτε τις πολιτικές σας σε σύντομες ενότητες με τίτλο και όχι σε μεγάλες, ένθετες παραγράφους. Αφήστε κάθε ενότητα να απαντήσει σε μία ερώτηση ("Πόσες ημέρες είναι η περίοδος επιστροφής;", "Ποια προϊόντα δεν μπορούν να επιστραφούν;"). Η διατήρηση των συχνών ερωτήσεων (FAQ) σε μορφή ερωτήσεων και απαντήσεων διευκολύνει το μοντέλο να βρει το σωστό μέρος. Αναφέρετε αξίες όπως ημερομηνία, ποσό και ποσοστό με σαφήνεια και σε ένα σημείο μέσα στο κείμενο. Η διαφορετική εγγραφή του ίδιου αριθμού σε διαφορετικές ενότητες προκαλεί σύγχυση στο μοντέλο.
Μια άλλη σημαντική συνήθεια είναι να διατηρείτε ζωντανή τη βάση γνώσεων. Οι πολιτικές, οι τιμές και οι προσφορές ποικίλλουν. Εάν η πηγή δεν ενημερωθεί, το μοντέλο συνεχίζει να επαναλαμβάνει με ασφάλεια την παλιά αλήθεια. Με κάθε αλλαγή πολιτικής, ενημερώστε την πηγή και κάντε ξανά στο μοντέλο μερικές δοκιμαστικές ερωτήσεις σχετικά με το θέμα που άλλαξε για να επιβεβαιώσετε ότι δίνει τη σωστή απάντηση. Αυτή η μικρή αλλά τακτική συντήρηση αποτρέπει το σύστημα RAG από το «σιωπηλά να πάει στραβά» με την πάροδο του χρόνου.
Συνήθη λάθη
- Λέγοντας «εξηγήστε την πολιτική μας» χωρίς να θάψετε την πηγή και βασίζεστε στην απομνημόνευση του μοντέλου.
- Μη καθορισμός του ορίου "απάντηση μόνο από πηγή" και συμπεριφορά εκτός πηγής.
- Να μην ζητηθεί αναφορά απόσπασμα/πηγή και να παραμείνει η απάντηση μη επαληθεύσιμη.
- Διατήρηση αντικρουόμενων εκδόσεων των ίδιων πληροφοριών σε πολλά έγγραφα στη βάση γνώσεων.
- Επιτρέποντας στο μοντέλο να στρογγυλοποιεί/ερμηνεύει αριθμητικές τιμές.
- Ξεχνώντας την ενημέρωση της πηγής, με αποτέλεσμα το μοντέλο να επαναλαμβάνει πιστά τις παλιές πληροφορίες.
Συνοπτικά
- Το RAG σημαίνει ότι το μοντέλο παράγει την απάντησή του από το τρέχον έγγραφο προέλευσης και όχι από τη μνήμη.
- Ο πιο πρακτικός τρόπος για να μειώσετε τις παραισθήσεις: θάψτε την πηγή, πείτε "μόνο απαντήστε εδώ", ζητήστε αναφορά.
- Εάν η απάντηση δεν είναι στην πηγή, δεν πρέπει να ταιριάζει ένα μοντέλο. Να πει «δεν το έχω» και να το παραδώσει.
- Ενημερώστε το μοντέλο για αντικρουόμενες πηγές. Διατηρήσατε ακριβώς τις αριθμητικές τιμές.
- Η ακρίβεια RAG εξαρτάται από την επικαιρότητα της πηγής σας. Πάντα να επιβεβαιώνεις το απόσπασμα.
Εργασία εφαρμογής
Λάβετε ένα πραγματικό κείμενο πολιτικής (επιστροφή, αποστολή ή συνδρομή) από τη δική σας επιχείρηση και ενσωματώστε το ως πηγή στη βασική προτροπή RAG παραπάνω. Στη συνέχεια κάντε τρεις ερωτήσεις: (1) μια ερώτηση της οποίας η απάντηση είναι σαφής στην πηγή, (2) μια ερώτηση της οποίας η απάντηση δεν είναι καθόλου στην πηγή, (3) μια ερώτηση της οποίας η απάντηση είναι ελλιπής μόνο στην πηγή. Βεβαιωθείτε ότι το μοντέλο απαντά σωστά, λέει "Δεν το έχω" και σημειώνει με ειλικρίνεια τη μερική απάντηση και την απάντηση που λείπει, αντίστοιχα. Διορθώστε την αποκλίνουσα συμπεριφορά ενισχύοντας τους κανόνες αφοσίωσης και μη πόρων στην προτροπή.
λίστα ελέγχου
- [ ] Ενσωμάτωσα την τρέχουσα πηγή στην οποία θα βασίζεται η απάντηση στο μήνυμα.
- [ ] Πρόσθεσα τον κανόνα "Απάντηση μόνο από την πηγή, μην υπερβαίνεις".
- [ ] Έχω θέσει μια απαίτηση αναφοράς πηγής / αναφοράς.
- [ ] Καθόρισα τη συμπεριφορά ανάθεσης εάν η απάντηση δεν είναι διαθέσιμη στην πηγή.
- [ ] Απαίτησα να διατηρηθούν ακριβώς οι αριθμητικές τιμές.
- [ ] Επιβεβαίωσα την απάντηση από την αρχική πρόταση στην οποία βασίζεται.