Κέρδη:
- Εξηγήστε τα αίτια της ψευδαίσθησης και τον ρόλο της γείωσης
- Η εφαρμογή τεχνικών που κάνουν το μοντέλο να λέει «δεν ξέρω» εάν δεν είναι στο πλαίσιο
- Διασφάλιση εμπιστοσύνης και δυνατότητας ελέγχου με την προσθήκη επαληθεύσιμων πηγών/αναφορών στις απαντήσεις
Η πιο επικίνδυνη συμπεριφορά ενός γλωσσικού μοντέλου είναι να επινοήσει κάτι που δεν γνωρίζει με έναν σίγουρο και πειστικό τόνο. Αυτό ονομάζεται παραίσθηση. Η ψευδαίσθηση σε έναν εταιρικό βοηθό δεν είναι απλώς ενοχλητική, είναι εντελώς επικίνδυνη: η λάθος μέρα άδειας, η λάθος τιμή, η λάθος νόμιμη ουσία μπορούν πραγματικά να θέσουν σε κίνδυνο έναν υπάλληλο ή έναν πελάτη. Σε αυτή την ενότητα, καλύπτουμε γιατί συμβαίνουν οι παραισθήσεις, πώς να τις μειώσετε στο RAG και πώς να κάνετε την απάντηση επαληθεύσιμη.
Τι προκαλεί τις ψευδαισθήσεις;
Το μοντέλο έχει εκπαιδευτεί να παράγει την επόμενη πιο πιθανή λέξη. Όχι «πείτε την αλήθεια», αλλά «παράγετε κείμενο ρέον και εύλογο». Εάν λείπουν πληροφορίες, μπορεί να καλύψει το κενό με κάτι στατιστικά αληθοφανές αλλά στην πραγματικότητα εσφαλμένο. Τρεις τυπικοί παράγοντες ενεργοποίησης:
- Δεν υπάρχει απάντηση στο πλαίσιο, αλλά το μοντέλο αισθάνεται υποχρεωμένο να πει κάτι ούτως ή άλλως.
- Το πλαίσιο είναι αντικρουόμενο ή ανεπαρκές. Το μοντέλο κλείνει το χάσμα με την πρόβλεψη.
- Το ερώτημα υπερβαίνει το πλαίσιο. το μοντέλο επιστρέφει στη δική του γενική (και πιθανώς ξεπερασμένη) γνώση.
Το RAG μειώνει τις παραισθήσεις επειδή δίνει στο μοντέλο μια πραγματική πηγή — αλλά δεν την επαναφέρει. Εάν φέρετε το λάθος εξάρτημα ή αφήσετε το μοντέλο "ελευθερία να καλύψει το κενό", το σύστημα με RAG μπορεί επίσης να το χωρέσει.
είδος παραισθήσεων
σύμπτωμα
βασική αιτία
στρώμα διαλύματος
που προέρχεται από την ανάκτηση
Η σωστή απάντηση βρίσκεται στο έγγραφο αλλά δεν έφτασε
Παραδόθηκε λάθος/λείπει μέρος
Τεμαχισμός, υβριδικό, ανακατάταξη (Μονάδα 3-4)
Προέλευση γενιάς
Έφτασε το σωστό μέρος αλλά η απάντηση είναι λάθος/πρέπει να προστεθεί
Το μοντέλο γέμισε το κενό με προβλέψεις
Γείωση, άδεια "δεν ξέρω", χαμηλή δημιουργικότητα
Η παραπομπή προέρχεται
Η απάντηση είναι σωστή αλλά η πηγή είναι λάθος
Το μοντέλο αναφέρεται σε λάθος μέρος
Επαλήθευση παραπομπής (βλ. Ενότητα 8)
Συμβουλή: Διαχωρίστε την ψευδαίσθηση σε δύο μέρη. Προέρχεται από την ανάκτηση: έφτασε λάθος/λείπει μέρος (λύση: βελτίωση ανάκτησης). Πηγή γενιάς: Έφτασε το σωστό εξάρτημα, αλλά το μοντέλο το διάβασε/το πρόσθεσε λάθος (λύση: προτροπή και γείωση). Δεν μπορείτε να το διορθώσετε αν δεν ξέρετε ποιο είναι.
Γείωση: Καρφώνοντας την απάντηση στο πλαίσιο
Γείωση είναι το όνομα που δίνεται σε όλες τις τεχνικές του να πεις στο μοντέλο «απλώς βασίσου στο κείμενο που σου δίνω, μην το υπερβαίνεις». Η πιο βασική και πιο αποτελεσματική τεχνική του: δίνοντας ρητά την άδεια στο μοντέλο να πει «δεν ξέρω». Το μοντέλο, όπως και ο άνθρωπος, διστάζει να πει «δεν ξέρω». Πρέπει να του δώσετε ρητή άδεια να το κάνει αυτό.
Απαντήστε μόνο με βάση το ΠΛΑΙΣΙΟ παρακάτω. Εάν η απάντηση δεν είναι ΞΕΚΑΘΑΡΑ στο πλαίσιο, γράψτε ακριβώς αυτό: "Δεν μπόρεσα να βρω αρκετές πληροφορίες για αυτό στην τεκμηρίωση." Μην συμπεριλάβετε αριθμούς, ημερομηνίες ή ονόματα που δεν είναι στο πλαίσιο. Μην μαντεύετε.
Πρόσθετες τεχνικές γείωσης:
- Απαίτηση προσφοράς: Πριν από κάθε αξίωση, παραθέστε το κείμενο κατά λέξη («Το έγγραφο λέει: «...»). Η παραγωγή κατασκευασμένων εισαγωγικών είναι πιο δύσκολη για το μοντέλο.
- Χαμηλή θερμοκρασία: Η θερμοκρασία (θερμοκρασία, δημιουργικότητα/τυχαία ρύθμιση) πρέπει να είναι χαμηλή. Σημείωση: σε ορισμένα τρέχοντα μοντέλα αυτή η παράμετρος έχει αφαιρεθεί. Σε αυτά, παρέχετε γείωση με μια προτροπή. Η υψηλή δημιουργικότητα είναι ο εχθρός της εταιρικής ακεραιότητας.
- Όριο εύρους: "Απαντήστε μόνο σε ζητήματα πολιτικής συναίνεσης. αρνηθείτε ευγενικά να εξαιρεθείτε".
Παράθεση
Η ισχυρότερη συστημική άμυνα ενάντια στις παραισθήσεις είναι να γίνει η απάντηση επαληθεύσιμη. Εάν ο χρήστης μπορεί να δει σε ποιο έγγραφο βασίζεται η απάντηση: (1) μπορεί να πιάσει μόνος του το λάθος, (2) ο έλεγχος γίνεται δυνατός, (3) αυξάνεται η εμπιστοσύνη και (4) το μοντέλο παράγει πιο προσεκτικά έχοντας επίγνωση ότι "θα χρειαστεί να αναφέρω την πηγή".
Δύο κοινές προσεγγίσεις:
Ενσωματωμένη απόδοση: Ετικέτα πηγής δίπλα σε κάθε αξίωση. "Η ετήσια άδεια είναι 14 ημέρες [1]." Παρακάτω είναι η πλήρης τεκμηρίωση του [1].
Δομημένη έξοδος: Ζητώντας από το μοντέλο να παράγει την απάντηση και τη λίστα πηγών σε ξεχωριστά πεδία. Εμφάνιση πόρων ως συνδέσμων με δυνατότητα κλικ στη διεπαφή.
# Παραγωγή δομημένης απάντησης με βάση το μοντέλο (εννοιολογική) Δώστε την απάντησή σας στην ακόλουθη δομή:- απάντηση: <context-based answer>- πηγές: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # Πόσο ξεκάθαρα το υποστηρίζει το περιβάλλον; Εάν το περιβάλλον δεν υποστηρίζει την απάντηση, γράψτε "δεν βρέθηκαν πληροφορίες" στο πεδίο απάντησης και αφήστε τις πηγές κενές.
Για να λειτουργήσει πραγματικά η Παράθεση, είναι απαραίτητο να επαληθεύσετε ότι η απόδοση είναι σωστή. Το μοντέλο μπορεί μερικές φορές να δίνει τη σωστή απάντηση αλλά να δίνει λάθος πηγή. Τα προηγμένα συστήματα ελέγχουν αυτόματα ότι κάθε αξίωση που παράγεται υποστηρίζεται πραγματικά στο κομμάτι στο οποίο υποδεικνύει (η μέτρηση "πιστότητας" στην επόμενη ενότητα).
Αδύναμο/Ισχυρό: Προτροπή κατά των ψευδαισθήσεων
Αδύναμο (πρόσκληση για συμπλήρωση του κενού):
Απαντήστε στην ερώτηση όσο καλύτερα μπορείτε με τις πληροφορίες που έχετε: {context} Ερώτηση: {question}# "Όσο καλύτερα μπορείτε" σημαίνει "μάντεψε αν δεν ξέρεις" για το μοντέλο.
Ισχυρή (γείωση + δεν γνωρίζω άδεια + πηγή + εμπιστοσύνη):
Απλά βασιστείτε στο CONTEXT. Διαφορετικά, πείτε "Δεν μπόρεσα να βρω καμία πληροφορία". αριθμός/ημερομηνία/όνομα. Προσθέστε [n] αριθμό πηγής σε κάθε αξίωση. Καθορίστε το επίπεδο εμπιστοσύνης που υποστηρίζεται από το πλαίσιο. ΠΛΑΙΣΙΟ: [1]... [2]... ΕΡΩΤΗΣΗ: {question}
Τρεις Μίνι Θήκες
Περίπτωση 1 — Αριθμός κατασκευασμένου αντικειμένου. Ένας δικηγόρος έκανε δήλωση «Άρθρου 17/Β» που ήταν εκτός πλαισίου και έδωσε ψευδή στοιχεία στον υπάλληλο. Όταν προστέθηκε η οδηγία "Μην δίνετε αριθμό άρθρου που δεν είναι στα συμφραζόμενα, αλλιώς πείτε δεν ξέρω" + η υποχρέωση αναφοράς, οι περιπτώσεις κατασκευασμένων ειδών μειώθηκαν από 11 σε 0 σε 40 παραδείγματα.
Περίπτωση 2 — Σωστή απάντηση, λάθος πηγή. Ένας βοηθός υποστήριξης δήλωσε τη σωστή περίοδο επιστροφής αλλά ανέφερε λάθος άρθρο. Όταν ο πελάτης έκανε κλικ στον σύνδεσμο, άνοιξε μια άσχετη σελίδα. Όταν προστέθηκε η επαλήθευση παραπομπών (έλεγχος εάν ο ισχυρισμός εμφανίζεται στο αναφερόμενο κομμάτι), το ποσοστό ψευδών παραπομπών μειώθηκε από 23% σε 2%.
Περίπτωση 3 — Δεν δόθηκε άδεια «Δεν ξέρω». Ένας βοηθός HR είχε δώσει μια εύλογη αλλά εσφαλμένη απάντηση σε μια ερώτηση που δεν υπήρχε στο έγγραφο. Όταν η ρητή συναίνεση "Δεν ξέρω" και το πλήρες κείμενο ("Δεν μπόρεσα να βρω πληροφορίες σχετικά με αυτό στην τεκμηρίωση") προστέθηκαν στο μήνυμα προτροπής, το ποσοστό ειλικρινούς απόρριψης για ερωτήσεις χωρίς απάντηση, αντί για κατασκευές, αυξήθηκε από 8% σε 95%.
Συνήθη λάθη
- Δεν επιτρέπεται το «Δεν ξέρω»: Το μοντέλο καλύπτει το κενό με την κατασκευή.
- Διατήρηση της δημιουργικότητας σε υψηλά επίπεδα: Η τυχαιότητα είναι επιζήμια για την εταιρική ακεραιότητα.
- Εμπιστοσύνη της πηγής χωρίς επαλήθευση: Το μοντέλο μπορεί να επισυνάψει λάθος πηγή στη σωστή απάντηση.
- Χωρίς διάκριση μεταξύ των δύο τύπων παραισθήσεων: Διορθώνετε το λάθος μέρος χωρίς να γνωρίζετε αν προκαλείται από ανάκτηση ή δημιουργία.
- Λάθος αναφορά για τα καλλυντικά: Η αναφορά της πηγής είναι επιβεβαιωτική και αποτρεπτική. πάρτε το στα σοβαρά.
Προσοχή: "Το μοντέλο δείχνει πολύ σίγουρο" δεν είναι το ίδιο με το "το μοντέλο είναι σωστό". Οι ψευδαισθήσεις είναι γενικά οι πιο ευχάριστες και σίγουρες προτάσεις. Διαβάστε την εμπιστοσύνη από την πηγή που υποδεικνύει, όχι από τον τόνο της πρότασης.
Συνοπτικά
- Παραίσθηση είναι όταν το μοντέλο γεμίζει το κενό πληροφοριών με εύλογο αλλά ψευδές κείμενο. Το RAG μειώνεται αλλά δεν μηδενίζεται.
- Η ψευδαίσθηση μπορεί να προκληθεί από ανάκτηση (λάθος μέρος) ή δημιουργία (λανθασμένη ανάγνωση). Προσδιορίστε ποιο πρώτο.
- Η πιο ισχυρή τεχνική της γείωσης είναι να δώσει στο μοντέλο ρητή άδεια "Δεν ξέρω". επίσης απαίτηση αναφοράς και χαμηλή δημιουργικότητα.
- Η παραπομπή καθιστά την απάντηση επαληθεύσιμη. Δίνει αυτοπεποίθηση και ωθεί το μοντέλο να παράγεται με προσοχή.
- Θα πρέπει επίσης να ελεγχθεί η ακρίβεια της παραπομπής. Η λάθος πηγή μπορεί να επισυναφθεί στη σωστή απάντηση.
Εργασία εφαρμογής
(1) Προετοιμάστε 4 ερωτήσεις για να κάνετε στον βοηθό σας, οι απαντήσεις των οποίων δεν υπάρχουν στα έγγραφα (ερωτήσεις παγίδας). Δοκιμάστε το καθένα με την αδύναμη και ισχυρή προτροπή και σημειώστε εάν το μοντέλο ταιριάζει ή όχι. (2) Για τις 4 ερωτήσεις των οποίων οι απαντήσεις βρίσκονται στο έγγραφο, ζητήστε από το μοντέλο να δημιουργήσει τον αριθμό συγκόλλησης και επαληθεύστε χειροκίνητα εάν η συγκόλληση που δείχνει είναι όντως το σωστό μέρος. (3) Ελέγξτε εάν το μοντέλο δίνει "σωστή απάντηση, λάθος πηγή" σε τουλάχιστον μία περίπτωση και γράψτε σε μία πρόταση πώς μπορείτε να το συλλάβετε αυτόματα.
λίστα ελέγχου
- [ ] Μπορώ να καταλάβω γιατί συμβαίνει η ψευδαίσθηση και ότι το RAG τη μειώνει αλλά δεν την επαναφέρει.
- [ ] Μπορώ να διακρίνω ανάμεσα στις παραισθήσεις ανάκτησης και τις παραισθήσεις που προκαλούνται από τη γενιά και να διορθώσω τη σωστή θέση.
- [ ] Προσθέτω ρητές άδειες "Δεν ξέρω" και κανόνες γείωσης στην προτροπή.
- [ ] Προσθέτω μια επαληθεύσιμη πηγή (αναφορά) στην απάντηση.
- [ ] Κατανοώ την ανάγκη περαιτέρω ελέγχου της ακρίβειας της απόδοσης.