Пайдалар:
- Галлюцинациянын себептерин жана негиздөөнүн ролун түшүндүрүңүз
- Эгерде ал контекстте болбосо, моделди "билбейм" деп айтууга мажбур кылган ыкмаларды колдонуу
- Жоопторго текшерилүүчү булактарды/цитаталарды кошуу менен ишенимди жана аудитордукту камсыз кылуу
Тил моделинин эң коркунучтуу жүрүм-туруму – ал билбеген нерсени ишенимдүү жана ынандырарлык тон менен ойлоп чыгаруу. Бул галлюцинация деп аталат. Корпоративдик ассистенттеги галлюцинация – бул жөн эле тажатма эмес, бул өтө опурталдуу: туура эмес эс алуу күнү, туура эмес баа, туура эмес мыйзамдуу субстанция чындыгында кызматкерге же кардарга зыян келтириши мүмкүн. Бул бөлүмдө биз галлюцинация эмне үчүн пайда болот, аларды RAGда кантип азайтуу керек жана жоопту кантип текшерилсе болорун карайбыз.
Галлюцинация эмнеден келип чыгат?
Модель кийинки мүмкүн болгон сөздү чыгарууга үйрөтүлгөн; “Чындыкты айт” эмес, “акылдуу жана жүйөлүү текст чыгар”. Эгерде маалымат жок болсо, анда ал боштукту статистикалык жактан ишенүүгө татыктуу, бирок иш жүзүндө туура эмес нерсе менен толтурушу мүмкүн. Үч типтүү триггерлер:
- Контекстте жооп жок, бирок модель баары бир бир нерсе айтууга мажбур.
- Контекст карама-каршы же адекваттуу эмес; Модель алдын ала айтуу менен ажырымды жабат.
- Суроо контексттин чегинен чыгат; модель өзүнүн жалпы (жана, балким, эскирген) билимине кайтып келет.
RAG галлюцинацияны азайтат, анткени ал моделге чыныгы булакты берет, бирок аны баштапкы абалга келтирбейт. Эгер сиз туура эмес бөлүгүн алып келсеңиз же "болбостон толтуруу эркиндиги" моделин калтырсаңыз, RAG менен система да ага туура келиши мүмкүн.
галлюцинация түрү
симптом
негизги себеп
чечүү катмары
алуудан келип чыгат
Туура жооп документте бар, бирок ал келген жок
Туура эмес/жетишпеген бөлүгү жеткирилди
Чыңдоо, гибриддик, кайра рейтинг (3-4-бирдик)
Муун булагы
Туура бөлүгү келди, бирок жооп туура эмес/кошулушу керек
Модель боштукту болжолдоо менен толтурду
Негиздөө, "билбейм" уруксаты, чыгармачылыгы төмөн
Цитата булагы
Жооп туура, бирок булагы туура эмес
Модель туура эмес бөлүккө кайрылган
Цитаны текшерүү (8-бөлүмдү караңыз)
Кеңеш: Галлюцинацияны эки бөлүккө бөлүңүз. Издөөдөн алынган: туура эмес/жетпеген бөлүгү келди (чечим: издөөнү жакшыртуу). Муун булагы: Туура бөлүгү келди, бирок модель аны туура эмес окуду/кошту (чечим: тез жана негиздөө). Кайсысы экенин билмейинче оңдой албайсың.
Негиздөө: Жоопту контекстте тактоо
Негиздөө - бул моделге "мен берген текстке гана таян, андан ашпа" деп айтуунун бардык ыкмаларына берилген аталыш. Анын эң негизги жана эң эффективдүү ыкмасы: моделге ачык түрдө "билбейм" деп айтууга уруксат берүү. Модель адам сыяктуу эле "билбейм" деп тартынат; Сиз ага бул үчүн ачык уруксат беришиңиз керек.
Төмөндөгү КОНТЕКСТтин негизинде гана жооп бериңиз. Эгерде жооп контекстте АЧЫК болбосо, анда так ушул нерсени жазыңыз: "Мен бул боюнча документациядан жетиштүү маалымат таба алган жокмун." Контекстке кирбеген сандарды, даталарды же ысымдарды кошпоңуз. Ойлобо.
Кошумча негиздөө ыкмалары:
- Цитата талаптары: Ар бир дооматтын алдында контекстти сөзмө-сөз келтириңиз («Документте: «...'»). Модель үчүн жасалма тырмакчаларды чыгаруу кыйыныраак.
- Төмөн температура: Температура (температура, чыгармачылык/кокус орнотуу) төмөн болушу керек. Эскертүү: кээ бир учурдагы моделдерде бул параметр алынып салынган; Аларда сиз тездик менен негиздөөнү камсыздайсыз. Жогорку чыгармачылык — корпоративдик бүтүндүктүн душманы.
- Колдонуу чеги: "Макулдук саясат маселелерине гана жооп бериңиз; сылык түрдө баш тартуудан баш тартыңыз."
Цитата
Галлюцинацияга каршы эң күчтүү системалык коргонуу - бул жоопту текшерүүгө мүмкүн кылуу. Колдонуучу жооп кайсы документке негизделгенин көрө алса: (1) ал катаны өзү кармай алат, (2) аудит мүмкүн болуп калат, (3) ишеним жогорулайт жана (4) модель "мен булакты келтиришим керек" деген түшүнүк менен этияттык менен чыгарат.
Эки жалпы мамиле:
Inline атрибуция: Ар бир дооматтын жанындагы булак теги. "Жылдык өргүү 14 күн [1]." Төмөндө [1] толук документация болуп саналат.
Структураланган жыйынтык: Жоопту жана булактардын тизмесин өзүнчө талааларда чыгарууну моделден суроо; Ресурстарды интерфейсте чыкылдатуучу шилтемелер катары көрсөтүү.
# Моделдин негизинде структураланган жоопту чыгаруу (концептуалдык) Жообуңузду төмөнкү структурада бериңиз:- жооп: <контекстке негизделген жооп>- булактар: [{"бөлүк_жок": 1, "файл": "...", "бөлүм": "..."}]- ишеним: <жогорку|орто|төмөн> # Контекст аны канчалык так колдойт? Эгерде контекст жоопту колдобосо, жооп талаасына "маалымат табылган жок" деп жазып, булактарды бош калтырыңыз.
Citation чындап иштеши үчүн, атрибуциянын туура экенин текшерүү керек. Модель кээде туура жооп берип, бирок туура эмес булагын бериши мүмкүн. Өркүндөтүлгөн системалар ар бир дооматтын иш жүзүндө ал көрсөткөн бөлүгүндө колдоого алынганын автоматтык түрдө текшерет (кийинки бирдиктеги "ишенимдүүлүк" өлчөөсү).
Алсыз/күчтүү: галлюцинацияга каршы
Алсыз (бошту толтурууга чакыруу):
Суроого сизде болгон маалымат менен мүмкүн болушунча жооп бериңиз: {контекст} Суроо: {question}# "Мүмкүн болушунча" бул модель үчүн "билбесеңиз, ойлонуп көрүңүз" дегенди билдирет.
Күчтүү (негиздөө + уруксатты билбейм + булак + ишеним):
Жөн гана CONTEXT'ге таяныңыз. Болбосо, "мен эч кандай маалымат таба алган жокмун" деп айтыңыз; санды/датаны/атын түзүңүз. Ар бир дооматка [n] булак номерин кошуңуз. Контекст тарабынан колдоого алынган ишеним деңгээлин көрсөтүңүз.КОНТЕКСТ: [1]... [2]... СУРОО: {question}
Үч мини Case
1-жагдай - Жасалган буюмдун номери. Юридикалык жак контексттен тышкары "17/В" беренеси боюнча билдирүү жасап, кызматкерге жалган маалымат берген. «Контекстке кирбеген макаланын номерин бербе, болбосо билбейм деп айт» + цитата кылуу милдети кошулганда, жасалма макалалардын учурлары 40 мисалда 11ден 0гө чейин кыскарган.
2-жагдай - Туура жооп, туура эмес булак. Колдоочу жардамчы туура кайтаруу мөөнөтүн айтты, бирок туура эмес макаланы келтирди; Кардар шилтемени басканда, тиешеси жок барак ачылды. Цитаталарды текшерүү (дооматтын келтирилген бөлүгүндө бар-жоктугун текшерүү) кошулганда, жалган цитаталардын көрсөткүчү 23% дан 2% га төмөндөдү.
3-жагдай — “билбейм” деген уруксат берилген жок. Кадрлар бөлүмүнүн жардамчысы документте жок болгон суроого жүйөлүү, бирок туура эмес жооп берген. Тескемеге ачык "билбейм" деген макулдук жана толук текст ("Мен бул тууралуу маалыматты документациядан таба алган жокмун") кошулганда, ойдон чыгарылган эмес, жообу жок суроолор үчүн чынчыл баш тартуу 8%дан 95%га чейин өскөн.
Жалпы каталар
- "Билбейм" дегенге жол бербөө: Модель боштукту ойдон чыгаруу менен толтурат.
- Чыгармачылыкты жогору кармоо: Кокустук корпоративдик бүтүндүккө зыян келтирет.
- Текшербестен булакка ишенүү: Модель туура жоопко туура эмес булагын тиркиши мүмкүн.
- Галлюцинациянын эки түрүн айырмалоо: Сиз туура эмес жерди калыбына келтирүү же генерациядан улам пайда болгонун билбей туруп оңдойсуз.
- Косметика деп жаңылыштык: Булактан алынган цитата тастыктоо жана бөгөт коюу болуп саналат; аны олуттуу кабыл алуу.
Абайлаңыз: "Модель абдан ишенимдүү көрүнөт" деген "модель туура" деген сөз эмес. Галлюцинациялар көбүнчө эң эркин жана ишенимдүү сүйлөмдөр. Ишенимди сүйлөмдүн тонунан эмес, ал көрсөткөн булактан окуңуз.
Кыскача айтканда
- Галлюцинация – бул модель маалыматтын боштугун ишенүүгө татыктуу, бирок жалган текст менен толтурганда; RAG азайтат, бирок баштапкы абалга келтирилбейт.
- Галлюцинация кайра алуу (туура эмес бөлүгү) же генерация (туура эмес окуу) менен шартталган; Кайсынысы биринчи экенин аныктаңыз.
- Жердештирүүнүн эң күчтүү ыкмасы бул моделге ачык "билбейм" уруксатын берүү; ошондой эле цитата талап жана төмөн чыгармачылык.
- Цитата жоопту текшерилүүчү кылат; Бул ишенимди берет жана моделди этияттык менен чыгарууга түртөт.
- Ошондой эле цитатанын тууралыгы текшерилиши керек; Туура жоопко туура эмес булак тиркелиши мүмкүн.
Колдонмо тапшырмасы
(1) Жардамчыңызга берүү үчүн 4 суроо даярдаңыз, алардын жообу документтерде жок (капкан суроолор). Ар бирин алсыз жана күчтүү сунуштар менен сынап көрүңүз жана модель туура келеби же жокпу, белгилеңиз. (2) Жооптору документте болгон 4 суроо үчүн моделден ширетүүчү номерди түзүүнү жана ал көрсөткөн ширетүү чындыгында туура бөлүк экенин кол менен текшерүүнү сураныңыз. (3) Модель жок дегенде бир учурда "туура жооп, туура эмес булак" береби же жокпу текшерип, муну кантип автоматтык түрдө кармай ала турганыңызды бир сүйлөм менен жазыңыз.
текшерүү тизмеси
- [ ] Мен галлюцинация эмне үчүн болуп жатканын жана RAG аны азайтып, бирок аны баштапкы абалга келтирбей турганын айта алам.
- [ ] Мен издөө жана муундан пайда болгон галлюцинацияны айырмалай алам жана туура жерин оңдой алам.
- [ ] Мен эскертүүгө ачык "билбейм" уруксатын жана негиздөө эрежелерин кошуп жатам.
- [ ] Мен жоопко текшерилүүчү булакты (цитата) кошуп жатам.
- [ ] Мен атрибуциянын тактыгын дагы текшерүү зарылдыгын түшүнөм.