Daromadlar:
- Sxema va qoidalarga asoslangan chiqishni tekshirish qatlamlarini o'rnatish qobiliyati
- Yuqori ta'sirli qarorlar qabul qilishda odamlarning ma'nosini talab qilish qobiliyati
- Ikkinchi model bilan tekshirish va ishonch chegarasiga asoslangan marshrutlashni loyihalash qobiliyati
Til modeli ravon, ishonarli va ko'pincha aniq ishlab chiqaradi, ammo "ishontiruvchi" "to'g'ri" bilan bir xil emas. Model jimgina miqdor, sana yoki JSON maydoniga mos kelishi mumkin; Bu gallyutsinatsiya deb ataladi (model haqiqatda mavjud bo'lmagan ma'lumotlarni ishonchli tarzda ishlab chiqaradi). Korxona tizimida, agar natija keyingi bosqichga o'tsa - to'lov, elektron pochta, ma'lumotlar bazasini yozish - xato haqiqiy dunyoga tarqaladi. Ushbu bo'limda biz chiqishni tizimga kirishidan oldin tekshirish qatlamlari bilan filtrlashni o'rganamiz va yuqori ta'sirli qarorlar qabul qilishda odamlardan foydalanishni talab qilamiz.
Nima uchun chiqishni tekshirish kerak?
Model chiqishi ikki asosiy usulda buzilishi mumkin: format (kutilayotgan JSON sxemasiga mos kelmaydi, maydon yoʻq/ortiqcha) va kontent (format toʻgʻri, lekin qiymat notoʻgʻri — mavjud boʻlmagan mahsulot kodi, mantiqsiz sana). Xavfsizlik nuqtai nazaridan uchinchi o'lchov mavjud: zararli chiqish (in'ektsiya yoki oqish natijasida hosil bo'lgan zararli buyruq). Qattiq tizim uchtasini ham eshik oldida to'xtatadi.
Diqqat: "Model odatda aniq" ishlab chiqarish mezoni emas. Tekshiruvsiz tizimda hatto mingta xatolik kuniga 100 000 ta so'rovda 100 ta xato tranzaksiyani bildiradi.
Autentifikatsiya qatlamlari: bosqichma-bosqich
- Sxemani tekshirish. Mashina bilan chiqish kutilgan tuzilishga mos kelishini tekshiring: maydonlar mavjudmi, ularning turlari to'g'rimi, kerakli maydonlar to'ldirilganmi?
- Qoidalar/biznes mantiqini tekshirish. Qiymatlar biznes qoidalariga mos keladimi? (Miqdor > 0, sana kelajakda emas, mahsulot kodi katalogga tegishli.)
- Malumot/manba nazorati. Agar model tasdiqni keltirib chiqarsa, uni manba bilan bog'lash mumkinmi? (RAG kotirovkasi aslida hujjatda bormi?)
- Ikkinchi model bilan tasdiqlash (LLM-as-hakim). Mustaqil model chiqishni "to'g'ri/to'liqsiz/xavfli" deb baholaydi.
- Ishonch chegarasi va yo'nalishi. Agar model yoki validator past ishonch haqida xabar bersa, chiqish avtomatik ravishda o'tmaydi; odamlarga qaratilgan.
- Inson nazorati. Yuqori quvvatli yoki past xavfsiz natija mutaxassisning roziligiga bog'liq.
To'rt nusxa ko'chirish shablonlari
Sxema + "agar bilmasangiz, tuzing" birgalikda:
Javobni FAQAT quyidagi JSON sxemasida qaytaring: “past” deb yozing. HECH QACHON taxminni xuddi aniq bo'lganidek yozmang.
Ikkinchi model bilan tekshirish (sudyaning taklifi):
Siz mustaqil tekshiruvchisiz. Quyida <manba> matn va <da'vo> mavjud. Daʼvodagi HAR raqam va sana manbada soʻzma-soʻz kelganligini tekshiring. Har biriga ayting: "tasdiqlangan | manbada emas | manbaga zid." Agar ulardan bittasi “yo‘q/ziddiyatli” bo‘lsa, natijani “INSON KO‘RISHI KERAK” deb belgilang.<source>{{ text }}</source><claim>{{ model_output }}</claim>
Ishonch chegarasi marshrutlash qoidasi:
Marshrutlash qoidasi:- emin_misin = "yuqori" VA miqdori < 10,000 TL -> avtomatik ishlov berish- emin_misin = "o'rta" YOKI miqdori 10,000-100,000 TL -> ikkinchi modelni tekshirish- emin_misin = "past" YOKI miqdor > 100,000 TL -> inson roziligi talab qilinadi
Inson auditining xulosa kartasi (ko'rib chiqishni tezlashtiradi):
Biror kishiga qarorni taqdim etayotganda, ushbu kartani taqdim eting: - Nima taklif qilinmoqda? (bir gap)- Qaysi manbaga asoslangan? (maqola/hujjatga havola)- 2 ta eng zaif taxminlar qaysilar?- Agar tasdiqlansa, ularni bekor qilish mumkinmi? (ha/yo'q)
Zaif taklif / Kuchli taklif
yomon yondashuv
Kuchli yondashuv
"Hisob-fakturadan summani olib tashlash" (erkin matn)
Qattiq JSON sxemasi + null + ishonch maydoni
Chiqishni to'g'ridan-to'g'ri to'lov tizimiga yozish
Sxema → qoida → inson roziligi (agar kerak bo'lsa)
Shunchaki modelga "ishonch hosil qiling" deb ayting
Ikkinchi model bilan raqam/sana tekshirish
Har bir chiqishni teng ishonch bilan qayta ishlash
Ta'sir va ishonchga asoslangan marshrutlash
Kuchli yondashuv modelning to'g'riligiga umid qilmaydi; Bu siz xato qilganingizda sizni ushlaydigan eshik yaratadi.
Uchta mini korpus
1-holat - Sxemaning o'zi etarli emas edi. Buxgalteriya hisobini avtomatlashtirish JSON sifatida schyot-fakturalardan summani chiqardi. Sxema to'g'ri edi, lekin model hisob-fakturada "1250,00" o'rniga "125 000" ishlab chiqardi (o'nlik siljish). Sxema buni qo'lga kirita olmadi; qoidani tekshirish ("summa hisob-faktura ob'ektlarining umumiy soniga ± 1% ga mos kelishi kerak") qo'lga olindi va 112 500 TLni noto'g'ri qayd etishning oldi olindi.
2-holat - Ikkinchi model gallyutsinatsiyani ushladi. Shartnoma xulosasida yuridik qo'llab-quvvatlash bo'yicha yordamchi "30 kunlik bekor qilish to'g'risida ogohlantirish" dedi; Biroq, shartnomada bu 90 kun edi. Mustaqil sudya modelni "manbaga zid" deb belgilaganida, natija insonga yuborildi va tuzatildi. Agar u avtomatik bo'lsa, mijoz noto'g'ri sana asosida bekor qilish haqida xabar beradi.
3-holat - Marshrutlash yukni 70% ga kamaytirdi. Sug'urta da'volari tizimi avtomatik ravishda kam miqdorda va yuqori darajadagi da'volarni tasdiqlaydi va faqat chegaradan yuqori/past ta'minlanganlarni ekspertga yuboradi. 3200 ta kundalik talabdan faqat 950 tasi odamlarga to'g'ri keladi; Mutaxassislar o'z vaqtlarini haqiqatan ham xavfli 30% ga bag'ishladilar, o'rtacha tranzaksiya vaqti 4 soatdan 40 daqiqagacha qisqardi.
Maslahat: "Odamlar hamma narsani ko'rishi" uchun inson nazoratini o'rnatmang - bu odamlarni charchatadi va tasdiqlash rezina muhrga aylanadi. Buning o'rniga, faqat yuqori ta'sirli va past ishonchli natijalarni insonga yo'naltiring; Bu e'tiborni haqiqatan ham muhim bo'lgan narsaga qaratadi.
Inson nazoratini mazmunli qilish
Inson-in-the-loop qog'ozga belgi qo'yish haqida emas. Sharhlovchi (1) qarorni tushunish uchun kontekstga, (2) manbaga kirish huquqiga va (3) “yo‘q” deyish huquqiga ega bo‘lishi kerak. Aks holda, nazorat kosmetik bo'lib qoladi. Ko'rib chiqish kartasi (yuqoridagi to'rtinchi shablon) aynan shu kontekstni ta'minlash uchun mo'ljallangan.
Umumiy xatolar
- Faqat sxemani tekshirish va kontent/qiymat xatolarini o'tkazib yuborish.
- Modelga "ishonch hosil qiling" deb aytish orqali siz haqiqiy tekshirishni amalga oshiryapsiz deb o'ylaysiz.
- Yuqori ta'sirli, qaytarib bo'lmaydigan qarorlarni avtomatik ravishda amalga oshirish.
- Har bir chiqishda inson nazoratini o'rnatish va tasdiqlashni ma'nosiz rezina muhrga aylantirish.
- Manba va kontekstni keltirmasdan sharhlovchiga "ma'qullayman" deyish.
- Ishonch chegarasi va marshrutni o'rnatmasdan, bir xil xavf bilan barcha natijalarni qayta ishlash.
Xulosa
- Chiqarish uchta usulda buziladi: shakl, mazmun va zararli niyat; mustahkam tizim eshik oldida uchtasini to'xtatadi.
- Qatlamlar: sxemani tekshirish, qoida/biznes mantig'i, manba nazorati, ikkinchi model (LLM-hukmchi) va ishonch chegarasi marshrutlash.
- Inson-in-the-loop yuqori ta'sirli va past xavfsizlikli chiqishlar uchun majburiy bo'lishi kerak.
- Inson tekshiruvi mazmunli bo'lishi kerak: sharhlovchi kontekstga, manbalarga kirishga va "yo'q" deyish huquqiga ega bo'lishi kerak.
- Xavfsizlik ham, samaradorlik ham har bir natijani emas, balki faqat xavfli bo'lganlarini odamlarga yo'naltirish orqali erishiladi.
Ilova vazifasi
O'zingizning AI chiqishingizdan misol oling. Avval JSON sxemasini aniqlang va unga chiqishni majburlang. Keyin kamida ikkita biznes qoidalarini yozing (masalan, "summa elementlarning umumiy soniga mos keladi"). Nihoyat, marshrutlash jadvalini o'rnating: qaysi ishonch/ta'sir kombinatsiyasi avtomatik tarzda o'tadi, qaysi biri ikkinchi modelga o'tadi, qaysi biri insonga? Noto'g'ri namunani yarating va har bir qatlam uni qaerga olishini kuzating.
nazorat ro'yxati
- [ ] Men chiqish uchun qat'iy sxemani aniqlayman va uni mashina bilan tekshiraman.
- [ ] Men kamida bitta biznes/qoidalarni tekshirishni qo'shdim (qiymat mantig'i).
- [ ] Men tasdiqlarni manbaga bog'lashim va ularni tekshirishim mumkin.
- [ ] Yuqori ta'sir/past xavfsizlik natijalari uchun ikkinchi model yoki inson tomonidan tekshirish mavjud.
- [ ] Ishonch va taʼsir asosida belgilangan marshrutlash qoidasi.
- [ ] Sharhlovchiga kontekst, manba va rad etish huquqi beriladi.