Qazanclar:
- Sxem və qayda-əsaslı çıxış təsdiqləmə qatlarını qurmaq bacarığı
- Yüksək təsirli qərarların qəbulunda insandan mənalı şəkildə tələb etmək bacarığı
- İkinci model ilə yoxlama və etibar həddi əsasında marşrutlaşdırma dizayn etmək bacarığı
Dil modeli axıcı, inandırıcı və çox vaxt dəqiqlik yaradır, lakin “inandırıcı” ilə “düzgün” eyni deyil. Model səssizcə məbləğə, tarixə və ya JSON sahəsinə uyğun ola bilər; Buna hallüsinasiya deyilir (model reallıqda olmayan məlumatları inamla istehsal edir). Müəssisə sistemində bu çıxış növbəti mərhələyə – ödənişə, e-poçta, verilənlər bazası yazısına keçərsə, xəta real dünyaya yayılır. Bu bölmədə çıxışı sistemə daxil etməzdən əvvəl yoxlama təbəqələri ilə süzgəcdən keçirməyi və yüksək təsirli qərarlar qəbul edərkən dövrədə insandan tələb etməyi öyrənəcəyik.
Nə üçün Çıxış Doğrulaması Tələb olunur?
Model çıxışı iki əsas yolla pozula bilər: format (gözlənilən JSON sxeminə uyğun gəlmir, sahə çatışmır/artıqdır) və məzmun (format düzgündür, lakin dəyər səhvdir — mövcud olmayan məhsul kodu, məntiqsiz tarix). Təhlükəsizlik baxımından üçüncü ölçü var: zərərli çıxış (inyeksiya və ya sızma nəticəsində yaranan zərərli əmr). Möhkəm sistem hər üçünü qapıda dayandırır.
Diqqət: "Model ümumiyyətlə dəqiq" istehsal meyarı deyil. Doğrulama olmayan bir sistemdə mində bir səhv belə gündə 100.000 sorğuda gündə 100 səhv əməliyyat deməkdir.
Doğrulama qatları: Addım-addım
- Sxemanın təsdiqi. Çıxışın gözlənilən struktura uyğun olduğunu maşınla yoxlayın: sahələr mövcuddurmu, onların növləri düzgündürmü, tələb olunan sahələr doldurulurmu?
- Qayda/biznes məntiqinin təsdiqi. Dəyərlər biznes qaydalarına uyğun gəlirmi? (Məbləğ > 0, tarix gələcək deyil, məhsul kodu kataloqa aiddir.)
- İstinad/mənbə nəzarəti. Model bir təsdiq çıxarsa, mənbə ilə əlaqələndirilə bilərmi? (RAG sitatı əslində sənəddə varmı?)
- İkinci model (LLM-as-hakim) ilə təsdiqləmə. Müstəqil model çıxışı "düzgün/natamam/riskli" kimi qiymətləndirir.
- Güvən həddi və oriyentasiya. Model və ya validator aşağı inamı bildirirsə, çıxış avtomatik keçmir; insanlara yönəlmişdir.
- İnsan nəzarəti. Yüksək potensiallı və ya aşağı təhlükəsiz nəticə ekspertin razılığından asılıdır.
Dörd Kopyalana bilən Şablon
Sxem + "bilmirsinizsə düzəldin" birlikdə:
Cavabı YALNIZ aşağıdakı JSON sxemində qaytarın: "aşağı" yazın. Heç vaxt təxmini dəqiqmiş kimi yazmayın.
İkinci modellə yoxlama (hakim sorğusu):
Siz müstəqil təsdiqləyicisiniz. Aşağıda <mənbə> mətni və <iddia> var. İddiadakı HƏR nömrənin və tarixin mənbədə sözbəsöz baş verib-vermədiyini yoxlayın. Hər biri üçün deyin: "təsdiqlənmiş | mənbədə deyil | mənbə ilə ziddiyyət təşkil edir." Onlardan hətta biri "yoxdur/ziddiyyətlidir"sə, nəticəni "İNSAN BAKIŞI TƏLƏB EDİLİR" kimi qeyd edin.<source>{{ text }}</source><claim>{{ model_output }}</claim>
Güvən həddi marşrutlaşdırma qaydası:
Marşrutlaşdırma qaydası:- emin_misin = "yüksək" VƏ məbləğ < 10,000 TL -> avtomatik emal- emin_misin = "orta" VEYA miqdar 10,000-100,000 TL -> ikinci model yoxlanışı- emin_misin = "aşağı" VEYA məbləğ > 100,000 TL -> insan razılığı tələb olunur
İnsan auditinin xülasə kartı (nəzərdən keçirilməsini sürətləndirir):
Qərarı şəxsə təqdim edərkən bu kartı təqdim edin: - Nə təklif olunur? (bir cümlə)- Hansı mənbəyə əsaslanır? (məqalə/sənəd arayışı)- Ən zəif 2 fərziyyə hansılardır?- Təsdiq edilərsə, onlar geri qaytarıla bilərmi? (bəli/yox)
Zəif Tələb / Güclü Tələb
pis yanaşma
Güclü yanaşma
"Qaimə-fakturadan məbləği çıxarın" (sərbəst mətn)
Ciddi JSON sxemi + null + etibar sahəsi
Çıxışın birbaşa ödəniş sisteminə yazılması
Sxem → qayda → insan təsdiqi (lazım olduqda)
Sadəcə modelə "əmin ol" demək
İkinci model ilə nömrə/tarix təsdiqi
Hər bir çıxışı bərabər inamla emal edin
Təsir və etibara əsaslanan marşrutlaşdırma
Güclü yanaşma modelin düzgün olduğuna ümid etmir; Səhv etdiyiniz zaman sizi tutacaq bir qapı yaradır.
Üç mini qutu
1-ci hal - Təkcə sxem kifayət deyildi. Mühasibat avtomatlaşdırılması JSON kimi fakturalardan məbləğ çıxarırdı. Sxem düzgün idi, lakin model fakturada (ondalıq növbə) "1,250.00" əvəzinə "125,000" istehsal etdi. Sxem bunu tuta bilmədi; qayda yoxlanışı ("məbləğ faktura maddələrinin cəminə ±1% uyğun olmalıdır") tutuldu və 112.500 TL-nin səhv qeydinin qarşısı alındı.
2-ci hal - İkinci model hallüsinasiyanı ələ keçirdi. Hüquqi dəstək köməkçisi müqavilənin xülasəsində “30 günlük xitam bildirişi” dedi; Halbuki müqavilədə bu 90 gün idi. Müstəqil hakim modeli "mənbə ilə ziddiyyət təşkil edir" kimi işarələdikdə nəticə insana ötürülür və düzəliş edilir. Avtomatik olsaydı, müştəri səhv tarixə əsaslanaraq ləğvi bildirərdi.
Hal 3 - Marşrutlaşdırma yükü 70% azaldıb. Sığorta hadisələri sistemi avtomatik olaraq aşağı məbləğli və yüksək təminatlı iddiaları təsdiqləyir və yalnız həddən yuxarı/aşağı təminatlı olanları ekspertə göndərir. Gündəlik 3200 tələbdən yalnız 950-si insanların payına düşür; Mütəxəssislər vaxtlarını həqiqətən riskli 30%-ə həsr etmişlər, orta əməliyyat müddəti 4 saatdan 40 dəqiqəyə enmişdir.
İpucu: “İnsanlar hər şeyi görsünlər” deyə insan nəzarətini qurmayın – bu, insanları yoracaq və təsdiq rezin möhürə çevriləcək. Bunun əvəzinə, yalnız yüksək təsirli və aşağı inamlı nəticələri insana yönləndirin; Bu, diqqəti həqiqətən vacib olana yönəldir.
İnsan Nəzarətini Mənalı Edin
İnsan dövriyyəsi kağız üzərində qeyd qutusu qoymaq deyil. Rəyçi (1) qərarı başa düşmək üçün kontekstə, (2) mənbəyə çıxışa və (3) “yox” demək səlahiyyətinə malik olmalıdır. Əks halda, nəzarət kosmetik olaraq qalır. Baxış kartı (yuxarıda dördüncü şablon) məhz bu konteksti təmin etmək üçündür.
Ümumi səhvlər
- Sadəcə şemanın yoxlanılması və məzmun/dəyər xətalarının atlanması.
- Modelə “əmin olun” deməklə real yoxlama apardığınızı düşünürsünüz.
- Yüksək təsirli, geri dönməz qərarları avtomatik həyata keçirin.
- Hər bir çıxışa insan nəzarəti qoymaq və təsdiqi mənasız bir rezin möhürə çevirmək.
- Mənbə və konteksti göstərmədən rəyçiyə “təsdiq edirəm” demək.
- Güvən həddi və marşrut təyin etmədən eyni risklə bütün çıxışların işlənməsi.
Xülasə
- Çıxış üç yolla pozulur: forma, məzmun və zərərli niyyət; möhkəm sistem hər üçünü qapıda dayandırır.
- Layers: schema validation, qayda/biznes məntiqi, mənbə nəzarəti, ikinci model (LLM-as-hakim) və etibar həddi marşrutu.
- İnsan-in-the-loop yüksək təsirli və aşağı təhlükəsiz çıxışlar üçün məcburi olmalıdır.
- İnsan baxışı mənalı olmalıdır: rəyçinin kontekst, resurs çıxışı və “yox” demək səlahiyyəti olmalıdır.
- Həm təhlükəsizlik, həm də səmərəlilik hər bir məhsulu deyil, yalnız riskli olanları insanlara yönəltməklə əldə edilir.
Tətbiq tapşırığı
Öz AI çıxışınızdan bir nümunə götürün. Əvvəlcə JSON sxemini təyin edin və nəticəni ona məcbur edin. Sonra ən azı iki iş qaydası yazın (məsələn, “məbləğ maddələrin cəminə uyğun gəlir”). Nəhayət, marşrut cədvəli qurun: hansı inam/təsir kombinasiyası avtomatik olaraq gedir, hansı ikinci modelə, hansı insana gedir? Qüsurlu bir nümunə yaradın və hər təbəqənin onu harada tutduğunu müşahidə edin.
yoxlama siyahısı
- [ ] Mən çıxış üçün ciddi sxem müəyyən edirəm və onu maşınla yoxlayıram.
- [ ] Mən ən azı bir biznes/qaydaların doğrulanması (dəyər məntiqi) əlavə etdim.
- [ ] Mən iddiaları mənbəyə bağlaya və yoxlaya bilərəm.
- [ ] Yüksək təsir/aşağı təhlükəsizlik nəticələri üçün ikinci model və ya insan yoxlaması mövcuddur.
- [ ] Güvən və təsir əsasında müəyyən edilmiş marşrutlaşdırma qaydası.
- [ ] Rəyçiyə kontekst, mənbə və rədd etmək səlahiyyəti verilir.