Pelnas:
- Gebėjimas sukurti schema ir taisyklėmis pagrįstus išvesties patvirtinimo sluoksnius
- Gebėjimas reikšmingai reikalauti, kad žmogus būtų įtrauktas į didelio poveikio sprendimus
- Galimybė sukurti patikros ir pasitikėjimo slenksčiu pagrįstą maršrutą naudojant antrąjį modelį
Kalbos modelis yra sklandus, įtikinamas ir dažnai tikslus, tačiau „įtikinantis“ nėra tas pats, kas „teisinga“. Modelyje gali tyliai tilpti suma, data arba JSON laukas; Tai vadinama haliucinacijomis (modelis užtikrintai gamina informaciją, kurios realybėje nėra). Įmonės sistemoje, jei ta produkcija patenka į kitą žingsnį – mokėjimą, el. laišką, duomenų bazės rašymą – klaida persikelia į realų pasaulį. Šiame skyriuje mes išmoksime filtruoti išvestį tikrinimo sluoksniais prieš jai patenkant į sistemą ir reikalauti, kad priimant didelio poveikio sprendimus būtų įtrauktas žmogus.
Kodėl reikalingas išvesties patvirtinimas?
Modelio išvestis gali būti sugadinta dviem pagrindiniais būdais: formatu (neatitinka laukiamos JSON schemos, lauko trūksta / per daug) ir turiniu (formatas teisingas, bet vertė neteisinga – neegzistuojantis produkto kodas, nelogiška data). Yra trečiasis saugumo aspektas: kenkėjiška išvestis (kenkėjiška komanda, sukurta įpurškus arba nutekėjus). Tvirta sistema sustabdo visus tris prie durų.
Atsargiai: „Modelis paprastai tikslus“ nėra gamybos kriterijus. Sistemoje be patikrinimo net viena klaida iš tūkstančio reiškia 100 klaidingų operacijų per dieną 100 000 užklausų per dieną.
Autentifikavimo sluoksniai: žingsnis po žingsnio
- Schemos patvirtinimas. Patikrinkite aparatu, ar išvestis atitinka numatomą struktūrą: ar yra laukų, ar jų tipai teisingi, ar užpildyti privalomi laukai?
- Taisyklės/verslo logikos patvirtinimas. Ar vertybės atitinka verslo taisykles? (Suma > 0, data ne ateityje, prekės kodas priklauso katalogui.)
- Nuorodos / šaltinio valdymas. Jei modelis pateikia tvirtinimą, ar jį galima susieti su šaltiniu? (Ar RAG citata iš tikrųjų yra dokumente?)
- Patvirtinimas naudojant antrąjį modelį (LLM-as-judge). Nepriklausomas modelis įvertina išvestį kaip „teisinga/neišsami/rizikinga“.
- Pasitikėjimo slenkstis ir orientacija. Jei modelis arba tikrintuvas praneša apie mažą pasitikėjimą, išvestis automatiškai nepraeina; yra nukreiptas į žmones.
- Žmogaus kontrolė. Didelio stiprumo arba mažai saugus rezultatas priklauso nuo eksperto patvirtinimo.
Keturi kopijuojami šablonai
Schema + „susigalvok, jei nežinai“ kartu:
Grąžinkite atsakymą TIK šioje JSON schemoje: Įrašykite „žemas“. NIEKADA nerašykite sąmatos taip, lyg ji būtų tiksli.
Patikrinimas naudojant antrąjį modelį (teisėjo raginimas):
Jūs esate nepriklausomas tikrintojas. Žemiau yra <šaltinis> tekstas ir <pretenzija>. Patikrinkite, ar KIEKVIENAS numeris ir data teiginyje yra pažodžiui šaltinyje. Prie kiekvieno pasakykite: „patvirtinta | ne šaltinyje | prieštarauja šaltiniui“. Jei net vienas iš jų yra „nėra / nesuderinamas“, pažymėkite rezultatą kaip „BŪTINA PERŽIŪRA ŽMONĖS“.<source>{{ text }}</source><claim>{{ model_output }}</claim>
Pasitikėjimo slenksčio nukreipimo taisyklė:
Maršruto parinkimo taisyklė:- emin_misin = "didelė" IR suma < 10 000 TL -> automatinis apdorojimas - emin_misin = "vidutinis" ARBA suma 10 000-100 000 TL -> antrojo modelio patvirtinimas - emin_misin = "maža" ARBA suma > 100 000 TL -> reikalingas žmogaus patvirtinimas
Žmogaus audito suvestinės kortelė (paspartina peržiūrą):
Pristatydami sprendimą asmeniui, pateikite šią kortelę:- Kas siūloma? (vienas sakinys) – Kokiu šaltiniu remiamasi? (straipsnio / dokumento nuoroda) – Kokios yra 2 silpniausios prielaidos? – Jei patvirtintos, ar jas galima pakeisti? (taip/ne)
Silpnas raginimas / stiprus raginimas
prastas požiūris
Stiprus požiūris
„Atimti sumą iš sąskaitos faktūros“ (laisvas tekstas)
Griežta JSON schema + null + pasitikėjimo laukas
Išvesties rašymas tiesiai į mokėjimo sistemą
Schema → taisyklė → žmogaus patvirtinimas (jei reikia)
Tiesiog pasakyk modeliui „būkite tikras“
Numerio/datos patvirtinimas naudojant antrąjį modelį
Apdoroja kiekvieną išvestį su vienodu pasitikėjimu
Maršrutas pagrįstas įtaka ir pasitikėjimu
Stiprus požiūris nesitiki, kad modelis yra teisingas; Tai sukuria duris, kurios užklups jus, kai klysite.
Trys mini dėklai
1 atvejis – vien schemos nepakako. Apskaitos automatika ištraukė sumą iš sąskaitų faktūrų kaip JSON. Schema buvo teisinga, tačiau modelis pateikė „125 000“, o ne „1 250,00“ sąskaitoje faktūroje (dešimtainis poslinkis). Schema nesugebėjo to užfiksuoti; taisyklių patikrinimas („suma turi atitikti sąskaitų faktūrų sumą ±1 proc.“) buvo pagauta ir užkirstas kelias neteisingai įrašyti 112 500 TL.
2 atvejis – antrasis modelis užfiksavo haliucinaciją. „30 dienų įspėjimas apie nutraukimą“, – sutarties santraukoje sakė teisinės pagalbos padėjėjas; Tačiau sutartyje tai buvo 90 dienų. Kai nepriklausomas teisėjas pažymėjo modelį kaip „prieštaraujantį šaltiniui“, išvestis buvo perduota žmogui ir pataisyta. Jei jis būtų automatinis, klientas praneštų apie atšaukimą, nurodydamas neteisingą datą.
3 atvejis – maršrutas sumažino apkrovą 70 %. Draudimo išmokų sistema automatiškai patvirtino mažos sumos ir didelio saugumo draudimo išmokas ir ekspertui siųsdavo tik tas, kurios viršija slenkstį/mažą saugumą. Iš 3200 kasdienių poreikių tik 950 teko žmonėms; ekspertai savo laiko skyrė tikrai rizikingiems 30 proc., o vidutinis sandorio laikas sumažėjo nuo 4 valandų iki 40 minučių.
Patarimas: nenustatykite žmogaus valdymo taip, kad „žmonės viską matytų“ – tai išvargins žmones, o pritarimas taps antspaudu. Vietoj to, nukreipkite tik didelio poveikio ir mažo pasitikėjimo rezultatus žmogui; Tai sutelkia dėmesį į tai, kas iš tikrųjų svarbu.
Žmogaus valdymo įprasminimas
Žmogus kilpoje nėra žymimojo langelio įdėjimas popieriuje. Recenzentas turi turėti (1) kontekstą, kad suprastų sprendimą, (2) prieigą prie šaltinio ir (3) teisę pasakyti „ne“. Priešingu atveju kontrolė lieka kosmetinė. Apžvalgos kortelė (ketvirtasis šablonas aukščiau) yra skirtas pateikti tik šį kontekstą.
Dažnos klaidos
- Tiesiog tikrinate schemą ir praleidžiate turinio / vertės klaidas.
- Galvodami, kad sakydami modeliui „įsitikinkite“, kad atliekate tikrą patikrinimą.
- Automatiškai įgyvendinkite didelio poveikio, negrįžtamus sprendimus.
- Žmogaus valdymas kiekvienam išėjimui ir patvirtinimas paverčiamas beprasmiu guminiu antspaudu.
- Recenzentui sakoma „patvirtinti“, nenurodant šaltinio ir konteksto.
- Apdoroja visus išėjimus su ta pačia rizika, nenustatant pasitikėjimo slenksčio ir maršruto.
Apibendrinant
- Išvestis yra sugadinta trimis būdais: forma, turiniu ir piktybiniais ketinimais; tvirta sistema sustabdo visus tris prie durų.
- Sluoksniai: schemos patvirtinimas, taisyklių / verslo logika, šaltinio valdymas, antrasis modelis (LLM-as-judge) ir pasitikėjimo slenksčio maršrutas.
- Žmogaus judėjimas turėtų būti privalomas didelio poveikio ir žemos saugos išvestims.
- Žmogaus peržiūra turi būti prasminga: recenzentas turi turėti kontekstą, prieigą prie išteklių ir teisę pasakyti „ne“.
- Ir saugumas, ir efektyvumas pasiekiamas nukreipiant tik rizikingus žmones, o ne kiekvieną produkciją.
Taikymo užduotis
Paimkite pavyzdį iš savo AI išvesties. Pirmiausia apibrėžkite JSON schemą ir priverskite ją išvesti. Tada parašykite bent dvi verslo taisykles (pvz., „suma atitinka bendrą prekių sumą“). Galiausiai nustatykite maršruto parinkimo lentelę: kuris pasitikėjimo/įtakos derinys pereina automatiškai, kuris – į antrąjį modelį, kuris – į žmogų? Sugeneruokite klaidingą pavyzdį ir stebėkite, kur kiekvienas sluoksnis jį užfiksuoja.
kontrolinis sąrašas
- [ ] Aš apibrėžiu griežtą išvesties schemą ir patikrinu ją su mašina.
- [ ] Pridėjau bent vieną verslo / taisyklių patvirtinimą (vertės logiką).
- [ ] Galiu susieti tvirtinimus su šaltiniu ir juos patikrinti.
- [ ] Galimas antrasis modelis arba žmogaus patvirtinimas, kad būtų pasiektas didelis poveikis / žemas saugos rezultatas.
- [ ] Maršruto taisyklė, apibrėžta remiantis pasitikėjimu ir įtaka.
- [ ] Recenzentui suteikiamas kontekstas, šaltinis ir įgaliojimai atmesti.