Fitimet:
- Aftësia për të krijuar skema dhe shtresa të vërtetimit të rezultateve të bazuara në rregulla
- Aftësia për të kërkuar në mënyrë domethënëse njeriun në lak në vendime me ndikim të lartë
- Aftësia për të hartuar verifikimin dhe kursin e bazuar në pragun e besimit me modelin e dytë
Një model gjuhësor prodhon rrjedhshëm, bindës dhe shpesh të saktë - por "bindës" nuk është njësoj si "i saktë". Modeli mund të përshtatet në heshtje një shumë, një datë ose një fushë JSON; Ky quhet halucinacion (modeli prodhon me siguri informacion që nuk ekziston në realitet). Në një sistem ndërmarrjeje, nëse ky rezultat kalon në hapin tjetër - një pagesë, një email, një shkrim i bazës së të dhënave - gabimi derdhet në botën reale. Në këtë njësi, ne do të mësojmë të filtrojmë daljen me shtresa verifikimi përpara se të hyjë në sistem dhe të kërkojmë person-in-the-loop në vendime me ndikim të lartë.
Pse kërkohet vërtetimi i prodhimit?
Prodhimi i modelit mund të korruptohet në dy mënyra kryesore: formati (nuk përputhet me skemën e pritur JSON, fusha mungon/teprica) dhe përmbajtja (formati është i saktë, por vlera është e gabuar - një kod produkti që nuk ekziston, një datë e palogjikshme). Ekziston një dimension i tretë për sa i përket sigurisë: prodhimi me qëllim të keq (një komandë me qëllim të keq të prodhuar si rezultat i injektimit ose rrjedhjes). Një sistem solid i ndalon të treja te dera.
Kujdes: "Modeli përgjithësisht i saktë" nuk është një kriter prodhimi. Në një sistem pa verifikim, edhe një gabim në një mijë do të thotë 100 transaksione të gabuara në ditë në 100,000 kërkesa në ditë.
Shtresat e vërtetimit: hap pas hapi
- Vlefshmëria e skemës. Kontrolloni me makinën nëse dalja përputhet me strukturën e pritur: a janë të pranishme fushat, a janë llojet e tyre të sakta, a janë plotësuar fushat e kërkuara?
- Vlefshmëria e rregullave/logjikës së biznesit. A përputhen vlerat me rregullat e biznesit? (Shuma > 0, data nuk është në të ardhmen, kodi i produktit i përket katalogut.)
- Kontrolli i referencës/burimit. Nëse modeli prodhon një pohim, a mund të lidhet ai me burimin? (A është citimi i RAG në të vërtetë në dokument?)
- Vleresimi me modelin e dyte (LLM-as-judge). Një model i pavarur vlerëson produktin si "korrekt/paplotë/i rrezikshëm".
- Pragu i besimit dhe orientimi. Nëse modeli ose verifikuesi raporton besim të ulët, dalja nuk kalon automatikisht; u drejtohet njerëzve.
- Kontrolli njerëzor. Një rezultat me fuqi të lartë ose pak të sigurt varet nga miratimi i një eksperti.
Katër modele të kopjueshme
Skema + "përbëjeni nëse nuk e dini" së bashku:
Kthejeni përgjigjen VETËM në skemën e mëposhtme JSON: Shkruani "low". KURRË mos shkruani një vlerësim sikur të ishte i saktë.
Verifikimi me modelin e dytë (kërkuesi i gjyqtarit):
Ju jeni një vërtetues i pavarur. Më poshtë është një tekst <burimi> dhe një <pretendim>. Kontrolloni për të parë nëse ÇDO numër dhe datë në pretendim ndodh fjalë për fjalë në burim. Për secilën, thoni: "verifikuar | jo në burim | kundërshton burimin." Nëse edhe njëri prej tyre është 'mungon/konfliktiv', shënojeni rezultatin si "KËRKOHET RISHIKIM NJERËZOR".<source>{{ teksti }}</source><claim>{{ model_output }}</claim>
Rregulli i kursit të pragut të besimit:
Rregulli i rrugëzimit:- emin_misin = "i lartë" DHE shuma < 10,000 TL -> përpunimi automatik- emin_misin = "mesatar" OSE shuma 10,000-100,000 TL -> verifikimi i modelit të dytë- emin_misin = "i ulët" OSE shuma > 100,000 TL kërkohet miratim ->
Karta përmbledhëse e auditimit njerëzor (përshpejton rishikimin):
Kur ia paraqisni vendimin një personi, paraqitni këtë kartelë: - Çfarë po propozohet? (një fjali)- Në cilin burim bazohet? (referenca e artikullit/dokumentit)- Cilat janë 2 supozimet më të dobëta?- Nëse miratohen, a mund të kthehen? (po/jo)
Prompt i dobët / Prompt i fortë
qasje e dobët
Qasje e fortë
"Zbrisni shumën nga fatura" (tekst i lirë)
Skema strikte JSON + null + fushë besimi
Shkrimi i prodhimit direkt në sistemin e pagesave
Skema → rregulli → miratimi njerëzor (nëse është e nevojshme)
Thjesht duke i thënë modeles "sigurohu"
Vlefshmëria e numrit/datës me modelin e dytë
Përpunimi i çdo produkti me besim të barabartë
Drejtimi i bazuar në ndikim dhe besim
Qasja e fortë nuk shpreson se modeli është i saktë; Krijon një derë që do t'ju zërë kur e keni gabim.
Tre Mini Rastet
Rasti 1 — Nuk mjaftonte vetëm skema. Një automatizim kontabël po nxirrte shumën nga faturat si JSON. Skema ishte e saktë, por modeli prodhonte "125,000" në vend të "1250.00" në një faturë (shiftim dhjetor). Skema nuk arriti ta kapte këtë; verifikimi i rregullit ("shuma duhet të jetë në përputhje me totalin e artikujve të faturës me ±1%") u kap dhe u parandalua regjistrimi i gabuar i 112,500 TL.
Rasti 2 - Modeli i dytë kapi halucinacionet. "30 ditë njoftim për përfundimin", tha një asistent i mbështetjes ligjore në përmbledhjen e kontratës; Megjithatë, në kontratë ishte 90 ditë. Kur gjyqtari i pavarur e shënoi modelin si "konflikt me burimin", rezultati iu përcoll njeriut dhe korrigjohej. Nëse do të ishte automatike, klienti do të njoftonte anulimin bazuar në datën e gabuar.
Rasti 3 — Drejtimi e zvogëloi ngarkesën me 70%. Një sistem dëmesh sigurimesh miratoi automatikisht dëmet me shumë të ulët dhe me siguri të lartë dhe i dërgoi ekspertit vetëm ato mbi pragun/siguritë e ulëta. Nga 3200 kërkesa ditore, vetëm 950 u takuan njerëzve; Ekspertët ia kushtuan kohën e tyre 30% me të vërtetë të rrezikshme, me kohën mesatare të transaksionit duke rënë nga 4 orë në 40 minuta.
Këshillë: Mos e vendosni kontrollin njerëzor në mënyrë që "njerëzit të shohin gjithçka" - kjo do t'i lodhë njerëzit dhe miratimi do të bëhet një vulë gome. Në vend të kësaj, drejtoni vetëm rezultatet me ndikim të lartë dhe me besim të ulët tek njeriu; Kjo përqendron vëmendjen në atë që ka vërtet rëndësi.
Bërja e kontrollit njerëzor kuptimplotë
Human-in-the-loop nuk ka të bëjë me vendosjen e një kutie kontrolli në letër. Rishikuesi duhet të ketë (1) kontekstin për të kuptuar vendimin, (2) qasje në burim dhe (3) autoritetin për të thënë "jo". Përndryshe, kontrolli mbetet kozmetik. Karta e rishikimit (shaboni i katërt më lart) ka për qëllim të ofrojë pikërisht atë kontekst.
Gabimet e zakonshme
- Thjesht duke bërë vërtetimin e skemës dhe duke anashkaluar gabimet e përmbajtjes/vlerës.
- Duke menduar se duke i thënë modeles “sigurohu” po bën verifikim real.
- Zbatoni automatikisht vendime me ndikim të lartë dhe të pakthyeshme.
- Vendosja e kontrollit njerëzor në çdo produkt dhe kthimi i miratimit në një vulë gome të pakuptimtë.
- Duke i thënë "mirato" recensuesit pa dhënë burimin dhe kontekstin.
- Përpunimi i të gjitha rezultateve me të njëjtin rrezik pa vendosur një prag besimi dhe rrugëzim.
Në përmbledhje
- Prodhimi është i korruptuar në tre mënyra: forma, përmbajtja dhe qëllimi keqdashës; një sistem solid i ndalon të treja te dera.
- Shtresat: vlefshmëria e skemës, logjika e rregullave/biznesit, kontrolli i burimit, modeli i dytë (LLM-as-judge) dhe kursimi i pragut të besimit.
- Human-in-the-loop duhet të jetë i detyrueshëm për rezultatet me ndikim të lartë dhe me siguri të ulët.
- Rishikimi njerëzor duhet të jetë kuptimplotë: rishikuesi duhet të ketë kontekst, qasje në burime dhe autoritet për të thënë "jo".
- Si siguria ashtu edhe efikasiteti fitohen duke drejtuar vetëm ato të rrezikshmet te njerëzit, jo çdo rezultat.
Detyra e aplikimit
Merrni një shembull nga prodhimi juaj i AI. Së pari përcaktoni një skemë JSON dhe detyrojeni daljen në të. Më pas shkruani të paktën dy rregulla biznesi (për shembull, "sasia përputhet me totalin e artikujve"). Së fundi, vendosni një tabelë rutimi: cili kombinim besimi/ndikimi shkon automatikisht, cili shkon te modeli i dytë, cili tek njeriu? Gjeni një mostër të gabuar dhe vëzhgoni se ku e kap secila shtresë.
listë kontrolli
- [ ] Përcaktoj një skemë strikte për daljen dhe e verifikoj atë me makinë.
- [ ] Kam shtuar të paktën një verifikim biznesi/rregullash (logjika e vlerës).
- [ ] Unë mund t'i lidh pohimet me burimin dhe t'i kontrolloj ato.
- [ ] Modeli i dytë ose vërtetimi njerëzor i disponueshëm për rezultate me ndikim të lartë/siguri të ulët.
- [ ] Rregulli i rrugëzimit i përcaktuar bazuar në besimin dhe ndikimin.
- [ ] Rishikuesit i jepet konteksti, burimi dhe autoriteti për të refuzuar.