Girdeji:
- Shema we düzgüne esaslanýan çykyş tassyklama gatlaklaryny döretmek ukyby
- Impactokary täsirli kararlarda adamdan manyly many talap etmek ukyby
- Ikinji model bilen barlamak we ynam çäklerine esaslanýan marşruty dizaýn etmek ukyby
Dil modeli suwuk, ynandyryjy we köplenç takyk öndürýär, ýöne “ynandyryjy” “dogry” bilen birmeňzeş däl. Model sessiz mukdarda, sene ýa-da JSON meýdançasyna laýyk bolup biler; Oňa galýusinasiýa diýilýär (model hakykatda ýok maglumatlary ynamly öndürýär). Kärhana ulgamynda, eger indiki ädim - töleg, e-poçta, maglumat bazasy ýazmak - ýalňyşlyk hakyky dünýä ýaýrasa. Bu bölümde, sistema girmezden ozal tassyklama gatlaklary bilen süzmegi we ýokary täsirli kararlarda adamdan çykmagy talap ederis.
Näme üçin çykyş tassyklamasy talap edilýär?
Model çykyşy iki esasy ýol bilen zaýalanyp biler: format (garaşylýan JSON shemasyna laýyk gelmeýär, meýdan ýok / artykmaç) we mazmun (format dogry, ýöne bahasy nädogry - ýok önüm kody, logiki däl sene). Howpsuzlyk nukdaýnazaryndan üçünji ölçeg bar: zyýanly çykyş (sanjym ýa-da syzmak netijesinde öndürilen zyýanly buýruk). Gaty ulgam üçüsini-de gapyda saklaýar.
Üns beriň: "Model, umuman takyk" önümçilik ölçegi däl. Barlamazdan ulgamda, hatda müňdäki bir ýalňyşlyk, her günde 100,000 haýyşda günde 100 ýalňyş amal diýmekdir.
Hakyky tanamak gatlaklary: Stepdim-ädim
- Shemany barlamak Çykyşyň garaşylýan gurluşa laýyk gelýändigini enjam bilen barlaň: meýdanlar barmy, görnüşleri dogrymy, zerur meýdanlar doldurylýarmy?
- Düzgün / iş logikasyny barlamak. Gymmatlyklar iş düzgünlerine laýyk gelýärmi? (Mukdary> 0, senesi geljekde däl, önüm kody kataloga degişlidir.)
- Salgy / çeşme dolandyryşy. Eger model tassyklama döredýän bolsa, çeşme bilen baglanyşyp bolarmy? (RAG sitatasy resminamada barmy?)
- Ikinji model bilen tassyklamak (LLM-kazy). Garaşsyz model çykyşy "dogry / doly däl / töwekgelçilikli" diýip baha berýär.
- Ynam ynamy we ugry. Model ýa-da tassyklaýjy pes ynam bildirýän bolsa, çykyş awtomatiki geçmeýär; adamlara gönükdirilendir.
- Adam gözegçiligi. Potokary kuwwatly ýa-da pes ygtybarly netije hünärmeniň tassyklamagyna baglydyr.
Göçürip boljak dört şablon
Shema + "bilmeseňiz düzüň" bilelikde:
Diňe aşakdaky JSON shemasynda jogaby yzyna gaýtaryň: "Pes" ýazyň. Hiç haçan takyk ýaly baha ýazmaň.
Ikinji model bilen barlamak (kazy haýal etmän):
Siz garaşsyz tassyklaýjy Aşakda <source> tekst we <talap>. Talapdaky HER belginiň we senäniň çeşmede söz sözüniň bardygyny ýa-da ýokdugyny barlaň. Her biri üçin: "tassyklanan | çeşmede däl | çeşmä ters gelýär" diýiň. Hatda olaryň biri 'ýok / gapma-garşy' bolsa, netijäni "YNSAN DÖWLET GEREK" diýip belläň. <source> {{text}} </source> <claim> {{model_output}} </claim>
Ygtybarly çäk marşrutlaşdyryş düzgüni:
Routeol düzgüni: - emin_misin = "ýokary" WE mukdary <10,000 TL -> awtomatiki gaýtadan işlemek- emin_misin = "orta" ORA-da 10,000-100,000 TL -> ikinji model barlagy- emin_misin = "pes" ORA-da mukdar> 100,000 TL -> adam tassyklamagy talap edilýär
Adam barlagynyň jemleýji kartasy (gözden geçirmegi çaltlaşdyrýar):
Karary adama hödürläniňizde, şu kartoçkany öndüriň: - Näme teklip edilýär? (bir sözlem) - Haýsy çeşmä esaslanýar? (makala / resminama salgylanmasy) - Iň gowşak 2 çaklama näme? - Makullanan bolsa, tersine bolup bilermi? (hawa / ýok)
Gowşak gyssagly / güýçli teklip
çemeleşme
Güýçli çemeleşme
"Hasap-faktura mukdaryny aýyryň" (mugt tekst)
Gaty JSON shema + null + ynam meýdany
Çykyşlary göni töleg ulgamyna ýazmak
Shema → düzgün → adam razylygy (zerur bolsa)
Diňe modele "hökman" aýtmak
Ikinji model bilen san / senäni tassyklamak
Her çykyşy deň ynam bilen gaýtadan işlemek
Täsir we ynam esasynda ugur
Güýçli çemeleşme modeliň dogrudygyna umyt etmeýär; Wrongalňyşmaýan wagtyňyz sizi tutjak gapy döredýär.
Üç kiçi waka
1-nji waka - Diňe shema ýeterlik däldi. Hasap awtomatizasiýasy, hasap-fakturalardan JSON hökmünde pul çykardy. Bu shema dogrydy, ýöne model faktura (onluk smena) "1,250.00" ýerine "125,000" öndürdi. Bu shema ele alyp bilmedi; düzgüni barlamak ("mukdar faktura önümleriniň umumy mukdaryna% 1% laýyk bolmaly") tutuldy we 112,500 TL nädogry ýazgy edilmeginiň öňüni aldy.
2-nji waka - Ikinji model galýusinasiýany ele aldy. "30 günlük ýatyryş habarnamasy", hukuk goldawçysy şertnamanyň gysgaça mazmunynda aýtdy; Şeýle-de bolsa, şertnamada 90 gün boldy. Garaşsyz kazy modeli "çeşme bilen gapma-garşy" diýip belläninde, çykyş adama ugradyldy we düzedildi. Awtomatiki bolsa, müşderi nädogry senä esaslanyp ýatyrylýandygyny habar bererdi.
3-nji hadysa - ingol marşruty 70% azaldy. Insurancetiýaçlandyryş talaplary ulgamy pes mukdarda we ýokary howpsuzlyk talaplaryny awtomatiki tassyklady we diňe ýokardaky / pes ygtybarly talaplary hünärmene iberdi. Gündelik 3200 talapdan diňe 950 adam düşdi; hünärmenler wagtyny hakykatdanam töwekgelçilikli 30% -e bagyşladylar, ortaça amal wagty 4 sagatdan 40 minuta çenli azaldy.
Maslahat: "Adamlar hemme zady görüp biler" ýaly adam gözegçiligini gurmaň - bu adamlary ýadadar we tassyklamak rezin möhür bolar. Munuň ýerine, diňe ýokary täsirli we pes ynamly netijeleri adama ugrukdyryň; Bu, hakykatdanam möhüm zada ünsi jemleýär.
Adam gözegçiligini manyly etmek
Adamyň içindäki kagyz gutujygy kagyz ýüzüne goýmak däl. Synçy (1) karara düşünmek üçin kontekst, 2) çeşmä girmek we (3) "ýok" diýmäge ygtyýarly bolmaly. Otherwiseogsam, gözegçilik kosmetika bolup galýar. Syn kartasy (ýokardaky dördünji şablon) diňe şol mazmuny üpjün etmek üçin niýetlenendir.
Adaty ýalňyşlyklar
- Diňe shemany barlamak we mazmuna / baha ýalňyşlyklaryna geçmek.
- Modeliňize "hökman göz ýetiriň" diýip, hakyky barlaýandygyňyzy pikir ediň.
- Impactokary täsirli, yzyna gaýtaryp bolmajak kararlary awtomatiki ýerine ýetiriň.
- Her çykaryşa adam gözegçiligini goýmak we makullamagy manysyz kauçuk marka öwürmek.
- Çeşmesini we mazmunyny bermezden synçy üçin "makul" diýmek.
- Ynam ynamyny kesgitlemezden we marşrutlaşdyrmazdan, ähli netijeleri şol bir töwekgelçilik bilen gaýtadan işlemek.
Gysgaça
- Çykyş üç görnüşde bozulýar: görnüşi, mazmuny we erbet niýet; berk ulgam üçüsini-de gapyda saklaýar.
- Gatlaklar: shemany tassyklamak, düzgün / iş logikasy, çeşmä gözegçilik, ikinji model (LLM-kazy) we ynam çäkleri marşruty.
- Impactokary täsirli we pes howpsuzlyk netijeleri üçin adam-aýlaw hökmany bolmaly.
- Ynsan gözden geçirmesi manyly bolmaly: synçynyň mazmuny, çeşmesi we "ýok" diýmäge ygtyýary bolmaly.
- Howpsuzlyk we netijelilik, her önümi däl-de, diňe töwekgelçilikli adamlary adamlara gönükdirmek arkaly gazanylýar.
Programma meselesi
AI çykyşyňyzdan mysal alyň. Ilki bilen JSON shemasyny kesgitläň we çykyşy oňa mejbur ediň. Soňra azyndan iki iş düzgünini ýazyň (mysal üçin, “mukdar jemi elementlere gabat gelýär”). Ahyrynda, marşrut tablisasyny düzüň: haýsy ynam / täsir kombinasiýasy awtomatiki gidýär, ikinji modeline, adama gidýärmi? Nädogry bir nusga dörediň we her gatyň nirede tutýandygyny synlaň.
gözegçilik sanawy
- [] Çykyş üçin berk shemany kesgitleýärin we ony enjam bilen barlaýaryn.
- [] Iň azyndan bir iş / düzgün tassyklamasy (baha logikasy) goşdum.
- [] Aýdylanlary çeşme bilen baglanyşdyryp, barlap bilerin.
- [] Impactokary täsir / pes howpsuzlyk netijeleri üçin elýeterli ikinji model ýa-da adam tassyklamasy.
- [] Ynam we täsir esasynda kesgitlenen marşrut düzgüni.
- [] Synçy kontekst, çeşme we ret etmek hukugy bilen üpjün edilýär.