Faida:
- Uwezo wa kutambua sababu za kimya za uharibifu wa mfano (kuteleza kwa data, kuteleza kwa dhana, kosa la juu) na kuanzisha ufuatiliaji wa safu tatu (uendeshaji, pembejeo, pato)
- Uwezo wa kutathmini mifumo ya LLM katika tabaka nyingi na ukaguzi wa sheria, mwamuzi wa LLM na tathmini ya kibinadamu, na kusawazisha na nanga ya binadamu ya LLM-refa.
- Uwezo wa kuunda seti ya eval iliyo na kesi za makali na za usalama na kugeuza kila kosa lililopatikana kuwa kesi ya kudumu ya majaribio
Mara tu mtindo unapoingia katika uzalishaji, kazi yako haifanyiki; Jukumu la kweli linaanza tu. Kwa sababu mfano unaweza kuvunja kimya wakati hakuna mtu anayeangalia. Katika kitengo hiki, tunashughulikia taaluma mbili za ziada: tathmini (kupima ubora wa muundo) na ufuatiliaji (ufuatiliaji wa mara kwa mara wa modeli katika uzalishaji). Hasa katika mifumo ya LLM, eval ni ngumu zaidi na inahitaji uangalifu zaidi kuliko ML ya kawaida.
Kwa nini mtindo wa uzalishaji unavunjika kimya kimya
Mdudu huanguka, kumbukumbu huchapishwa, kengele hulia. Mfano wa ML, kwa upande mwingine, unaweza kuwa mbaya bila kusababisha makosa. Sababu kuu tatu za uharibifu:
- Uhamisho wa data: Usambazaji wa data ya ingizo hubadilika kadri muda unavyopita (bidhaa mpya, kubadilisha tabia ya mtumiaji, msimu). Mfano unabaki sawa lakini ulimwengu unabadilika.
- Dhana ya kuteleza: Uhusiano wa ingizo na pato hubadilika. Mbinu za ulaghai na mifumo ya barua taka hubadilika; Kilichokuwa sahihi jana kitakuwa si sawa leo.
- Ufisadi wa juu: Chanzo cha data hubadilisha muundo, eneo huwa huru; Muundo huo unadondoka kimyakimya na pembejeo mbovu.
Ufuatiliaji unafanya upotoshaji huu wa kimya usikike.
Nini cha kutazama: tabaka tatu
Ufuatiliaji mzuri unajumuisha tabaka tatu:
- Vipimo vya uendeshaji: Muda wa kusubiri, kiwango cha makosa, kiasi cha ombi, matumizi ya rasilimali. "Je, mfumo umesimama?"
- Data/vipimo vya pembejeo: Je, usambazaji wa pembejeo unafanana na ule wa mafunzo? Je, kiwango cha thamani kilichokosekana kimeongezeka? Je, kategoria mpya zimefika? "Mtindo huo unaona data inayojulikana?"
- Vipimo vya mfano/pato: Kumbukumbu ya usambazaji wa utabiri? Je, alama za kujiamini zimepungua? Na ikiwezekana, ni usahihi gani ukilinganisha na ukweli wa msingi? "Mtindo bado ni sahihi?"
Safu ya tatu ni ya thamani zaidi lakini gumu zaidi; kwa sababu matokeo halisi kwa kawaida huja na kucheleweshwa (inakuwa wazi baada ya miezi kama mkopo utalipwa au la).
Kidokezo: Ikiwa matokeo halisi yatachelewa, fuatilia usambazaji wa uingizaji na ubashiri kwanza. Kuhama kwa usambazaji wa ingizo ni ishara ya mapema ya uharibifu wa usahihi na inaweza kuinua kengele bila kungoja matokeo halisi.
Kutathmini mifumo ya LLM: changamoto maalum
Katika classical ML, "jibu sahihi" ni wazi (darasa 0 au 1). Matokeo ya LLM, kwa upande mwingine, yamefunguliwa: kunaweza kuwa na majibu mengi sahihi kwa swali moja, "usahihi" hauingii katika nambari moja. Mbinu za tathmini ya LLM:
- Vipimo vinavyorejelewa: Kulinganisha matokeo na jibu bora. Mchache; kwa sababu inaweza kuzingatia jibu sahihi lililoonyeshwa tofauti kama "sio sahihi".
- Ukaguzi unaozingatia sheria: Je, pato ni JSON halali? Je, kuna maneno yoyote yaliyopigwa marufuku? Je, ina sehemu zinazohitajika? Nafuu, kuaminika, tight.
- LLM-judge (LLM-as-judge): Usifanye mwanamitindo aulize "je, jibu hili ni zuri kwa mujibu wa kigezo hiki?" Ni mizani, lakini mwamuzi mwenyewe lazima kuthibitishwa.
- Mapitio ya kibinadamu: Kiwango cha dhahabu lakini cha gharama kubwa na polepole. Inatumika kwenye sampuli.
Katika mazoezi haya hutumiwa pamoja: ukaguzi wa kanuni za bei nafuu kwa kila pato, LLM-jaji kwenye sampuli kubwa, tathmini ya binadamu kwenye sampuli ndogo lakini kali.
Mbinu dhaifu / Mbinu kali
Dhaifu: "LLM-nilimuuliza mwamuzi, 92% ya majibu yetu yalikuwa mazuri. Mfumo ni mzuri."
Güçlü: "Kwa mara ya kwanza tuliweka alama 100 za uchapishaji zilizowekwa na binadamu. Tuliendesha jaji wa LLM kwa nakala zile zile 100 na tukapima makubaliano ya majaji wa binadamu - makubaliano ya 85%, yanakubalika. Tuliandika pale ambapo hakimu alikosea kimfumo (tabia ya kupata majibu marefu isivyo haki) na tukarekebisha ombi lake." Hapo ndipo tulipomwamini majaji."
Tofauti: mbinu kali inathibitisha mwamuzi na nanga ya kibinadamu, sio kwa upofu. Mwamuzi wa LLM ambaye hajathibitishwa anatoa mwonekano mzuri lakini imani ya uwongo.
Tahadhari: LLM-refa pia ni mwanamitindo; hallucinogenic, upendeleo (hupendelea majibu marefu/ya uhakika), yanaweza kutofautiana. Rekebisha alama za mwamuzi kwa kutumia lebo za kibinadamu kabla ya kufanya maamuzi ya uzalishaji.
Seti ya tathmini: iliyoundwa kwa uangalifu
Seti nzuri ya eval inawakilisha anuwai ya matumizi halisi na kesi ngumu. Eval iliyojazwa na mifano rahisi itakuacha katika ujasiri wa uwongo. Hakikisha kuiweka kwenye nguzo ya eval:
- Kesi za ukingo: Ingizo tupu, ingizo refu sana, umbizo lisilo la kawaida.
- Kesi ngumu zinazojulikana: Mifano ambapo mtindo umefanya makosa hapo awali (kama mtihani wa rejista).
- Matukio ya usalama: Majaribio ya sindano ya haraka, maombi mabaya, mitego ya ukiukaji wa faragha.
Kundi la tathmini hukua kadri muda unavyopita: kila hitilafu mpya unayopata katika toleo la umma inakuwa kesi ya majaribio kwa tathmini inayofuata.
Kengele na kuingilia kati
Ufuatiliaji bado haujakamilika bila kengele. Kunapaswa kuwa na kiwango cha juu na mpango wa majibu kwa kila kipimo muhimu: "Mjulishe mhandisi ikiwa uelekezaji wa pembejeo unazidi X", "Rudisha kiotomatiki ikiwa kiwango cha hitilafu kinazidi Y". Weka kengele kuwa na maana - kengele nyingi za uwongo hupoteza hisia kwa timu na kuwafanya wakose kengele halisi.
kesi tatu ndogo
Kesi ya 1 - Onyo la mapema. Usahihi wa kweli wa kielelezo cha utabiri wa mahitaji ulionekana tu mwishoni mwa juma. Timu ilikuwa ikifuatilia usambazaji wa pembejeo na ikaona kupanda kwa ghafla kwa aina mpya ya bidhaa siku ya Jumanne - kitu ambacho mtindo haujawahi kuona. Walisasisha mfano bila kungoja usahihi wa kushuka. Siku zilizohifadhiwa za ufuatiliaji wa pembejeo.
Kesi ya 2 - Mwamuzi ambaye hajathibitishwa. Timu moja iliripoti "ubora wetu ni bora" kulingana na mkaguzi wa LLM. Wakati malalamiko ya wateja yalipoongezeka, ufuatiliaji wa kibinadamu ulianzishwa: mwamuzi alihesabu majibu ya kujiamini lakini yasiyo sahihi kama "mazuri." Mara tu mwamuzi aliposawazishwa na vitambulisho vya kibinadamu, ubora wa kweli ulifichuliwa na ulikuwa wa chini zaidi. Somo: usimwamini mwamuzi bila kuithibitisha.
Kesi ya 3 - Jaribio la kurudi nyuma. Mabadiliko ya haraka yalisuluhisha suala moja huku yakivunja jingine kimyakimya. Lakini timu ilihifadhi mende kwenye ndoo ya eval; Wakati mabadiliko mapya yalipojaribiwa kwenye nguzo hii, kipochi kilichovunjika kilinaswa mara moja na mabadiliko yakarekebishwa. Somo: kila hitilafu isiyobadilika inapaswa kuwa kesi ya majaribio ya kudumu.
Violezo vinavyoweza kunakiliwa
Tengeneza mpango wa ufuatiliaji wa muundo huu wa uzalishaji. Jalada tabaka tatu:1) Uendeshaji (muda wa kusubiri, kiwango cha makosa, kiasi)2) Ingizo/data (kuhama kwa usambazaji, thamani inayokosekana, aina mpya)3) Muundo/pato (usambazaji wa utabiri, uaminifu, usahihi ikiwezekana)Mfano: [maelezo]. Inachukua muda gani kwa matokeo halisi kufika: [muda]Ongeza kiwango cha juu na mapendekezo ya kuingilia kati kwa kila kipimo.
Pendekeza mkakati wa tathmini (eval) wa mfumo huu wa LLM.Kazi: [maelezo]Amua safu:- Ni ukaguzi gani unaozingatia sheria unapaswa kutekelezwa kwa kila pato?- Ni vigezo gani ambavyo msuluhishi wa LLM anapaswa kutathmini na vinapaswa kuthibitishwa vipi (nanga ya kibinadamu)?- Tathmini ya mwanadamu inapaswa kufanywa katika sampuli gani?Orodhesha makali na usalama ambao ninapaswa kuweka katika kesi za uhakiki.
Angalia dodoso hili la LLM-referee:- Je, vigezo vya tathmini ni wazi au ni vya msingi?- Je, ina mwelekeo wa urefu/upendeleo wa kujiamini?- Je, ninawezaje kumrekebisha mwamuzi kwa kutumia vitambulisho vya kibinadamu? Haraka ya mwamuzi: [haraka]
Andika kijitabu cha majibu kwa kengele hii ya ufuatiliaji. Kengele: [k.m. kizingiti cha uelekezaji wa pembejeo kimezidi]Lazima iwe na: hatua za awali za udhibiti, sababu zinazowezekana, vigezo vya kurejesha nyuma, nani wa kumjulisha.
Jedwali la sababu za kuzorota
upotoshaji
dalili
Njia ya utambuzi wa mapema
mteremko wa data
Mabadiliko ya usambazaji wa pembejeo
Ufuatiliaji wa usambazaji wa pembejeo
mabadiliko ya dhana
Haki huanguka kimya kimya
Utabiri + ulinganisho halisi
hitilafu ya mkondo wa juu
Sehemu huwa wazi/mabadiliko ya umbizo
Uthibitishaji wa taratibu + kiwango kinachokosekana
Utofauti wa mfano
Mabadiliko ya usambazaji wa pato
Ufuatiliaji wa usambazaji wa pato
Makosa ya kawaida
- Sio kuanzisha ufuatiliaji. Mfano huvunja kimya, hakuna mtu anayeiona.
- Fuatilia vipimo vya uendeshaji pekee. Mfumo uko juu, lakini utabiri unaweza kuwa mbaya.
- Kutumia LLM bila kuthibitisha mwamuzi. Inatoa imani ya uwongo.
- Eval na mifano rahisi. Haionyeshi ugumu wa kweli.
- Bila kujumuisha makosa ya zamani katika eval. Hitilafu sawa inarudi tena.
- Kengele kubwa. Timu inapoteza hisia, inakosa kengele halisi.
Kwa muhtasari
Mfano unaweza kuwa sahihi bila kusababisha makosa katika uzalishaji; kwa hivyo eval na ufuatiliaji ni muhimu sawa na maendeleo. Kuanzisha ufuatiliaji katika tabaka tatu (uendeshaji, pembejeo, pato); Tumia uingizaji wa pembejeo kama onyo la mapema ikiwa matokeo halisi yatachelewa. Katika mifumo ya LLM, eval imefunguliwa; Tumia ukaguzi wa sheria, mwamuzi wa LLM, na tathmini ya kibinadamu pamoja - lakini hakikisha umeidhinisha mwamuzi wa LLM kwa nanga ya kibinadamu. Boresha kundi lako la Eval kwa makali na matukio ya usalama na ubadilishe kila kosa lililonaswa kuwa kesi ya majaribio ya kudumu.
Jukumu la maombi
Andika mpango wa ufuatiliaji wa safu tatu wa muundo wa uzalishaji (au karibu na uzalishaji) na ubainishe kiwango cha juu + kengele kwa angalau kipimo kimoja cha usambazaji wa pembejeo. Ikiwa una mfumo wa LLM: tagi matokeo 30 na wanadamu, endesha mwamuzi wa LLM kwa matokeo sawa, na upime makubaliano ya binadamu na mwamuzi; Kumbuka upendeleo wa utaratibu wa mwamuzi. Ongeza angalau kingo 3 na kesi 2 za usalama kwenye nguzo yako ya eval.
orodha ya ukaguzi
- [ ] Ufuatiliaji unajumuisha tabaka zote tatu (uendeshaji, ingizo, pato).
- [ ] Ninatumia pembejeo drift kama onyo la mapema ikiwa matokeo halisi yatachelewa.
- [ ] Nilirekebisha kisuluhishi cha LLM kwa lebo za kibinadamu.
- [ ] Kundi la Eval lina matukio makali na ya usalama.
- [ ] Niligeuza kila hitilafu niliyopata kuwa kesi ya majaribio ya kudumu.
- [ ] Kila kipimo muhimu kina kikomo na mpango wa majibu.