Riba:
- Ability don gane abubuwan shiru na lalacewa na ƙirar (drift data, ra'ayi drift, kuskure na sama) da kuma kafa sa ido uku (aiki, shigarwa, fitarwa)
- Ability don kimanta tsarin LLM a cikin yadudduka da yawa tare da duba ƙa'ida, LLM-alkalan wasa da kimantawar ɗan adam, da daidaitawa tare da anka na ɗan adam LLM.
- Ikon ƙirƙira saitin eval mai ɗauke da baki da shari'o'in tsaro da kuma juya kowane kuskuren da aka kama zuwa shari'ar gwaji ta dindindin
Da zarar samfurin ya shiga samarwa, aikinku bai yi ba; Haƙiƙan alhakin kawai ya fara. Domin samfurin na iya rushewa cikin shiru lokacin da babu wanda ke kallo. A cikin wannan rukunin, muna ɗaukar nau'o'in haɗin gwiwa guda biyu: kimantawa (aunawa da ƙima da ƙima) da sa ido (sabili da ƙima na ƙirar a cikin samarwa). Musamman a cikin tsarin LLM, eval ya fi wahala kuma yana buƙatar ƙarin kulawa fiye da ML na gargajiya.
Dalilin da ya sa samfurin samarwa yana raguwa a hankali
Wani kwaro ya yi karo, bugu na log ɗin, ƙararrawa yana kashewa. Samfurin ML, a gefe guda, na iya zama kuskure ba tare da haifar da kurakurai ba. Manyan dalilai guda uku na lalacewa:
- Rarraba bayanai: Rarraba bayanan shigarwa yana canzawa akan lokaci (sababbin samfura, canza halayen mai amfani, yanayin yanayi). Samfurin ya kasance iri ɗaya amma duniya ta canza.
- Rage ra'ayi: Alakar shigarwa-fitarwa tana canzawa. Dabarun zamba da tsarin spam suna tasowa; Abin da yake daidai jiya zai zama kuskure a yau.
- Cin hanci da rashawa na sama: Tushen bayanai yana canza tsari, yanki ya zama kyauta; Samfurin a shiru yana faɗuwa tare da gurɓataccen shigarwa.
Binciko yana sa a ji waɗannan ruɗaɗɗen shiru.
Abin da za a kalli: yadudduka uku
Kyakkyawan saka idanu ya ƙunshi matakai uku:
- Ma'auni na aiki: Latency, ƙimar kuskure, ƙarar buƙata, amfani da albarkatu. "Shin tsarin yana tsaye?"
- Ma'aunin bayanai/input: Shin rarrabawar shigarwar tana kama da na horo? Ƙimar da ta ɓace ya karu? Shin sabbin nau'ikan sun zo? "Shin samfurin yana ganin bayanan da aka sani?"
- Model/ma'auni na fitarwa: Lissafin rarraba tsinkaya? Shin an sami raguwar maki masu aminci? Kuma idan zai yiwu, menene daidaito idan aka kwatanta da gaskiyar ƙasa? "Shin samfurin har yanzu daidai ne?"
Layer na uku shine mafi daraja amma mafi wahala; saboda ainihin sakamakon yawanci yana zuwa tare da jinkiri (yana bayyana bayan watanni ko za a biya bashi ko a'a).
Tukwici: Idan ainihin sakamakon ya jinkirta, fara saka idanu akan shigarwa da rarraba tsinkaya. Canjawar rarraba shigarwar alama ce ta farko na lalacewar daidaito kuma yana iya ɗaga ƙararrawa ba tare da jiran ainihin sakamakon ba.
Ƙimar tsarin LLM: ƙalubale na musamman
A cikin ML na gargajiya, "madaidaicin amsar" a bayyane take (aji 0 ko 1). Sakamakon LLM, a gefe guda, yana buɗewa: za a iya samun amsoshi daidai da yawa ga wannan tambaya, "daidai" bai dace da lamba ɗaya ba. LLM eval hanyoyin:
- Ma'auni da aka ambata: Kwatanta abin da ake fitarwa zuwa ingantaccen amsa. Iyakance; domin yana iya ɗaukar amsar daidai da aka bayyana ta daban a matsayin "ba daidai ba".
- Binciken tushen ƙa'idodi: Shin fitarwa tana aiki JSON? Akwai wasu kalmomin da aka haramta? Ya ƙunshi filayen da ake so? Mai arha, abin dogaro, m.
- LLM-alkali (LLM-as-alkali): Kada ka yi abin koyi ya tambayi "wannan amsar tana da kyau bisa ga wannan ma'auni?" Yana da ma'auni, amma alƙalin da kansa dole ne a tabbatar da shi.
- Bita na ɗan adam: Matsayin gwal amma tsada da jinkiri. Ana amfani dashi akan samfurin.
A aikace waɗannan ana amfani da su tare: ƙa'idodin ƙa'ida mai arha akan kowane fitarwa, LLM-alkali akan babban samfuri, ƙimar ɗan adam akan ƙaramin ƙaramin samfuri mai ƙarfi.
Hanya mai rauni / Ƙarfi mai ƙarfi
Rauni: "LLM-Na tambayi alkalin wasa, 92% na amsoshinmu suna da kyau. Tsarin yana da kyau."
Güçlü: "Mun fara buga wa ɗan adam lakabi 100 printouts. Mun gudu da LLM-alkali a kan guda 100 printouts da kuma auna mutum-alkali yarjejeniya - 85% yarjejeniya, m. Mun rubuta inda alkali tsarin ba daidai ba (wani hali na samun dogayen amsoshi unfairly kyau) da kuma gyara da sauri. Sai kawai muka amince da alƙali.
Bambanci: hanya mai ƙarfi tana tabbatar da alkalin wasa tare da anka na ɗan adam, ba makanta ba. Alkalin wasan LLM wanda ba a tantance shi ba yana ba da kyawun gani amma amincewar ƙarya.
Hankali: LLM-alkalan wasa kuma abin koyi ne; hallucinogenic, son zuciya (amsoshi masu tsayi / amintattun amsoshi), na iya zama rashin daidaituwa. Yi ƙididdige ƙimar alkalin wasa tare da alamun ɗan adam kafin yanke shawarar samarwa.
Saitin kimantawa: an tsara shi a hankali
Kyakkyawan saitin eval yana wakiltar nau'ikan amfani na gaske da lokuta masu wahala. Ƙimar da ke cike da misalai masu sauƙi kawai zai bar ku cikin amincewar ƙarya. Tabbata a saka shi a cikin gungu na eval:
- Matsalolin Edge: Shigar da babu kowa, shigarwar da ba ta dace ba, tsari mai ban mamaki.
- Sanannun lokuta masu wuya: Misalai inda samfurin ya yi kuskure a baya (a matsayin gwajin gwagwarmaya).
- Abubuwan da suka faru na tsaro: Ƙoƙarin allura na gaggawa, buƙatun ƙeta, tarkon keta sirrin sirri.
Tarin eval yana girma akan lokaci: kowane sabon kwaro da kuka kama a samarwa ya zama shari'ar gwaji don kimantawa na gaba.
Ƙararrawa da shiga tsakani
Sa ido ya kasance bai cika ba tare da ƙararrawa ba. Ya kamata a sami madaidaicin kofa da tsarin amsa ga kowane ma'auni mai mahimmanci: "Sadar da injiniyan injiniya idan faifan shigar da bayanai ya wuce X", "Mirgine baya ta atomatik idan adadin kuskure ya wuce Y". Rike ƙararrawa suna da ma'ana - ƙararrawar ƙararrawa da yawa suna hana ƙungiyar kuma sanya su rasa ainihin ƙararrawa.
uku mini lokuta
Hali na 1 - Gargadi na farko. Gaskiyar daidaiton samfurin hasashen buƙata ya bayyana ne kawai a ƙarshen mako. Ƙungiyar tana sa ido kan rarraba shigarwar kuma ta ga tashin sabon nau'in samfurin kwatsam a ranar Talata - abin da samfurin bai taɓa gani ba. Sun sabunta samfurin ba tare da jiran raguwar daidaito ba. Ajiye kwanakin saka idanu.
Hali na 2 - Alkalin wasa wanda ba a tantance ba. Ƙungiya ɗaya ta ba da rahoton "ingarin mu yana da kyau" bisa LLM-reviewer. Lokacin da korafe-korafen abokin ciniki ya karu, an gabatar da sa ido na ɗan adam: alkalin wasan ya ƙidaya ƙarfin gwiwa amma amsoshin da ba daidai ba a matsayin "mai kyau." Da zarar an daidaita alƙalin wasan da alamun ɗan adam, ingancin gaskiya ya bayyana kuma ya ragu sosai. Darasi: kar a amince da alkalin wasa ba tare da tabbatar da shi ba.
Hali na 3 - Gwajin koma baya. Canjin gaggawa ya warware matsala ɗaya yayin da ya karya wani cikin shiru. Amma ƙungiyar ta kiyaye kwari da suka wuce a cikin bokitin eval; Lokacin da aka gwada sabon canjin akan wannan gungu, an kama karar da aka karye nan da nan kuma an gyara canjin. Darasi: kowane tsayayyen kwaro yakamata ya zama shari'ar gwaji ta dindindin.
Samfura masu kwafi
Samar da tsarin bin diddigin wannan ƙirar samarwa. Rufe nau'i uku: 1) Aiki (latency, kuskuren kuskure, ƙarar) 2) Shigarwa / bayanai (canzawar rarraba, ƙimar da ta ɓace, sabon nau'i) 3) Samfurin / fitarwa (rarrabuwar tsinkaya, amincewa, daidaito idan zai yiwu) Model: [bayani]. Yaya tsawon lokacin da ainihin sakamakon ya zo: [lokaci] Ƙara kofa da shawarwarin shiga tsakani ga kowane awo.
Ba da shawarar dabarun kimantawa (eval) don wannan tsarin LLM.Task: [bayani] Ƙayyade Layer: - Waɗanne ka'idoji na tushen doka ya kamata su gudana akan kowane fitarwa? - Wane ma'auni ya kamata mai daidaitawa LLM ya kimanta kuma ta yaya ya kamata a tabbatar da su (anga na ɗan adam)?
Bincika wannan hanzarin alkalin wasa na LLM:- Shin ƙa'idodin kimantawa a bayyane suke ko kuma na zahiri? - Shin yana da saurin tsawaitawa? - Ta yaya zan daidaita alƙalin wasa tare da tambarin ɗan adam? Mai kunnawa alkalin wasa: [da sauri]
Rubuta littafin gudu don wannan ƙararrawar sa ido. Ƙararrawa: [misali. Ƙofar ƙwanƙwasa shigarwar ya wuce] Dole ne ya ƙunshi: matakan sarrafawa na farko, dalilai masu yuwuwa, ƙa'idodin juyawa, wanda zai sanar.
Lalacewar sa tebur
murdiya
alama
Hanyar ganowa da wuri
tafsirin data
Canje-canjen rarrabawar shigarwa
Saka idanu rarrabawar shigarwa
ra'ayi motsi
Adalci ya faɗi shiru
Hasashen + ainihin kwatance
kuskure na sama
Filayen sun zama fanko/tsara canje-canje
Tabbatar da tsari + ƙimar da ba ta dace ba
Rashin daidaiton samfuri
Juyawa rarrabawar fitarwa
Saka idanu rarrabawar fitarwa
Kuskuren gama gari
- Ba kafa sa ido ba. Samfurin ya rushe shiru, babu wanda ya gan shi.
- Bibiyar ma'aunin aiki kawai. Tsarin ya tashi, amma tsinkaya na iya zama kuskure.
- Amfani da LLM ba tare da tabbatar da alkalin wasa ba. Yana ba da amincewar ƙarya.
- Eval tare da misalai masu sauƙi. Ba ya nuna ainihin wahala.
- Ba haɗa da kurakuran da suka gabata a cikin eval ba. Kuskuren guda ya sake dawowa.
- Ƙararrawa mai ƙarfi. Ƙungiyar ta zama rashin hankali, ta rasa ainihin ƙararrawa.
A takaice
Samfurin na iya zama mara kyau ba tare da haifar da kurakurai a cikin samarwa ba; don haka inganci da kulawa suna da mahimmanci kamar ci gaba. Kafa sa ido a matakai uku (aiki, shigarwa, fitarwa); Yi amfani da shigar da shigar a matsayin gargadin farko idan ainihin sakamakon ya jinkirta. A cikin tsarin LLM, eval yana buɗewa; Yi amfani da binciken doka, alkalin wasa LLM, da kimanta ɗan adam tare - amma tabbatar da tabbatar da alkalin wasan LLM tare da anka na ɗan adam. Haɓaka tarin ku na Eval tare da gefensa da shari'o'in tsaro kuma juya duk kuskuren da aka kama zuwa shari'ar gwaji ta dindindin.
Aikin aikace-aikace
Rubuta tsarin sa ido mai Layer uku don samfurin samarwa (ko kusa-samar) kuma ayyana bakin kofa + ƙararrawa don aƙalla ma'aunin rarraba-shigarwa ɗaya. Idan kuna da tsarin LLM: sanya alamar 30 tare da mutane, gudanar da alƙali na LLM akan abubuwan guda ɗaya, kuma auna yarjejeniyar ɗan adam da alkalin wasa; Kula da son zuciya na tsari na alkalin wasa. Ƙara aƙalla gefuna 3 da shari'o'in tsaro 2 zuwa gungu na eval.
jerin abubuwan dubawa
- [ ] Kulawa ya ƙunshi duk nau'ikan yadudduka uku (aiki, shigarwa, fitarwa).
- [ ] Ina amfani da shigar da shigar a matsayin gargadin farko idan ainihin sakamakon ya jinkirta.
- [ ] Na daidaita LLM-arbitrator tare da alamun ɗan adam.
- [ ] Tarin Eval ya ƙunshi baki da shari'o'in tsaro.
- [ ] Na mayar da kowane kwaro da na kama cikin ma'aunin gwaji na dindindin.
- [ ] Kowane ma'auni mai mahimmanci yana da ƙofa da shirin amsawa.