Faida:
- Uwezo wa kusanidi bomba la data (mkusanyiko, uthibitishaji, utakaso, kubadilisha, kugawanyika, toleo) na kuweka uthibitishaji wa schema mwanzoni mwa bomba.
- Uwezo wa kufanya kukosa thamani na maamuzi ya kuweka lebo kulingana na maana ya shamba na mgawanyiko ili kuzuia uvujaji wa data (kikundi na cha muda)
- Uwezo wa kuunda msingi wa data unaoweza kuzalishwa tena kwa kurekebisha toleo la data na mbegu ya nasibu
Nguvu halisi ya kila mfumo wa kujifunza mashine iko kwenye data, sio mfano. Wahandisi wenye ujuzi wanajua: "takataka ndani, takataka nje" - hata mfano wa juu zaidi uliolishwa data mbaya itatoa matokeo mabaya. Katika kitengo hiki, tunaanzisha bomba la data (bomba la data: msururu wa hatua zinazofanya data ghafi kuwa tayari kwa mafunzo ya kielelezo) mwisho hadi mwisho na kujifunza ni hatua gani ya laini hii tunaweza kutumia akili bandia kwa usalama.
Hatua za mstari wa data
Mstari wa data kwa kawaida hupitia vituo hivi:
- Mkusanyiko (kumeza): Kuchota data kutoka kwa vyanzo (database, API, faili za kumbukumbu, mitiririko ya matukio).
- Uthibitishaji: Kukagua ikiwa data inalingana na taratibu, aina na safu zinazotarajiwa.
- Kusafisha: Kushughulikia thamani zinazokosekana, nakala za rekodi, viambajengo, na kutofautiana.
- Mabadiliko: Kugeuza data mbichi kuwa sifa - kama vile kubadilisha kigezo cha kategoria hadi nambari, kutoa "siku ya wiki" kutoka tarehe.
- Mgawanyiko: Kutenganisha katika seti za mafunzo, uthibitishaji na majaribio.
- Utayarishaji: Kurekodi ni modeli ipi ilifunzwa kwa kutumia data ipi.
Upelelezi wa Bandia huokoa muda kwa kutoa rasimu za kanuni na mawazo, hasa katika hatua ya 2, 3 na 4. Lakini maamuzi kama vile rekodi gani ya kutupa, ambayo inakosa thamani ya kujaza na jinsi gani, ni ya mhandisi anayejua data; kwa sababu kusafisha vibaya kunaweza kuingiza upendeleo uliofichwa kwenye mfano.
Uthibitishaji wa data: ulinzi wa mapema wa mstari
Makosa ya gharama kubwa zaidi huanza sio katika uzalishaji, lakini ambapo hatua ya uthibitishaji imerukwa. Uthibitishaji wa taratibu hukagua kiotomatiki ikiwa kila kundi linaloingia la data linapatana na muundo unaotarajiwa. Kwa mfano, je, safu wima ya umri kati ya 0-120, je sehemu ya barua pepe haina kitu, je, idadi ya safu wima imebadilika?
Kidokezo: Weka uthibitishaji mwanzoni mwa mstari. Kadiri data mbovu inavyokamatwa, ndivyo inavyokuwa nafuu zaidi kurekebisha. Hitilafu ya schema iliyopatikana katika uzalishaji ni ghali mara nyingi zaidi kuliko ile iliyopatikana katika awamu ya mafunzo.
Andika mpango wa uthibitishaji ukitumia pandera (au Matarajio Makuu) kwa taratibu ifuatayo ya data. Safu wima na sheria:- kitambulisho_cha_mtumiaji: nambari kamili, haiwezi kuwa batili, ya kipekee- umri: nambari kamili, haiwezi kutoka 0-120- tarehe_ya_kujisajili: tarehe, haiwezi kuwa katika siku zijazo- nchi: kitengo, kutoka kwa seti ya {TR, DE, US, UK}- salio: desimali, haiwezi kuwa hasi Toa ujumbe wa hitilafu wenye maana kwa kila ukiukaji wa kanuni. Onyesha jaribio kwa mfano mstari uliovunjika mwishoni mwa msimbo.
Kusafisha: ni mwanadamu anayeamua
Thamani zinazokosekana ni ukweli wa kila seti ya data. Njia za kushughulikia:
- Ufutaji: Kutupilia mbali safu mlalo/safu wima yenye kiwango cha juu sana cha kukosa. Lakini kuna hatari ya kupoteza habari na upendeleo.
- Imputation: Imputation na wastani, wastani, thamani ya mara kwa mara, au utabiri kulingana na mfano.
- Bendera: Kuhifadhi maelezo "yalikosa" katika safu wima tofauti ya bendera - wakati mwingine inayokosekana yenyewe ni mawimbi.
Ambayo ni sahihi inategemea shida. Katika seti ya data ya matibabu, habari ya "thamani ya damu isiyopimwa" inapaswa kuhifadhiwa badala ya kufutwa; Kwa sababu hata daktari kukataa kuchukua vipimo ni ishara. AI inaweza kukupa chaguzi na nambari; Unachagua ni ipi inayolingana na hali halisi ya uwanja.
Mwongozo dhaifu / Mwongozo thabiti
Kidokezo dhaifu: "Jaza thamani zinazokosekana."
Kidokezo chenye nguvu: "Kuna thamani zinazokosekana katika safu wima zifuatazo: mapato (12% haipo, usambazaji uliopinda kulia), kuingia_kwa mwisho (30% haipo). Pendekeza mapato ya kujaza kwa wastani, lakini eleza kwa nini wastani na sio maana. Kwa kuingia_kwa mwisho, chukulia thamani inayokosekana inaweza kuwa muhimu (mtumiaji anaweza kuwa hajawahi kuingia); zingatia kutoa mbinu ya kufuta kamwe kwenye modeli. Andika chini modeli."
Tofauti: haraka haraka hutoa habari ya usambazaji na maana ya eneo; akili ya bandia hutoa usaidizi wa uamuzi badala ya kujaza mitambo.
Kuweka lebo: ubora hupimwa
Katika ujifunzaji unaosimamiwa (mafunzo ambayo mifano hutolewa kwa majibu sahihi), kile ambacho mtindo hujifunza ni lebo (lebo: jibu sahihi kwa kila mfano). Ubora wa lebo huweka dari - ikiwa watu wanaweka lebo kinyume, mtindo hujifunza bila kufuatana.
Makubaliano baina ya wachambuzi hupima kiwango ambacho watu tofauti wanatoa lebo sawa kwa sampuli sawa; Inaonyeshwa na mgawo kama vile Cohen's Kappa. Uzingatiaji mdogo unaonyesha kuwa kazi haiko wazi au maagizo ni dhaifu.
Upelelezi wa Bandia husaidia katika kuweka lebo kwa njia mbili: (1) kuandaa mwongozo wa maelezo, (2) kuweka lebo mapema na mwanadamu kusahihisha tu. Lakini kuweka lebo mapema na LLM kuna shida: hitilafu ya kimfumo ya modeli inaweza kuvuja kwenye seti nzima ya lebo. Ndio maana wanadamu kila wakati huangalia baadhi ya lebo za LLM.
Angalizo: Usizingatie lebo zinazotolewa na LLM kama "ukweli wa msingi". Angalia sampuli na binadamu na kupima LLM-binadamu fit. Ikiwa utiifu ni mdogo, kuweka lebo kutaleta madhara zaidi kuliko manufaa.
Kugawanya data: kuzuia kuvuja
Kosa hatari zaidi wakati wa kugawanya data katika mafunzo/uthibitishaji/jaribio ni uvujaji wa data: kuchanganya taarifa za jaribio katika mafunzo. Mifano:
- Rekodi za mtumiaji sawa huangukia katika mafunzo na majaribio (kuvuja kwa kikundi).
- Kutumia siku zijazo katika mafunzo na siku za nyuma katika majaribio katika safu ya wakati (kuvuja kwa muda).
- Kukokotoa vigezo vya kuongeza (kurekebisha) kutoka kwa data zote na kisha kugawanya.
Mgawanyiko wa muda ni muhimu kwa matatizo yanayohusisha muda: treni na yaliyopita, jaribu katika siku zijazo. Kugawanya bila mpangilio kunatoa manufaa ya "baadaye" ambayo hayatawahi kutokea katika uzalishaji na huongeza vipimo.
Matoleo ya data na reproducibility
"Tulifundisha mtindo huu kwa data gani?" Kuweza kujibu swali miezi kadhaa baadaye ni alama mahususi ya uhandisi mkubwa wa ML. Matoleo ya data huhifadhi kila muhtasari wa data na kitambulisho (heshi au lebo ya toleo). Zana kama vile data ya toleo la DVC (Udhibiti wa Toleo la Data) kama msimbo.
Ili kutoa tena matokeo ya modeli, mambo matatu lazima yarekebishwe: toleo la data, toleo la msimbo, na mbegu nasibu. Haiwezekani kusema "nimepata matokeo sawa" bila watatu hawa. Tutaongeza Uzalishaji tena katika kitengo cha 11; lakini kurekebisha mbegu kwenye bomba la data huanza kutoka hapa.
kesi tatu ndogo
Kesi ya 1 - Uthibitishaji wa schema wa siku umehifadhiwa. Wakati timu ilibadilisha uga wa bei ya mfumo wa juu kutoka senti hadi lira, bei zote zilishuka mara 100. Uthibitishaji wa taratibu ulikataa bechi kama "bei nje ya anuwai" na muundo haukufunzwa na data iliyoharibika. Bila uthibitishaji, hitilafu ingegunduliwa tu katika uzalishaji, na utabiri usio sahihi.
Kesi 2 - Upendeleo wa kujaza vibaya. Katika mfano wa mkopo, maadili yaliyokosekana yalijazwa na wastani. Lakini kipato kilichokosekana kilikuwa kikubwa katika kundi la watu wa kipato cha chini; wastani wa "kuboresha" kikundi hiki kwa njia bandia, na mtindo uliwapa kikomo cha juu isivyo haki. Tumesuluhisha tatizo na alama ya wastani + ya kukosa.
Kesi ya 3 - Uvujaji wa muda. Muundo wa utabiri wa mahitaji ulionekana mzuri kwenye seti ya majaribio (usahihi wa 95%) lakini ulianguka katika toleo la umma. Kwa nini: kwa sababu ya kugawanyika kwa nasibu, mfano huo ulikuwa umeona siku zijazo. Kubadili utumiaji wa hati za muda kumepunguza usahihi wa jaribio hadi 78% - lakini huo ulikuwa utendakazi halisi na uliifanya iwe katika toleo la umma.
Violezo vinavyoweza kunakiliwa
Gawanya mkusanyiko wa data ufuatao katika seti tatu: mafunzo/uthibitishaji/ujaribio.Kizuizi: Huu ni mfululizo wa saa; Tumia mgawanyiko wa TEMPORAL (treni ya zamani, jaribu katika siku zijazo). Zuia kuvuja kwa bechi: kuwa na `customer_id` sawa katika kundi moja pekee. Kokotoa vigezo vya kuongeza TU kutoka kwa seti ya mafunzo, kisha utumie kwa wote. Chapisha ni mistari mingapi iliyosalia kwenye msimbo katika kila hatua na uongeze dai ambalo hukagua hakuna uvujaji.
Andika rasimu ya mwongozo wa kidokezo kwa kazi hii ya kuweka lebo.Task: [k.m. Weka mapitio ya mteja lebo chanya/hasi/sio upande wowote]Beleza matukio ya mipakani: kejeli, hisia mchanganyiko, jinsi ya kuweka lebo ya ukaguzi ambayo haihusiani na bidhaa?Toa mifano 5 na matukio 3 magumu ambayo yataongeza uthabiti kwenye lebo zote.
Tengeneza orodha hakiki ya uzalishaji tena wa bomba hili la data:- Toleo la data linapaswa kurekebishwa vipi?- Ni mbegu gani za kubahatisha zinafaa kuwekwa wapi?- Je, ni metadata gani (heshi ya data, idadi ya safu mlalo, tarehe) inapaswa kurekodiwa? Nambari yangu ya msingi: [lugha/maktaba]
Angalia msimbo huu wa kusafisha kwa uvujaji wa data. Angalia hii haswa: je, vigezo vya kuongeza/kusimba vinahesabiwa KABLA ya kugawanyika? Je, takwimu zozote zimehesabiwa kutoka kwa data zote au mafunzo tu? Kanuni: [code]
Jedwali la uamuzi: mkakati wa thamani unaokosekana
Hali
Mbinu iliyopendekezwa
Kwa nini
Nambari, usambazaji uliopinda
kujaza na wastani
Wastani huathiriwa na wauzaji wa nje
Nambari, ulinganifu
kujaza kwa wastani
Hulinda habari
Upungufu unaweza kuwa mkubwa
Alamisha safu wima + jaza
Ukosefu ni ishara
Kiwango kinakosekana > 60%
Tathmini/tupa safu wima
Kelele ni nyingi sana
Kategoria
Kategoria "isiyojulikana".
Haiunda wingi wa bandia
Makosa ya kawaida
- Inaruka uthibitishaji. Bila udhibiti wa taratibu, data iliyoharibika huingia kimya kimya.
- Kuongeza kabla ya kugawanyika. Inavuja takwimu za mtihani katika elimu.
- Kutumia mgawanyiko bila mpangilio katika mfululizo wa saa. Inazalisha vipimo vya juu vya bandia.
- Kuamini kabisa lebo za LLM. Hitilafu ya kimfumo huenea katika data yote.
- Haihifadhi toleo la data. Huwezi kuzaliana matokeo.
- Kujaza kwa mitambo kwa wastani. Inapuuza maana ya shamba, inaongeza upendeleo.
Kwa muhtasari
Bomba la data ndio msingi wa mfumo wa ML na unastahili juhudi zaidi kuliko mfano. Weka uthibitishaji juu; kufanya maamuzi ya kusafisha na kuweka lebo kwa maarifa ya kikoa; kuzuia kuvuja (kikundi na muda) katika compartment; rekebisha toleo la data na mbegu. AI hutoa msimbo na mawazo kwenye mstari huu, lakini ni juu yako kuamua ni data gani ya kuchakata na jinsi gani - kwa sababu kila uamuzi usio sahihi unapita kwenye mfano kama dosari iliyofichwa.
Jukumu la maombi
Andika mpango wa uthibitishaji (pandera/Matarajio Makuu) kwenye mkusanyiko wako wa data na uongeze safu mlalo mbaya kimakusudi na uonyeshe kuwa imenaswa. Kisha gawanya data kwa muda au kwa kundi, hesabu vigezo vya kuongeza kutoka kwa mafunzo pekee, na uthibitishe kuwa hakuna uvujaji wa madai. Andika toleo la data na hesabu ya safu mlalo kwenye faili ya metadata.
orodha ya ukaguzi
- [ ] Uthibitishaji wa schema huendeshwa juu ya mstari.
- [ ] Nilichagua mkakati wa thamani unaokosekana kulingana na maana ya uga, sikuujaza kimitambo.
- [ ] Nilipima ubora wa lebo (uzingatiaji); Niliangalia vitambulisho vya LLM vya kibinadamu.
- [ ] Nilizuia uvujaji wa kikundi na wa muda kwenye kidirisha.
- [ ] Kuongeza/kusimba vilivyokokotolewa kutoka kwa seti ya mafunzo pekee.
- [ ] Toleo la data, idadi ya safu na mbegu zilizorekodiwa.