Qligħ:
- Kapaċità li twaqqaf pipeline tad-dejta (ġbir, validazzjoni, tindif, trasformazzjoni, qsim, verżjonijiet) u tpoġġi l-validazzjoni tal-iskema fil-bidu tal-pipeline
- Kapaċità li tieħu deċiżjonijiet ta' valur u tikkettar nieqsa bbażati fuq it-tifsira tal-qasam u d-diviżjoni biex tevita t-tnixxija tad-dejta (grupp u temporali)
- Kapaċità li toħloq bażi ta 'dejta riproduċibbli billi tiffissa l-verżjoni tad-dejta u ż-żerriegħa ta' l-addoċċ
Il-qawwa reali ta 'kull sistema ta' tagħlim tal-magni tinsab fid-dejta, mhux fil-mudell. Inġiniera b'esperjenza jafu: "żibel ġewwa, żibel barra" - anke l-aktar mudell avvanzat mitmugħ dejta ħażina se jipproduċi riżultati ħżiena. F'din l-unità, nistabbilixxu l-pipeline tad-dejta (pipeline tad-dejta: il-katina ta 'passi li jagħmlu d-dejta mhux ipproċessata lesta għat-taħriġ tal-mudell) tarf sa tarf u nitgħallmu f'liema pass ta' din il-linja nistgħu nużaw l-intelliġenza artifiċjali b'mod sikur.
Passi tal-linja tad-data
Linja tad-dejta tipikament tgħaddi minn dawn il-waqfiet:
- Ġbir (inġestjoni): Ġbid tad-dejta minn sorsi (database, API, log files, streams tal-avvenimenti).
- Validazzjoni: Iċċekkjar jekk id-dejta tikkonformax mal-iskema, it-tipi u l-firxiet mistennija.
- Tindif: Immaniġġjar ta 'valuri neqsin, rekords duplikati, outliers, u inkonsistenzi.
- Trasformazzjoni: Tibdil ta' data mhux ipproċessata f'attributi — bħall-konverżjoni ta' varjabbli kategoriku għal numru, li tipproduċi "jum tal-ġimgħa" minn data.
- Qsim: Separazzjoni f'settijiet ta' taħriġ, validazzjoni u ttestjar.
- Verżjoni: Ir-reġistrazzjoni ta' liema mudell ġie mħarreġ b'liema data.
L-intelliġenza artifiċjali tiffranka l-ħin billi tiġġenera abbozzi u ideat tal-kodiċi, speċjalment fil-passi 2, 3 u 4. Iżda deċiżjonijiet bħal liema rekord tarmi, liema valur nieqes biex timla u kif, jappartjenu lill-inġinier li jaf id-data; minħabba li tindif mhux xieraq jista 'jinjetta bias moħbi fil-mudell.
Verifika tad-dejta: difiża bikrija tal-linja
L-iżbalji l-aktar għaljin jibdew mhux fil-produzzjoni, iżda fejn il-pass tal-verifika jinqabeż. Il-validazzjoni tal-iskema awtomatikament tikkontrolla jekk kull lott ta' dejta li jkun dieħel jikkonformax mal-istruttura mistennija. Pereżempju, il-kolonna tal-età hija bejn 0-120, il-qasam tal-email huwa vojt, in-numru ta 'kolonni nbidel?
Tip: Poġġi l-verifika fil-bidu tal-linja. Aktar ma tinqabad data korrotta malajr, irħas tkun li tissewwa. Żball ta' schema maqbud fil-produzzjoni jiswa ħafna drabi aktar minn wieħed maqbud fil-fażi tat-taħriġ.
Ikteb skema ta' validazzjoni b'pandera (jew Aspettattivi Kbar) għall-iskema tad-dejta li ġejja. Kolonni u regoli:- user_id: numru sħiħ, ma jistax ikun null, uniku- età: numru sħiħ, ma jistax ikun minn 0-120- signup_date: data, ma jistax ikun fil-futur- pajjiż: kategoriku, mis-sett {TR, DE, US, UK}- bilanċ: deċimali, ma jistax ikun negattiv Ipproduċi messaġġ ta’ żball sinifikanti għal kull ksur tar-regola. Uri t-test b'linja miksura eżempju fl-aħħar tal-kodiċi.
Tindif: huwa l-bniedem li jiddeċiedi
Il-valuri neqsin huma realtà ta' kull sett ta' dejta. Modi kif timmaniġġja:
- Tħassir: twarrab ringiela/kolonna b'rata nieqsa għolja ħafna. Iżda hemm riskju ta 'telf ta' informazzjoni u preġudizzju.
- Imputazzjoni: Imputazzjoni b'medja, medjan, valur l-aktar frekwenti, jew tbassir ibbażat fuq mudell.
- Bandiera: Il-ħażna ta 'informazzjoni "kienet nieqsa" f'kolonna tal-bandiera separata - xi drabi l-nieqes innifsu huwa s-sinjal.
Liema waħda hija korretta jiddependi fuq il-problema. F'sett tad-dejta medika, l-informazzjoni dwar il-"valur tad-demm mhux imkejjel" għandha tiġi ppreservata aktar milli titħassar; Għax anke r-rifjut tat-tabib li jieħu l-kejl huwa sinjal. AI jistgħu jagħtuk għażliet u kodiċi; Inti tagħżel liema waħda taqbel mar-realtà tal-qasam.
Pront dgħajjef / Pront qawwi
Pront dgħajjef: "Imla l-valuri neqsin."
Prompt qawwi: "Hemm valuri neqsin fil-kolonni li ġejjin: dħul (12% nieqes, distribuzzjoni distorta lejn il-lemin), last_login (30% nieqes). Issuġġerixxi li timla d-dħul b'medjan, imma spjega għaliex medjan u mhux medja. Għal last_login, jassumi li l-valur nieqes jista' jkun sinifikanti (l-utent jista' qatt ma illoggja minflok ma qies il-ġenerazzjoni flok illoggjat). il-preġudizzju jew l-approċċ iżid mal-mudell."
Differenza: pront qawwi jagħti informazzjoni ta 'distribuzzjoni u tifsira taż-żona; l-intelliġenza artifiċjali tipproduċi appoġġ tad-deċiżjonijiet minflok mili mekkaniku.
Tikkettar: il-kwalità hija mkejla
Fit-tagħlim sorveljat (tagħlim li fih jingħataw eżempji bit-tweġibiet korretti), dak li jitgħallem il-mudell huma tikketti (tikketti: it-tweġiba t-tajba għal kull eżempju). Il-kwalità tat-tikketta tistabbilixxi limitu - jekk in-nies jittikkettjaw b'mod inkonsistenti, il-mudell jitgħallem b'mod inkonsistenti.
Ftehim bejn l-annotaturi jkejjel ir-rata li biha nies differenti jagħtu l-istess tikketta lill-istess kampjun; Huwa espress b'koeffiċjent bħal Kappa ta' Cohen. Konformità baxxa tindika jew il-kompitu mhuwiex ċar jew l-istruzzjoni hija dgħajfa.
L-intelliġenza artifiċjali tgħin fit-tikkettar b'żewġ modi: (1) tfassal il-linja gwida tal-annotazzjoni, (2) tikkettjar minn qabel u li l-bniedem jikkoreġiha biss. Iżda t-tikkettar minn qabel b'LLM għandu nasa: żball sistematiku tal-mudell jista 'jnixxi fis-sett kollu tat-tikketti. Huwa għalhekk li l-bnedmin dejjem jiċċekkjaw xi wħud mit-tikketti tal-LLM.
Attenzjoni: Tikkunsidrax it-tikketti prodotti minn LLM bħala "verità tal-art". Iċċekkja kampjun b'bniedem u kejjel l-adattament LLM-bniedem. Jekk il-konformità tkun baxxa, it-tikkettar minn qabel jagħmel aktar ħsara milli ġid.
Diviżorju tad-dejta: jipprevjeni t-tnixxija
L-iżball l-aktar perikoluż meta tinqasam id-dejta f'taħriġ/validazzjoni/ittestjar huwa t-tnixxija tad-dejta: it-taħlit tal-informazzjoni tat-test fit-taħriġ. Eżempji:
- Ir-rekords tal-istess utent jaqgħu kemm fit-taħriġ kif ukoll fl-ittestjar (tnixxija tal-grupp).
- L-użu tal-futur fit-taħriġ u l-passat fl-ittestjar f'serje ta 'żmien (tnixxija temporanja).
- Il-kalkolu tal-parametri tal-iskala (normalizzazzjoni) mid-dejta kollha u mbagħad id-diviżjoni.
Il-qsim temporali huwa essenzjali għal problemi li jinvolvu l-ħin: ħarreġ mal-passat, ittestja fil-futur. Il-qsim bl-addoċċ jagħti benefiċċju "futur" li qatt mhu se jiġri fil-produzzjoni u jgħolli l-metriċi.
Verżjoni tad-dejta u riproduċibbiltà
"B'liema data tħarreġna dan il-mudell?" Li tkun kapaċi twieġeb il-mistoqsija xhur wara hija l-karatteristika tal-inġinerija ML serja. Il-verżjoni tad-dejta jaħżen kull snapshot tad-dejta b'ID (hash jew tikketta tal-verżjoni). Għodod bħal DVC (Kontroll tal-Verżjoni tad-Data) data tal-verżjoni bħall-kodiċi.
Biex tirriproduċi r-riżultat ta 'mudell, għandhom jiġu ffissati tliet affarijiet: il-verżjoni tad-dejta, il-verżjoni tal-kodiċi, u ż-żerriegħa każwali. Mhuwiex possibbli li tgħid "Ksibt l-istess riżultat" mingħajr dan it-trio. Se napprofondixxu r-Riproduċibbiltà fl-unità 11; iżda l-iffissar taż-żerriegħa fil-pipeline tad-dejta jibda minn hawn.
tliet każijiet żgħar
Każ 1 - Il-validazzjoni tal-iskema tal-ġurnata ssejvjata. Meta tim ikkonverti qasam tal-prezz tas-sistema upstream minn pennies għal lira, il-prezzijiet kollha naqsu 100 darba. Il-validazzjoni tal-iskema ċaħdet il-lott bħala "prezz barra mill-firxa" u l-mudell ma ġiex imħarreġ b'dejta korrotta. Mingħajr verifika, l-iżball ikun innutat biss fil-produzzjoni, bi tbassir żbaljat.
Każ 2 - Preġudizzju ta' mili mhux korrett. F'mudell ta 'kreditu, valuri ta' dħul nieqsa kienu mimlija bil-medja. Iżda d-dħul nieqes kien fil-biċċa l-kbira fil-grupp bi dħul baxx; il-medja artifiċjalment "arrikkixxi" dan il-grupp, u l-mudell offrahom limitu għoli b'mod inġust. Irranġa l-problema bil-bandiera medjan + nieqes.
Każ 3 - Tnixxija temporali. Mudell tat-tbassir tad-domanda deher kbir fuq is-sett tat-test (preċiżjoni ta '95%) iżda waqa' fil-produzzjoni. Għaliex: minħabba qsim każwali, il-mudell kien ra l-futur. Il-bidla għall-binning temporali niżlet l-eżattezza tat-test għal 78% - iżda dik kienet prestazzjoni reali u żammha fil-produzzjoni.
Mudelli kopjabbli
Aqsam is-sett tad-dejta li ġej fi tliet settijiet: taħriġ/validazzjoni/ittestjar.Restrizzjoni: Din hija serje ta’ żmien; Uża qsim TEMPORALI (ferrovija fil-passat, ttestja fil-futur). Prevjeni tnixxija tal-lott: għandek l-istess "customer_id" biss f'grupp wieħed. Ikkalkula l-parametri tal-iskala BISS mis-sett tat-taħriġ, imbagħad applika għal kulħadd. Stampa kemm fadal linji fil-kodiċi f'kull pass u żid affermazzjoni li tiċċekkja għal ebda tnixxija.
Ikteb abbozz ta' linja gwida ta' annotazzjoni għal dan il-kompitu ta' tikkettar.Kompitu: [eż. Ittikketta r-reviżjoni tal-klijenti pożittiva/negattiva/newtrali]Ikkjarifika l-każijiet tal-fruntiera: sarkasm, emozzjoni mħallta, kif tittikkettja reviżjoni mhux relatata mal-prodott?Agħti 5 eżempji u 3 każijiet edge diffiċli li se jżidu l-konsistenza bejn it-taggers.
Ipproduċi lista ta’ kontroll tar-riproduċibbiltà għal dan il-pipeline tad-dejta:- Kif għandha tiġi ffissata l-verżjoni tad-dejta?- Liema żrieragħ ta’ każwali għandhom jiġu stabbiliti fejn?- Liema metadejta (hash tad-dejta, għadd ta’ ringieli, data) għandha tiġi illoggjata? Il-kodiċi tal-bażi tiegħi: [lingwa/librerija]
Iċċekkja dan il-kodiċi tat-tindif għal tnixxija tad-dejta. Ħares lejn dan speċifikament: il-parametri tal-iskala/kodifikazzjoni huma kkalkulati QABEL ma jinqasam? Hemm xi statistika kkalkulata mid-dejta kollha jew sempliċement taħriġ? Kodiċi: [kodiċi]
Tabella ta' deċiżjoni: strateġija ta' valur nieqes
Status
Approċċ rakkomandat
Għaliex
Distribuzzjoni numerika u distorta
imla bil-medjan
Il-medja hija affettwata minn outliers
Numeriku, simetriku
imla bil-medja
Jipproteġi l-informazzjoni
In-nuqqas jista' jkun sinifikanti
Kolonna tal-bandiera + imla
In-nuqqas huwa sinjal
Rata nieqsa > 60%
Evalwa/armi l-kolonna
L-istorbju huwa wisq
Kategoriku
Kategorija "Mhux magħrufa".
Ma toħloqx maġġoranza artifiċjali
Żbalji komuni
- Taqbeż il-verifika. Mingħajr kontroll tal-iskema, id-dejta korrotta tidħol fis-skiet.
- Skalar qabel il-qsim. Tnixxi l-istatistika tat-test fl-edukazzjoni.
- Bl-użu ta 'qsim bl-addoċċ f'serje tal-ħin. Jipproduċi metriċi għolja foloz.
- Tafda bl-addoċċ tikketti LLM. L-iżball sistematiku jinfirex mad-dejta kollha.
- Mhux issalva l-verżjoni tad-data. Ma tistax tirriproduċi r-riżultat.
- Mili mekkaniku b'medja. Tinjora t-tifsira tal-qasam, iżid preġudizzju.
Fil-qosor
Il-pipeline tad-dejta huwa l-pedament tas-sistema ML u jistħoqqlu aktar sforz mill-mudell. Poġġi l-verifika fil-quċċata; tieħu deċiżjonijiet dwar it-tindif u t-tikkettar b'għarfien tad-dominju; jipprevjeni t-tnixxija (grupp u temporali) fil-kompartiment; tiffissa l-verżjoni tad-data u ż-żerriegħa. L-AI tiġġenera kodiċi u ideat fuq din il-linja, iżda huwa f'idejk li tiddeċiedi liema data tipproċessa u kif — għax kull deċiżjoni ħażina hawn tgħaddi fil-mudell bħala difett moħbi.
Kompitu ta' applikazzjoni
Ikteb skema ta' validazzjoni (pandera/Great Expectations) fuq is-sett tad-dejta tiegħek stess u żid deliberatament ringiela ħażina u uri li nqabad. Imbagħad aqsam id-dejta b'mod temporali jew f'lott, ikkalkula l-parametri tal-iskala mit-taħriġ biss, u vverifika li m'hemm l-ebda tnixxija b'asserzjoni. Ikteb il-verżjoni tad-dejta u l-għadd tar-ringieli f'fajl tal-metadejta.
lista ta' kontroll
- [ ] Il-validazzjoni tal-iskema tmur fil-quċċata tal-linja.
- [ ] Għażilt l-istrateġija tal-valur nieqes ibbażata fuq it-tifsira tal-qasam, ma imliehiex mekkanikament.
- [ ] Jien kejlt il-kwalità tat-tikketta (konformità); I ċċekkjat mill-bniedem tags LLM.
- [ ] I evitati tnixxija tal-grupp u temporali fil-ħġieġa.
- [ ] Skala/kodifikazzjoni kkalkulata mis-sett tat-taħriġ biss.
- [ ] Verżjoni tad-dejta, numru ta' ringieli u żerriegħa rreġistrati.