Qligħ:
- Kapaċità li tirrikonoxxi tipi ta’ tnixxija ta’ dejta (mira, ħin, ipproċessar minn qabel, ringiela raggruppata) u tistaqsi l-punteġġ 'tajjeb wisq biex ikun veru' bħala allarm
- Kapaċità li tipprevjeni t-tnixxija b'separazzjoni bikrija tas-sett tat-test, il-pipeline u d-diviżjoni korretta (kronoloġika/raggruppata)
- Kapaċità li tagħmel l-analiżi riproduċibbli b'żerriegħa fissi, kontroll tal-verżjoni u tneħħija ta 'passi manwali
Hemm żewġ żbalji li jaħlu l-aktar sforz fix-xjenza tad-dejta, u t-tnejn huma insidjużi għax iwasslu għal diżastru eżatt meta kollox "jidher li hu tajjeb." L-ewwel hija t-tnixxija tad-dejta: il-mudell jaħdem tajjeb fuq is-sett tat-test iżda jiġġarraf fil-produzzjoni. It-tieni hija l-irproduċibbiltà: inti tmexxi analiżi sitt xhur wara u tikseb riżultat kompletament differenti. Din l-unità hija ddedikata biex tkun taf u tevita dawn iż-żewġ nases fil-fond. L-AI tista' żżid iż-żewġ riskji (jiġġenera malajr, tissuġġerixxi tnixxijiet moħbija, tagħmilha aktar faċli għalik biex tieħu passi manwali) iżda tista' wkoll tnaqqashom jekk tintuża b'mod korrett. Id-differenza hija fid-dixxiplina.
Tnixxija tad-dejta: mudell clairvoyant
It-tnixxija tad-dejta hija meta l-mudell jara informazzjoni waqt it-taħriġ li mhux se jkollu fil-ħin tat-tbassir attwali. Il-mudell "cheats" b'din l-informazzjoni, jidher tajjeb fuq is-sett tat-test, iżda jiġġarrfu fil-produzzjoni mingħajr dik l-informazzjoni. Is-sintomu ta 'tnixxija huwa kważi dejjem l-istess: wisq tajjeb biex ikun veru. Qabel ma tiċċelebra meta tara preċiżjoni ta '99%, għandek tfittex tnixxijiet.
It-tipi ewlenin ta 'tnixxija huma:
1. Tnixxija tal-għan: Karatteristika hija riżultat tal-għan. Fit-tbassir "kien ikkanċellat", il-kolonni "data tal-kanċellazzjoni" jew "ammont ta' rifużjoni" huma r-riżultat tal-mira; Huma jimtlew biss meta r-riżultat ikun ċar.
2. Tnixxija tal-ħin: Inġibu informazzjoni futura għall-passat. Meta tikkalkula l-"medja tal-aħħar 30 jum", inkludi l-ġranet wara l-jum tat-tbassir, jew jaqsam is-serje tal-ħin b'mod każwali.
3. Tnixxija ta 'qabel l-ipproċessar: Trasformazzjonijiet ta' tagħlim bħal skalar, mili, kodifikazzjoni mid-dejta kollha qabel il-partizzjoni tat-taħriġ/ittestjar. Il-medja tad-dejta tat-test tinterferixxi mat-taħriġ.
4. Tnixxija ta' ringiela duplikata/raggruppata: Ringieli li jappartjenu lill-istess persuna huma preżenti kemm fit-taħriġ kif ukoll fl-ittestjar (żewġ żjarat tal-istess pazjent f'settijiet differenti). Il-mudell jimmemorizza l-persuna.
Tip ta 'tnixxija
Kif titwieled
Kif tipprevjeni
tnixxija fil-mira
Kolonna li hija r-riżultat tal-mira
Test "Għandi fil-ħin tat-tbassir".
tnixxija tal-ħin
Inġibu l-futur għall-passat
Diviżjoni kronoloġika, kontroll tat-tieqa
Tnixxija tal-ipproċessar minn qabel
Konverżjoni minn qabel maqsuma
Pipeline, tajbin biss mit-taħriġ
Tnixxija ta' ringiela raggruppata
L-istess unità f'żewġ settijiet
Qsim bil-grupp (GroupKFold)
L-unika dixxiplina biex tipprevjeni t-tnixxija
Is-soluzzjoni komuni għat-tipi kollha ta’ tnixxijiet titbaxxa għal sentenza waħda: Iżola s-sett tat-test kemm jista’ jkun kmieni biex timita l-futur reali, u “tgħallimh” xejn. Fil-prattika, dan ifisser: l-ewwel jaqsam, imbagħad titgħallem it-trasformazzjonijiet kollha biss mit-taħriġ u applikahom f'pipeline (struttura li tiġbor il-passi kollha f'katina waħda). Għal kull karatteristika, staqsi l-mistoqsija "għandi din l-informazzjoni fil-ħin tat-tbassir?" Jekk hemm ħin, aqsam kronoloġikament; Jekk l-istess unità hija ripetittiva, aqsam bi grupp.
Attenzjoni: L-aktar aspett perikoluż ta 'tnixxija huwa li tippreżenta ruħha bħala suċċess. Mudell ħażin ovvjament jipproduċi riżultati ħżiena u jiġi nnutat; Mudell leaked jaħdem tajjeb, jogħġob lil kulħadd, u jitqiegħed fil-produzzjoni — hemmhekk jibda l-kollass. Huwa għalhekk li riżultat "tajjeb ħafna" huwa kawża ta' allarm, mhux ċelebrazzjoni.
Riproduċibbiltà: tikseb l-istess riżultat darbtejn
Ir-riproduċibbiltà hija l-abbiltà li tikseb l-istess riżultat meta terġa’ tmexxi analiżi f’ħin ieħor, fuq magna oħra. Mingħajr dan, l-analiżi tiegħek hija inċidentali, mhux xjentifika. Kawżi u soluzzjonijiet ewlenin li jfixklu r-riproduċibilità:
Passi manwali: Tibdel manwalment ċellula f'Excel, teditja chart manwalment. Soluzzjoni: għandek kull pass fil-kodiċi.
Randomness mhux iffissat: Taħriġ tal-mudell, teħid ta 'kampjuni, qsim jinvolvu każwali. Soluzzjoni: tiffissa ż-żerriegħa bl-addoċċ (il-valur inizjali tal-ġeneratur każwali) (random_state=42).
Bidliet fil-verżjoni: Ir-riżultat jista' jinbidel meta tinbidel il-verżjoni tal-librerija. Soluzzjoni: tiffissa dipendenzi (requirements.txt, fajl tal-ambjent).
Ebda żamma ta 'rekords: Mhuwiex ċar liema data, liema kodiċi, liema parametru ntuża. Soluzzjoni: kontroll tal-verżjoni (Git — is-sistema li ssalva l-verżjonijiet kollha tal-kodiċi) u l-verżjoni tad-dejta.
"Taħdem biss fuq il-magna tiegħi": Soluzzjoni: iddokumenta l-ambjent, uża kontenituri (Docker) jekk possibbli.
tliet każijiet żgħar
Każ 1 — Tnixxija fil-mira. Analiżi tas-saħħa dehret il-kolonna "medikazzjoni ta 'wara l-ħruġ" fit-tbassir "jekk il-pazjent hux se jerġa' jiġi ammess." Din il-kolonna kienet mimlija biss wara li l-pazjent kien rilaxxat. Il-mudell ta 96%, fil-produzzjoni 61%. Il-proġett ta’ 8 ġimgħat kien żibel. Lezzjoni: staqsi kull karatteristika "huwa preżenti fil-ħin tat-tbassir?"
Każ 2 — Tnixxija tal-ipproċessar minn qabel. Tim wieħed kabbar id-dejta kollha u mbagħad qasmetha. Il-medja tad-dejta tat-test kienet involuta fl-iskala. punteġġ CV 89%, produzzjoni attwali 76%. Is-suċċess falz sparixxa meta mort għal Pipeline u tgħallimt dwar trasformazzjonijiet biss mit-taħriġ. Lezzjoni: jaqsam l-ewwel, ittrasforma wara.
Każ 3 — Nuqqas ta' riproduzzjoni. Analista ried jaġġorna t-tabella li ppreżenta lill-management tliet xhur wara iżda ma setax jiftakar kif ipproduċiha; ħafna passi saru manwalment f'Excel. Ir-riżultat ma ħadimx u l-fiduċja tħawwad. Lezzjoni: l-ebda passi manwali, kollox huwa fil-kodiċi u Git.
Erba' mudelli li jistgħu jiġu kkupjati
1) Spezzjoni tat-tnixxija:
Ir-rwol tiegħek: spettur tat-tnixxija. Mira: "churn" (0/1), data ta' referenza tat-tbassir: data_rekord. Jiena nagħtik din il-lista ta 'karatteristiċi. Għal KULL karatteristika: (a) hija konsegwenza tal-għan, (b) hija disponibbli għalija fil-ħin tat-tbassir, (c) it-tieqa taż-żmien tinkludi l-futur? Immarkaha bħala "mhux sigur/suspettuż/tnixxija" u ikteb raġuni. Karatteristiċi: [lista]
2) Pipeline mingħajr tnixxija:
Twaqqaf sklearn Pipeline: l-ewwel qasma ferrovija/test (stratifikat, żerriegħa = 42), IMBAGĦAD waħħal il-preproċessar kollu (imputa, skala, kodifika) fil-pipeline mit-taħriġ BISS. Spjega għaliex il-kodiċi huwa mingħajr tnixxija, liema pass tgħallem fejn.
3) Kodiċi tal-lista ta' kontroll tar-riproduċibbiltà:
Irrid nagħmel l-analiżi tiegħi riproduċibbli. Issuġġerixxi kodiċi/struttura li żżid: (1) żerriegħa iebsa għal kull każwali, (2) verżjonijiet tal-librerija tal-istampar użati, (3) tikketta tad-data/verżjoni għad-data u l-output. Agħtini wkoll lista ta' kontroll biex niżgura li ma jkunx hemm passi manwali.
4) Partizzjoni raggruppata (tnixxija ta' l-istess unità):
Fid-dejta l-istess customer_id jeżisti f'ringieli multipli. Agħmel qasma (GroupKFold jewGroupShuffleSplit, group = customer_id) li JIPPROVjeni lill-istess klijent milli jkun kemm fit-taħriġ kif ukoll fl-ittestjar. Inkludi l-kodiċi biex tivverifika li l-ebda klijent ma jkun fiż-żewġ settijiet wara l-qsim.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Il-mudell tiegħi rritorna preċiżjoni ta '98%, hux kbir? Ottimizza l-kodiċi.
Niċċelebraw 98% jaħbi t-tnixxija. Qabel ma jiġi ottimizzat, għandu jiġi mistoqsi jekk dan il-punteġġ huwiex reali jew le.
Pront qawwi:
Ir-rwol tiegħek: spettur tat-tnixxija. Il-mudell tiegħi jirritorna preċiżjoni ta '98% fuq is-sett tat-test, li tinstema '"wisq tajjeb biex tkun vera" għalija. Iċċekkja: (1) huma xi karatteristiċi ir-riżultat tal-mira, (2) huma l-konverżjonijiet magħmula qabel il-qsim, (3) huma l-istess unità f'żewġ settijiet, (4) hemm xi tnixxijiet ħin. Elenka kwalunkwe punti suspettużi; Iffoka fuq is-sejba tat-tnixxija, mhux l-iffissar tal-punteġġ.
Hawnhekk, punteġġ għoli huwa ttrattat bħala sinjal li għandu jiġi mistoqsi, mhux li jiġi ċċelebrat.
Żbalji komuni
- Niċċelebraw ir-riżultat "tajjeb ħafna". Punteġġ wisq tajjeb biex ikun veru huwa twissija ta’ tnixxija, mhux kisba.
- It-tagħlim tat-trasformazzjoni mid-dejta kollha qabel id-diviżjoni. L-iktar tnixxija komuni; Aqsam l-ewwel bil-pipeline.
- Qsim tas-serje tal-ħin bl-addoċċ. Il-mudell jara l-futur; Id-diviżjoni kronoloġika hija obbligatorja.
- Li tħalli l-istess unità f'żewġ settijiet. Il-mudell jimmemorizza l-persuna; Aqsam bil-grupp.
- Mhux tiddaħħal manwalment u tikteb fil-kodiċi. L-analiżi ssir irriproduċibbli; kollox għandu jkun fil-kodiċi u Git.
Tip: Ikteb żewġ sentenzi "rahan ta 'unur" fil-bidu tal-proġett tiegħek: "Jien ma mess is-sett tat-test bl-ebda mod qabel ma narah fil-produzzjoni. Kull pass huwa fil-kodiċi u ż-żerriegħa hija ffissata." Jekk ma tistax tiffirma dawn iż-żewġ sentenzi onestament, ir-riżultat tiegħek għadu mhux affidabbli.
Fil-qosor
It-tnixxija tad-dejta u n-non-riproduċibbiltà huma ż-żewġ żbalji silenzjużi l-aktar għaljin fix-xjenza tad-dejta. It-tnixxija hija l-viżjoni tal-mudell tal-futur u tippreżenta ruħha bħala suċċess falz; Is-soluzzjoni hija li taqsam is-sett tat-test kmieni, titgħallem it-trasformazzjonijiet biss mit-taħriġ (pipeline), staqsi lil kull karatteristika l-mistoqsija "Għandiha fil-ħin tat-tbassir" u tagħmel qsim korrett (kronoloġiku/raggruppat). Ir-riproduċibilità qed tkun kapaċi tikseb l-istess riżultat darbtejn; is-soluzzjoni tiegħu hija li tneħħi manwalment il-passi, pin iż-żerriegħa, tiffriża l-verżjonijiet, u żżomm kollox f'Git. L-IA tista' jew iżżid jew tnaqqas dawn ir-riskji; Hija d-dixxiplina tiegħek li tiddetermina.
Kompitu ta' applikazzjoni
Ħu l-lista tal-karatteristiċi ta 'mudell li bnejt (jew wieħed ipotetiku) u staqsi lil kull karatteristika l-mistoqsija "għandi din l-informazzjoni fil-ħin tat-tbassir?" bil-miktub; Sib mill-inqas kandidat wieħed ta' tnixxija. Imbagħad imla lista ta 'kontroll biex tagħmel l-analiżi tiegħek riproduċibbli: iż-żerriegħa hija ffissata, hemm passi manwali, huma l-verżjonijiet irreġistrati, huma f'Git. Waħħal in-nuqqasijiet.
lista ta' kontroll
- [ ] Staqsejt il-punteġġ "tajjeb wisq biex ikun veru" bħala twissija ta' tnixxija?
- [ ] Tgħallimt it-trasformazzjonijiet kollha wara l-qsim, biss mit-taħriġ?
- [ ] Qsamt skont l-istruttura tal-ħin/grupp (kronoloġika/GroupKFold)?
- [ ] Għamilt kull każwali ripetibbli b'żerriegħa fissa?
- [ ] Neħħejt il-passi manwali u żammejt kollox fil-kodiċi u l-kontroll tal-verżjoni?