Qligħ:
- Kapaċità li tiddefinixxi t-tip ta' problema (klassifikazzjoni, rigressjoni, raggruppament) u kriterji ta' suċċess skont l-ispiża reali tax-xogħol
- Kapaċità li taqsam id-dejta b'mod onest (mingħajr ma tmiss is-sett tat-test; kronoloġikament fis-serje taż-żmien) u tistabbilixxi bażi ta' evalwazzjoni mingħajr tnixxija
- Kapaċità li tagħżel mudell interpretabbli billi tibda b'linja bażi sempliċi u żżid il-kumplessità biss meta jkun jixraqlu.
S'issa ġbarna data, naddafha, esplorajna, u pproduċejna karatteristiċi. Issa naslu għax-xogħol reali, nibnu mudell. Mudell huwa struttura matematika li titgħallem mudell mid-dejta u tipproduċi tbassir għal sitwazzjonijiet ġodda. Iżda l-aktar parti kritika tal-bini ta' mudell mhijiex il-kodiċi innifsu, iżda ż-żewġ deċiżjonijiet li jippreċeduh: id-definizzjoni tal-problema t-tajba u l-qsim tad-dejta b'mod korrett. AI hija konsulent qawwi fl-għażla tal-algoritmi, il-kitba tal-kodiċi, u l-irfinar tal-parametri; iżda huwa f’idejn wieħed li jiddeċiedi x’se jbassar u xi jfisser is-suċċess. Problema definita ħażin mhux se taħdem anke b'mudell miktub perfettament.
Definizzjoni tal-problema l-ewwel: x'nbassru
Kull xogħol ta 'mudellar jibda b'mistoqsija, u din il-mistoqsija tiddetermina t-tip ta' mudell. Klassifikazzjoni — l-output huwa kategorija: "Dan il-klijent se jitlaq jew jibqa'?", "Din it-tranżazzjoni hija falza?". Rigressjoni (bl-Ingliż rigressjoni - l-output huwa numru): "Kemm tiswa din id-dar?", "Kemm se jiġu ordnijiet ix-xahar id-dieħel?". Raggruppament (taqsam dejta mhux tikkettata fi gruppi naturali): "F'kemm huma maqsuma segmenti naturali l-klijenti tiegħi?".
It-tieni parti tad-dikjarazzjoni tal-problema hija l-kriterju tas-suċċess: xi jfisser li dan il-mudell ikun "tajjeb"? F'mudell ta' frodi, it-telf ta' frodist jiswa ħafna iktar milli jimblokka aċċidentalment klijent onest; Għalhekk, mhux "eżattezza ġenerali" iżda "rata ta' qbid tal-frodisti" tiġi fuq quddiem. Jekk ma tiddefinixxix dan il-kriterju mill-bidu, flimkien mas-sid tan-negozju, tispiċċa b'mudell "preċiż ħafna" li ma jaħdimx (nidħlu aktar fil-fond fil-metriċi f'Unità 7).
Attenzjoni: "Eżattezza" tista' tkun qarrieqa. Jekk 10 minn 1000 tranżazzjoni huma frawdolenti, mudell stupidu li jgħid "l-ebda waħda mhi frawdolenti" se jagħti preċiżjoni ta '99% iżda ma jaqbadx frodi wieħed. Agħżel kriterji ta 'suċċess ibbażati fuq l-ispiża reali tal-problema.
Taħriġ/qsim tat-test: eżami onest tal-mudell
L-ittestjar ta’ mudell bid-dejta li jkun tgħallem huwa bħal li jistaqsi lill-istudent l-istess mistoqsijiet li studja fl-eżami; Jġib marki għoljin imma ma jurix dak li verament jaf. Allura aħna naqsmu d-dejta fi tnejn (ħafna drabi tlieta):
- Sett ta 'taħriġ (sett ta' taħriġ bl-Ingliż, ġeneralment 70-80%): Il-mudell jitgħallem dwar dan.
- Sett tat-test (sett tat-test, ġeneralment 20-30%): Il-mudell ma jara dan xejn; prestazzjoni reali hija mkejla hawn.
- Sett ta 'validazzjoni: Sett intermedju użat għall-issettjar tal-mudell (liema parametru huwa aħjar); biex iżżomm is-sett tat-test "nadif".
L-aktar regola bażika: is-sett tat-test qatt ma jintmess waqt it-taħriġ. Skalar, kodifikazzjoni, għażla tal-karatteristiċi — kollha sempliċiment jitgħallmu mis-sett tat-taħriġ, imbagħad jiġu applikati għall-ittestjar (prinċipju tat-tnixxija minn Unit 5). Is-sett tat-test huwa l-ewwel darba li l-mudell jara d-dinja reali; Jekk tixgħel kmieni wisq qatt ma tkun taf il-prestazzjoni vera.
Eċċezzjoni tas-serje tal-ħin: Jekk id-dejta tiegħek tiddependi mill-ħin (bejgħ, istokk tas-suq, domanda), il-qsim każwali ma jsirx. Minħabba li l-qsim każwali jikkawża li l-mudell jara l-futur u jbassar il-passat - dan huwa tnixxija. Minflok, aqsam kronoloġikament: ħarreġ mal-perjodu l-antik, ittestja mal-perjodu l-ġdid.
Għażla tal-algoritmu: minn sempliċi għal kumpless
L-iżball l-aktar komuni ta 'dawk li jibdew huwa li tibda bl-aktar mudell kumpless. L-approċċ korrett huwa l-oppost: l-ewwel tistabbilixxi linja bażi sempliċi. "dejjem raden il-klassi tal-maġġoranza" fi klassifikazzjoni; "dejjem stima l-medja" f'rigressjoni. Dan il-mudell stupid jagħti linja bażi; Jekk il-mudell attwali tiegħek ma jistax jgħaddi dan, hemm problema. Imbagħad imxi għal mudelli sempliċi u interpretabbli.
mudell
Tip ta' problema
punt qawwi
dgħjufija
Linja bażi (maġġoranza/medja)
it-tnejn
Jagħti benchmark
ma titgħallimx
Rigressjoni loġistika
Klassifikazzjoni
Sempliċi, interpretabbli
Relazzjoni lineari biss
Rigressjoni lineari
rigressjoni
Sempliċi, veloċi
suppożizzjoni lineari
siġra tad-deċiżjonijiet
it-tnejn
interpretabbli
Memorizations faċli
foresta każwali
it-tnejn
Qawwija, durabbli
Inqas interpretabbli
Spinta tal-gradjent (XGBoost eċċ.)
it-tnejn
qawwija ħafna
Diffiċli biex taġġusta, riskju ta 'memorizzazzjoni
Regola: agħżel l-aktar mudell sempliċi "tajjeb biżżejjed". L-interpretabilità hija aktar siewja mill-poter fil-biċċa l-kbira tal-kuntesti tan-negozju; Huwa aħjar li tispjega rifjut ta 'self "għax il-proporzjon tad-dejn tiegħek għad-dħul huwa għoli" milli "minħabba li l-kaxxa s-sewda qalet hekk."
tliet każijiet żgħar
Każ 1 — Definizzjoni mhux korretta tal-problema. Tim bena mudell ta 'klassifikazzjoni bbażat fuq "huwa l-klijent sodisfatt" iżda għażel "eżattezza" bħala l-kriterju ta' suċċess. Fid-dejta, 88% tal-klijenti kienu sodisfatti; Il-mudell kiseb preċiżjoni ta '88% billi sejjaħ lil kulħadd "sodisfatt" u qatt ma qabad lin-nies mhux sodisfatti - minkejja li l-għan reali kien li ssibhom. Lezzjoni: agħżel kriterji ta 'suċċess ibbażati fuq skop reali.
Każ 2 — Tnixxija tal-ħin fil-kompartiment. Fi proġett ta' tbassir tad-domanda, id-dejta kienet maqsuma b'mod każwali. Il-mudell ta preċiżjoni ta '93% iżda waqa' fil-produzzjoni għax fit-taħriġ kien bassret Jannar, imbagħad Novembru, b'dejta ta 'Diċembru - kien ra l-futur. Meta qlibna għal diviżjoni kronoloġika, il-prestazzjoni attwali żdiedet għal 74%. Lezzjoni: diviżjoni kronoloġika f'serje taż-żmien.
Każ 3 — Komplessità bla bżonn. Analista wieħed beda direttament b'netwerk newrali profond, irranġah għal ġimgħat, u kiseb preċiżjoni ta '81%. Imbagħad kollega kiseb 80% b'20 linja ta 'rigressjoni loġistika - ħafna aktar mgħaġġla, interpretabbli u aktar faċli biex tinżamm. Lezzjoni: ibda b'linja bażi u mudell sempliċi, żid il-kumplessità meta jixraqlu.
Erba' mudelli li jistgħu jiġu kkupjati
1) Tiċċara d-definizzjoni tal-problema:
Ir-rwol tiegħek: konsulent tal-immudellar. Għinni niddefinixxi dan ix-xogħol: "Irrid inaqqas il-klijentela." Staqsini u ċċara: (1) din hija klassifikazzjoni jew rigressjoni, (2) x'inhi eżattament il-varjabbli fil-mira u kif għandha tiġi definita, (3) x'għandhom ikunu l-kriterji ta 'suċċess u għaliex. Id-deċiżjoni hija tiegħi; inti tippreżenta l-mistoqsijiet u l-għażliet.
2) Kompartiment tat-taħriġ/test sikur:
Qsam id-df tiegħi f'taħriġ/ittestjar 80%/20%. Żomm id-distribuzzjoni tal-klassi (stratify).random_state=42. Din MHIX SERJE TA' ĦIN (osservazzjonijiet indipendenti). Stampa l-proporzjon tal-klassi ta 'kull sett wara d-diviżjoni. Agħti biss il-kodiċi tal-qsim lis-sett tat-test mingħajr ma tapplika l-ebda trasformazzjoni.
3) Diviżjoni kronoloġika tas-serje tal-ħin:
Id-dejta tiddependi mill-ħin (kolonna tad-data: order_date). MHUX każwali, jaqsam kronoloġikament: l-eqdem 80% taħriġ, l-aktar ġdid 20% ittestjar. Ipprintja l-iskali tad-dati tat-taħriġ u l-ittestjar sabiex inkun nista' nivverifika li l-futur ma nixxiex.
4) L-istabbiliment ta' linja bażi:
Għandi problema ta' klassifikazzjoni (mira: churn 0/1). L-ewwel stabbilixxi linja bażi: kejjel il-preċiżjoni tat-taħriġ/ittestjar b'DummyClassifier, li dejjem ibassar il-klassi tal-maġġoranza. Imbagħad ħarreġ rigressjoni loġistika sempliċi u qabbel jekk taħbitx il-linja bażi. Uri l-metriċi tat-tnejn ħdejn xulxin.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Ibni l-aħjar mudell b'din id-dejta.
"L-aħjar" mhix definita; M'hemm l-ebda tip ta 'problema, l-ebda għan, l-ebda kriterji ta' suċċess u l-ebda strateġija ta 'diviżjoni. L-AI tiġġenera mudell każwali, possibilment leaky.
Pront qawwi:
Ir-rwol tiegħek: assistent tal-immudellar. Problema: klassifikazzjoni, mira "churn" (0/1), hemm żbilanċ tal-klassi (~ 12% churn). Kriterju ta’ suċċess: It-tifkir ta’ dawk li jbattu hija prijorità. Osservazzjoni indipendenti tad-dejta (mhux serje taż-żmien). Kompitu: (1) qasma stratifikata 80/20%, (2) linja bażi DummyClassifier, (3) rigressjoni loġistika, it-trasformazzjonijiet kollha fil-pipeline u tgħallmu biss mit-taħriġ. Tmissx is-sett tat-test qabel ma taqsam.
Hawnhekk it-tip ta 'problema, l-iżbilanċ, il-kriterju u l-miżura tat-tnixxija huma ċari.
Żbalji komuni
- Mhux tagħżel il-kriterji ta 'suċċess skond l-iskop reali. "Eżattezza" fid-dejta żbilanċjata hija qarrieqa; Jekk trid taqbad il-klassi tal-minoranza, ir-recall jiġi fuq quddiem.
- Tmiss is-sett tat-test waqt it-taħriġ. Li tagħmel skalar/kodifikazzjoni qabel il-qsim huwa leaky u jaħbi prestazzjoni reali.
- Qsim bl-addoċċ f'serje tal-ħin. Il-mudell jara l-futur, kollass fil-produzzjoni; Id-diviżjoni kronoloġika hija essenzjali.
- Jaqbeż f'mudell kumpless mingħajr ma jiġi stabbilit linja bażi. Mingħajr benchmarks ma tistax tkun taf jekk mudell hux verament tajjeb jew le.
- Injora l-interpretabilità. Fid-deċiżjonijiet tan-negozju, mudell sempliċi spjegabbli ħafna drabi jkun aktar siewi minn kaxxa sewda.
Tip: Qabel ma tibda tibni mudell, ikteb sentenza waħda: "Dan il-mudell se jbassar _____, is-suċċess tiegħu jitkejjel bil-metrika _____, minħabba li l-ispiża vera tax-xogħol hija _____." Jekk ma tistax timla din is-sentenza, għadek m'intix lest biex tikteb il-kodiċi.
Fil-qosor
L-aktar parti kritika tal-bini ta 'mudell mhijiex il-kodiċi, iżda d-deċiżjonijiet li jippreċeduh: tiddefinixxi l-problema t-tajba (klassifikazzjoni jew rigressjoni, x'inhu l-għan, x'inhu l-kriterju ta' suċċess) u l-qsim tad-dejta b'mod ġust (mingħajr ma tmiss is-sett tat-test; kronoloġiku fis-serje taż-żmien). Dejjem ibda b'linja bażi sempliċi u żid il-kumplessità biss meta jixraqlu; l-interpretabilità hija vvalutata fuq il-poter fil-biċċa l-kbira tal-kuntesti tan-negozju. L-AI hija konsulent qawwi fl-għażla u l-kodiċi tal-algoritmu, iżda l-bniedem jiddeċiedi x'tbassar u għaliex.
Kompitu ta' applikazzjoni
Iddefinixxi problema ta’ tbassir u imla s-sentenza li ġejja bil-miktub: “Dan il-mudell se jbassar ___ (klassifikazzjoni/rigressjoni), il-mira hija ___, il-kriterju ta’ suċċess huwa ___ għax ___.” Imbagħad aqsam id-dejta bl-istrateġija t-tajba (kronoloġika jekk hija serje ta 'żmien), stabbilixxi linja bażi, u kejjel jekk mudell sempliċi jikser dik il-linja bażi.
lista ta' kontroll
- [ ] Iddefinijt b'mod ċar it-tip ta' problema (klassifikazzjoni/rigressjoni) u l-mira?
- [ ] Għażilt il-kriterji ta' suċċess ibbażati fuq l-ispiża attwali tax-xogħol?
- [ ] Ħallejt is-sett tat-test mhux mimsus waqt it-taħriġ?
- [ ] Jekk hija serje taż-żmien, qassejtha kronoloġikament?
- [ ] Stabbilixxijt linja bażi qabel ma ngħaddi għall-mudell kumpless?