Qligħ:
- Kapaċità li tipproduċi karatteristiċi derivattivi sinifikanti b'għarfien tad-dominju u tikkodifika kategoriji kategoriċi b'metodi xierqa (one-hot, tikketta, mira)
- Kapaċità li tiskala varjabbli numeriċi skont it-tip ta' mudell (standardizzazzjoni, normalizzazzjoni) u tevita skalar mhux meħtieġ jew mhux komplut
- Kapaċità li tevita t-tnixxija tal-karatteristiċi billi titgħallem it-trasformazzjonijiet kollha wara l-qsim tat-taħriġ/test u mit-taħriġ biss
Hemm qal antik fit-tagħlim tal-magni: "It-tagħlim tal-magni applikati huwa essenzjalment l-inġinerija tal-karatteristiċi." Minħabba li s-suċċess ta' mudell spiss jiġi minn liema inputs tagħti lill-mudell, aktar milli minn liema algoritmu tagħżel. L-inġinerija tal-karatteristiċi hija l-arti li tipproduċi sinjali sinifikanti minn dejta mhux ipproċessata li l-mudell jista 'jitgħallem minnha. L-intelliġenza artifiċjali hija sors għani ta 'ideat f'dan l-istadju: meta tistaqsi "x'karatteristiċi jistgħu jiġu prodotti minn din id-dejta", telenka għexieren ta' suġġerimenti. Iżda xi wħud minn dawn is-suġġerimenti jistgħu jkunu ta 'valur, xi wħud jistgħu jkunu inutli, u xi wħud jistgħu jkunu perikolużi (tnixxija). Huwa xogħol tiegħek biex issolviha.
Għaliex karatteristika inġinerija
Id-dejta mhux ipproċessata rarament tasal għall-mudell fl-aħjar forma tiegħu. Filwaqt li l-kolonna "data tat-twelid" waħedha hija bla sens, il-valur "età" iġġenerat minnha huwa sinjal qawwi. Tista' tiġbed attributi bħal "jum tal-ġimgħa", "jum/lejl", "hija vaganza" mill-"timestamp tal-ordni". Tista' tgħaqqad żewġ kolonni biex tipproduċi proporzjon ("proporzjon tad-dejn/dħul"). Hawnhekk, l-inġinerija tal-karatteristiċi qed tittraduċi l-għarfien tad-dominju f'sinjal matematiku; U hu proprju għalhekk li huwa l-istadju li jeħtieġ l-aktar intelliġenza umana.
Konverżjoni ta' varjabbli kategoriċi għal numri: kodifikazzjoni
Il-mudelli ġeneralment jaħdmu bin-numri, mhux bit-test. Il-konverżjoni ta' varjabbli kategoriċi (bħal belt, kulur, tip ta' prodott) f'numri tissejjaħ kodifikazzjoni. Tliet metodi komuni:
Kodifikazzjoni waħda sħuna: Tiftaħ kolonna separata b'valur ta' 0/1 għal kull kategorija. Għal "belt", Istanbul, Ankara, kolonni Izmir huma ffurmati; Jekk klijent huwa minn Istanbul, dik il-kolonna biss tkun 1. Ideali meta n-numru ta 'kategoriji huwa żgħir; Jekk ikun hemm wisq kategoriji tipproduċi mijiet ta 'kolonni (din tissejjaħ "isplużjoni tad-daqs").
Kodifikazzjoni tat-tikketta: Jagħti numru lil kull kategorija (Istanbul=0, Ankara=1). Huwa sempliċi, iżda jista 'aċċidentalment jgħallem lill-mudell sekwenza (bħal Ankara > Istanbul); għalhekk jintuża b'kawtela f'kategoriji mhux ordnati.
Kodifikazzjoni fil-mira: Tissostitwixxi kull kategorija bil-medja tal-varjabbli fil-mira f'dik il-kategorija. Huwa qawwi ħafna, iżda l-aktar sors perikoluż ta 'tnixxija: jekk tqis il-mira tad-dejta tat-test, il-mudell jara l-futur. Għandu jiġi kkalkulat biss mid-dejta tat-taħriġ u bir-reqqa (fi ħdan il-validazzjoni inkroċjata).
Skalar: numri kbar ma jisbqux il-mudell
Xi mudelli (dawk ibbażati fuq id-distanza, mudelli lineari, netwerks newrali) huma sensittivi għall-iskala tal-varjabbli. Jekk "dħul" (0-500,000) u "età" (0-100) jaqgħu fl-istess mudell, id-dħul jista 'jiddomina sempliċement minħabba li huwa akbar. Scaling jiffissa dan. Żewġ metodi komuni: standardizzazzjoni (jikkonverti kull valur għal "kemm devjazzjonijiet standard bogħod mill-medja") u normalizzazzjoni (normalizzazzjoni min-max — tikkompressa valuri fil-medda 0-1). Mudelli bbażati fuq is-siġar (siġar tad-deċiżjoni, foresti każwali) huma insensittivi għall-iskala, ma jeħtiġux skalar.
Attenzjoni: Il-parametri tal-iskala u tal-kodifikazzjoni (medja, devjazzjoni standard, immappjar medju tal-kategorija) għandhom jiġu kkalkulati biss mid-dejta tat-taħriġ, allura l-istess għandu jiġi applikat għad-dejta tat-test. L-inklużjoni tad-dejta tat-test hija tnixxija u tagħmel il-mudell tiegħek jidher aħjar milli fil-fatt hu.
Il-qalba tat-tnixxija fl-inġinerija tal-karatteristiċi
Il-ġenerazzjoni tal-karatteristiċi hija fejn l-aktar spiss joriġina t-tnixxija tad-dejta. Żewġ żbalji tipiċi: Tnixxija tal-ħin — tipproduċi karatteristika li tinkludi informazzjoni futura (inklużi ġranet wara l-ġurnata tat-tbassir meta tikkalkula l-"medja tal-aħħar 30 jum"). Tnixxija tal-istatistika — tikkalkula karatteristika (medja tal-iskala, valur tal-kodifikazzjoni fil-mira) mid-dejta kollha qabel il-qsim tat-taħriġ/test. Regola: tgħallem kull trasformazzjoni wara li tagħmel il-qasma tal-ferrovija/test l-ewwel u biss mid-dejta tat-taħriġ. L-aktar mod sikur biex tagħmel dan regolarment huwa li tuża pipeline - struttura li tiġbor it-trasformazzjonijiet kollha f'katina waħda u tapplikahom wara l-qsim.
Metodu
għal xiex
Riskju ta' tnixxija
nota
Kodifikazzjoni waħda sħuna
Varjabbli bi ftit kategoriji
baxx
Tisplodi daqs f'kategoriji multipli
Kodifikazzjoni tat-tikketta
Kategorija magħżula
baxx
Out of order tgħallem ordni ħażina
kodifikazzjoni fil-mira
Sinjal b'ħafna kategoriji, qawwi
għolja ħafna
Biss mill-edukazzjoni, fis-CV
standardizzazzjoni
Mudelli lineari/distanza
medju
Parametru jiddependi biss fuq l-edukazzjoni
Karatteristika tieqa tal-ħin
serje tal-ħin
għolja
Żid il-futur
tliet każijiet żgħar
Każ 1 — Proprjetà ta' valur. Tim ta 'kreditu ġġenera l-karatteristika "proporzjon ta' dejn għal dħul" mill-kolonni mhux maħduma "dħul ta 'kull xahar" u "ħlas ta' dejn kull xahar". Din il-karatteristika waħda derivata żiedet l-eżattezza tal-mudell minn 71% għal 79%; għaliex kienet ir-rata, mhux id-dħul assolut, li verament iddeterminat ir-riskju. Lezzjoni: il-proporzjonijiet ġġenerati mill-għarfien tad-dominju huma sinjali qawwija.
Każ 2 — Tnixxija tal-kodifikazzjoni fil-mira. Tim wieħed ikkonverta l-"kodiċi zip" f'numru bil-kodifikazzjoni fil-mira (ir-rata medja ta 'ċaqliq f'dik iż-żona), iżda għamel hekk mid-dejta kollha qabel ma qasmet. Il-mudell ta 94% fuq is-sett tat-test, niżel għal 68% fil-produzzjoni. 6 ġimgħat ta 'sforz moħlija. Lezzjoni: il-kodifikazzjoni fil-mira ssir bir-reqqa, biss fi ħdan it-taħriġ.
Każ 3 — Tiskala ta' minsa. Analista wieħed mitmugħa dħul (0-400,000) u età tal-klijent (18-75) f'mudell ibbażat fuq id-distanza mingħajr skala. Il-mudell ħares kważi esklussivament lejn id-dħul, u għaffeġ l-effett tal-età. Meta ġie miżjud l-iskala, is-segmentazzjoni saret sinifikanti. Lezzjoni: l-iskala mhix traskurata f'mudelli distanza/lineari.
Erba' mudelli li jistgħu jiġu kkupjati
1) Ġenerazzjoni ta' idea ta' karatteristika (l-eliminazzjoni hija f'idejk):
Ir-rwol tiegħek: assistent tal-inġinerija tal-karatteristiċi. Il-kolonni tad-df tiegħi: birth_date, order_time (timestamp), income_tl, debt_tl, city, product_category. Mira: "is-self se jitħallas lura" (0/1). Issuġġerixxi 15-il karatteristika li jistgħu jiġu ġġenerati minn dawn il-kolonni; speċifika r-riskju ta 'tnixxija (baxx/medju/għoli) għal kull wieħed. Immarka b'mod ċar dawk li fihom informazzjoni futura.
2) Kodifikazzjoni sigura (wara l-qsim):
Ikteb kodiċi li one-hot jikkodifika "belt" u "product_category". IMPORTANTI: waħħal il-kodifikazzjoni biss mad-dejta tat-taħriġ, imbagħad ittrasforma d-dejta tat-test (bi sklearn OneHotEncoder). Spjega kif timmaniġġja l-kategorija li ma tidhirx (handle_unknown) fl-edukazzjoni.
3) Konverżjoni mingħajr tnixxija bil-Pipeline:
Stabbilixxi sklearn Pipeline: applika StandardScaler għal kolonni numeriċi, OneHotEncoder għal kolonni kategoriċi, żid klassifikatur fl-aħħar. Tiggarantixxi li t-trasformazzjonijiet kollha jitgħallmu WARA l-qasma tal-ferrovija/test u biss mit-taħriġ. Spjega l-kodiċi u għaliex huwa mingħajr tnixxija.
4) Karatteristika tat-tieqa tal-ħin (kontroll tat-tnixxija):
Iġġenera l-attribut "numru ta 'ordnijiet fl-aħħar 30 jum" għal kull klijent, iżda QATT tinkludi data wara l-ġurnata tat-tbassir. Spjega linja b'linja li l-kodiċi ma jħarisx lejn il-futur. Se nipprovdi l-kolonna tad-data ta' referenza.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Żid proprjetajiet tajbin għal din id-dejta.
"Tajjeb" mhix definita, il-mira mhix ċara, m'hemm l-ebda kontroll tat-tnixxija. L-AI tiġġenera karatteristiċi każwali, forsi leaky.
Pront qawwi:
Ir-rwol tiegħek: inġinier tal-karatteristiċi. Mira: "churn fi 30 jum" (0/1), data ta' referenza stmata: save_date. Hemm storja ta 'tranżazzjoni f'df.Task: Iġġenera 8 karatteristiċi, wieġeb il-mistoqsija "Għandi din l-informazzjoni fil-ħin tat-tbassir" għal KULL. Żieda tad-data wara d-data ta 'referenza fil-karatteristiċi tat-tieqa tal-ħin. Ikteb il-kodiċi b'mod kompatibbli mal-pipeline li għandu jiġi esegwit wara t-taqsima tal-ferrovija/test.
Hawnhekk, il-mira, il-ħin ta 'referenza u l-kontroll tat-tnixxija huma definiti mill-bidu.
Żbalji komuni
- It-tagħlim tat-trasformazzjoni mid-dejta kollha qabel id-diviżjoni. Jekk il-parametru tal-iskala/kodifikazzjoni jara d-dejta tat-test, isseħħ tnixxija.
- Użu traskurat tal-kodifikazzjoni fil-mira. Huwa l-aktar metodu b'saħħtu iżda l-aktar leaky; biss mit-taħriġ, fil-cross validation.
- Iż-żieda tal-futur b'karatteristika ta 'tieqa tal-ħin. Jekk il-kalkolu tal-"aħħar 30 jum" jiddaħħal wara l-jum tat-tbassir, il-mudell jara l-futur.
- Skalar mhux meħtieġ fil-mudell tas-siġra u skalar mhux komplut fil-mudell lineari. Id-deċiżjonijiet tal-iskala jsiru skont it-tip tal-mudell.
- Żieda ta 'kull suġġeriment ta' karatteristika ta 'AI mingħajr dubju. Is-suġġerimenti jistgħu jinkludu karatteristiċi inutli u leaky.
Tip: Ikteb mistoqsija waħda għal kull karatteristika li tiġġenera: "Nista' nikkalkula dan il-valur bl-informazzjoni li għandi fiż-żmien li nagħmel it-tbassir?" Jekk it-tweġiba mhix ċara "iva", tużax il-karatteristika. Din id-dixxiplina waħda telimina l-biċċa l-kbira tat-tnixxijiet relatati mal-karatteristiċi.
Fil-qosor
L-inġinerija tal-karatteristiċi hija l-arti li tiġġenera sinjali sinifikanti minn dejta mhux ipproċessata u ħafna drabi tiddetermina s-suċċess tal-mudell aktar mill-algoritmu. Il-kodifikazzjoni ta' kategoriċi (one-hot, tikketta, mira), l-iskala numerika (standardizzazzjoni, normalizzazzjoni) u l-produzzjoni ta' karatteristiċi derivattivi b'għarfien tad-dominju huma l-għodod bażiċi. Iżda din il-fażi hija wkoll il-qalba tat-tnixxija: it-trasformazzjonijiet kollha għandhom jitgħallmu wara l-qsim tat-taħriġ/test u biss mid-dejta tat-taħriġ. L-AI tiġġenera ħafna ideat; Huwa l-ġudizzju uman li jiddistingwi l-valur minn dak perikoluż.
Kompitu ta' applikazzjoni
Agħżel varjabbli fil-mira u ddisinja mill-inqas ħames karatteristiċi derivattivi mill-kolonni li għandek. Għal kull wieħed minnhom, wieġeb il-mistoqsija "jien disponibbli fiż-żmien tat-tbassir" bil-miktub u elimina mill-inqas waħda bħala "riskju għoli ta 'tnixxija". Imbagħad jikkodifika l-karatteristiċi siguri f'pipeline li għandu jiġi implimentat wara l-partizzjoni.
lista ta' kontroll
- [ ] Applikajt it-trasformazzjonijiet kollha wara l-qasma tal-ferrovija/test?
- [ ] Tgħallimt biss il-parametri tal-iskala/kodifikazzjoni mit-taħriġ?
- [ ] Weġibt il-mistoqsija "għandi fil-ħin tat-tbassir" għal kull karatteristika?
- [ ] Ħadt attenzjoni żejda b'metodi ta' riskju għoli bħall-kodifikazzjoni fil-mira?
- [ ] Iddeċidejt li niskala b'mod xieraq għat-tip ta' mudell (siġra/lineari)?