Riba:
- Ikon samar da fasalulluka masu ma'ana tare da ilimin yanki da ɓoye nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan suna da hanyoyin da suka dace (zafi ɗaya, lakabi, manufa)
- Ability don auna ma'auni na ƙididdiga bisa ga nau'in samfurin (daidaitawa, daidaitawa) da kuma guje wa ƙima mara mahimmanci ko rashin cikawa.
- Ƙarfin guje wa ɓarnawar fasalin ta koyan duk canje-canje bayan rarrabuwar horo/gwajin kuma daga horo kawai
Akwai wata tsohuwar magana a cikin koyan na'ura: "Koyon inji shine ainihin aikin injiniya." Domin nasarar samfurin sau da yawa yakan zo ne daga abubuwan da kuka ba da samfurin, maimakon wane algorithm kuka zaɓa. Injiniyan fasali shine fasahar samar da sigina masu ma'ana daga danyen bayanai wanda samfurin zai iya koya daga gare su. Hankali na wucin gadi shine tushen ra'ayi mai wadata a wannan matakin: lokacin da kuka tambayi "waɗanne siffofi za a iya samar da su daga wannan bayanan", ya lissafa shawarwari da yawa. Amma wasu shawarwarin na iya zama masu daraja, wasu na iya zama marasa amfani, wasu kuma na iya zama haɗari (leak). Aikin ku ne ku warware shi.
Me yasa fasalin aikin injiniya
Raw data da wuya ya zo ga samfurin a cikin mafi kyawun tsari. Yayin da ginshiƙin "kwanakin haihuwa" kaɗai ba shi da ma'ana, ƙimar "shekarun" da aka samar daga gare ta alama ce mai ƙarfi. Kuna iya fitar da sifofi kamar "ranar mako", "rana/dare", "biki ne" daga "oda timestamp". Kuna iya haɗa ginshiƙai biyu don samar da rabo ("rabo bashi/sakamakon shiga"). Anan, injiniyan fasali yana fassara ilimin yanki zuwa siginar lissafi; Kuma wannan shi ne ainihin dalilin da ya sa matakan da ke buƙatar mafi yawan hankali na ɗan adam.
Mayar da mabambantan ƙima zuwa lambobi: coding
Samfura gabaɗaya suna aiki tare da lambobi, ba rubutu ba. Mayar da sauye-sauye (kamar birni, launi, nau'in samfur) zuwa lambobi ana kiran sa ɓoye. Hanyoyi guda uku gama gari:
Rufewa mai zafi ɗaya: Yana buɗe wani shafi daban tare da ƙimar 0/1 ga kowane rukuni. Don "birni", Istanbul, Ankara, ginshiƙan Izmir an kafa; Idan abokin ciniki ya fito daga Istanbul, kawai wannan ginshiƙi zai zama 1. Madaidaici lokacin da adadin nau'ikan ya ƙanƙanta; Idan akwai nau'i-nau'i da yawa yana samar da ɗaruruwan ginshiƙai (wannan ake kira "fashewar girman").
Rufin alamar alama: Yana ba da lamba ga kowane rukuni (Istanbul=0, Ankara=1). Yana da sauƙi, amma yana iya koya wa ƙirar jeri bisa kuskure (kamar Ankara> Istanbul); don haka ana amfani da shi a hankali a cikin nau'ikan da ba a ba da oda ba.
Rufe maƙasudi: Yana maye gurbin kowane nau'i tare da matsakaicin madaidaicin maƙasudi a cikin wannan rukunin. Yana da ƙarfi sosai, amma tushen mafi haɗari na yaduwa: idan kun yi la'akari da maƙasudin bayanan gwajin, samfurin yana ganin gaba. Ya kamata a lissafta shi kawai daga bayanan horo kuma a hankali (a cikin tabbacin giciye).
Scaling: manyan lambobi ba sa mamaye samfurin
Wasu samfura (masu tushen nisa, ƙirar layi, hanyoyin sadarwa na jijiyoyi) suna kula da ma'auni na masu canji. Idan "shigarwa" (0-500,000) da "shekaru" (0-100) sun fada cikin tsari iri ɗaya, samun kudin shiga na iya rinjaye kawai saboda ya fi girma. Scaling yana gyara wannan. Hanyoyi guda biyu na gama gari: daidaitawa (yana canza kowace ƙima zuwa "yawan madaidaicin karkata daga ma'anar") da daidaitawa (min-max normalization - yana matsa ƙima cikin kewayon 0-1). Samfurin tushen itace (bishiyar yanke shawara, dazuzzuka bazuwar) ba su da ma'ana, ba sa buƙatar sikeli.
Tsanaki: Siffar ƙididdiga da ƙididdigewa (ma'ana, daidaitaccen karkata, taswirar rukuni-ma'ana) yakamata a ƙididdige su kawai daga bayanan horon, sannan a yi amfani da iri ɗaya akan bayanan gwaji. Ciki har da bayanan gwaji yana zubewa kuma yana sa ƙirar ku tayi kyau fiye da yadda yake a zahiri.
Zuciyar zubewa a cikin injiniyan fasali
Ƙirƙirar fasalulluka shine inda ɗigowar bayanai galibi ke samo asali. Kurakurai guda biyu na al'ada: Tsayin lokaci - samar da fasalin da ya haɗa da bayanai na gaba (ciki har da kwanaki bayan ranar hasashen lokacin da ake ƙididdige "matsakaicin kwanaki 30 na ƙarshe"). Leakage ƙididdiga - ƙididdige sifa (matsakaicin ƙima, ƙimar ɓoye maƙasudi) daga duk bayanan kafin raba horo/gwajin. Doka: koyi kowane canji bayan yin rarrabuwar jirgin ƙasa/gwaji da farko kuma daga bayanan horo kawai. Hanya mafi aminci don yin hakan akai-akai ita ce amfani da bututun mai - tsarin da ke tattara duk sauye-sauye a cikin sarka ɗaya kuma ana amfani da su bayan rarrabuwa.
Hanya
ga me
Hadarin yabo
bayanin kula
Rufewa mai zafi ɗaya
Mai canzawa tare da ƴan rukuni
ƙananan
Fashe girma a cikin nau'i-nau'i da yawa
Lakabin coding
Nau'in da aka ware
ƙananan
Rashin tsari yana koyar da tsari mara kyau
rufaffen manufa
Multi-categories, mai ƙarfi sigina
mai girma
Kawai daga ilimi, a cikin CV
daidaitawa
Tsarin layi-layi / nisa
matsakaici
Siga ya dogara ne kawai akan ilimi
Yanayin taga lokaci
jerin lokaci
babba
Ƙara gaba
uku mini lokuta
Shari'a 1 - Dukiya mai daraja. Ƙungiya ta bashi ta haifar da fasalin "rashin bashi-zuwa-shigo" daga ginshiƙan "shigogin shiga kowane wata" da "biyan bashi na wata-wata". Wannan fasalin da aka samu guda ɗaya ya haɓaka daidaiton ƙirar daga 71% zuwa 79%; saboda adadin, ba cikakken kudin shiga ba, shine ya ƙayyade haɗarin gaske. Darasi: rabon da aka samar ta hanyar ilimin yanki sune sigina masu ƙarfi.
Case na 2 - Zubar da rufaffiyar manufa. Ƙungiya ɗaya ta canza “zip code” zuwa lamba tare da ɓoye maƙasudin (matsakaicin ƙima a wannan yanki), amma ta yi hakan daga duk bayanan kafin rarrabuwa. Samfurin ya ba da 94% akan saitin gwajin, yana faduwa zuwa 68% a samarwa. Makonni 6 na kokarin bata. Darasi: Ƙididdiga masu niyya ana yin su a hankali, a cikin horo kawai.
Case 3 - Mantuwa Sikeli. Wani manazarci ya ciyar da kudaden shiga (0-400,000) da shekarun abokin ciniki (18-75) cikin ƙirar tushen nesa ba tare da ƙima ba. Samfurin ya kalli kusan na musamman akan samun kudin shiga, yana murkushe tasirin shekaru. Lokacin da aka ƙara ƙima, rarrabuwa ya zama mai ma'ana. Darasi: Ba a yin watsi da sikeli a cikin nisa/samfurin layi.
Samfura huɗu masu kwafi
1) Ƙirƙirar ra'ayi (kawar ya rage naku):
Matsayinku: mataimaki na injiniya mai fasali. ginshiƙan df dina: birthday_date, order_time (timestamp), revenue_tl, credit_tl, city, product_category. Manufar: "za a biya bashin" (0/1). Ba da shawarar fasali 15 waɗanda za a iya samarwa daga waɗannan ginshiƙan; Ƙayyade haɗarin zubewa (ƙananan/matsakaici/high) ga kowane. Yi alama a fili waɗanda ke ɗauke da bayanai na gaba.
2) Amintaccen codeing (bayan an raba):
Rubuta lambar cewa zafi-zafi ɗaya yana ɓoye "birni" da "category_product". MUHIMMI: dace da rikodin rikodin kawai zuwa bayanan horo, sannan canza bayanan gwajin (tare da sklearn OneHotEncoder). Bayyana yadda kuke sarrafa nau'in da ba a gani (handle_unknown) a cikin ilimi.
3) Juya-kyauta tare da Pipeline:
Saita bututun sklearn: a yi amfani da StandardScaler zuwa ginshiƙan lambobi, OneHotEncoder zuwa ginshiƙai iri-iri, ƙara ƙira a ƙarshen. Garantin duk canje-canje ana koyo BAYAN rarrabuwar jirgin ƙasa/gwajin kuma daga horo kawai. Yi bayanin lambar kuma dalilin da yasa ba ta da kyau.
4) Siffar taga lokaci (ikon zubar ruwa):
Ƙirƙirar "yawan umarni a cikin kwanaki 30 na ƙarshe" ga kowane abokin ciniki, amma KADA KA haɗa da bayanai bayan ranar hasashen. Bayyana layi ta layi cewa lambar ba ta duba nan gaba. Zan samar da ginshiƙin kwanan wata.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Ƙara kyawawan kaddarorin zuwa wannan bayanan.
"Mai kyau" ba a bayyana shi ba, manufa ba ta da tabbas, babu ikon yawo. AI yana haifar da bazuwar, watakila leaky, fasali.
Ƙarfi mai ƙarfi:
Matsayinku: injiniyan fasali. Target: "Curn a cikin kwanaki 30" (0/1), ƙididdiga kwanan wata: save_date. Akwai tarihin ma'amala a df.Task: Samar da fasali 8, amsa tambayar "Shin ina da wannan bayanin a lokacin tsinkaya" don KOWANNE. Ƙara kwanan wata bayan ranar tunani a cikin fasalin taga lokaci. Rubuta lambar a hanyar da ta dace da bututu don aiwatarwa bayan sashin jirgin ƙasa/gwaji.
Anan, an ayyana maƙasudi, lokacin tunani da sarrafa yayyo daga farkon.
Kuskuren gama gari
- Koyon canji daga duk bayanai kafin rarraba. Idan ma'aunin sikelin/ruɓawa ya ga bayanan gwajin, yayyo na faruwa.
- Yin amfani da lambar ƙima ta rashin kulawa. Ita ce hanya mafi ƙarfi amma mafi yoyo; kawai daga horo, a giciye inganci.
- Ƙara gaba tare da fasalin taga lokaci. Idan an shigar da lissafin "kwanaki 30 na ƙarshe" bayan ranar hasashen, ƙirar tana ganin makomar gaba.
- Ƙimar da ba dole ba a cikin samfurin bishiyar da rashin cikawa a cikin ƙirar layi. Ana yin yanke shawara mai ƙima bisa ga nau'in ƙirar.
- Ƙara AI ta kowace shawarar fasalin fasali ba tare da tambaya ba. Shawarwari na iya haɗawa da fasalulluka marasa amfani da zube.
Tukwici: Rubuta tambaya guda ɗaya ga kowane fasalin da kuka samar: "Zan iya ƙididdige wannan ƙimar tare da bayanin da nake da shi a lokacin da na yi hasashen?" Idan amsar ba ta bayyana "eh", kar a yi amfani da fasalin. Wannan horo guda ɗaya yana kawar da mafi yawan ɗigogi masu alaƙa da fasali.
a takaice
Injiniyan fasalulluka shine fasahar samar da sigina masu ma'ana daga danyen bayanai kuma galibi suna tantance nasarar samfurin fiye da algorithm. Rufaffen nau'i-nau'i (zafi ɗaya, lakabi, manufa), ƙididdige ƙididdigewa (daidaitacce, daidaitawa) da samar da fasalulluka masu ƙima tare da ilimin yanki sune kayan aikin asali. Amma wannan lokaci kuma shine zuciyar zubewar: duk canje-canje dole ne a koya bayan rarrabuwar horo / gwaji kuma kawai daga bayanan horo. AI yana haifar da ra'ayoyi da yawa; Hukuncin ɗan adam ne ke bambanta mai kima da mai haɗari.
Aikin aikace-aikace
Zaɓi madaidaicin manufa kuma ƙira aƙalla fasalulluka guda biyar daga ginshiƙan da kuke da su. Ga kowane ɗayansu, amsa tambayar "Ina samuwa a lokacin tsinkaya" a rubuce kuma kawar da aƙalla ɗaya a matsayin "haɗari mai girma". Sa'an nan rubuta amintattun fasalulluka a cikin bututun da za a aiwatar da shi bayan rabuwa.
jerin abubuwan dubawa
- [ ] Shin na yi amfani da duk canje-canje bayan rarrabuwar jirgin ƙasa/gwajin?
- [ ] Shin kawai na koyi sikelin sikeli/ rikodi daga horo?
- [ ] Na amsa tambayar "Shin ina da ita a lokacin tsinkaya" ga kowane fasali?
- [ ] Shin na ɗauki ƙarin kulawa tare da hanyoyin haɗari masu haɗari kamar lambar ƙira?
- [ ] Shin na yanke shawarar yin sikelin da ya dace don nau'in samfurin (itace/mai layi)?