Riba:
- Ability don ayyana nau'in matsalar (rarrabuwa, regression, clustering) da ma'aunin nasara bisa ga ainihin farashin aikin.
- Ikon raba bayanan da gaskiya (ba tare da taɓa saitin gwajin ba; a tsarin lokaci a cikin jerin lokaci) da kuma kafa tushen kimantawa mara lahani.
- Ability don zaɓar samfurin da za a iya fassara ta hanyar farawa tare da tushe mai sauƙi da ƙara rikitarwa kawai lokacin da ya cancanta.
Ya zuwa yanzu mun tattara bayanai, mun tsaftace su, mun bincika, kuma mun samar da fasali. Yanzu mun zo ga ainihin aikin, gina samfurin. Misali tsarin lissafi ne wanda ke koyon tsari daga bayanai kuma yana samar da tsinkaya don sabbin yanayi. Amma mafi mahimmancin ɓangaren gina samfurin ba shine lambar kanta ba, amma yanke shawara guda biyu da suka rigaya: ayyana matsala mai kyau da rarraba bayanai daidai. AI shine mai ba da shawara mai ƙarfi a cikin zaɓin algorithm, rubutun lamba, da daidaita ma'auni; amma ya rage ga mutum ya yanke shawarar abin da zai yi hasashe da abin da nasara ke nufi. Matsalar da ba ta bayyana ba ba za ta yi aiki ba ko da da ingantaccen tsarin rubutu.
Ma'anar matsala ta farko: menene muke tsinkaya
Kowane aikin ƙirar ƙira yana farawa da tambaya, kuma wannan tambayar ta ƙayyade nau'in ƙirar. Rarraba - abin da ake fitarwa shine nau'in: "Shin wannan abokin ciniki zai bar ko ya zauna?", "Shin wannan ciniki na karya ne?". Regression (a cikin harshen Ingilishi - fitarwa shine lamba): "Nawa ne darajar wannan gidan?", "Nawa ne umarni zai zo wata mai zuwa?". Tari (raba bayanan da ba a lakafta su zuwa ƙungiyoyin halitta): "Kasuwa nawa abokan cinikina suka kasu?".
Sashi na biyu na bayanin matsalar shine ma'aunin nasara: menene ma'anar wannan samfurin ya kasance "mai kyau"? A cikin tsarin zamba, rashin mai zamba ya fi tsada fiye da katange abokin ciniki na gaskiya ba da gangan ba; Saboda haka, ba "daidaitacce gabaɗaya" ba amma "yawan kama masu zamba" ya zo kan gaba. Idan ba ku bayyana wannan ma'auni ba tun daga farko, tare da mai kasuwanci, za ku ƙare da samfurin "madaidaici" wanda ba ya aiki (za mu zurfafa cikin ma'auni a cikin Unit 7).
Tsanaki: "Gaskiya" na iya zama yaudara. Idan 10 daga cikin 1000 ma'amaloli na yaudara ne, samfurin wawa wanda ya ce "babu mai zamba" zai ba da daidaito 99% amma ba zai kama ko da mai zamba ba. Zaɓi ma'aunin nasara bisa ainihin farashin matsalar.
Rarraba horo / gwaji: jarrabawar gaskiya na samfurin
Gwajin samfuri tare da bayanan da ya koya kamar yin wa ɗalibin tambayoyin da ya karanta a kan jarrabawa; Yana samun babban maki amma baya nuna ainihin abin da ya sani. Don haka muna raba bayanan gida biyu (sau da yawa uku):
- Saitin horo (tsarin horo a cikin Ingilishi, yawanci 70-80%): Samfurin ya koya akan wannan.
- Saitin gwaji (saitin gwaji, yawanci 20-30%): Samfurin ba ya ganin wannan kwata-kwata; Ana auna aikin gaske a nan.
- Saitin Tabbatarwa: Matsakaicin saiti da aka yi amfani da shi don saitin ƙirar (wanne siga ya fi kyau); don kiyaye saitin gwajin "tsabta".
Mafi mahimmancin ƙa'idar: ba a taɓa taɓa saitin gwajin yayin horo ba. Ƙimar ƙira, ƙididdigewa, zaɓin fasali - duk ana koya su kawai daga tsarin horo, sannan a yi amfani da su don gwaji (ka'idar yabo daga Sashe na 5). Gwajin gwajin shine karo na farko da samfurin ya ga ainihin duniya; Idan kun kunna shi da wuri ba za ku taɓa sanin ainihin aikin ba.
Banda jerin lokaci: Idan bayananku sun dogara da lokaci (tallace-tallace, kasuwar hannun jari, buƙatu), ba a yin rarrabuwar kawuna. Saboda rarrabuwar kawuna yana haifar da ƙirar don ganin gaba da hasashen abin da ya gabata - wannan yabo ne. Madadin haka, raba tsarin lokaci: horar da tsohon lokaci, gwada sabon lokaci.
Zaɓin Algorithm: daga sauƙi zuwa hadaddun
Kuskuren da aka fi sani da masu farawa shine farawa tare da mafi rikitarwa samfurin. Hanyar da ta dace ita ce akasin haka: da farko kafa tushe mai sauƙi. "koyaushe tsammani mafi rinjaye ajin" a cikin rarrabuwa; "ko da yaushe kimanta ma'ana" a cikin koma baya. Wannan samfurin wawa yana ba da tushe; Idan ainihin samfurin ku ba zai iya wuce wannan ba, akwai matsala. Sa'an nan kuma matsa zuwa samfurori masu sauƙi kuma masu fassara.
abin koyi
Nau'in matsala
karfi batu
rauni
Baseline (mafi rinjaye/matsakaici)
duka biyu
Yana ba da ma'auni
baya koyo
Tashin hankali
Rabewa
Mai sauƙi, mai iya fassarawa
Dangantakar layika kawai
Juyin juyayi na layi
koma baya
Mai sauƙi, sauri
madaidaicin zato
itace yanke shawara
duka biyu
m
Sauƙaƙan haddar
gandun daji bazuwar
duka biyu
Mai ƙarfi, mai dorewa
Ƙananan fassara
Ƙarfafa ƙarami (XGBoost da dai sauransu)
duka biyu
mai karfi sosai
Wahalar daidaitawa, haɗarin hadda
Dokar: zaɓi mafi sauƙi "mai kyau isa" samfurin. Fassara yana da daraja fiye da iko a yawancin mahallin kasuwanci; Yana da kyau a bayyana kin amincewa da lamuni "saboda yawan bashin ku-zuwa-shigo yana da yawa" fiye da "saboda akwatin baki ya faɗi haka."
uku mini lokuta
Case 1 - Ma'anar matsala mara daidai. Ƙungiya ta gina samfurin rarrabuwa bisa "abokin ciniki ya gamsu" amma ya zaɓi "daidai" a matsayin ma'aunin nasara. A cikin bayanan, 88% na abokan ciniki sun gamsu; Samfurin ya sami daidaiton kashi 88% ta hanyar kiran kowa da kowa "ya gamsu" kuma bai taɓa kama mutanen da ba su gamsu ba - duk da cewa ainihin manufar ita ce gano su. Darasi: zaɓi ma'aunin nasara bisa ainihin manufa.
Case 2 - Lokaci yayyo a cikin daki. A cikin aikin hasashen buƙatu, an raba bayanai ba da gangan ba. Samfurin ya ba da daidaito na 93% amma ya fadi a samarwa saboda a cikin horo ya annabta Janairu, sannan Nuwamba, tare da bayanan Disamba - ya ga makomar gaba. Lokacin da muka canza zuwa rarrabuwar lokaci, ainihin aikin ya karu zuwa 74%. Darasi: rarrabuwar lokaci a cikin jerin lokaci.
Case na 3 - Matsalolin da ba dole ba. Wani manazarci ya fara kai tsaye tare da hanyar sadarwa mai zurfi ta jijiyoyi, ya kunna ta tsawon makonni, kuma ya sami daidaiton kashi 81%. Sannan abokin aiki ya sami kashi 80% tare da layukan 20 na koma bayan dabaru - da sauri, fassara da sauƙin kiyayewa. Darasi: fara da tushe da samfuri mai sauƙi, ƙara rikitarwa lokacin da ya cancanta.
Samfura huɗu masu kwafi
1) Bayyana ma'anar matsala:
Matsayinku: mai ba da shawara na samfuri. Taimaka mini ayyana wannan aikin: "Ina so in rage ƙwaƙƙwaran abokin ciniki." Tambaye ni ka fayyace: (1) shin wannan rabe-rabe ne ko koma baya, (2) menene ainihin ma'anar ma'anar da kuma yadda ya kamata a fayyace shi, (3) menene ya kamata ya zama ma'aunin nasara kuma me yasa. Hukuncin nawa ne; kuna gabatar da tambayoyi da zaɓuɓɓuka.
2) Amintaccen horo / dakin gwaji:
Raba df dina cikin horo / gwaji 80%/20%. Kula da rarraba aji (stratify).random_state=42. Wannan BA JARIDAR LOKACI ba ne ( lura mai zaman kansa). Buga rabon aji na kowane saiti bayan rarraba. Kawai ba da lambar tsagawa zuwa saitin gwajin ba tare da yin amfani da kowane canji ba.
3) Rarraba jerin lokuta:
Bayanan sun dogara da lokaci (kwandin kwanan wata: order_date). BA bazuwar ba, raba tsarin lokaci: horo na 80% mafi tsufa, sabon gwaji 20%. Buga jeri na horo da gwaji don in tabbatar da cewa gaba ba ta yadu ba.
4) Kafa tushen tushe:
Ina da matsalar rarrabuwa (manufa: churn 0/1). Da farko kafa tushe: auna daidaiton horo/gwaji tare da DummyClassifier, wanda koyaushe yana tsinkayar aji mafi rinjaye. Sannan horar da juzu'i mai sauƙi kuma kwatanta ko ta doke tushe. Nuna ma'auni na biyu gefe da gefe.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Gina mafi kyawun samfurin tare da wannan bayanan.
"Mafi kyau" ba a bayyana shi ba; Babu nau'in matsala, babu manufa, babu ma'aunin nasara da dabarun rarraba. AI yana haifar da tsari bazuwar, mai yiwuwa yayyo.
Ƙarfi mai ƙarfi:
Matsayinku: Mataimakin talla. Matsala: rarrabuwa, manufa "churn" (0/1), akwai rashin daidaituwa na aji (~ 12% churn). Ma'aunin Nasara: Tunawa da waɗanda suka yi ƙiyayya shine fifiko. Kulawa mai zaman kansa na bayanai (ba jerin lokaci ba). Aiki: (1) 80/20% tsaga, (2) DummyClassifier tushe, (3) koma bayan dabaru, duk canje-canje a cikin bututun kuma koya kawai daga horo. Kar a taɓa saitin gwajin kafin rabuwa.
Anan nau'in matsalar, rashin daidaituwa, ma'auni da ma'aunin yabo sun fito fili.
Kuskuren gama gari
- Ba zabar ma'aunin nasara bisa ga ainihin manufar ba. "Daidai" a cikin bayanan da ba daidai ba yana da yaudara; Idan kuna son kama 'yan tsiraru, tuno yana zuwa gaba.
- Taɓa saitin gwajin yayin horo. Yin sikeli/encoding kafin rarrabuwa yana yoyo kuma yana ɓoye ainihin aiki.
- Rarraba bazuwar cikin jerin lokaci. Samfurin yana ganin makomar gaba, rushewa a cikin samarwa; Rabewar lokaci yana da mahimmanci.
- Yin tsalle cikin ƙirar ƙira ba tare da kafa tushe ba. Idan ba tare da alamomi ba ba za ku iya sanin ko samfurin yana da kyau sosai ko a'a.
- Yin watsi da fassara. A cikin yanke shawara na kasuwanci, samfurin da za a iya bayyanawa sau da yawa ya fi daraja fiye da akwatin baki.
Tukwici: Kafin ka fara gina samfuri, rubuta jimla ɗaya: "Wannan ƙirar za ta faɗi _____, nasararsa za a auna ta da ma'aunin _____, saboda ainihin farashin aikin shine _____." Idan ba za ku iya cika wannan jimlar ba, ba ku shirya rubuta lamba ba tukuna.
A takaice
Mafi mahimmancin ɓangaren gina samfuri ba shine lambar ba, amma yanke shawara da ke gaba da shi: ayyana matsala mai dacewa (rarrabuwa ko koma baya, menene maƙasudin, menene ma'aunin nasara) da kuma rarraba bayanan daidai (ba tare da taɓa tsarin gwajin ba; lokaci-lokaci a cikin jerin lokaci). Koyaushe farawa da tushe mai sauƙi kuma ƙara rikitarwa kawai lokacin da ya cancanta; ana kimanta fassarar fiye da iko a yawancin mahallin kasuwanci. AI shine mai ba da shawara mai ƙarfi a cikin zaɓin algorithm da lambar, amma ɗan adam yana yanke shawarar abin da kuke tsinkaya da me yasa.
Aikin aikace-aikace
Ƙayyade matsalar tsinkaya kuma kammala jimla mai zuwa a rubuce: "Wannan ƙirar za ta tsinkayi ____ (rarrabuwa / koma baya), abin da ake nufi shine ____, ma'aunin nasara shine ____ saboda ____." Sa'an nan kuma raba bayanan tare da dabarar da ta dace (ƙididdigar lokaci idan jerin lokaci ne), kafa tushe, kuma auna ko tsari mai sauƙi ya karya wannan tushen.
jerin abubuwan dubawa
- [ ] Shin na fayyace nau'in matsalar a sarari (rarrabuwa / koma baya) da manufa?
- [ ] Shin na zaɓi ma'aunin nasara bisa ainihin farashin aikin?
- [ ] Shin na bar gwajin da aka saita ba a taɓa shi ba yayin horo?
- [ ] Idan jerin lokaci ne, na raba shi bisa ga tsarin lokaci?
- [ ] Shin na kafa tushe kafin in ci gaba zuwa ƙira mai rikitarwa?