Awọn anfani:
- Agbara lati ṣe agbejade awọn ẹya itọsẹ ti o nilari pẹlu imọ agbegbe ati koodu awọn ẹka isori pẹlu awọn ọna ti o yẹ (ọkan-gbona, aami, ibi-afẹde)
- Agbara lati ṣe iwọn awọn oniyipada nọmba ni ibamu si iru awoṣe (ipewọn, isọdọtun) ati yago fun wiwọn ti ko wulo tabi ti ko pe.
- Agbara lati yago fun jijo ẹya nipa kikọ gbogbo awọn iyipada lẹhin ikẹkọ / pipin idanwo ati lati ikẹkọ nikan
Ọrọ atijọ kan wa ninu ẹkọ ẹrọ: "Ẹkọ ẹrọ ti a fiweṣe jẹ imọ-ẹrọ ẹya pataki." Nitoripe aṣeyọri ti awoṣe nigbagbogbo wa lati awọn igbewọle ti o fun awoṣe, dipo iru algorithm ti o yan. Imọ-ẹrọ ẹya jẹ iṣẹ ọna ti iṣelọpọ awọn ifihan agbara lati inu data aise ti awoṣe le kọ ẹkọ lati. Imọye atọwọda jẹ orisun ọlọrọ ti awọn imọran ni ipele yii: nigbati o ba beere “awọn ẹya wo ni a le ṣe lati inu data yii”, o ṣe atokọ awọn dosinni ti awọn imọran. Ṣugbọn diẹ ninu awọn aba wọnyi le jẹ iyebiye, diẹ ninu le jẹ asan, ati diẹ ninu le jẹ eewu (jo). O jẹ iṣẹ rẹ lati yanju rẹ.
Kí nìdí ẹya ẹrọ
Aise data ṣọwọn wa si awọn awoṣe ninu awọn oniwe-ti o dara ju fọọmu. Lakoko ti iwe “ọjọ ibi” nikan jẹ asan, iye “ọjọ ori” ti ipilẹṣẹ lati ọdọ rẹ jẹ ami ifihan agbara. O le jade awọn abuda bii “ọjọ ọsẹ”, “ọjọ/oru”, “Ṣe o jẹ isinmi” lati “paṣẹ akoko”. O le darapọ awọn ọwọn meji lati ṣe agbejade ipin kan ("ipin gbese/owo oya"). Nibi, imọ-ẹrọ ẹya n ṣe itumọ imọ agbegbe sinu ifihan agbara mathematiki; Ati pe idi ni pato idi ti o jẹ ipele ti o nilo oye eniyan julọ.
Yiyipada awọn oniyipada isori si awọn nọmba: ifaminsi
Awọn awoṣe gbogbogbo ṣiṣẹ pẹlu awọn nọmba, kii ṣe ọrọ. Yiyipada awọn oniyipada isori (bii ilu, awọ, iru ọja) sinu awọn nọmba ni a pe ni fifi koodu pamọ. Awọn ọna ti o wọpọ mẹta:
Ifaminsi-gbona kan: Ṣi iwe lọtọ pẹlu iye 0/1 fun ẹka kọọkan. Fun "ilu", Istanbul, Ankara, Izmir ọwọn ti wa ni akoso; Ti alabara kan ba wa lati Istanbul, ọwọn yẹn nikan yoo jẹ 1. Apẹrẹ nigbati nọmba awọn ẹka jẹ kekere; Ti awọn ẹka ba pọ ju o ṣe agbejade awọn ọgọọgọrun awọn ọwọn (eyi ni a pe ni “bugbamu iwọn”).
Iyipada aami: Yoo fun nọmba kan si ẹka kọọkan (Istanbul=0, Ankara=1). O rọrun, ṣugbọn o le lairotẹlẹ kọ awoṣe ni ọna kan (bii Ankara> Istanbul); nitorinaa o lo pẹlu iṣọra ni awọn ẹka ti a ko paṣẹ.
Ifaminsi ibi-afẹde: Rọpo ẹka kọọkan pẹlu aropin ti oniyipada ibi-afẹde ninu ẹka yẹn. O lagbara pupọ, ṣugbọn orisun ti o lewu julọ ti jijo: ti o ba ṣe akiyesi ibi-afẹde ti data idanwo, awoṣe wo ọjọ iwaju. O yẹ ki o ṣe iṣiro nikan lati data ikẹkọ ati ni pẹkipẹki (laarin afọwọsi-agbelebu).
Iwọn: awọn nọmba nla ko bori awoṣe naa
Diẹ ninu awọn awoṣe (awọn ti o da lori ijinna, awọn awoṣe laini, awọn nẹtiwọọki nkankikan) jẹ ifarabalẹ si iwọn awọn oniyipada. Ti “owo oya” (0-500,000) ati “ọjọ ori” (0-100) ba ṣubu sinu apẹrẹ kanna, owo-wiwọle le jẹ gaba lori lasan nitori pe o tobi. Iwontunwonsi ṣe atunṣe eyi. Awọn ọna ti o wọpọ meji: isọdiwọn (ṣe iyipada iye kọọkan si “iye awọn iyapa boṣewa kuro ni iwọn”) ati deede (min-max normalization — awọn iye compresses sinu iwọn 0-1). Awọn awoṣe ti o da lori igi (awọn igi ipinnu, igbo laileto) jẹ aibikita iwọn, wọn ko nilo iwọn.
Išọra: Iwọn iwọn ati awọn aye ifaminsi (itumọ, iyapa boṣewa, aworan atọka ẹka-itumọ) yẹ ki o ṣe iṣiro nikan lati data ikẹkọ, lẹhinna o yẹ ki o lo kanna si data idanwo naa. Pẹlu data idanwo jẹ jijo ati pe o jẹ ki awoṣe rẹ dara ju bi o ti jẹ gangan lọ.
Okan ti jijo ni ẹya-ara ẹrọ
Iran ẹya-ara ni ibiti jijo data nigbagbogbo ti bẹrẹ. Awọn aṣiṣe aṣoju meji: jijo akoko - iṣelọpọ ẹya kan ti o pẹlu alaye ọjọ iwaju (pẹlu awọn ọjọ lẹhin ọjọ asọtẹlẹ nigbati o ṣe iṣiro “apapọ ọjọ 30 to kẹhin”). Iṣiro jijo - ṣe iṣiro ẹya kan (apapọ iwọn, iye ifaminsi ibi-afẹde) lati gbogbo data ṣaaju pipin ikẹkọ/idanwo. Ilana: kọ ẹkọ iyipada kọọkan lẹhin ṣiṣe ọkọ oju-irin / idanwo pipin akọkọ ati nikan lati data ikẹkọ. Ọna ti o ni aabo julọ lati ṣe eyi nigbagbogbo ni lati lo opo gigun ti epo - eto kan ti o gba gbogbo awọn iyipada ni ẹwọn kan ati lo wọn lẹhin pipin.
Ọna
fun kini
Ewu ti jijo
akiyesi
Ọkan-gbona fifi koodu
Ayípadà pẹlu diẹ isori
kekere
Explodes iwọn ni ọpọ isori
Ifaminsi aami
Tito lẹsẹsẹ
kekere
Jade aṣẹ kọ ẹkọ ti ko tọ
ifaminsi afojusun
Olona-ẹka, lagbara ifihan agbara
ga pupọ
O kan lati ẹkọ, ni CV
Standardization
Awọn awoṣe ila-ilana
alabọde
Paramita da lori ẹkọ nikan
Time window ẹya-ara
akoko jara
ga
Fi ojo iwaju kun
mẹta mini igba
Ọran 1 - Ohun-ini ti o niyelori. Ẹgbẹ kirẹditi kan ṣe ipilẹṣẹ ẹya “ipin gbese-si-owo oya” lati inu aise “owo oya oṣooṣu” ati “sanwo gbese oṣooṣu” awọn ọwọn. Ẹya ti o ni ẹyọkan yii pọ si deede awoṣe lati 71% si 79%; nitori pe o jẹ oṣuwọn, kii ṣe owo-wiwọle pipe, ti o pinnu gaan eewu naa. Ẹkọ: awọn ipin ti ipilẹṣẹ nipasẹ imọ agbegbe jẹ awọn ifihan agbara to lagbara.
Irú 2 - Àkọlé fifi koodu jo. Ẹgbẹ kan ṣe iyipada “koodu zip” sinu nọmba kan pẹlu fifi koodu ibi-afẹde (oṣuwọn churn apapọ ni agbegbe yẹn), ṣugbọn ṣe bẹ lati gbogbo data ṣaaju pipin. Awoṣe naa fun 94% lori eto idanwo, sisọ silẹ si 68% ni iṣelọpọ. 6 ọsẹ ti akitiyan asonu. Ẹkọ: Ifaminsi ibi-afẹde ni a ṣe ni pẹkipẹki, laarin ikẹkọ nikan.
Ọran 3 - Gbigbagbe iwọn. Oluyanju kan jẹ owo-wiwọle (0-400,000) ati ọjọ-ori alabara (18-75) sinu awoṣe ti o da lori ijinna laisi iwọn. Awọn awoṣe wo fere ti iyasọtọ ni owo oya, fifun pa ipa ọjọ ori. Nigbati a ba ṣafikun iwọn iwọn, ipin di itumọ. Ẹkọ: irẹjẹ ko ni igbagbe ni ijinna / awọn awoṣe laini.
Mẹrin daakọ awọn awoṣe
1) Iran ero ẹya-ara (imukuro jẹ fun ọ):
Rẹ ipa: ẹya ara ẹrọ Iranlọwọ. Awọn ọwọn df mi: birthday_date, order_time (timestamp), oya_tl, gbese_tl, ilu, ọja_category. Ibi-afẹde: “yoo san awin naa pada” (0/1). Daba awọn ẹya 15 ti o le ṣe ipilẹṣẹ lati awọn ọwọn wọnyi; pato ewu jijo (kekere / alabọde / giga) fun ọkọọkan. Ṣe ami si awọn ti o ni alaye iwaju ninu.
2) Ifaminsi to ni aabo (lẹhin-pipin):
Kọ koodu ti ọkan-gbona ṣe koodu “ilu” ati “product_category”. PATAKI: baamu fifi koodu si data ikẹkọ nikan, lẹhinna yi data idanwo pada (pẹlu sklearn OneHotEncoder). Ṣe alaye bi o ṣe mu ẹka ti a ko rii (handle_unknown) ni ẹkọ.
3) Iyipada ti ko jo pẹlu Pipeline:
Ṣeto Pipeline sklearn: lo StandardScaler si awọn ọwọn nomba, OneHotEncoder si awọn ọwọn isori, ṣafikun classifier ni ipari. Ṣe iṣeduro gbogbo awọn iyipada ti wa ni kikọ LEHIN ọkọ oju-irin / idanwo pipin ati lati ikẹkọ nikan. Ṣe alaye koodu naa ati idi ti o fi jẹ ọfẹ.
4) Ẹya window akoko (Iṣakoso jijo):
Ṣe ipilẹṣẹ “nọmba awọn aṣẹ ni awọn ọjọ 30 sẹhin” abuda fun alabara kọọkan, ṣugbọn MASE pẹlu data lẹhin ọjọ asọtẹlẹ naa. Ṣe alaye laini nipasẹ laini pe koodu ko wo ọjọ iwaju. Emi yoo pese ọwọn ọjọ itọkasi.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣafikun awọn ohun-ini to dara si data yii.
"O dara" jẹ aisọye, ibi-afẹde ko ṣe akiyesi, ko si iṣakoso jijo. AI ṣe ipilẹṣẹ laileto, boya jo, awọn ẹya.
Ibere ti o lagbara:
Rẹ ipa: ẹya ẹlẹrọ. Ibi-afẹde: "churn ni 30 ọjọ" (0/1), ọjọ itọkasi ifoju: save_date. Itan iṣowo wa ni df.Task: Ṣe ipilẹṣẹ awọn ẹya 8, dahun ibeere naa “Ṣe Mo ni alaye yii ni akoko asọtẹlẹ” fun Ọkọọkan. Ṣafikun ọjọ lẹhin ọjọ itọkasi ni awọn ẹya window akoko. Kọ koodu naa ni ọna ibaramu opo gigun ti epo lati ṣiṣẹ lẹhin apakan ọkọ oju irin/igbeyewo.
Nibi, ibi-afẹde, akoko itọkasi ati iṣakoso jijo jẹ asọye lati ibẹrẹ.
Awọn aṣiṣe ti o wọpọ
- Kọ ẹkọ iyipada lati gbogbo data ṣaaju pipin. Ti paramita igbelowọn / fifi koodu rii data idanwo, jijo waye.
- Lilo aibikita ti ifaminsi ibi-afẹde. O jẹ ọna ti o lagbara julọ ṣugbọn ọna ti n jo; o kan lati ikẹkọ, ni agbelebu afọwọsi.
- Ṣafikun ọjọ iwaju pẹlu ẹya window akoko kan. Ti iṣiro “awọn ọjọ 30 to kẹhin” ti wa ni titẹ lẹhin ọjọ asọtẹlẹ naa, awoṣe naa rii ọjọ iwaju.
- Iwọn ti ko ni dandan ni awoṣe igi ati irẹjẹ ti ko pe ni awoṣe laini. Awọn ipinnu wiwọn ni a ṣe ni ibamu si iru awoṣe.
- Ṣafikun AI gbogbo imọran ẹya laisi ibeere. Awọn aba le pẹlu asan ati awọn ẹya ti o jo.
Imọran: Kọ ibeere kan silẹ fun ẹya kọọkan ti o ṣe: “Ṣe MO le ṣe iṣiro iye yii pẹlu alaye ti Mo ni ni akoko ti MO ṣe asọtẹlẹ naa?” Ti idahun ko ba jẹ “bẹẹni” ko o, maṣe lo ẹya naa. Ẹkọ ẹyọkan yii yọkuro awọn jijo ti o jọmọ ẹya pupọ julọ.
Ni soki
Imọ-ẹrọ ẹya jẹ iṣẹ ọna ti ipilẹṣẹ awọn ifihan agbara ti o nilari lati data aise ati nigbagbogbo pinnu aṣeyọri ti awoṣe diẹ sii ju algoridimu naa. Awọn isọri koodu (gbigbona kan, aami, ibi-afẹde), awọn nọmba wiwọn (iwọnwọn, deede) ati iṣelọpọ awọn ẹya itọsẹ pẹlu imọ agbegbe jẹ awọn irinṣẹ ipilẹ. Ṣugbọn ipele yii tun jẹ ọkan ti jijo: gbogbo awọn iyipada gbọdọ kọ ẹkọ lẹhin ikẹkọ / pipin idanwo ati lati awọn data ikẹkọ nikan. AI ṣe agbejade ọpọlọpọ awọn imọran; O jẹ idajọ eniyan ti o ṣe iyatọ ohun ti o niyelori lati ewu.
Ohun elo iṣẹ-ṣiṣe
Yan oniyipada ibi-afẹde ati ṣe apẹrẹ o kere ju awọn ẹya itọsẹ marun lati awọn ọwọn ti o ni. Fun ọkọọkan wọn, dahun ibeere naa “Ṣe Mo wa ni akoko asọtẹlẹ” ni kikọ ki o yọkuro o kere ju ọkan bi “ewu giga ti jijo”. Lẹhinna ṣe koodu awọn ẹya to ni aabo ninu opo gigun ti epo lati ṣe imuse ipin lẹhin-ipin.
akojọ ayẹwo
- [] Njẹ Mo lo gbogbo awọn iyipada lẹhin pipin ọkọ oju irin/idanwo?
- [] Njẹ Mo kọ ẹkọ igbelowọn / awọn aye ifaminsi nikan lati ikẹkọ?
- [] Njẹ Mo ti dahun ibeere "Ṣe Mo ni ni akoko asọtẹlẹ" ibeere fun ẹya kọọkan?
- [] Njẹ Mo ti ṣe itọju ni afikun pẹlu awọn ọna eewu giga gẹgẹbi ifaminsi ibi-afẹde?
- [] Njẹ Mo ti pinnu lati ṣe iwọn deede fun iru awoṣe (igi / laini)?