Jijo data ati Atunse: Awọn ajalu ipalọlọ ati ibawi

Awọn anfani:

• Agbara lati ṣe idanimọ awọn iru jijo data (afojusun, akoko, iṣaju, laini akojọpọ) ati beere Dimegilio 'dara ju lati jẹ otitọ' bi itaniji
• Agbara lati ṣe idiwọ jijo pẹlu iyapa kutukutu ti ṣeto idanwo, opo gigun ti epo ati pipin ti o pe (akoko-akoko / akojọpọ)
• Agbara lati jẹ ki itupalẹ ṣe atunṣe pẹlu awọn irugbin ti o wa titi, iṣakoso ẹya ati yiyọ awọn igbesẹ afọwọṣe

Awọn aṣiṣe meji lo wa ti o padanu igbiyanju pupọ julọ ninu imọ-jinlẹ data, ati pe wọn jẹ aṣiwere mejeeji nitori wọn yorisi ajalu ni kete nigbati ohun gbogbo “dabi pe o dara.” Akọkọ jẹ jijo data: awoṣe ṣiṣẹ nla lori eto idanwo ṣugbọn awọn ipadanu ni iṣelọpọ. Awọn keji ni irreproducibility: o ṣiṣe ohun onínọmbà osu mefa nigbamii ati ki o gba a patapata ti o yatọ esi. Ẹka yii jẹ igbẹhin si mimọ ati yago fun awọn ọfin meji wọnyi ni ijinle. AI le mu awọn eewu mejeeji pọ si (awọn ipilẹṣẹ ni iyara, daba awọn n jo ti o farapamọ, jẹ ki o rọrun fun ọ lati ṣe awọn igbesẹ afọwọṣe) ṣugbọn tun le dinku wọn ti o ba lo ni deede. Iyatọ wa ni ibawi.

Data jo: clairvoyant awoṣe

Jijo data jẹ nigbati awoṣe ba rii alaye lakoko ikẹkọ ti kii yoo ni ni akoko asọtẹlẹ gangan. Awoṣe naa "iyanjẹ" pẹlu alaye yii, n wo nla lori eto idanwo, ṣugbọn kọlu ni iṣelọpọ laisi alaye yẹn. Awọn aami aisan ti jijo jẹ fere nigbagbogbo kanna: o dara pupọ lati jẹ otitọ. Ṣaaju ki o to yọ nigbati o rii deede 99%, o yẹ ki o wa awọn n jo.

Awọn oriṣi akọkọ ti jijo ni:

1. Ifojusi jijo: Ẹya kan jẹ abajade ti ibi-afẹde. Ninu asọtẹlẹ “a fagilee”, “ọjọ ifagile” tabi “iye agbapada” awọn ọwọn jẹ abajade ibi-afẹde; Wọn yoo kun nikan nigbati abajade ba han.

2. Time jo: Kiko ojo iwaju alaye si awọn ti o ti kọja. Nigbati o ba n ṣe iṣiro “apapọ awọn ọjọ 30 ti o kẹhin”, pẹlu awọn ọjọ lẹhin ọjọ asọtẹlẹ naa, tabi pin lẹsẹsẹ akoko laileto.

3. Iṣagbejade iṣaju-iṣaaju: Awọn iyipada ẹkọ gẹgẹbi irẹjẹ, kikun, ifaminsi lati gbogbo data ṣaaju ki ikẹkọ / idanwo ipin. Awọn aropin ti data idanwo dabaru pẹlu ikẹkọ.

4. Pidánpidán / akojọpọ ila jo: Awọn ori ila ti o jẹ ti eniyan kanna wa ni ikẹkọ mejeeji ati idanwo (awọn abẹwo meji ti alaisan kanna ni awọn oriṣiriṣi oriṣiriṣi). Awoṣe ṣe akori eniyan naa.

Iru jo

Bawo ni a bi

Bi o ṣe le ṣe idiwọ

jo afojusun

Ọwọn ti o jẹ abajade ti ibi-afẹde

"Ṣe Mo ni ni akoko asọtẹlẹ" idanwo

akoko jo

Kiko ojo iwaju si awọn ti o ti kọja

Chronological pipin, window Iṣakoso

Iṣagbekalẹ ti n jo

Pre-pipin iyipada

Pipeline, ni ibamu nikan lati ikẹkọ

jo ila akojọpọ

Kanna kuro ni meji tosaaju

Pipin nipasẹ ẹgbẹ (GroupKFold)

Ẹkọ nikan lati ṣe idiwọ jijo

Ojutu ti o wọpọ fun gbogbo awọn iru awọn n jo n ṣan silẹ si gbolohun kan: Ya sọtọ ṣeto idanwo ni kutukutu bi o ti ṣee ṣe lati farawe ọjọ iwaju gidi, ati maṣe “kọ” ohunkohun. Ni iṣe, eyi tumọ si: pin akọkọ, lẹhinna kọ ẹkọ gbogbo awọn iyipada nikan lati ikẹkọ ati lo wọn ni opo gigun ti epo (itumọ ti o gba gbogbo awọn igbesẹ ni ẹwọn kan). Fun ẹya kọọkan, beere ibeere naa "Ṣe Mo ni alaye yii ni akoko asọtẹlẹ naa?" Bí àkókò bá wà, ẹ pín rẹ̀ ní ọ̀nà ìgbàkọ̀ọ̀kan; Ti ẹyọkan kanna ba jẹ atunwi, pin nipasẹ ẹgbẹ.

Išọra: Ẹya ti o lewu julọ ti jijo ni pe o ṣafihan ararẹ bi aṣeyọri. Awoṣe buburu kan yoo han awọn esi ti ko dara ati pe yoo ṣe akiyesi; Awoṣe ti jo ṣiṣẹ nla, o wu gbogbo eniyan, ati pe a fi sinu iṣelọpọ - iyẹn ni ibi ti iṣubu bẹrẹ. Ti o ni idi ti abajade "dara julọ" jẹ idi fun itaniji, kii ṣe ayẹyẹ.

Reproducibility: gbigba esi kanna lemeji

Reproducibility ni agbara lati gba esi kanna nigbati o ba tun ṣe itupalẹ lẹẹkansi ni akoko miiran, lori ẹrọ miiran. Laisi eyi, itupalẹ rẹ jẹ iṣẹlẹ, kii ṣe imọ-jinlẹ. Awọn okunfa akọkọ ati awọn ojutu ti o ṣe aiṣedeede ẹda:

Awọn igbesẹ afọwọṣe: Pẹlu ọwọ yiyipada sẹẹli kan ni Excel, ṣiṣatunṣe aworan kan pẹlu ọwọ. Solusan: ni igbesẹ kọọkan ni koodu.

Ailewu ti a ko tii: Idanileko awoṣe, iṣapẹẹrẹ, pipin pẹlu laileto. Solusan: ṣatunṣe irugbin laileto (iye ibẹrẹ ti olupilẹṣẹ ID) (random_state=42).

Awọn iyipada ẹya: Abajade le yipada nigbati ẹya ile-ikawe ba yipada. Solusan: ṣatunṣe awọn igbẹkẹle (requirements.txt, faili ayika).

Ko si igbasilẹ igbasilẹ: Ko ṣe alaye iru data wo, koodu wo, iru paramita wo ni a lo. Solusan: iṣakoso ẹya (Git — eto ti o fipamọ gbogbo awọn ẹya ti koodu) ati ẹya data.

"O ṣiṣẹ lori ẹrọ mi nikan": Solusan: ṣe iwe ayika, lo awọn apoti (Docker) ti o ba ṣeeṣe.

mẹta mini igba

Irú 1 - Àkọlé jo. Onínọmbà ilera kan ṣe afihan iwe “oogun itusilẹ lẹhin-jade” ni asọtẹlẹ “boya alaisan yoo tun gba.” Oju-iwe yii ti kun nikan lẹhin ti o ti yọ alaisan kuro. Awoṣe naa fun 96%, ni iṣelọpọ 61%. Ise agbese 8 ọsẹ jẹ idoti. Ẹkọ: beere ẹya kọọkan "Ṣe o wa ni akoko asọtẹlẹ?"

Ọran 2 - Preprocessing jo. Ẹgbẹ kan ṣe iwọn gbogbo data naa lẹhinna pin. Itumọ data idanwo naa ni ipa ninu igbelowọn. Dimegilio CV 89%, iṣelọpọ gangan 76%. Aṣeyọri iro naa parẹ nigbati Mo gbe si Pipeline ati kọ ẹkọ nipa awọn iyipada nikan lati ikẹkọ. Ẹkọ: pin akọkọ, yipada nigbamii.

Ọran 3 - Ikuna lati ẹda. Oluyanju kan fẹ lati ṣe imudojuiwọn chart ti o gbekalẹ si iṣakoso ni oṣu mẹta lẹhinna ṣugbọn ko le ranti bi o ṣe ṣe jade; ọpọlọpọ awọn igbesẹ ti a ṣe pẹlu ọwọ ni Excel. Abajade ko ṣiṣẹ ati igbẹkẹle ti mì. Ẹkọ: ko si awọn igbesẹ afọwọṣe, ohun gbogbo wa ni koodu ati Git.

Mẹrin daakọ awọn awoṣe

1) Ayẹwo sisan:

Rẹ ipa: jo olubẹwo. Ibi-afẹde: "churn" (0/1), ọjọ itọkasi asọtẹlẹ: record_date. Emi yoo fun ọ ni atokọ ti awọn ẹya. Fun ẹya kọọkan: (a) o jẹ abajade ti ibi-afẹde naa, (b) o ha wa fun mi ni akoko asọtẹlẹ, (c) Ṣe window akoko pẹlu ọjọ iwaju bi? Samisi bi "ailewu / ifura / jo" ki o kọ idi kan. Awọn ẹya: [akojọ]

2) opo gigun ti epo ti ko jo:

Ṣeto Pipeline sklearn: ọkọ oju-irin pipin akọkọ / idanwo (stratified, irugbin = 42), NIGBANA ni ibamu si gbogbo ilana iṣaaju (impute, scale, encode) sinu opo gigun ti epo lati ikẹkọ NIKAN. Ṣe alaye idi ti koodu naa ko ni jijo, igbesẹ wo ni o kọ ẹkọ nibiti.

3) Kóòdù àtúnṣe àtúnṣe:

Mo fẹ ṣe itupalẹ mi ni atunṣe. Dabaa koodu/igbekalẹ ti o ṣe afikun: (1) irugbin lile fun gbogbo ID, (2) titẹ sita awọn ẹya ìkàwé ti a lo, (3) ọjọ/version tag fun data ki o si wu. Tun fun mi ni atokọ ayẹwo lati rii daju pe ko si awọn igbesẹ afọwọṣe.

4) Ipin ti a ṣe akojọpọ (ojo ẹyọkan kanna):

Ninu data onibara_id kanna wa ni awọn ori ila pupọ. Ṣe pipin (GroupKFold orGroupShuffleSplit, ẹgbẹ = client_id) ti o ṣe idiwọ alabara kanna lati wa ninu ikẹkọ mejeeji ati idanwo. Ṣafikun koodu lati rii daju pe ko si alabara ninu awọn eto mejeeji lẹhin pipin.

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Awoṣe mi pada ni deede 98%, ṣe kii ṣe nla bi? Je ki awọn koodu.

Ayẹyẹ 98% tọju jijo naa. Ṣaaju ṣiṣe iṣapeye, o yẹ ki o beere boya Dimegilio yii jẹ gidi tabi rara.

Ibere ​​​​ti o lagbara:

Rẹ ipa: jo olubẹwo. Awoṣe mi pada si deede 98% lori eto idanwo, eyiti o dun “dara ju lati jẹ otitọ” si mi. Ṣayẹwo: (1) jẹ awọn ẹya eyikeyi ti o jẹ abajade ti ibi-afẹde, (2) awọn iyipada ti a ṣe ṣaaju pipin, (3) jẹ ẹyọkan kanna ni awọn eto meji, (4) ni akoko eyikeyi n jo. Ṣe atokọ eyikeyi awọn aaye ifura; Fojusi lori wiwa jo, kii ṣe atunṣe Dimegilio.

Nibi, a ṣe itọju Dimegilio giga bi ami kan lati beere, kii ṣe lati ṣe ayẹyẹ.

Awọn aṣiṣe ti o wọpọ

• Ayẹyẹ abajade “dara pupọ”. Dimegilio-dara-to-otitọ jẹ gbigbọn jijo, kii ṣe aṣeyọri.
• Kọ ẹkọ iyipada lati gbogbo data ṣaaju pipin. Awọn wọpọ jo; Pin akọkọ pẹlu opo gigun ti epo.
• Pipin akoko jara laileto. Awọn awoṣe wo ojo iwaju; Pipin Chronological jẹ dandan.
• Nlọ kuro ni ẹyọkan kanna ni awọn eto meji. Awoṣe ṣe akori eniyan naa; Pin nipasẹ ẹgbẹ.
• Ko titẹ wọle pẹlu ọwọ ati kikọ sinu koodu naa. Onínọmbà di irreproducible; ohun gbogbo yẹ ki o wa ni koodu ati Git.

Imọran: Kọ ọrọ-ọrọ meji kan "igo ti ọlá" ni ibẹrẹ ti iṣẹ akanṣe rẹ: "Emi ko fi ọwọ kan idanwo ti a ṣeto ni eyikeyi ọna ṣaaju ki Mo rii ni iṣelọpọ. Gbogbo igbesẹ wa ninu koodu ati pe irugbin ti wa ni ipilẹ." Ti o ko ba le fowo si awọn gbolohun ọrọ mejeeji ni otitọ, abajade rẹ ko ni igbẹkẹle sibẹsibẹ.

Ni akojọpọ

Jijo data ati ti kii ṣe atunṣe jẹ awọn aṣiṣe ipalọlọ meji ti o gbowolori julọ ni imọ-jinlẹ data. Jijo ni awọn awoṣe ká iran ti ojo iwaju ati ki o iloju ara bi eke aseyori; Ojutu ni lati pin idanwo ti a ṣeto ni kutukutu, kọ ẹkọ awọn iyipada nikan lati ikẹkọ (pipeline), beere ẹya kọọkan ibeere naa “Ṣe Mo ni ni akoko asọtẹlẹ” ati ṣe pipin ti o tọ (akoko / akojọpọ). Reproducibility ni anfani lati gba esi kanna lemeji; Ojutu rẹ ni lati yọ awọn igbesẹ pẹlu ọwọ, pin irugbin, di awọn ẹya, ati tọju ohun gbogbo ni Git. AI le ṣe alekun tabi dinku awọn ewu wọnyi; Ibawi rẹ ni o pinnu.

Ohun elo iṣẹ-ṣiṣe

Mu atokọ ẹya ara ẹrọ ti awoṣe ti o ti kọ (tabi arosọ kan) ki o beere ẹya kọọkan ibeere naa “Ṣe Mo ni alaye yii ni akoko asọtẹlẹ?” ni kikọ; Wa o kere ju oludije kan jo. Lẹhinna fọwọsi atokọ ayẹwo lati jẹ ki atuntu rẹ jẹ atunṣe: irugbin ti o wa titi, awọn igbesẹ afọwọṣe wa, awọn ẹya ti forukọsilẹ, wọn wa ni Git. Ṣe atunṣe awọn aipe.

akojọ ayẹwo

• [] Njẹ Mo beere fun Dimegilio “dara ju lati jẹ otitọ” bi gbigbọn jijo?
• [] Njẹ Mo kọ gbogbo awọn iyipada lẹhin pipin, o kan lati ikẹkọ?
• [] Njẹ Mo ti pin ni ibamu si akoko/igbekalẹ ẹgbẹ (akoko-ọjọ/GroupKFold)?
• [] Njẹ Mo ti jẹ ki gbogbo laileto tun ṣe pẹlu irugbin ti o wa titi?
• [] Ṣe Mo yọ awọn igbesẹ afọwọṣe kuro ki o tọju ohun gbogbo ni koodu ati iṣakoso ẹya?