Ẹyọ 6 / 11

Ṣiṣe Awoṣe: Itumọ Isoro, Aṣayan Algorithm, ati Ikẹkọ / Pipin Idanwo

Awọn anfani:

  • Agbara lati ṣalaye iru iṣoro naa (ipinsi, ipadasẹhin, iṣupọ) ati awọn ibeere aṣeyọri ni ibamu si idiyele gidi ti iṣẹ naa
  • Agbara lati pin data naa ni otitọ (laisi fifọwọkan ṣeto idanwo naa; ilana-akọọlẹ ninu jara akoko) ati ṣeto ipilẹ igbelewọn ọfẹ ti o jo.
  • Agbara lati yan awoṣe itumọ nipa bibẹrẹ pẹlu ipilẹ ti o rọrun ati fifi idiju kun nikan nigbati o ba tọ si.

Nitorinaa a ti gba data, sọ di mimọ, ṣawari rẹ, ati ṣe awọn ẹya ara ẹrọ. Bayi a wa si iṣẹ gidi, ṣiṣe awoṣe kan. Awoṣe jẹ eto mathematiki ti o kọ ẹkọ ilana kan lati data ati gbejade awọn asọtẹlẹ fun awọn ipo tuntun. Ṣugbọn apakan pataki julọ ti kikọ awoṣe kii ṣe koodu funrararẹ, ṣugbọn awọn ipinnu meji ti o ṣaju rẹ: asọye iṣoro ti o tọ ati pipin data ni deede. AI jẹ oludamoran ti o lagbara ni yiyan algorithm, kikọ koodu, ati atunṣe paramita; ṣugbọn o jẹ ọkan lati pinnu kini lati sọ asọtẹlẹ ati kini aṣeyọri tumọ si. Iṣoro ti ko ni asọye kii yoo ṣiṣẹ paapaa pẹlu awoṣe kikọ pipe.

Itumọ iṣoro akọkọ: kini a ṣe asọtẹlẹ

Gbogbo iṣẹ awoṣe bẹrẹ pẹlu ibeere kan, ati ibeere yii pinnu iru awoṣe. Ipinsi - iṣẹjade jẹ ẹka kan: “Ṣe alabara yii yoo lọ tabi duro?”, “Ṣe iro idunadura yii?”. Ipadasẹyin (ni ede Gẹẹsi - abajade jẹ nọmba): "Elo ni iye ile yii?", "Awọn ibere melo ni yoo wa ni oṣu ti nbọ?". Pipin (pipin data ti ko ni aami si awọn ẹgbẹ adayeba): "Awọn apakan adayeba melo ni awọn onibara mi pin si?".

Apa keji ti alaye iṣoro naa jẹ ami-aṣeyọri aṣeyọri: kini o tumọ si fun awoṣe yii lati jẹ “dara”? Ni a jegudujera awoṣe, sonu a fraudster jẹ Elo diẹ gbowolori ju lairotẹlẹ ìdènà ohun olododo onibara; Nitorinaa, kii ṣe “ipeye gbogbogbo” ṣugbọn “oṣuwọn ti mimu awọn ẹlẹtan” wa si iwaju. Ti o ko ba ṣalaye ami-ẹri yii lati ibẹrẹ, papọ pẹlu oniwun iṣowo, iwọ yoo pari pẹlu awoṣe “pipe gaan” ti ko ṣiṣẹ (a yoo jinle si awọn metiriki ni Unit 7).

Išọra: “Ipeye” le jẹ ṣinilọna. Ti o ba jẹ pe 10 ninu 1000 awọn iṣowo jẹ arekereke, awoṣe aṣiwere ti o sọ pe “ko si ọkan ti o jẹ arekereke” yoo fun ni deede 99% ṣugbọn kii yoo mu ẹlẹtan kan. Yan awọn ibeere aṣeyọri ti o da lori idiyele gidi ti iṣoro naa.

Ikẹkọ / pipin idanwo: idanwo otitọ ti awoṣe

Idanwo awoṣe kan pẹlu data ti o ti kọ jẹ bi bibeere ọmọ ile-iwe ni awọn ibeere kanna ti o ṣe iwadi lori idanwo naa; O gba awọn aami giga ṣugbọn ko ṣe afihan ohun ti o mọ gaan. Nitorinaa a pin data naa si meji (nigbagbogbo mẹta):

  • Eto ikẹkọ (eto ikẹkọ ni Gẹẹsi, nigbagbogbo 70-80%): Awoṣe kọ ẹkọ lori eyi.
  • Eto idanwo (eto idanwo, nigbagbogbo 20-30%): Awoṣe ko rii eyi rara; iṣẹ gidi ni a wọn nibi.
  • Eto afọwọsi: Eto agbedemeji ti a lo fun eto awoṣe (paramita wo ni o dara julọ); lati tọju ṣeto idanwo naa "mimọ".

Ofin ipilẹ julọ: eto idanwo ko ni fọwọkan lakoko ikẹkọ. Iwọn iwọn, ifaminsi, yiyan ẹya - gbogbo wọn ni a kọ ẹkọ nirọrun lati eto ikẹkọ, lẹhinna lo si idanwo (ipilẹ jijo lati Ẹka 5). Eto idanwo jẹ igba akọkọ ti awoṣe wo aye gidi; Ti o ba tan-an ni kutukutu iwọ kii yoo mọ iṣẹ ṣiṣe tootọ.

Iyatọ lẹsẹsẹ akoko: Ti data rẹ ba da lori akoko (titaja, ọja iṣura, ibeere), pipin laileto ko ṣe. Nitori pipin laileto fa awoṣe lati rii ọjọ iwaju ati asọtẹlẹ ohun ti o kọja - eyi jẹ jijo. Dipo, pin ni ọna kika: kọ pẹlu akoko atijọ, ṣe idanwo pẹlu akoko tuntun.

Aṣayan alugoridimu: lati rọrun si eka

Aṣiṣe ti o wọpọ julọ ti awọn olubere ni lati bẹrẹ pẹlu awoṣe eka julọ. Ọna ti o tọ jẹ idakeji: akọkọ fi idi ipilẹ ti o rọrun kan. "nigbagbogbo gboju le won poju kilasi" ni a classification; "nigbagbogbo ṣe iṣiro iwọn" ni ipadasẹhin. Yi Karachi awoṣe yoo fun a ipetele; Ti awoṣe gangan rẹ ko ba le kọja eyi, iṣoro kan wa. Lẹhinna tẹsiwaju si awọn awoṣe ti o rọrun ati itumọ.

awoṣe

Iru isoro

lagbara ojuami

ailera

Ipilẹ (pupọ/apapọ)

mejeeji

Yoo fun ala

ko kọ ẹkọ

Logistic padasẹyin

Iyasọtọ

Rọrun, itumọ

Ibasepo laini nikan

Ipadasẹyin laini

ifaseyin

Rọrun, yara

laini arosinu

igi ipinnu

mejeeji

itumọ

Rọrun memorizations

igbo ID

mejeeji

Lagbara, ti o tọ

Itumọ ti o kere

Ilọsiwaju ni ilọsiwaju (XGBoost ati bẹbẹ lọ)

mejeeji

lagbara pupọ

O nira lati ṣatunṣe, ewu ti iranti

Ofin: yan awoṣe “dara to” ti o rọrun julọ. Itumọ jẹ diẹ niyelori ju agbara ni ọpọlọpọ awọn ipo iṣowo; O dara lati ṣalaye ijusile kọni kan “nitori ipin gbese-si-owo oya rẹ ga” ju “nitori apoti dudu sọ bẹ.”

mẹta mini igba

Case 1 - Itumọ iṣoro ti ko tọ. Ẹgbẹ kan kọ awoṣe isọdi ti o da lori “ni itẹlọrun alabara” ṣugbọn yan “ipeye” gẹgẹbi ami-aṣeyọri aṣeyọri. Ninu data naa, 88% awọn alabara ni itẹlọrun; Awoṣe naa ni deede 88% nipa pipe gbogbo eniyan “ilọrun” ati pe ko mu awọn eniyan ti ko ni itẹlọrun rara - botilẹjẹpe ibi-afẹde gidi ni lati wa wọn. Ẹkọ: yan awọn iyasọtọ aṣeyọri ti o da lori idi gidi.

Ọran 2 - Time jo ni kompaktimenti. Ninu iṣẹ akanṣe asọtẹlẹ eletan, data ti pin laileto. Awoṣe naa funni ni deede 93% ṣugbọn o kọlu ni iṣelọpọ nitori ni ikẹkọ o ti sọ asọtẹlẹ Oṣu Kini, lẹhinna Oṣu kọkanla, pẹlu data Kejìlá - o ti rii ọjọ iwaju. Nigba ti a ba yipada si pipin akoko, iṣẹ gangan pọ si 74%. Ẹ̀kọ́: Ìpín ìgbà ìṣẹ̀lẹ̀ nínú àkópọ̀ àkókò.

Ọran 3 - Kobojumu complexity. Oluyanju kan bẹrẹ taara pẹlu nẹtiwọọki nkankikan ti o jinlẹ, ṣe aifwy fun awọn ọsẹ, ati pe o ni deede 81%. Lẹhinna ẹlẹgbẹ kan ni 80% pẹlu awọn laini 20 ti ipadasẹhin eekanna - yiyara pupọ, itumọ ati rọrun lati ṣetọju. Ẹkọ: bẹrẹ pẹlu ipilẹ ati awoṣe ti o rọrun, ṣafikun idiju nigbati o ba tọ si.

Mẹrin daakọ awọn awoṣe

1) Ṣiṣalaye asọye iṣoro naa:

Rẹ ipa: modeli ajùmọsọrọ. Ran mi lọwọ lati ṣalaye iṣẹ yii: “Mo fẹ lati dinku iṣiṣẹ alabara.” Beere lọwọ mi ki o ṣe alaye: (1) eyi jẹ ipinya tabi ipadasẹhin, (2) kini gangan oniyipada ibi-afẹde ati bawo ni o ṣe yẹ ki o ṣalaye, (3) kini o yẹ ki o jẹ awọn ami aṣeyọri ati idi. Ipinnu naa ni temi; o ṣafihan awọn ibeere ati awọn aṣayan.

2) Ikẹkọ ailewu / iyẹwu idanwo:

Pin mi df sinu ikẹkọ / idanwo 80%/20%. Ṣe itọju pinpin kilasi (stratify) .random_state = 42. Eyi kii ṣe jara akoko (awọn akiyesi ominira). Tẹjade ipin kilasi ti ṣeto kọọkan lẹhin pipin. Kan fun koodu pipin si eto idanwo laisi lilo eyikeyi iyipada.

3) Pipin isọtẹlẹ akoko:

Data naa da lori akoko (iwe ọjọ: order_date). KO ID, pin akoko: Atijọ 80% ikẹkọ, tuntun 20% idanwo. Ṣe atẹjade awọn sakani ọjọ ikẹkọ ati idanwo ki MO le rii daju pe ọjọ iwaju ko ti jo.

4) Ṣiṣeto ipilẹ kan:

Mo ni a classification isoro (afojusun: churn 0/1). Ni akọkọ fi idi ipilẹ kan mulẹ: wiwọn ikẹkọ / išedede idanwo pẹlu DummyClassifier, eyiti o sọ asọtẹlẹ kilasi to poju nigbagbogbo. Lẹhinna ṣe ikẹkọ ipadasẹhin eekaderi ti o rọrun ki o ṣe afiwe boya o lu ipilẹ. Ṣe afihan awọn metiriki ti ẹgbẹ mejeeji ni ẹgbẹ.

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Kọ awoṣe ti o dara julọ pẹlu data yii.

"Ti o dara ju" jẹ aisọye; Nibẹ ni ko si isoro iru, ko si ibi-afẹde, ko si aseyori àwárí mu ko si si pipin nwon.Mirza. AI ṣe ipilẹṣẹ apẹrẹ laileto, o ṣee ṣe jo.

Ibere ​​​​ti o lagbara:

Rẹ ipa: modeli arannilọwọ. Isoro: isọdi, ibi-afẹde "churn" (0/1), aiṣedeede kilasi wa (~ 12% churn). Àṣeyọrí àṣeyọrí: Rírántí àwọn tí wọ́n kọ̀ jálẹ̀ jẹ́ ohun àkọ́kọ́. Data ominira akiyesi (ko akoko jara). Iṣẹ-ṣiṣe: (1) 80/20% pipin stratified, (2) DummyClassifier baseline, (3) ipadasẹhin logistic, gbogbo awọn iyipada ni opo gigun ti epo ati kọ ẹkọ nikan lati ikẹkọ. Maṣe fi ọwọ kan eto idanwo ṣaaju pipin.

Nibi iru iṣoro naa, aiṣedeede, ami iyasọtọ ati iwọn jijo jẹ kedere.

Awọn aṣiṣe ti o wọpọ

  • Ko yan awọn iyasọtọ aṣeyọri ni ibamu si idi gidi. “Ipeye” ni data aipin jẹ ṣinilọna; Ti o ba fẹ gba kilasi kekere, ranti wa si iwaju.
  • Fifọwọkan ṣeto idanwo lakoko ikẹkọ. Ṣiṣe wiwọn / fifi koodu ṣaaju pipin jẹ ṣiṣan ati tọju iṣẹ ṣiṣe gidi.
  • Iyapa ID ni akoko jara. Awọn awoṣe wo ojo iwaju, ṣubu ni iṣelọpọ; Pipin Chronological jẹ pataki.
  • N fo sinu awoṣe eka laisi idasile ipilẹ kan. Laisi awọn aṣepari o ko le mọ boya awoṣe kan dara gaan tabi rara.
  • Fojusi itumọ. Ni awọn ipinnu iṣowo, awoṣe ti o rọrun ti o ṣe alaye nigbagbogbo jẹ diẹ niyelori ju apoti dudu kan.
Imọran: Ṣaaju ki o to bẹrẹ kikọ awoṣe kan, kọ gbolohun kan: “Awoṣe yii yoo sọ asọtẹlẹ _____, aṣeyọri rẹ yoo jẹ iwọn nipasẹ metiriki _____, nitori idiyele otitọ ti iṣẹ naa jẹ _____.” Ti o ko ba le fọwọsi gbolohun yii, iwọ ko ṣetan lati kọ koodu sibẹsibẹ.

Ni akojọpọ

Apakan ti o ṣe pataki julọ ti kikọ awoṣe kii ṣe koodu, ṣugbọn awọn ipinnu ti o ṣaju rẹ: asọye iṣoro ti o tọ (ipinsi tabi ipadasẹhin, kini ibi-afẹde, kini ami-aṣeyọri aṣeyọri) ati pipin data ni deede (laisi fọwọkan ṣeto idanwo; akoole ninu jara akoko). Bẹrẹ nigbagbogbo pẹlu ipilẹ ti o rọrun ki o ṣafikun idiju nikan nigbati o ba tọ si; itumọ jẹ idiyele lori agbara ni ọpọlọpọ awọn ipo iṣowo. AI jẹ oludamoran ti o lagbara ni yiyan algorithm ati koodu, ṣugbọn eniyan pinnu kini o ṣe asọtẹlẹ ati idi.

Ohun elo iṣẹ-ṣiṣe

Ṣetumo iṣoro asọtẹlẹ kan ki o pari gbolohun atẹle ni kikọ: “Awoṣe yii yoo sọtẹlẹ ____ (ipinsisọ/ipadabọ), ibi-afẹde jẹ ____, ami-aṣeyọri aṣeyọri jẹ ___ nitori ____.” Lẹhinna pin data naa pẹlu ilana ti o tọ (akoko ti akoko ti o ba jẹ jara akoko), fi idi ipilẹ kan mulẹ, ki o wọn boya ilana ti o rọrun kan fọ ipilẹ yẹn.

akojọ ayẹwo

  • [] Njẹ Mo ti ṣalaye ni kedere iru iṣoro naa (ipinsi/ipadabọ) ati ibi-afẹde?
  • [] Njẹ Mo ti yan awọn iyasọtọ aṣeyọri ti o da lori idiyele gangan ti iṣẹ naa?
  • [] Ṣe Mo fi eto idanwo silẹ laifọwọkan lakoko ikẹkọ?
  • [] Tí ó bá jẹ́ àkópọ̀ àkókò, ṣé mo pín rẹ̀ ní ọ̀nà ìgbàkọ̀ọ̀kan?
  • [] Njẹ Mo ti ṣeto ipilẹ kan ṣaaju ki o to lọ si awoṣe eka naa?