Awọn anfani:
- Agbara lati ṣe awari awọn iye ti o padanu, awọn ita gbangba, ifihan ati awọn iṣoro didara data ni eto imulo ati ibaje data pẹlu atilẹyin oye itetisi atọwọda ati gbejade ilana atunṣe
- Imọ-ẹrọ ẹya (iyọrisi oniyipada tuntun, akojọpọ, ifaminsi) ati isọdọtun ifihan si oye atọwọda pẹlu ipo to tọ
- Loye pe awọn iyipada data ti a daba nipasẹ itetisi atọwọda yẹ ki o ṣe ayẹwo nipasẹ adaṣe kan lodi si eewu jijo data ati ojuṣaaju farasin.
Ti o kere julọ ti sọrọ nipa ṣugbọn apakan ti n gba akoko pupọ julọ ti iṣẹ iṣe jẹ igbaradi data. Awọn oṣere ti o ni iriri mọ pe pupọ julọ akoko iṣẹ akanṣe awoṣe jẹ lilo mimọ, apapọ, ati ṣatunṣe data naa. Laibikita bawo ni awoṣe ti o yangan, ti data igbewọle ba bajẹ, iṣẹjade ti bajẹ — ni kukuru, “idoti sinu, idoti jade.” Ninu ẹyọ yii, a yoo rii awọn iṣoro aṣoju ti eto imulo ati awọn alaye ẹtọ, bii o ṣe le rii ati ṣatunṣe wọn pẹlu AI, ati imọ-ẹrọ ẹya (awọn oniyipada tuntun ti o jẹ alaye diẹ sii lati data ti o wa tẹlẹ).
Ikilọ lati ibẹrẹ: igbaradi data jẹ igbesẹ ti o dabi ẹnipe imọ-ẹrọ ati alaiṣẹ, ṣugbọn eyi ni ibiti awọn aṣiṣe ti o lewu julọ tọju. Iṣe deede ifihan ti ko tọ, jijo data ti o farapamọ, tabi aifẹ ti a ṣe afihan lairotẹlẹ ba gbogbo awọn awoṣe ti o tẹle jẹ. AI mu igbesẹ yii pọ si pupọ, ṣugbọn ti o ba jẹ ki a ṣakoso rẹ, o tun pọ si eewu naa.
Aṣoju isoro ti actuarial data
Eto imulo ati awọn ẹtọ data fere ko de mimọ. Awọn iṣoro ti o wọpọ julọ ni: Awọn iye ti o padanu: diẹ ninu awọn eto imulo ni ọjọ ori ọkọ, iṣẹ tabi agbegbe. Ni afọju kikun iwọnyi pẹlu apapọ le ṣẹda irẹjẹ; aipe funrarẹ nigbakan gbe alaye (awọn ti o padanu jẹ ẹgbẹ ti o yatọ). Outliers: awọn igbasilẹ aimọgbọnwa gẹgẹbi owo odi, iṣeduro 200 ọdun, eto imulo ifihan-odo. O gbọdọ ṣe iyatọ boya iwọnyi jẹ awọn aṣiṣe data tabi awọn ọran eti gidi. Aiṣedeede: awọn akọtọ oriṣiriṣi ti agbegbe kanna ("Istanbul", "Istanbul", "34"), iporuru ọna kika ọjọ. Awọn titẹ sii pidánpidán: titẹsi ti ibajẹ kanna lemeji.
Ṣugbọn ọrọ to ṣe pataki julọ ni pato si iṣẹ iṣe jẹ ifihan. Ti eto imulo ba bẹrẹ ni aarin ọdun, o pese ifihan ida kan (fun apẹẹrẹ ọdun 0.5) fun ọdun yẹn, kii ṣe “ọdun eto imulo” ni kikun. Igbohunsafẹfẹ ati awọn oṣuwọn ibajẹ yẹ ki o jẹ deede nigbagbogbo si ifihan; bibẹkọ ti kukuru igba imulo han ga ewu. AI le ṣe koodu iṣiro ifihan, ṣugbọn o gbọdọ pese asọye ati ofin iṣowo.
Tabili ti o tẹle ṣe akopọ awọn iṣoro aṣoju ati ọna ti o pe:
isoro
ọna ti ko tọ
ọtun ona
sonu iye
Kun gbogbo pẹlu apapọ
Ṣe itupalẹ aipe; ma ṣii kan lọtọ ẹka
outlier
Parẹ laifọwọyi
Ṣe iyatọ laarin aṣiṣe data ati asiwaju gidi
ifihan
Ka gbogbo awọn eto imulo fun ọdun 1
Ṣe iṣiro ifihan ida
Aiṣedeede Ẹka
foju
Baramu pẹlu boṣewa dictionary
loorekoore bibajẹ
maṣe akiyesi
Deduplicate pẹlu awọn aaye bọtini
Imọ-ẹrọ ẹya: yoyo imo lati data
Imọ-ẹrọ ẹya jẹ iṣẹ ọna ti jijade awọn oniyipada tuntun ti o wulo diẹ sii si awoṣe lati awọn oniyipada aise ti o wa. Awọn apẹẹrẹ: “ọjọ ori” lati ọjọ ibi, “ẹgbẹ ọjọ-ori” (binning) lati ọjọ-ori, “apa ewu” lati inu awoṣe ṣiṣe-ọkọ, “iṣiro maileji ọdọọdun” lati apapọ adirẹsi-ilana. Ẹya ti o dara gbe ifihan agbara ti o lagbara ju data aise lọ ati pe o pọ si deede ati itumọ ti awoṣe.
Awọn ọna ẹrọ mẹta ni a lo nigbagbogbo ni iṣẹ iṣe. Asopọmọra: Iyapa oniyipada lemọlemọfún (ọjọ ori) si awọn ẹgbẹ ti o nilari; eyi n gba awọn ibatan ti kii ṣe laini ati ki o jẹ ki idiyele idiyele naa jẹ kika. Ṣiṣe koodu: yiyipada awọn oniyipada isori (agbegbe) sinu ọna kika nọmba ti o dara fun awoṣe; Ifaminsi orisun-ewu (ti o nsoju ẹka kọọkan pẹlu oṣuwọn ibajẹ tirẹ) jẹ wọpọ ṣugbọn o yẹ ki o ṣee ṣe pẹlu iṣọra. Isọdọtun: ṣiṣe ohun gbogbo ni afiwe nipasẹ pinpin nipasẹ ifihan rẹ. AI ni kiakia ṣe koodu fun awọn iyipada wọnyi; Ṣugbọn o gbọdọ fọwọsi imọran ti iyipada kọọkan.
Imọran: Iforukọsilẹ ibi-afẹde jẹ alagbara ṣugbọn itara si jijo data: awoṣe “iyanjẹ” ti o ba pẹlu ibajẹ ti ara ẹni kana nigbati o n ṣe iṣiro ibajẹ apapọ ti ẹka kan. Ṣe eyi nigbagbogbo laarin data ikẹkọ, ni ilana ijẹrisi-agbelebu.
Ewu ti o buruju julọ: jijo data ati ojuṣaaju ti ko tọ
Jijo data jẹ ifihan alaye sinu awoṣe ti ko si tẹlẹ ni akoko asọtẹlẹ. Apeere Ayebaye: ṣafihan oniyipada kan ti o ni abajade, gẹgẹbi “awọn ẹtọ ti o san,” sinu awoṣe ti o sọ asọtẹlẹ iye ẹtọ naa. Awoṣe naa dabi pipe ni data idanwo ṣugbọn ko wulo ni agbaye gidi nitori alaye yẹn ko si ni akoko asọtẹlẹ. Njo jẹ nigbagbogbo farapamọ ati pe a mu nikan nipasẹ iṣaro iṣe adaṣe - AI nigbagbogbo ko ṣe akiyesi, nigbakan paapaa yìn oniyipada leaky bi “asọtẹlẹ ti o lagbara pupọ.”
Ewu ẹlẹtan keji jẹ ojuṣaaju ti ko tọ. Ti data itan ba jẹ aiṣedeede duro fun ẹgbẹ kan (fun apẹẹrẹ, agbegbe ti itan-akọọlẹ kọ ọpọlọpọ awọn eto imulo), awọn ẹya ti o wa lati inu data yẹn gbe ojuṣaaju yẹn ati awoṣe ṣe atunṣe si ọjọ iwaju. Ipele imọ-ẹrọ ẹya jẹ akoko to ṣe pataki julọ nigbati aibikita yii le ṣe idanimọ ati ṣatunṣe.
Išọra: Ṣaaju ki o to yọ nigbati oniyipada kan “mu agbara asọtẹlẹ pọ si,” beere: Njẹ oniyipada yii wa nitootọ ni akoko asọtẹlẹ naa, tabi ṣe o kan ọjọ iwaju? Abajade ti o dara ju nigbagbogbo jẹ ami ti jijo.
Bii o ṣe le lo AI ni igbaradi data
1) Ṣiṣayẹwo didara data:
Rẹ ipa: data didara Iranlọwọ. O ni ikore eto imulo gidi. Awọn ọwọn: policy_id, start_date, end_date,age, region, truck_age, premium,claim_count,claim_amount.Fun mi ni atokọ ayẹwo ati Python (pandas) code sketch: - Ka awọn iye ti o padanu nipasẹ iwe. ibere/opin. MAA ṢE parẹ; Kan jabo rẹ ki MO le pinnu.
2) Itọṣe ẹya:
Mo fẹ lati gba awọn ẹya tuntun lati inu data ijabọ mi. Wa: ọjọ ori, ọkọ_age, agbegbe, annual_km, usage_type.- Ọjọ ori wo ati awọn ẹgbẹ km (binning) ṣe iṣeduro, kilode? - Bawo ni MO ṣe le ṣe ifaminsi ti o da lori eewu fun 'agbegbe' laisi jijo data? - daba awọn ẹya tuntun 3 ti o tọ lati gbiyanju ati kọ idalare adaṣe fun ọkọọkan. Emi yoo pinnu.
3) Ayẹwo sisan:
Awoṣe mi ṣe asọtẹlẹ POSSIBILITY ibajẹ pẹlu awọn oniyipada wọnyi: ọjọ ori, agbegbe, ọkọ_age, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Ewo ninu awọn oniyipada wọnyi jẹ eewu jijo data? Fun ọkọọkan, ṣe iṣiro boya yoo wa ni akoko asọtẹlẹ naa. Ṣe atokọ awọn ifura ati idi.
4) Iṣe deede ifihan:
Diẹ ninu awọn eto imulo mi bẹrẹ aarin ọdun. Ṣe alaye ati koodu isọdi deede ifihan lati ṣe iṣiro igbohunsafẹfẹ ni deede: igbohunsafẹfẹ = lapapọ nipe_count / ifihan lapapọ (ọdun eto imulo). Ṣe afihan pẹlu apẹẹrẹ bi o ṣe le ṣe iṣiro ifihan ti eto imulo ti o bẹrẹ ni aarin ọdun.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Nu data naa ki o jẹ ki o ṣetan fun awoṣe naa.
AI ko mọ iru ọwọn ti o jẹ, awọn ofin iṣowo, asọye ifihan; O le ni afọju paarẹ ati kun ati ba data naa jẹ.
Ibere ti o lagbara:
Rẹ ipa: actuarial data igbaradi assistant.Data dictionary: policy_id (idanimo), ibere/opin_date (akoko eto imulo), ori (o ti ṣe yẹ 16-90), Ere (gbọdọ jẹ> 0),claim_count (>=0),claim_amount (>=0) .Iṣẹ: 1) Kọ reasonableness ofin fun kọọkan iwe ati ki o REPORT ilana ti o padanu 3) 3 orisirisi awọn ilana ti o ṣẹ. 'ọjọ ori' (paarẹ). / apapọ / ẹka lọtọ) wa pẹlu plus-iyokuro; Fi ipinnu naa silẹ fun mi.4) Kilọ ti o ba wa ni ọwọn ti o le jẹ ewu ti jijo.Automatic delete of any record; Emi yoo fọwọsi gbogbo ipinnu.
mẹta mini igba
Ọran 1 - Aṣiṣe ifihan. Ni ọkan portfolio, kukuru-oro (3-osu) eto imulo irin ajo ti a kà bi kikun years, ki awọn igbohunsafẹfẹ han ni igba mẹrin kekere ju ti o ti gangan wà; Iye owo naa ṣubu ni aṣiṣe. Nigbati oṣere naa ṣe iṣiro ifihan bi ida kan (ọdun eto imulo 0.25), igbohunsafẹfẹ gidi ti han ati pe o jẹ atunṣe idiyele. AI ti ipilẹṣẹ koodu ifihan ida; Awọn actuary fun itumo.
Ọran 2 - Latent jo. Nigbati oluranlọwọ kan ṣafikun “akoko pipade faili” oniyipada si awoṣe iṣeeṣe ibajẹ, deede pọsi pupọ. Ayọ naa jẹ igba diẹ: iyipada yii le mọ nikan lẹhin ti ibajẹ ti ṣẹlẹ, afipamo pe ko wa ni akoko asọtẹlẹ. Nigbati a ba yọ oniyipada ti n jo, awoṣe dinku si ipele ti o daju. O yìn AI iyipada bi “asọtẹlẹ ti o lagbara”; Idajọ actuary mu pakute.
Ọran 3 - Atunse ti abosi. Ile-iṣẹ kan ti gba ilana “ijusile ohun elo” lati inu data itan ati fi sii sinu awoṣe tuntun. Onínọmbà fihan pe awọn ijusile ti o ti kọja ti ni ilodisi ni agbegbe kan pato, afipamo pe ojuṣaaju itan wa. Ẹya yii ti yọ kuro ninu awoṣe ati rọpo pẹlu awọn afihan eewu didoju diẹ sii. AI ṣe agbejade itupale ti o ni iwọn iṣakojọpọ ilana pẹlu agbegbe; Ipinnu ihuwasi jẹ nipasẹ oṣere ati apakan ibamu.
Awọn aṣiṣe ti o wọpọ
- Ni kikun awọn iye ti o padanu pẹlu itumọ laisi ero. Aini funrararẹ le jẹ imọ; Fíkún rẹ̀ ní afọ́jú ń dá ẹ̀tanú.
- Pa awọn ita kuro laifọwọyi. Diẹ ninu awọn jẹ awọn ọran eti otitọ; Piparẹ data laisi pipin kuro ninu awọn aṣiṣe npa alaye run.
- Ko ṣe deede ifihan. Kika awọn eto imulo kukuru bi awọn ọdun ti o ni kikun daru igbohunsafẹfẹ ati yi idiyele pada.
- Ko ṣe akiyesi jijo data. Abajade ti o dara ju nigbagbogbo jẹ ami ti oniyipada ti o kan ọjọ iwaju; Beere boya oniyipada kọọkan wa ni akoko asọtẹlẹ.
- Gbigbe ojuṣaaju ti ko tọ si ni ọjọ iwaju. Aiṣedeede ninu data itan le jo sinu awọn ẹya ti ari; Ṣayẹwo rẹ ni ipele ẹya.
Ni akojọpọ
Awoṣe adaṣe jẹ pupọ julọ nipa igbaradi data; Ti titẹ sii ba bajẹ, iṣẹjade naa tun bajẹ. Awọn iṣoro aṣoju jẹ awọn iye ti o padanu, awọn ita gbangba, awọn aiṣedeede, ati ẹda-iwe; Ọrọ iṣe iṣe pataki jẹ isọdi deede ifihan. Imọ-ẹrọ ẹya - ikojọpọ, ifaminsi, isọdọtun - n gba awọn ifihan agbara ti o lagbara lati data. Awọn ewu insidious julọ jẹ jijo data ati ojuṣaaju ti ko tọ; mejeeji ti wa ni sile nikan nipa gangan ero. AI ṣe iyara igbese yii gaan: ọlọjẹ n ṣe koodu ati awọn iṣeduro. Ṣugbọn maṣe paarẹ awọn igbasilẹ eyikeyi laifọwọyi, jẹ ki eniyan ṣayẹwo fun awọn n jo ati ojuṣaaju, ki o fọwọsi iyipada kọọkan.
Ohun elo iṣẹ-ṣiṣe
Mura iwe-itumọ data eto imulo ailorukọ kekere kan (awọn ọwọn 5-7, ibiti o ni oye ti ọkọọkan). Beere AI fun (a) ofin oye ati koodu ijabọ irufin fun iwe kọọkan, (b) iṣiro ifihan ida, (c) awọn imọran fun awọn ẹya tuntun 3 lati gbiyanju. Lẹhinna ṣafikun oniyipada “pakute jo” imomose si atokọ naa (fun apẹẹrẹ “sanwo isanwo”) ki o ṣe idanwo boya AI mu bi jijo.
akojọ ayẹwo
- [] Njẹ Mo ti ṣe itupalẹ idi ṣaaju piparẹ ti o padanu ati awọn ita?
- [] Njẹ Mo ti jẹ ida ati ṣe deede ifihan ni deede bi?
- [] Njẹ Mo ti kọ idalare iṣe fun ẹya tuntun ti a mu jade?
- [] Njẹ Mo ti beere boya oniyipada kọọkan wa gangan (jijo) ni akoko asọtẹlẹ?
- [] Njẹ Mo ti ṣayẹwo fun ojuṣaaju ti ko ṣoki ni awọn ẹya ti ari?
- [] Njẹ Emi ko ni AI paarẹ awọn igbasilẹ eyikeyi laifọwọyi ati fọwọsi gbogbo ipinnu funrararẹ?