Gnóthachain:
- Cumas luachanna in easnamh, asluitigh, nochtadh agus fadhbanna cáilíochta sonraí i mbeartas a bhrath agus damáiste a dhéanamh do shonraí le tacaíocht hintleachta saorga agus dréacht ceartúcháin a tháirgeadh
- Innealtóireacht gné (díorthú athróg nua, grúpáil, códú) agus normalú nochta don hintleachta saorga leis an gcomhthéacs ceart
- A thuiscint gur cheart d’achtúire na claochluithe sonraí arna moladh ag hintleachta saorga a iniúchadh i gcoinne riosca sceitheadh sonraí agus laofachta ceilte.
Is é an chuid is lú a labhraítear faoi ach an chuid is mó ama a thógann sé ná ullmhú sonraí. Tá a fhios ag achtúirí a bhfuil taithí acu go gcaitear an chuid is mó den am i dtionscadal samhaltú ag glanadh, ag comhcheangal agus ag ceartú na sonraí. Is cuma cé chomh galánta atá an tsamhail, má tá na sonraí ionchuir truaillithe, tá an t-aschur truaillithe - i mbeagán focal, "truflais isteach, truflais amach." San aonad seo, feicfimid fadhbanna tipiciúla maidir le sonraí beartais agus éilimh, conas iad a bhrath agus a shocrú le AI, agus an cur chuige innealtóireachta gné (athróga nua a dhíorthaítear níos faisnéiseach ó shonraí atá ann cheana).
Rabhadh ón tús: is cosúil gur céim theicniúil agus neamhchiontach é ullmhú sonraí, ach seo an áit a cheiltíonn na hearráidí is contúirtí. Éillíonn normalú neamhchosanta mícheart, sceitheadh sonraí folaithe, nó claonadh a tugadh isteach i ngan fhios dóibh gach samhail ina dhiaidh sin. Luathaíonn AI an chéim seo go mór, ach má fhágtar é neamhrialaithe, méadóidh sé an riosca freisin.
Fadhbanna tipiciúla a bhaineann le sonraí achtúireacha
Ní thagann sonraí polasaí agus éileamh glan ar bith beagnach. Is iad seo a leanas na fadhbanna is coitianta: Luachanna in easnamh: tá aois feithicle, slí bheatha nó réigiún folamh ag roinnt polasaithe. Má líontar iad seo go dall leis an meán, féadtar laofacht a chruthú; iompraíonn an t-easnamh féin faisnéis uaireanta (is grúpa difriúil iad na daoine atá ar iarraidh). Asluiteacha: taifid ainleolaíocha mar phréimh dhiúltach, polasaí árachaithe 200 bliain d'aois, nochta. Ní mór idirdhealú a dhéanamh cé acu earráidí sonraí nó cásanna imeall fíor iad seo. Neamhréireacht: litrithe éagsúla den réigiún céanna ("Iostanbúl", "Iostanbúl", "34"), mearbhall i bhformáid dáta. Iontrálacha dúblacha: iontráil an damáiste céanna faoi dhó.
Ach is í an tsaincheist is tábhachtaí a bhaineann go sonrach le hachtúireach ná nochtadh. Má thosaíonn polasaí i lár na bliana, soláthraíonn sé nochtadh codánach (m.sh. 0.5 bliain) don bhliain sin, ní “bliain bheartais” iomlán. Ba cheart minicíocht agus rátaí damáiste a normalú i gcónaí don nochtadh; nó is cosúil go bhfuil riosca ard ag baint le beartais ghearrthéarmacha. Is féidir leis an AI ríomh an nochta a chódú, ach ní mór duit an sainmhíniú agus an riail ghnó a sholáthar.
Tugann an tábla seo a leanas achoimre ar ghnáthfhadhbanna agus ar an gcur chuige ceart:
fadhb
cur chuige mícheart
cur chuige ceart
luach in easnamh
Líon isteach go léir le meán
Déan anailís ar an easnamh; uaireanta a oscailt catagóir ar leith
asluiteach
Scriosadh uathoibríoch
Déan idirdhealú idir earráid sonraí agus fíorluaidhe
nochtadh
Déan gach polasaí a chomhaireamh ar feadh bliana
Ríomh risíocht codánach
Neamh-chomhsheasmhacht sa chatagóir
neamhaird
Meaitseáil leis an bhfoclóir caighdeánach
damáiste athfhillteach
ná tabhair faoi deara
Déan dí-dhúbailt le príomhréimsí
Gné-innealtóireacht: eolas a dhíorthú ó shonraí
Is éard is innealtóireacht gné ann ná athróga nua a fháil atá níos úsáidí don tsamhail ó na hathróga amh atá ann cheana féin. Samplaí: "aois" ó dháta breithe, "aoisghrúpa" (ceangail) ó aois, "deighleán riosca" ó shamhail déanta na feithicle, "meastachán bliantúil míleáiste" ó chomhcheangal beartais seoltaí. Tá comhartha níos láidre ag gné mhaith ná na sonraí amh agus méadaíonn sé cruinneas agus inléirmhíniú an mhúnla.
Úsáidtear trí theicníc go minic in obair achtúireach. Ceangal: athróg leanúnach (aois) a dheighilt ina ngrúpaí brí; áiríonn sé seo gaolmhaireachtaí neamhlíneacha agus cuireann sé an taraif inléite. Ionchódú: athróga catagóireacha (réigiún) a thiontú go formáid uimhriúil atá oiriúnach don mhúnla; Tá códú riosca-bhunaithe (a léiríonn a ráta damáiste féin ag gach catagóir) coitianta ach ba cheart a bheith cúramach. Normalú: gach rud a dhéanamh inchomparáide trína roinnt ar a nochtadh. Gineann AI an cód do na claochluithe seo go tapa; Ach ní mór duit loighic gach claochlaithe a cheadú.
Leid: Tá ionchódú sprice cumhachtach ach seans maith go sceitheadh sonraí: déanann an tsamhail "cheats" má chuireann tú damáiste as a chéile san áireamh agus tú ag ríomh an damáiste meánach de chatagóir. Déan é seo i gcónaí laistigh de na sonraí oiliúna, i bpatrún tras-bhailíochtaithe.
An chontúirt is insidious: sceitheadh sonraí agus claonadh intuigthe
Is éard is sceitheadh sonraí ann ná faisnéis a thabhairt isteach sa mhúnla nach bhfuil ann i ndáiríre tráth an tuar. Sampla clasaiceach: athróg a thabhairt isteach ina bhfuil an toradh, mar “éilimh íoctha,” i múnla a thuar méid an éilimh. Breathnaíonn an tsamhail foirfe i sonraí tástála ach tá sé gan úsáid sa saol fíor toisc nach bhfuil an fhaisnéis sin ar fáil ag am an tuar. Is minic a bhíonn sceitheadh i bhfolach agus ní ghlactar ach le réasúnaíocht achtúireach chúramach - de ghnáth ní thugann an AI faoi deara, uaireanta fiú ag moladh an athróg sceite mar "réamhaithriseoir an-chumhachtach."
Is é an dara contúirt insidious claonadh intuigthe. Má léiríonn sonraí stairiúla go héagórach grúpa ar leith (mar shampla, gur diúltaíodh go stairiúil do réimse an iomarca polasaithe), iompraíonn gnéithe a dhíorthaítear ón sonraí sin an claonadh sin agus déanann an tsamhail iad a mhacasamhlú sa todhchaí. Is í céim na hinnealtóireachta gné an tráth is tábhachtaí nuair is féidir an claonadh seo a aithint agus a cheartú.
Aire: Sula ndéanann tú lúcháir nuair a “fheabhsaíonn athróg an chumhacht thuartha go mór,” fiafraigh: an bhfuil an athróg seo i láthair i ndáiríre ag am an tuar, nó an bhfuil an todhchaí i gceist leis? Is minic gur comhartha sceite é toradh a bhreathnaíonn ró-mhaith.
Conas AI a úsáid in ullmhú sonraí
1) Scagadh cáilíochta sonraí:
Do ról: cúntóir cáilíochta sonraí. Tá toradh polasaí achtúireach agat. Colúin: policy_id, start_date, end_date,age, region, vehicle_age, premium, claim_count, claim_amount.Tabhair dom seicliosta agus sceitse cód Python (pandas):- Comhair na luachanna atá in easnamh de réir colúin.- Brataigh luachanna míréasúnta (préimh dhiúltach, aois <16 nó > 100, deireadh <tús).- NÁ scrios an nochtadh codánach (i mblianta deiridh). Déan é a thuairisciú ionas gur féidir liom cinneadh a dhéanamh.
2) Díorthú gné:
Ba mhaith liom gnéithe nua a dhíorthú ó mo shonraí tráchta. Ar fáil: age, vehicle_age, region, annual_km, usage_type.- Cé na haoisghrúpaí agus km (ceangail) a mholann tú, cén fáth?- Conas is féidir liom códú riosca-bhunaithe a dhéanamh do ‘réigiún’ gan sceitheadh sonraí?- Mol 3 ghné nua ar fiú iad a thriail agus scríobh an bonn cirt achtúireach do gach ceann díobh. Déanfaidh mé cinneadh.
3) Cigireacht sceite:
Tá na hathróga seo a leanas á thuar ag mo shamhail Féidearthachtaí damáiste leis na hathróga seo a leanas: aois, réigiún, feithicil_aois, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Cé acu de na hathróga seo a bhfuil baol ann go sceitheadh sonraí? I gcás gach ceann acu, meas an mbeidh sé ar fáil tráth an tuar. Déan liosta de na cinn amhrasacha agus cén fáth.
4) normalú nochta:
Tosaíonn cuid de mo chuid polasaithe i lár na bliana. Mínigh agus códaigh normalú na risíochta chun an mhinicíocht a ríomh i gceart: minicíocht = éileamh_áireamh iomlán / nochtadh iomlán (bliain bheartais). Taispeáin le sampla conas nochtadh an pholasaí a thosaíonn i lár na bliana a ríomh.
Leid lag / Pras láidir
Leid lag:
Glan na sonraí agus déan réidh é don mhúnla.
Níl a fhios ag AI cén colún atá ann, rialacha gnó, sainmhíniú nochta; Is féidir leis na sonraí a scriosadh go dall agus a líonadh agus a éilliú.
Leid chumhachtach:
Do ról: cúntóir ullmhúcháin sonraí achtúireach.Data dictionary: policy_id (aitheantas), tús/deireadh_dáta (tréimhse bheartais), aois (ionchais 16-90), préimh (ní mór >0), claim_count (>=0), claim_amount (>=0). Tasc:1) Scríobh riail réasúntachta do gach colún agus sáruithe TUARASCÁIL (scriosadh).2) Tabhair cód do chodán difriúil a ríomh (scrios). / meánchatagóir ar leith) i láthair le móide-lúide; Fág an cinneadh dom.4) Rabhadh má tá colún a d'fhéadfadh a bheith i mbaol sceite.Uathoibríoch scriosadh aon taifead; Formheasfaidh mé gach cinneadh.
trí chás mion
Cás 1 - Earráid nochta. I bpunann amháin, áiríodh beartais taistil ghearrthéarmacha (3 mhí) mar bhlianta iomlána, agus mar sin bhí an mhinicíocht ceithre huaire níos ísle ná mar a bhí i ndáiríre; Thit an praghas go mícheart. Nuair a ríomh an t-achtúire an risíocht mar chodán (0.25 bliain beartais), nochtadh an fhíormhinicíocht agus ceartaíodh an taraif. Cód nochta codánach ginte AI; Thug an t-achtúire an sainmhíniú.
Cás 2 - Sceitheadh folaigh. Nuair a chuir cúntóir an athróg “am dúnta comhaid” leis an tsamhail dóchúlachta damáiste, tháinig méadú suntasach ar chruinneas. Bhí an t-áthas gearr-chónaí: níorbh fhéidir an athróg seo a bheith ar eolas ach amháin tar éis don damáiste a bheith déanta, rud a chiallaíonn nach raibh sé ar fáil tráth an tuar. Nuair a baineadh an athróg sceite, laghdaigh an tsamhail go leibhéal réalaíoch. Mhol sé an t-athróg AI mar “thuar cumhachtach”; Ghlac breithiúnas an achtúire an gaiste.
Cás 3 — Laofacht a mhacasamhlú. Bhain cuideachta amháin patrún “diúltú iarratais” ó shonraí stairiúla agus chuir siad isteach sa mhúnla nua é. Léirigh an anailís go raibh diúltú díréireach san am a chuaigh thart i gcomharsanacht ar leith, rud a chiallaíonn go raibh claonadh stairiúil ann. Baineadh an ghné seo den tsamhail agus cuireadh táscairí riosca níos neodraí ina háit. Tháirg AI an anailís a thomhais forluí an patrún leis an gcomharsanacht; Rinne an t-achtúire agus an t-aonad comhlíonta an cinneadh eiticiúil.
Botúin choitianta
- Luachanna in easnamh a líonadh leis an meán gan smaoineamh. Seans gurb é an easpa féin eolas; Trí é a líonadh go dall cruthaítear dochar.
- Scrios asluiteacha go huathoibríoch. Is cásanna imeall fíor iad cuid acu; Má scriostar sonraí gan iad a scaradh ó earráidí, scriostar faisnéis.
- Gan normalú nochtadh. Má dhéantar beartais ghearra a chomhaireamh mar bhlianta iomlána, déantar an mhinicíocht a shaobhadh agus an praghas a shaobhadh.
- Gan sceitheadh sonraí a thabhairt faoi deara. Is minic a bhíonn toradh ró-mhaith ina chomhartha ar athróg a bhaineann leis an todhchaí; Ceist an bhfuil gach athróg i láthair tráth an tuar.
- Laofacht intuigthe a thabhairt isteach sa todhchaí. Is féidir le héagothroime i sonraí stairiúla sceitheadh isteach i ngnéithe díorthaithe; Seiceáil é ag an gcéim gné.
Go hachomair
Baineann samhaltú achtúireach go príomha le sonraí a ullmhú; Má tá an t-ionchur truaillithe, tá an t-aschur truaillithe freisin. Is iad na fadhbanna tipiciúla ná luachanna in easnamh, asluitigh, neamhréireachtaí agus dúbailt; Is í an tsaincheist achtúireach chriticiúil ná normalú nochta. Faigheann gné-innealtóireacht - grúpáil, códú, normalú - comharthaí níos láidre ó shonraí. Is iad na contúirtí is insidious sceitheadh sonraí agus claonadh intuigthe; ní dhéantar an dá cheann a ghabháil ach le réasúnaíocht achtúireach. Cuireann AI dlús mór leis an gcéim seo: gineann an scanadh cód agus moltaí. Ach ná scrios aon taifid go huathoibríoch, lig do dhaoine seiceáil le haghaidh sceitheanna agus claonta, agus ceadaigh gach tiontú.
Tasc feidhmchláir
Ullmhaigh foclóir beag sonraí beartais gan ainm (5-7 colún, raon réasúnta gach ceann acu). Iarr ar an AI (a) an riail réasúntachta agus an cód tuairisce sáraithe do gach colún, (b) ríomh risíochta codánach, (c) moltaí le haghaidh 3 ghné nua chun iarracht a dhéanamh. Ansin cuir athróg “gaiste sceite” d’aon ghnó leis an liosta (m.sh. “cúiteamh a íocadh”) agus tástáil an nglacann an AI mar sceitheadh é.
seicliosta
- [ ] An bhfuil anailís déanta agam ar an bhfáth sular scriosadh na heitleáin atá ar iarraidh?
- [ ] An bhfuil an risíocht chodánaithe agus normalaithe agam i gceart?
- [ ] Ar scríobh mé an fírinniú achtúireach do gach gné nua-dhíorthaithe?
- [ ] An bhfuil ceist agam an bhfuil gach athróg i láthair i ndáiríre (sceitheadh) tráth an tuar?
- [ ] An bhfuil scanadh déanta agam le haghaidh laofachta intuigthe i ngnéithe díorthaithe?
- [ ] Nár scriosadh AI go huathoibríoch mé aon taifid agus nár fhaomh mé gach cinneadh mé féin?