Qligħ:
- Kapaċità li tiskopri valuri neqsin, outliers, espożizzjoni u problemi ta' kwalità tad-dejta fil-politika u tagħmel ħsara lil data b'appoġġ ta' intelliġenza artifiċjali u tipproduċi abbozz ta' korrezzjoni
- Inġinerija tal-karatteristiċi (derivazzjoni varjabbli ġdida, raggruppament, kodifikazzjoni) u normalizzazzjoni tal-espożizzjoni għall-intelliġenza artifiċjali bil-kuntest it-tajjeb
- Ifhem li t-trasformazzjonijiet tad-dejta ssuġġeriti mill-intelliġenza artifiċjali għandhom jiġu vverifikati minn attwarju kontra r-riskju ta’ tnixxija tad-dejta u preġudizzju moħbi.
L-inqas parti tax-xogħol attwarju li tissemma dwarha iżda li tieħu ħafna ħin hija l-preparazzjoni tad-dejta. Attwarji b'esperjenza jafu li l-biċċa l-kbira tal-ħin ta 'proġett ta' mmudellar jintefaq biex inaddfu, jgħaqqdu, u jikkoreġu d-dejta. Ma jimpurtax kemm hu eleganti l-mudell, jekk id-dejta tal-input hija korrotta, l-output huwa korrott—fil-qosor, "żibel ġewwa, żibel barra." F'din l-unità, se naraw problemi tipiċi tad-dejta tal-politika u tal-pretensjonijiet, kif niskopru u nirranġawhom bl-AI, u l-approċċ tal-inġinerija tal-karatteristiċi (varjabbli ġodda derivati li huma aktar informattivi minn dejta eżistenti).
Twissija mill-bidu: il-preparazzjoni tad-dejta hija pass li jidher tekniku u innoċenti, iżda huwa hawnhekk fejn jinħbew l-iżbalji l-aktar perikolużi. Normalizzazzjoni skorretta ta' espożizzjoni, tnixxija ta' data moħbija, jew preġudizzju introdott bla ma jintebħu jikkorrompi siekta l-mudelli sussegwenti kollha. L-AI taċċellera ħafna dan il-pass, iżda jekk titħalla mhux ikkontrollata, tkabbar ukoll ir-riskju.
Problemi tipiċi ta 'data attwarjali
Id-dejta dwar il-politika u t-talbiet kważi qatt ma tasal nadifa. L-aktar problemi komuni huma: Valuri neqsin: xi politiki għandhom età, okkupazzjoni jew reġjun tal-vettura vojta. Blindly mili dawn bil-medja jista 'joħloq preġudizzju; id-defiċjenza nnifisha kultant iġorr informazzjoni (dawk neqsin huma grupp differenti). Outliers: rekords illoġiċi bħal primjum negattiv, assigurati ta '200 sena, polza ta' espożizzjoni żero. Għandu jiġi distint jekk dawn humiex żbalji tad-dejta jew każijiet reali edge. Inkonsistenza: ortografiji differenti tal-istess reġjun ("Istanbul", "Istanbul", "34"), konfużjoni fil-format tad-data. Daħliet duplikati: dħul tal-istess ħsara darbtejn.
Iżda l-aktar kwistjoni kritika speċifika għall-attwarjali hija l-espożizzjoni. Jekk politika tibda f'nofs is-sena, tipprovdi espożizzjoni frazzjonali (eż. 0.5 snin) għal dik is-sena, mhux "sena ta' politika" sħiħa. Ir-rati tal-frekwenza u l-ħsara għandhom dejjem ikunu normalizzati għall-espożizzjoni; inkella politiki għal żmien qasir jidhru b'riskju għoli. L-AI tista' tikkodifika l-kalkolu tal-espożizzjoni, iżda trid tipprovdi d-definizzjoni u r-regola tan-negozju.
It-tabella li ġejja tiġbor fil-qosor il-problemi tipiċi u l-approċċ korrett:
problema
approċċ ħażin
approċċ it-tajjeb
valur nieqes
Imla kollha bil-medja
Analizza n-nuqqas; kultant tiftaħ kategorija separata
outlier
Ħassar awtomatiku
Iddistingwi bejn żball fid-dejta u ċomb reali
espożizzjoni
Għadd il-politiki kollha għal sena
Ikkalkula l-espożizzjoni frazzjonali
Inkonsistenza fil-kategorija
jinjora
Qabbel ma' dizzjunarju standard
ħsara rikorrenti
tindunax
Idduplika bl-oqsma ewlenin
L-inġinerija tal-karatteristiċi: id-derivazzjoni tal-għarfien mid-dejta
L-inġinerija tal-karatteristiċi hija l-arti li jiġu derivati varjabbli ġodda li huma aktar utli għall-mudell minn varjabbli mhux maħduma eżistenti. Eżempji: "età" mid-data tat-twelid, "grupp ta' età" (binning) mill-età, "segment ta' riskju" mill-mudell tal-marka tal-vettura, "stima ta' mili annwali" minn kombinazzjoni ta' indirizz-politika. Karatteristika tajba ġġorr sinjal aktar b'saħħtu mid-dejta mhux ipproċessata u żżid kemm l-eżattezza kif ukoll l-interpretabilità tal-mudell.
Tliet tekniki huma spiss użati fix-xogħol attwarju. Irbit: separazzjoni ta' varjabbli kontinwu (età) fi gruppi sinifikanti; dan jaqbad relazzjonijiet mhux lineari u jagħmel it-tariffa tinqara. Kodifikazzjoni: konverżjoni ta' varjabbli kategoriċi (reġjun) f'format numeriku adattat għall-mudell; Il-kodifikazzjoni bbażata fuq ir-riskju (li tirrappreżenta kull kategorija bir-rata tal-ħsara tagħha stess) hija komuni iżda għandha ssir b'kawtela. Normalizzazzjoni: tagħmel kollox komparabbli billi taqsam bl-espożizzjoni tagħha. AI malajr tiġġenera l-kodiċi għal dawn it-trasformazzjonijiet; Imma trid tapprova l-loġika ta 'kull trasformazzjoni.
Tip: Il-kodifikazzjoni fil-mira hija qawwija iżda suxxettibbli għal tnixxija tad-dejta: il-mudell "jqarraq" jekk tinkludi l-ħsara ta 'ringiela stess meta tikkalkula l-ħsara medja ta' kategorija. Dejjem agħmel dan fid-dejta tat-taħriġ, f'mudell ta' validazzjoni inkroċjata.
L-aktar periklu insidjuż: tnixxijiet tad-dejta u preġudizzju impliċitu
It-tnixxija tad-dejta hija l-introduzzjoni ta 'informazzjoni fil-mudell li fil-fatt ma teżistix fiż-żmien tat-tbassir. Eżempju klassiku: introduzzjoni ta' varjabbli li jkun fiha r-riżultat, bħal "klejms imħallsa," f'mudell li jbassar l-ammont tat-talba. Il-mudell jidher perfett fid-dejta tat-test iżda huwa inutli fid-dinja reali minħabba li dik l-informazzjoni mhix disponibbli fiż-żmien tat-tbassir. It-tnixxija ħafna drabi hija moħbija u tinqabad biss minn raġunament attwarjali bir-reqqa - l-AI normalment ma tinnotax, xi kultant anke tfaħħar il-varjabbli leaky bħala "tbassir qawwi ħafna."
It-tieni periklu insidjuż huwa preġudizzju impliċitu. Jekk id-dejta storika tirrappreżenta b'mod inġust grupp partikolari (pereżempju, żona kienet storikament miċħuda wisq politiki), il-karatteristiċi derivati minn dik id-dejta jġorru dak il-preġudizzju u l-mudell jirreplikaha fil-futur. Il-fażi tal-inġinerija tal-karatteristiċi hija l-aktar mument kritiku meta dan il-preġudizzju jista 'jiġi rikonoxxut u kkoreġut.
Attenzjoni: Qabel ma tifraħ meta varjabbli "ttejjeb bil-kbir il-qawwa tat-tbassir," staqsi: din il-varjabbli hija attwalment preżenti fiż-żmien tat-tbassir, jew tinvolvi l-futur? Riżultat li jidher tajjeb wisq huwa spiss sinjal ta 'tnixxija.
Kif tuża l-AI fil-preparazzjoni tad-dejta
1) Screening tal-kwalità tad-dejta:
Ir-rwol tiegħek: assistent tal-kwalità tad-dejta. Għandek rendiment tal-politika attwarja. Kolonni: policy_id, start_date, end_date, age, region, vehicle_age, premium, claim_count, claim_amount. Agħtini lista ta 'kontroll u skeċċ tal-kodiċi Python (pandas):- Jgħodd il-valuri neqsin skont il-kolonna.- Immarka valuri mhux raġonevoli (premium negattiv, età <16 jew > 100, tmiem is-snin bidu/-Ikkalkula mill-bidu. MHUX) frazzjonali. ħassar; Irrapportaha biex nista' niddeċiedi.
2) Derivazzjoni tal-karatteristiċi:
Irrid nikseb karatteristiċi ġodda mid-dejta tat-traffiku tiegħi. Disponibbli: age, vehicle_age, region, annual_km, usage_type.- Liema età u gruppi ta' km (binning) tirrakkomanda, għaliex?- Kif nista' nagħmel kodifikazzjoni bbażata fuq ir-riskju għal 'reġjun' mingħajr tnixxija tad-dejta?- Issuġġerixxi 3 karatteristiċi ġodda ta' min jipprova u ikteb il-ġustifikazzjoni attwarjali għal kull wieħed. Se niddeċiedi.
3) Spezzjoni tat-tnixxija:
Il-mudell tiegħi jbassar il-POSSIBILITÀ ta' ħsara bil-varjabbli li ġejjin: age, region, vehicle_age, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Liema minn dawn il-varjabbli joħolqu riskju ta' tnixxija tad-dejta? Għal kull wieħed, evalwa jekk hux se jkun disponibbli fil-ħin tat-tbassir. Elenka dawk suspettużi u għaliex.
4) Normalizzazzjoni tal-espożizzjoni:
Xi wħud mill-poloz tiegħi jibdew nofs is-sena. Spjega u kkodifika n-normalizzazzjoni tal-espożizzjoni biex tikkalkula l-frekwenza b'mod korrett: frekwenza = totali claim_count / espożizzjoni totali (politika-sena). Uri b'eżempju kif tikkalkula l-espożizzjoni tal-politika li tibda f'nofs is-sena.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Naddaf id-dejta u għamilha lesta għall-mudell.
AI ma tafx liema kolonna hija liema, regoli tan-negozju, definizzjoni ta 'espożizzjoni; Jista 'jħassar bl-addoċċ u jimla u jikkorrompi d-data.
Pront qawwi:
Ir-rwol tiegħek: assistent tal-preparazzjoni tad-dejta attwarjali.Dizzjunarju tad-dejta: policy_id (identità), start/end_date (perjodu tal-politika),età (mistennija 16-90), premium (għandu jkun >0), claim_count (>=0), claim_amount (>=0).Task:1) Ikteb ir-regola tar-raġonevolezza għal kull kolonna u RAPPORTA vjolazzjonijiet (tħassir ta’ frazzjoni) differenti għal kodiċi ta’ espożizzjoni. 'età' nieqsa (ħassar). / medja / kategorija separata) preżenti b'plus-minus; Ħalli d-deċiżjoni f’idejni.4) Wissi jekk hemmx kolonna li tista’ toħloq riskju ta’ tnixxija.Tħassir awtomatiku ta’ kwalunkwe rekord; Se napprova kull deċiżjoni.
tliet każijiet żgħar
Każ 1 — Żball fl-espożizzjoni. F'portafoll wieħed, politiki tal-ivvjaġġar għal żmien qasir (3 xhur) kienu magħduda bħala snin sħaħ, għalhekk il-frekwenza dehret erba 'darbiet inqas milli fil-fatt kienet; Il-prezz waqa' ħażin. Meta l-attwarju kkalkula l-iskopertura bħala frazzjoni (0.25 sena politika), il-frekwenza reali ġiet żvelata u t-tariffa ġiet ikkoreġuta. Kodiċi ta' espożizzjoni frazzjonali ġġenerat mill-AI; L-attwarju ta d-definizzjoni.
Każ 2 — Tnixxija moħbija. Meta helper żied il-varjabbli "ħin tal-għeluq tal-fajl" mal-mudell tal-probabbiltà tal-ħsara, l-eżattezza żdiedet b'mod drammatiku. Il-ferħ kien ta 'ħajja qasira: din il-varjabbli setgħet tkun magħrufa biss wara li tkun seħħet il-ħsara, jiġifieri ma kinitx disponibbli fiż-żmien tat-tbassir. Meta tneħħiet il-varjabbli leaky, il-mudell naqas għal livell realistiku. Huwa faħħar il-varjabbli AI bħala "tbassir qawwi"; Il-ġudizzju tal-attwarju qabad in-nassa.
Każ 3 — Replikazzjoni tal-preġudizzju. Kumpanija waħda dderivat mudell ta '"ċaħda ta' applikazzjoni" minn dejta storika u poġġieha fil-mudell il-ġdid. L-analiżi wriet li r-rifjuti tal-passat kienu kkonċentrati b'mod sproporzjonat f'lokal partikolari, li jfisser li kien hemm preġudizzju storiku. Din il-karatteristika tneħħiet mill-mudell u sostitwita b'indikaturi tar-riskju aktar newtrali. AI pproduċiet l-analiżi li tkejjel il-koinċidenza tal-mudell mal-viċinat; Id-deċiżjoni etika ttieħdet mill-attwarju u l-unità tal-konformità.
Żbalji komuni
- Imla l-valuri neqsin bil-medja mingħajr ma taħseb. In-nuqqas innifsu jista’ jkun l-għarfien; Li timtela bl-addoċċ toħloq preġudizzju.
- Ħassar awtomatikament outliers. Xi wħud huma każijiet tarf veri; It-tħassir tad-data mingħajr ma tisseparaha mill-iżbalji jeqred l-informazzjoni.
- Mhux normalizzar l-espożizzjoni. L-għadd tal-politiki qosra bħala snin sħaħ jgħawġu l-frekwenza u jgħawġu l-prezz.
- Mhux innota t-tnixxija tad-dejta. Riżultat tajjeb wisq huwa spiss sinjal ta' varjabbli li tinvolvi l-futur; Staqsa jekk kull varjabbli hijiex preżenti fil-ħin tat-tbassir.
- Inġibu preġudizzju impliċitu fil-futur. L-inġustizzja fid-dejta storika tista' tnixxi f'karatteristiċi derivati; Iċċekkjaha fl-istadju tal-karatteristika.
Fil-qosor
L-immudellar attwarjali huwa prinċipalment dwar it-tħejjija tad-dejta; Jekk l-input huwa korrott, l-output huwa wkoll korrott. Problemi tipiċi huma valuri nieqsa, outliers, inkonsistenzi, u duplikazzjoni; Il-kwistjoni attwarja kritika hija n-normalizzazzjoni tal-espożizzjoni. L-inġinerija tal-karatteristiċi — raggruppament, kodifikazzjoni, normalizzazzjoni — toħroġ sinjali aktar b'saħħithom mid-dejta. L-aktar perikli insidjużi huma t-tnixxija tad-dejta u l-preġudizzju impliċitu; it-tnejn jinqabdu biss minn raġunament attwarju. L-AI tħaffef ħafna dan il-pass: l-iskannjar jiġġenera kodiċi u rakkomandazzjonijiet. Imma tħassarx awtomatikament l-ebda rekord, ħalli l-bnedmin jiċċekkjaw għal tnixxijiet u bias, u japprova kull konverżjoni.
Kompitu ta' applikazzjoni
Ipprepara dizzjunarju żgħir ta' dejta ta' politika anonima (5-7 kolonni, firxa raġonevoli ta' kull wieħed). Staqsi lill-AI għal (a) ir-regola tar-raġonevolezza u l-kodiċi tar-rapport tal-ksur għal kull kolonna, (b) kalkolu tal-espożizzjoni frazzjonali, (c) suġġerimenti għal 3 karatteristiċi ġodda biex tipprova. Imbagħad żid varjabbli intenzjonali "nassa tat-tnixxija" mal-lista (eż. "kumpens imħallas") u ttestja jekk l-AI taqbadhiex bħala tnixxija.
lista ta' kontroll
- [ ] Analizajjt għaliex qabel inħassar neqsin u outliers?
- [ ] Fazzjonjejt u nnormalizzajt l-espożizzjoni b'mod korrett?
- [ ] Ktibt il-ġustifikazzjoni attwarja għal kull karatteristika ġdida derivata?
- [ ] Staqsejt jekk kull varjabbli hijiex attwalment preżenti (tnixxija) fil-ħin tat-tbassir?
- [ ] Skennjt għal preġudizzju impliċitu f'karatteristiċi derivati?
- [ ] Ma kellix AI awtomatikament ħassar xi rekords u approva kull deċiżjoni jien stess?