Mga nadagdag:
- Kakayahang tuklasin ang mga nawawalang halaga, outlier, pagkakalantad at mga problema sa kalidad ng data sa patakaran at data ng pinsala na may suporta sa artificial intelligence at gumawa ng draft ng pagwawasto
- Feature engineering (bagong variable derivation, grouping, coding) at exposure normalization sa artificial intelligence na may tamang konteksto
- Unawain na ang mga pagbabagong-anyo ng data na iminungkahi ng artificial intelligence ay dapat i-audit ng isang actuary laban sa panganib ng pagtagas ng data at nakatagong bias.
Ang hindi gaanong pinag-uusapan ngunit pinaka-nakakaubos ng oras na bahagi ng aktuarial na gawain ay ang paghahanda ng data. Alam ng mga nakaranasang actuaries na karamihan sa oras ng isang proyekto sa pagmomodelo ay ginugugol sa paglilinis, pagsasama-sama, at pagwawasto ng data. Gaano man ka-elegante ang modelo, kung corrupt ang input data, corrupt ang output—sa madaling salita, “garbage in, garbage out.” Sa unit na ito, makikita natin ang mga tipikal na problema ng data ng patakaran at mga claim, kung paano i-detect at ayusin ang mga ito gamit ang AI, at ang diskarte sa feature engineering (nagmula sa mga bagong variable na mas nagbibigay-kaalaman mula sa kasalukuyang data).
Isang babala mula sa simula: ang paghahanda ng data ay isang tila teknikal at inosenteng hakbang, ngunit dito nagtatago ang mga pinakamapanganib na error. Ang isang maling pag-normalize sa pagkakalantad, isang nakatagong pagtagas ng data, o isang hindi sinasadyang ipinakilala na bias ay tahimik na sumisira sa lahat ng kasunod na mga modelo. Lubos na pinabilis ng AI ang hakbang na ito, ngunit kung hindi makontrol, pinalalaki rin nito ang panganib.
Mga karaniwang problema ng data ng actuarial
Ang data ng patakaran at mga claim ay halos hindi kailanman dumating nang malinis. Ang pinakakaraniwang problema ay: Mga nawawalang halaga: ang ilang mga patakaran ay may blangko na edad ng sasakyan, trabaho o rehiyon. Ang bulag na pagpuno sa mga ito ng average ay maaaring lumikha ng bias; ang kakulangan mismo kung minsan ay nagdadala ng impormasyon (ang nawawala ay ibang grupo). Mga Outlier: hindi makatwiran na mga tala tulad ng negatibong premium, 200 taong gulang na nakaseguro, patakaran sa zero-exposure. Dapat itong makilala kung ito ay mga error sa data o tunay na mga kaso sa gilid. Hindi pagkakapare-pareho: iba't ibang mga spelling ng parehong rehiyon ("Istanbul", "Istanbul", "34"), pagkalito sa format ng petsa. Mga duplicate na entry: dalawang beses na entry ng parehong pinsala.
Ngunit ang pinaka-kritikal na isyu na partikular sa actuarial ay exposure. Kung magsisimula ang isang patakaran sa kalagitnaan ng taon, nagbibigay ito ng fractional exposure (hal. 0.5 taon) para sa taong iyon, hindi isang buong "taon ng patakaran." Ang dalas at mga rate ng pinsala ay dapat palaging gawing normal sa pagkakalantad; kung hindi, ang mga panandaliang patakaran ay lumalabas na mataas ang panganib. Maaaring i-code ng AI ang pagkalkula ng pagkakalantad, ngunit dapat mong ibigay ang kahulugan at panuntunan sa negosyo.
Ang sumusunod na talahanayan ay nagbubuod ng mga tipikal na problema at ang tamang diskarte:
problema
maling diskarte
tamang diskarte
nawawalang halaga
Punan ang lahat ng average
Pag-aralan ang kakulangan; minsan magbukas ng hiwalay na kategorya
outlier
Awtomatikong tanggalin
Matukoy ang pagkakaiba sa pagitan ng data error at tunay na lead
pagkakalantad
Bilangin ang lahat ng patakaran sa loob ng 1 taon
Kalkulahin ang fractional exposure
Hindi pagkakapare-pareho ng kategorya
huwag pansinin
Itugma sa karaniwang diksyunaryo
paulit-ulit na pinsala
wag mo pansinin
I-deduplicate gamit ang mga pangunahing field
Feature engineering: pagkuha ng kaalaman mula sa data
Ang feature engineering ay ang sining ng pagkuha ng mga bagong variable na mas kapaki-pakinabang sa modelo mula sa mga kasalukuyang raw variable. Mga halimbawa: "edad" mula sa petsa ng kapanganakan, "pangkat ng edad" (binning) mula sa edad, "segment ng panganib" mula sa make-model ng sasakyan, "taunang pagtatantya ng mileage" mula sa kumbinasyon ng address-policy. Ang isang mahusay na tampok ay nagdadala ng isang mas malakas na signal kaysa sa raw data at pinapataas ang parehong katumpakan at interpretability ng modelo.
Tatlong pamamaraan ang madalas na ginagamit sa aktuarial na gawain. Binding: paghihiwalay ng tuluy-tuloy na variable (edad) sa mga makabuluhang grupo; nakukuha nito ang mga di-linear na relasyon at ginagawang nababasa ang taripa. Encoding: pag-convert ng mga kategoryang variable (rehiyon) sa isang numerical na format na angkop para sa modelo; Ang coding na nakabatay sa peligro (na kumakatawan sa bawat kategorya na may sariling rate ng pinsala) ay karaniwan ngunit dapat gawin nang may pag-iingat. Normalisasyon: ginagawang maihahambing ang lahat sa pamamagitan ng paghahati nito sa pagkakalantad nito. Mabilis na bumubuo ang AI ng code para sa mga pagbabagong ito; Ngunit dapat mong aprubahan ang lohika ng bawat pagbabago.
Tip: Ang target na pag-encode ay malakas ngunit madaling ma-leakage ng data: ang modelo ay "cheats" kung isasama mo ang sariling pinsala ng isang row kapag kinakalkula ang average na pinsala ng isang kategorya. Palaging gawin ito sa loob ng data ng pagsasanay, sa isang pattern ng cross-validation.
Ang pinaka mapanlinlang na panganib: ang mga pagtagas ng data at implicit na bias
Ang pagtagas ng data ay ang pagpapakilala ng impormasyon sa modelo na hindi aktwal na umiiral sa oras ng hula. Klasikong halimbawa: pagpapakilala ng variable na naglalaman ng kinalabasan, gaya ng "mga binayaran na claim," sa isang modelong hinuhulaan ang halaga ng claim. Mukhang perpekto ang modelo sa data ng pagsubok ngunit walang silbi sa totoong mundo dahil hindi available ang impormasyong iyon sa oras ng hula. Ang pagtagas ay kadalasang nakatago at nahuhuli lamang ng maingat na aktuarial na pangangatwiran — kadalasang hindi napapansin ng AI, kung minsan ay pinupuri pa ang tumutulo na variable bilang "napakalakas na predictor."
Ang pangalawang mapanlinlang na panganib ay implicit bias. Kung ang makasaysayang data ay hindi patas na kumakatawan sa isang partikular na grupo (halimbawa, ang isang lugar ay dating tinanggihan ng napakaraming patakaran), ang mga feature na nagmula sa data na iyon ay nagdadala ng bias na iyon at ginagaya ito ng modelo sa hinaharap. Ang feature engineering phase ay ang pinakamahalagang sandali kapag ang bias na ito ay maaaring makilala at maitama.
Babala: Bago ka magalak kapag ang isang variable ay "napabuti nang husto ang predictive power," itanong: ang variable na ito ba ay aktwal na naroroon sa oras ng hula, o may kinalaman ba ito sa hinaharap? Ang isang resulta na mukhang masyadong maganda ay madalas na isang senyales ng isang leak.
Paano gamitin ang AI sa paghahanda ng data
1) Pagsusuri sa kalidad ng data:
Ang iyong tungkulin: katulong sa kalidad ng data. Mayroon kang actuarial policy yield. Mga Column: policy_id, start_date, end_date, age, region, vehicle_age, premium, claim_count, claim_amount. Bigyan mo ako ng checklist at Python (pandas) code sketch:- Bilangin ang mga nawawalang value ayon sa column.- I-flag ang mga hindi makatwirang halaga (negatibong premium, edad<16 o >100, end<start) HUWAG kalkulahin ang simula/pagsisimula. I-report mo na lang para makapagdesisyon ako.
2) Pinagmulan ng tampok:
Gusto kong makakuha ng mga bagong feature mula sa aking data ng trapiko. Available: edad, vehicle_age, region, annual_km, usage_type.- Aling mga pangkat ng edad at km (binning) ang inirerekomenda mo, bakit?- Paano ako makakagawa ng risk-based na coding para sa 'rehiyon' nang walang pagtagas ng data?- Magmungkahi ng 3 bagong feature na dapat subukan at isulat ang actuarial justification para sa bawat isa. Ako ang magpapasya.
3) Pag-inspeksyon sa pagtagas:
Hinuhulaan ng aking modelo ang POSIBILIDAD ng pinsala sa mga sumusunod na variable: edad, rehiyon, edad_sasakyan, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Alin sa mga variable na ito ang nagdudulot ng panganib ng pagtagas ng data? Para sa bawat isa, suriin kung magiging available ito sa oras ng hula. Ilista ang mga kahina-hinala at bakit.
4) Normalization ng exposure:
Ang ilan sa aking mga patakaran ay nagsisimula sa kalagitnaan ng taon. Ipaliwanag at i-code ang normalisasyon ng pagkakalantad upang makalkula nang tama ang dalas: dalas = kabuuang bilang_angkin / kabuuang pagkakalantad (taon ng patakaran). Ipakita sa isang halimbawa kung paano kalkulahin ang pagkakalantad ng patakaran na magsisimula sa kalagitnaan ng taon.
Mahinang prompt / Malakas na prompt
Mahinang prompt:
Linisin ang data at ihanda ito para sa modelo.
Hindi alam ng AI kung aling column ang, mga panuntunan sa negosyo, kahulugan ng pagkakalantad; Maaari itong bulag na tanggalin at punan at sirain ang data.
Napakahusay na prompt:
Ang iyong tungkulin: actuarial data preparation assistant. Data dictionary: policy_id (identity), start/end_date (policy period), age (expected 16-90), premium (dapat >0), claim_count (>=0), claim_amount (>=0).Task:1) Sumulat ng makatwirang panuntunan para sa bawat column at REPORT ng mga paglabag (pagtanggal sa '3) Magbigay ng fractional na pagkakalantad ng code sa '3.' (tanggalin). / average / hiwalay na kategorya) na may plus-minus; Ipaubaya sa akin ang desisyon.4) Magbabala kung mayroong column na maaaring magdulot ng panganib ng pagtagas.Awtomatikong pagtanggal ng anumang tala; Aaprubahan ko ang bawat desisyon.
tatlong mini case
Case 1 — Error sa pagkakalantad. Sa isang portfolio, ang mga panandaliang (3-buwan) na mga patakaran sa paglalakbay ay binibilang bilang buong taon, kaya ang dalas ay lumitaw nang apat na beses na mas mababa kaysa sa aktwal; Ang presyo ay nahulog nang hindi tama. Nang kalkulahin ng actuary ang exposure bilang isang fraction (0.25 policy-year), ang tunay na frequency ay nahayag at ang taripa ay naitama. Binuo ng AI ang fractional exposure code; Ang actuary ang nagbigay ng depinisyon.
Kaso 2 — Nakatagong pagtagas. Kapag idinagdag ng isang katulong ang variable na "oras ng pagsasara ng file" sa modelo ng posibilidad ng pinsala, tumaas nang husto ang katumpakan. Ang kagalakan ay panandalian: ang variable na ito ay malalaman lamang pagkatapos na maganap ang pinsala, ibig sabihin ay hindi ito magagamit sa oras ng hula. Kapag naalis ang tumutulo na variable, bumaba ang modelo sa isang makatotohanang antas. Pinuri niya ang AI variable bilang isang "makapangyarihang predictor"; Ang paghatol ng actuary ay nakuha ang bitag.
Case 3 — Replikasyon ng bias. Ang isang kumpanya ay nakakuha ng pattern ng "pagtanggi sa aplikasyon" mula sa makasaysayang data at inilagay ito sa bagong modelo. Ang pagsusuri ay nagpakita na ang mga nakaraang pagtanggi ay hindi katimbang na puro sa isang partikular na kapitbahayan, ibig sabihin ay mayroong makasaysayang bias. Inalis ang feature na ito sa modelo at pinalitan ng mas neutral na mga indicator ng panganib. Ginawa ng AI ang pagsusuri na sumusukat sa pagkakapatong ng pattern sa kapitbahayan; Ang etikal na desisyon ay ginawa ng actuary at ng compliance unit.
Mga karaniwang pagkakamali
- Ang pagpuno sa mga nawawalang halaga ng mean nang hindi iniisip. Ang kakulangan mismo ay maaaring kaalaman; Ang pagpuno nito nang walang taros ay lumilikha ng pagtatangi.
- Awtomatikong tanggalin ang mga outlier. Ang ilan ay totoong gilid na mga kaso; Ang pagtanggal ng data nang hindi pinaghihiwalay ito sa mga error ay sumisira sa impormasyon.
- Hindi normalizing exposure. Ang pagbibilang ng mga maiikling patakaran habang ang buong taon ay nakakasira sa dalas at nakakasira ng presyo.
- Hindi napapansin ang pagtagas ng data. Ang masyadong magandang resulta ay kadalasang tanda ng isang variable na kinasasangkutan ng hinaharap; Itanong kung ang bawat variable ay naroroon sa oras ng hula.
- Nagdadala ng implicit bias sa hinaharap. Ang kawalang-katarungan sa makasaysayang data ay maaaring tumagas sa mga hinangong tampok; Suriin ito sa yugto ng tampok.
Sa buod
Ang actuarial modeling ay higit sa lahat tungkol sa paghahanda ng data; Kung corrupt ang input, corrupt din ang output. Ang mga karaniwang problema ay ang mga nawawalang value, outlier, inconsistencies, at duplication; Ang kritikal na isyu sa actuarial ay ang exposure normalization. Ang feature engineering — pagpapangkat, coding, normalization — ay nakakakuha ng mas malalakas na signal mula sa data. Ang pinaka mapanlinlang na panganib ay ang pagtagas ng data at implicit bias; pareho ay nakuha lamang sa pamamagitan ng actuarial na pangangatwiran. Lubos na pinabilis ng AI ang hakbang na ito: ang pag-scan ay bumubuo ng code at mga rekomendasyon. Ngunit huwag awtomatikong tanggalin ang anumang mga tala, hayaan ang mga tao na suriin kung may mga leaks at bias, at aprubahan ang bawat conversion.
Gawain ng aplikasyon
Maghanda ng maliit na anonymous na diksyunaryo ng data ng patakaran (5-7 column, makatwirang hanay ng bawat isa). Hilingin sa AI (a) ang panuntunan sa pagiging makatwiran at code ng ulat ng paglabag para sa bawat column, (b) pagkalkula ng fractional exposure, (c) mga mungkahi para sa 3 bagong feature na susubukan. Pagkatapos ay magdagdag ng sinadyang "leak trap" na variable sa listahan (hal. "compensation paid") at subukan kung nahuli ito ng AI bilang isang leak.
checklist
- [ ] Nasuri ko na ba kung bakit bago tanggalin ang mga nawawala at outlier?
- [ ] Na-fraction ko ba at na-normalize nang tama ang exposure?
- [ ] Isinulat ko ba ang aktuarial na pagbibigay-katwiran para sa bawat bagong nakuhang tampok?
- [ ] Tinanong ko ba kung ang bawat variable ay aktwal na naroroon (leakage) sa oras ng hula?
- [ ] Na-scan ko ba para sa implicit bias sa mga nagmula na feature?
- [ ] Wala ba akong AI na awtomatikong nagtanggal ng anumang mga tala at inaprubahan ang bawat desisyon sa aking sarili?