Kasu:
- Võimalus tuvastada poliitikas puuduvad väärtused, kõrvalekalded, kokkupuute- ja andmekvaliteedi probleemid ning tehisintellekti toega andmeid kahjustada ning koostada parandusprojekt
- Funktsioonide projekteerimine (uus muutujate tuletamine, rühmitamine, kodeerimine) ja kokkupuute normaliseerimine tehisintellektiga õiges kontekstis
- Mõistke, et tehisintellekti soovitatud andmete teisendusi peaks auditeerima aktuaar, et vältida andmelekete ja varjatud eelarvamusi.
Kõige vähem räägitud, kuid kõige aeganõudvam osa aktuaaritöös on andmete ettevalmistamine. Kogenud aktuaarid teavad, et suurem osa modelleerimisprojekti ajast kulub andmete puhastamisele, kombineerimisele ja parandamisele. Pole tähtis, kui elegantne mudel on, kui sisendandmed on rikutud, on väljund rikutud – lühidalt öeldes "prügi sisse, prügi välja". Selles üksuses näeme poliitika- ja nõueteandmetega seotud tüüpilisi probleeme, nende tuvastamist ja parandamist tehisintellektiga ning funktsioonide kavandamise (olemasolevatest andmetest informatiivsemad muutujad) lähenemisviisi.
Hoiatus algusest peale: andmete ettevalmistamine on pealtnäha tehniline ja süütu samm, kuid just siin peituvad kõige ohtlikumad vead. Vale särituse normaliseerimine, varjatud andmete leke või tahtmatult sisse viidud eelarvamus rikub vaikselt kõik järgnevad mudelid. AI kiirendab seda sammu oluliselt, kuid kui seda ei kontrollita, suurendab see ka riski.
Aktuaarsete andmete tüüpilised probleemid
Eeskirjade ja nõuete andmed ei jõua peaaegu kunagi puhtana. Kõige levinumad probleemid on järgmised: Puuduvad väärtused: mõnel poliitikal on tühi sõiduki vanus, amet või piirkond. Nende pimesi täitmine keskmisega võib tekitada eelarvamusi; puudus ise kannab vahel infot (puuduvad on hoopis teine rühm). Kõrvalekalded: ebaloogilised kirjed, nagu negatiivne kindlustusmakse, 200-aastane kindlustatud, nullriskipoliis. Tuleb eristada, kas tegemist on andmevigade või reaalsete servajuhtumitega. Ebakõla: sama piirkonna erinevad kirjapildid ("Istanbul", "Istanbul", "34"), kuupäevavormingu segadus. Duplikaatkanded: sama kahju sisestamine kaks korda.
Kuid aktuaaride jaoks on kõige kriitilisem probleem kokkupuude. Kui poliitika algab aasta keskel, annab see selle aasta osalise kokkupuute (nt 0,5 aastat), mitte täielikku kindlustusaastat. Sagedus ja kahjustuste määrad tuleks alati normaliseerida kokkupuutega; vastasel juhul näivad lühiajalised poliitikad kõrge riskiga. AI saab kodeerida kokkupuute arvutust, kuid peate esitama määratluse ja ärireegli.
Järgmine tabel võtab kokku tüüpilised probleemid ja õige lähenemisviisi:
probleem
vale lähenemine
õige lähenemine
puuduv väärtus
Täitke kõik keskmisega
Analüüsige puudust; mõnikord avage eraldi kategooria
kõrvalekalle
Automaatne kustutamine
Tehke vahet andmevea ja tegeliku müügivihje vahel
kokkupuudet
Arvestage kõiki poliitikaid 1 aasta kohta
Arvutage osaline kokkupuude
Kategooria ebaühtlus
ignoreerida
Sobitage standardsõnastikuga
korduvad kahjustused
ei pane tähele
Eemaldage duplikaat võtmeväljadega
Funktsioonide projekteerimine: teadmiste tuletamine andmetest
Funktsioonide projekteerimine on kunst tuletada olemasolevatest töötlemata muutujatest uusi muutujaid, mis on mudeli jaoks kasulikumad. Näited: "vanus" sünnikuupäevast, "vanuserühm" (binning) vanusest, "riskisegment" sõiduki margimudelist, "aastane läbisõiduhinnang" aadressi ja poliitika kombinatsioonist. Hea omadus kannab tugevamat signaali kui algandmed ja suurendab nii mudeli täpsust kui ka tõlgendatavust.
Aktuaaritöös kasutatakse sageli kolme tehnikat. Sidumine: pideva muutuja (vanuse) eraldamine tähenduslikeks rühmadeks; see fikseerib mittelineaarsed seosed ja muudab tariifi loetavaks. Kodeerimine: kategooriliste muutujate (piirkonna) teisendamine mudelile sobivasse numbrivormingusse; Riskipõhine kodeerimine (mis esindab iga kategooriat oma kahjumääraga) on tavaline, kuid seda tuleks teha ettevaatusega. Normaliseerimine: muuta kõik võrreldavaks, jagades selle kokkupuutega. AI genereerib kiiresti nende teisenduste koodi; Kuid peate iga teisenduse loogika heaks kiitma.
Näpunäide. Sihtkodeering on võimas, kuid altid andmete lekkimisele: mudel "petab", kui arvestate kategooria keskmise kahju arvutamisel rea enda kahju. Tehke seda alati treeningandmete raames ristvalideerimise mustriga.
Kõige salakavalam oht: andmete lekked ja kaudne eelarvamus
Andmeleke on sellise teabe sisestamine mudelisse, mida prognoosimise hetkel tegelikult ei eksisteeri. Klassikaline näide: tulemust sisaldava muutuja (nt „makstud nõuded”) lisamine nõude summat ennustavasse mudelisse. Mudel näeb katseandmetes täiuslik välja, kuid on reaalses maailmas kasutu, kuna see teave pole prognoosimise ajal saadaval. Lekkimine on sageli peidetud ja selle tabab ainult hoolikas kindlustusmatemaatiline arutluskäik – AI tavaliselt ei märka, mõnikord isegi kiidab lekkivat muutujat kui "väga võimsat ennustajat".
Teine salakaval oht on kaudne eelarvamus. Kui ajaloolised andmed esindavad ebaõiglaselt konkreetset rühma (nt piirkonnas on ajalooliselt liiga palju eeskirju keelatud), kannavad nendest andmetest tuletatud funktsioonid seda eelarvamust ja mudel kordab seda tulevikku. Funktsioonide kavandamise faas on kõige kriitilisem hetk, mil seda eelarvamust saab ära tunda ja parandada.
Ettevaatust: enne kui rõõmustate, kui muutuja "parandab ennustusvõimet tohutult", küsige: kas see muutuja on ennustamise ajal tegelikult olemas või hõlmab tulevikku? Liiga hea väljanägemisega tulemus on sageli märk lekkest.
Kuidas kasutada tehisintellekti andmete ettevalmistamisel
1) Andmekvaliteedi sõelumine:
Sinu roll: andmekvaliteedi assistent. Teil on kindlustusmatemaatilise poliitika tulu. Veerud: poliisi_id, alguskuupäev, lõpp_kuupäev, vanus, piirkond, sõiduki_vanus, lisatasu, nõuete_arv, nõude_summa. Andke mulle kontroll-loend ja Pythoni (panda) koodi visand:- loendage puuduvad väärtused veergude kaupa.- Märgistage ebamõistlikud väärtused (negatiivne lisatasu, vanus <16 või >100, särituse algus/lõpuaastad) (lõpuaastad). EI kustuta; Lihtsalt teatage sellest, et saaksin otsustada.
2) Funktsioonide tuletamine:
Soovin oma liiklusandmetest uusi funktsioone tuletada. Saadaval: vanus, sõiduki_vanus, piirkond, aastane_km, kasutustüüp.- Milliseid vanuse- ja km-rühmi (binning) soovitate, miks?- Kuidas teha piirkonna jaoks riskipõhist kodeerimist ilma andmete lekkimiseta?- Soovitage 3 uut funktsiooni, mida tasub proovida, ja kirjutage igaühe jaoks aktuaarne põhjendus. Mina otsustan.
3) Lekkekontroll:
Minu mudel ennustab kahjustuste VÕIMALUST järgmiste muutujatega: vanus, piirkond, sõiduki vanus, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Millised neist muutujatest kujutavad endast andmete lekke ohtu? Hinnake igaühe puhul, kas see on ennustuse ajal saadaval. Loetlege kahtlased ja miks.
4) Särituse normaliseerimine:
Mõned minu poliitikad algavad aasta keskel. Esinemissageduse õigeks arvutamiseks selgitage ja kodeerige kokkupuute normaliseerimine: sagedus = nõuete koguarv / kokkupuude kokkupuude (poliitika aasta). Näidake näitega, kuidas arvutada aasta keskel algava poliitika riskipositsiooni.
Nõrk viip / Tugev viip
Nõrk viip:
Puhastage andmed ja valmistage need mudeli jaoks valmis.
AI ei tea, milline veerg on kumb, ärireeglid, kokkupuute määratlus; See võib andmeid pimesi kustutada, täita ja rikkuda.
Võimas viip:
Sinu roll: kindlustusmatemaatiliste andmete ettevalmistamise assistent.Andmesõnastik: poliisi_id (identiteet), algus/lõpu_kuupäev (poliisiperiood),vanus (eeldatavalt 16-90), lisatasu (peab olema >0), nõuete_arv (>=0), nõude_summa (>=0).Ülesanne:1) Kirjutage iga veeru jaoks mõistlikkuse reegel ja ARUANNE rikkumistest erinevad strateegiad (kustutamine).3 arvutamiseks. puuduva "vanuse" eest (kustuta). / keskmine / eraldi kategooria) pluss-miinus; Jätke otsus minu teha.4) Hoiatage, kui on veerg, mis võib põhjustada lekkeohtu. Iga kirje automaatne kustutamine; Kiidan iga otsuse heaks.
kolm minikarpi
Juhtum 1 – kokkupuute viga. Ühes portfellis loeti lühiajalised (3-kuulised) reisipoliisid täisaastateks, seega ilmnes sagedus neli korda väiksem kui see tegelikult oli; Hind langes valesti. Kui aktuaar arvutas riskipositsiooni murdosana (0,25 poliisiaastat), selgus tegelik sagedus ja tariif korrigeeriti. AI genereeritud murdosaline särituse kood; Aktuaar andis määratluse.
Juhtum 2 – varjatud leke. Kui abimees lisas kahju tõenäosuse mudelile muutuja "faili sulgemise aeg", suurenes täpsus dramaatiliselt. Rõõm oli lühiajaline: seda muutujat sai teada alles pärast kahju tekkimist, mis tähendab, et see polnud ennustamise ajal saadaval. Kui lekkiv muutuja eemaldati, vähenes mudel realistlikule tasemele. Ta kiitis AI muutujat kui "võimsat ennustajat"; Aktuaari otsus tabas lõksu.
Juhtum 3 – eelarvamuse replikatsioon. Üks ettevõte tuletas ajaloolistest andmetest rakenduse tagasilükkamise mustri ja pani selle uude mudelisse. Analüüs näitas, et varasemad tagasilükkamised olid ebaproportsionaalselt koondunud konkreetsesse naabruskonda, mis tähendab, et tegemist oli ajaloolise eelarvamusega. See funktsioon eemaldati mudelist ja asendati neutraalsemate riskinäitajatega. AI koostas analüüsi, mis mõõtis mustri kattumist naabruskonnaga; Eetilise otsuse tegid aktuaar ja vastavusüksus.
Levinud vead
- Puuduvate väärtuste täitmine keskmisega ilma mõtlemata. Puudus ise võib olla teadmine; Selle pimesi täitmine loob eelarvamusi.
- Kustutage kõrvalekalded automaatselt. Mõned on tõelised servajuhtumid; Andmete kustutamine ilma vigadest eraldamata hävitab teabe.
- Ei normaliseeri kokkupuudet. Lühikeste poliiside loendamine täisaastateks moonutab sagedust ja moonutab hinda.
- Andmeleket ei märka. Liiga hea tulemus on sageli märk muutujast, mis hõlmab tulevikku; Küsige, kas iga muutuja on prognoosimise ajal olemas.
- Kaudse eelarvamuse toomine tulevikku. Ebaõiglus ajaloolistes andmetes võib lekkida tuletatud tunnusteks; Kontrollige seda funktsiooni etapis.
Kokkuvõttes
Aktuaarne modelleerimine seisneb suures osas andmete ettevalmistamises; Kui sisend on rikutud, on ka väljund rikutud. Tüüpilised probleemid on puuduvad väärtused, kõrvalekalded, ebakõlad ja dubleerimine; Kriitiline aktuaarne probleem on kokkupuute normaliseerimine. Funktsioonide projekteerimine – rühmitamine, kodeerimine, normaliseerimine – tuletab andmetest tugevamaid signaale. Kõige salakavalamad ohud on andmete lekkimine ja kaudne eelarvamus; mõlemad on tabatud ainult kindlustusmatemaatiliste arutlustega. AI kiirendab seda sammu oluliselt: skaneerimine genereerib koodi ja soovitusi. Kuid ärge kustutage automaatselt ühtegi kirjet, laske inimestel kontrollida lekkeid ja kõrvalekaldeid ning kinnitada iga teisendus.
Rakenduse ülesanne
Valmistage ette väike anonüümne poliitikaandmete sõnastik (5–7 veergu, iga veergu mõistlik vahemik). Küsige tehisintellektilt (a) iga veeru mõistlikkuse reeglit ja rikkumise aruande koodi, (b) osalise kokkupuute arvutamist, (c) soovitusi kolme uue funktsiooni kohta, mida proovida. Seejärel lisage loendisse tahtlik "lekkelõksu" muutuja (nt "hüvitis makstud") ja kontrollige, kas tehisintellekt tabab selle lekkena.
kontrollnimekiri
- [ ] Kas olen enne puuduvate ja kõrvalekallete kustutamist analüüsinud, miks?
- [ ] Kas olen fraktsioneerinud ja normaliseerinud särituse õigesti?
- [ ] Kas olen kirjutanud iga uue tuletatud tunnuse kindlustusmatemaatilise põhjenduse?
- [ ] Kas ma olen küsinud, kas iga muutuja on ennustamise ajal tegelikult olemas (leke)?
- [ ] Kas ma olen otsinud tuletatud funktsioonide kaudset kallutatust?
- [ ] Kas ma ei lasknud tehisintellektil ühtegi kirjet automaatselt kustutada ega kinnitanud iga otsust ise?