Gevinster:
- Evne til å oppdage manglende verdier, uteliggere, eksponering og datakvalitetsproblemer i policy og skade data med støtte for kunstig intelligens og produsere et korrigeringsutkast
- Funksjonsteknikk (ny variabel avledning, gruppering, koding) og eksponeringsnormalisering for kunstig intelligens med riktig kontekst
- Forstå at datatransformasjoner foreslått av kunstig intelligens bør revideres av en aktuar mot risikoen for datalekkasje og skjult skjevhet.
Den minst omtalte, men mest tidkrevende delen av aktuararbeidet er dataforberedelse. Erfarne aktuarer vet at mesteparten av tiden i et modelleringsprosjekt går med til å rense, kombinere og korrigere dataene. Uansett hvor elegant modellen er, hvis inndataene er korrupte, er utdataene korrupte - kort sagt "søppel inn, søppel ut." I denne enheten vil vi se typiske problemer med policy- og kravdata, hvordan man oppdager og fikser dem med AI, og funksjonsteknikken (avledet nye variabler som er mer informative fra eksisterende data).
En advarsel fra begynnelsen: dataforberedelse er et tilsynelatende teknisk og uskyldig skritt, men det er her de farligste feilene skjuler seg. En feil eksponeringsnormalisering, en skjult datalekkasje eller en ubevisst innført skjevhet ødelegger alle etterfølgende modeller. AI akselererer dette trinnet kraftig, men hvis det ikke kontrolleres, forstørrer det også risikoen.
Typiske problemer med aktuardata
Retningslinjer og kravdata kommer nesten aldri rene. De vanligste problemene er: Manglende verdier: noen poliser har blank kjøretøy alder, yrke eller region. Å blindt fylle disse med gjennomsnittet kan skape skjevhet; selve mangelen bærer noen ganger informasjon (de savnede er en annen gruppe). Outliers: ulogiske poster som negativ premie, 200 år gammel forsikret, null-eksponeringspolise. Det må skilles mellom om dette er datafeil eller reelle kantsaker. Inkonsekvens: forskjellige stavemåter av samme region ("Istanbul", "Istanbul", "34"), datoformatforvirring. Dupliserte oppføringer: oppføring av samme skade to ganger.
Men det mest kritiske problemet for aktuar er eksponering. Hvis en forsikring begynner midt i året, gir den en brøkeksponering (f.eks. 0,5 år) for det året, ikke et helt «forsikringsår». Frekvens og skadefrekvens bør alltid normaliseres til eksponering; ellers ser kortsiktige politikker ut som høy risiko. AI kan kode eksponeringsberegningen, men du må oppgi definisjonen og forretningsregelen.
Følgende tabell oppsummerer typiske problemer og riktig tilnærming:
problem
feil tilnærming
riktig tilnærming
manglende verdi
Fyll alle med gjennomsnitt
Analyser mangelen; noen ganger åpne en egen kategori
uteligger
Slett automatisk
Skille mellom datafeil og reell lead
eksponering
Tell alle poliser i 1 år
Beregn brøkeksponering
Kategori inkonsekvens
ignorere
Match med standard ordbok
gjentatte skader
ikke legg merke til
Deduplikat med nøkkelfelt
Funksjonsteknikk: å hente kunnskap fra data
Funksjonsteknikk er kunsten å utlede nye variabler som er mer nyttige for modellen fra eksisterende råvariabler. Eksempler: «alder» fra fødselsdato, «aldersgruppe» (binning) fra alder, «risikosegment» fra kjøretøymerkemodell, «årlig kjørelengdeanslag» fra adresse-policy-kombinasjon. En god funksjon bærer et sterkere signal enn rådataene og øker både nøyaktigheten og tolkbarheten til modellen.
Tre teknikker brukes ofte i aktuararbeid. Binding: skille en kontinuerlig variabel (alder) inn i meningsfulle grupper; dette fanger opp ikke-lineære forhold og gjør tariffen lesbar. Koding: konvertering av kategoriske variabler (region) til et numerisk format som passer for modellen; Risikobasert koding (som representerer hver kategori med sin egen skaderate) er vanlig, men bør gjøres med forsiktighet. Normalisering: gjør alt sammenlignbart ved å dele det på eksponeringen. AI genererer raskt koden for disse transformasjonene; Men du må godkjenne logikken i hver transformasjon.
Tips: Målkoding er kraftig, men utsatt for datalekkasje: modellen "jukser" hvis du inkluderer en rads egen skade når du beregner gjennomsnittlig skade for en kategori. Gjør alltid dette innenfor treningsdataene, i et kryssvalideringsmønster.
Den mest lumske faren: datalekkasjer og implisitt skjevhet
Datalekkasje er introduksjonen av informasjon i modellen som faktisk ikke eksisterer på prediksjonstidspunktet. Klassisk eksempel: å introdusere en variabel som inneholder utfallet, for eksempel «utbetalte krav», i en modell som forutsier kravbeløpet. Modellen ser perfekt ut i testdata, men er ubrukelig i den virkelige verden fordi den informasjonen ikke er tilgjengelig på prediksjonstidspunktet. Lekkasje er ofte skjult og bare fanget opp av nøye aktuarmessig resonnement - AI legger vanligvis ikke merke til det, noen ganger til og med berømmer den lekke variabelen som "veldig kraftig prediktor."
Den andre lumske faren er implisitt skjevhet. Hvis historiske data urettferdig representerer en bestemt gruppe (for eksempel har et område historisk blitt nektet for mange retningslinjer), har funksjoner som stammer fra disse dataene denne skjevheten, og modellen replikerer den inn i fremtiden. Funksjonsteknikkfasen er det mest kritiske øyeblikket når denne skjevheten kan gjenkjennes og korrigeres.
Forsiktig: Før du gleder deg når en variabel «forbedrer prediktiv kraft enormt», spør: er denne variabelen faktisk til stede på tidspunktet for prediksjonen, eller involverer den fremtiden? Et resultat som ser for bra ut er ofte et tegn på en lekkasje.
Hvordan bruke AI i dataforberedelse
1) Datakvalitetsscreening:
Din rolle: assistent for datakvalitet. Du har aktuarpolitisk avkastning. Kolonner: policy_id, start_date, end_date,age, region, vehicle_alder, premium, claim_count, claim_amount.Gi meg en sjekkliste og Python (pandas) kodeskisse:- Tell manglende verdier etter kolonne.- Flagg urimelige verdier (negativ premie, alder<16 eller >100, beregner ikke brøkdel fra brøkdel)/beregn IKKE brøkdel. slette; Bare meld fra så jeg kan bestemme meg.
2) Funksjonsavledning:
Jeg ønsker å utlede nye funksjoner fra trafikkdataene mine. Tilgjengelig: alder, kjøretøy_alder, region, årlig_km, brukstype.- Hvilke alders- og km-grupper (binning) anbefaler du, hvorfor?- Hvordan kan jeg gjøre risikobasert koding for 'region' uten datalekkasje?- Foreslå 3 nye funksjoner som er verdt å prøve og skriv den aktuarmessige begrunnelsen for hver. Jeg bestemmer meg.
3) Lekkasjeinspeksjon:
Min modell forutsier MULIGHETEN for skade med følgende variabler: alder, region, kjøretøyalder, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Hvilke av disse variablene utgjør en risiko for datalekkasje? For hver, evaluer om den vil være tilgjengelig på tidspunktet for spådommen. List opp de mistenkelige og hvorfor.
4) Normalisering av eksponering:
Noen av polisene mine starter midt på året. Forklar og kode eksponeringsnormaliseringen for å beregne frekvensen riktig: frekvens = total skadeantall / total eksponering (poliseår). Vis med et eksempel hvordan du beregner eksponeringen til polisen som starter midt på året.
Svak forespørsel / Sterk forespørsel
Svak melding:
Rengjør dataene og gjør dem klar for modellen.
AI vet ikke hvilken kolonne som er hvilken, forretningsregler, eksponeringsdefinisjon; Det kan blindt slette og fylle ut og ødelegge dataene.
Kraftig ledetekst:
Din rolle: aktuariell dataforberedende assistent.Dataordbok: policy_id (identitet), start/sluttdato (poliseperiode),alder (forventet 16-90), premie (må være >0), claim_count (>=0), claim_amount (>=0).Oppgave:1) Skriv rimelighetsregel for hver kolonne og RAPPORTER brudd (beregn brudd på 3) brudd (sletting 3). mangler 'alder' (slett). / gjennomsnitt / separat kategori) tilstede med pluss-minus; Overlat avgjørelsen til meg.4) Advar hvis det er en kolonne som kan utgjøre en risiko for lekkasje.Automatisk sletting av enhver post; Jeg vil godkjenne hver avgjørelse.
tre minisaker
Tilfelle 1 — Eksponeringsfeil. I en portefølje ble kortsiktige (3-måneders) reiseforsikringer regnet som hele år, så frekvensen virket fire ganger lavere enn den faktisk var; Prisen falt feil. Da aktuar beregnet eksponeringen som en brøkdel (0,25 forsikringsår), ble den reelle frekvensen avslørt og tariffen korrigert. AI generert brøkeksponeringskode; Aktuaren ga definisjonen.
Tilfelle 2 - Latent lekkasje. Når en hjelper la til variabelen "fillukketid" til skadesannsynlighetsmodellen, økte nøyaktigheten dramatisk. Gleden var kortvarig: denne variabelen kunne bare bli kjent etter at skaden hadde skjedd, noe som betyr at den ikke var tilgjengelig på prediksjonstidspunktet. Da den lekke variabelen ble fjernet, sank modellen til et realistisk nivå. Han berømmet AI-variabelen som en "kraftig prediktor"; Aktuarens dom fanget fellen.
Tilfelle 3 – Replikering av skjevhet. Ett selskap hentet et "søknadsavvisning"-mønster fra historiske data og satte det inn i den nye modellen. Analysen viste at tidligere avvisninger var uforholdsmessig konsentrert i et bestemt nabolag, noe som betyr at det var en historisk skjevhet. Denne funksjonen ble fjernet fra modellen og erstattet med mer nøytrale risikoindikatorer. AI produserte analysen som målte mønsterets overlapping med nabolaget; Den etiske avgjørelsen ble tatt av aktuaren og compliance-enheten.
Vanlige feil
- Fylle inn manglende verdier med gjennomsnittet uten å tenke. Selve mangelen kan være kunnskap; Å fylle det ut blindt skaper fordommer.
- Slett uteliggere automatisk. Noen er ekte kantsaker; Sletting av data uten å skille dem fra feil ødelegger informasjon.
- Normaliserer ikke eksponering. Å regne korte poliser som hele år forvrenger frekvensen og forvrenger prisen.
- Merker ikke datalekkasje. Et for godt resultat er ofte et tegn på en variabel som involverer fremtiden; Spørr om hver variabel er til stede på prediksjonstidspunktet.
- Å bringe implisitt skjevhet inn i fremtiden. Urettferdighet i historiske data kan lekke inn i avledede trekk; Sjekk det på funksjonsstadiet.
Oppsummert
Aktuariell modellering handler i stor grad om å utarbeide data; Hvis inngangen er korrupt, er utgangen også korrupt. Typiske problemer er manglende verdier, uteliggere, inkonsekvenser og duplisering; Det kritiske aktuarmessige problemet er eksponeringsnormalisering. Funksjonsteknikk – gruppering, koding, normalisering – henter sterkere signaler fra data. De mest lumske farene er datalekkasje og implisitt skjevhet; begge fanges kun opp av aktuarmessige resonnementer. AI øker dette trinnet kraftig: skanning genererer kode og anbefalinger. Men ikke slett noen poster automatisk, la mennesker se etter lekkasjer og skjevheter, og godkjenne hver konvertering.
Søknadsoppgave
Lag en liten anonym ordbok for policydata (5-7 kolonner, rimelig rekkevidde av hver). Spør AI om (a) rimelighetsregelen og bruddrapportkoden for hver kolonne, (b) brøkeksponeringsberegning, (c) forslag til 3 nye funksjoner du kan prøve. Legg deretter til en tilsiktet "lekkasjefelle"-variabel på listen (f.eks. "kompensasjon betalt") og test om AI-en fanger det som en lekkasje.
sjekkliste
- [ ] Har jeg analysert hvorfor før jeg sletter manglende og uteliggere?
- [ ] Har jeg fraksjonert og normalisert eksponeringen riktig?
- [ ] Har jeg skrevet den aktuarmessige begrunnelsen for hvert nylig avledet trekk?
- [ ] Har jeg stilt spørsmål ved om hver variabel faktisk er tilstede (lekkasje) på prediksjonstidspunktet?
- [ ] Har jeg skannet for implisitt skjevhet i avledede funksjoner?
- [ ] Fikk jeg ikke AI til å automatisk slette noen poster og godkjente hver avgjørelse selv?