Winst:
- Mogelijkheid om ontbrekende waarden, uitschieters, blootstelling en gegevenskwaliteitsproblemen in beleids- en schadegegevens op te sporen met ondersteuning van kunstmatige intelligentie en een correctieontwerp te produceren
- Feature engineering (nieuwe afleiding van variabelen, groepering, codering) en normalisatie van de blootstelling aan kunstmatige intelligentie met de juiste context
- Begrijp dat datatransformaties die door kunstmatige intelligentie worden voorgesteld, door een actuaris moeten worden gecontroleerd op het risico van datalekken en verborgen vooroordelen.
Het minst besproken maar meest tijdrovende onderdeel van actuarieel werk is het voorbereiden van gegevens. Ervaren actuarissen weten dat het grootste deel van de tijd van een modelleringsproject wordt besteed aan het opschonen, combineren en corrigeren van de gegevens. Hoe elegant het model ook is, als de invoergegevens corrupt zijn, is de uitvoer ook corrupt – kortom: ‘garbage in, garbage out’. In deze unit zullen we typische problemen van beleids- en claimgegevens zien, hoe we deze kunnen detecteren en oplossen met AI, en de feature engineering (afgeleide nieuwe variabelen die meer informatief zijn uit bestaande gegevens).
Een waarschuwing vanaf het begin: datavoorbereiding is een ogenschijnlijk technische en onschuldige stap, maar dit is waar de gevaarlijkste fouten zich verbergen. Een onjuiste belichtingsnormalisatie, een verborgen datalek of een onbewust geïntroduceerde bias corrumpeert stilletjes alle volgende modellen. AI versnelt deze stap enorm, maar als het ongecontroleerd wordt gelaten, vergroot het ook het risico.
Typische problemen van actuariële gegevens
Polis- en claimgegevens komen vrijwel nooit schoon aan. De meest voorkomende problemen zijn: Ontbrekende waarden: sommige polissen hebben een blanco voertuigleeftijd, beroep of regio. Als je deze blindelings vult met het gemiddelde, kan er vooringenomenheid ontstaan; het tekort zelf bevat soms informatie (de ontbrekenden vormen een andere groep). Uitschieters: onlogische gegevens zoals negatieve premie, 200 jaar oude verzekerde, zero-exposure-polis. Er moet onderscheid worden gemaakt of het om gegevensfouten gaat of om echte randgevallen. Inconsistentie: verschillende spellingen van dezelfde regio ("Istanbul", "Istanbul", "34"), verwarring over het datumformaat. Dubbele boekingen: dubbele boeking van dezelfde schade.
Maar de meest kritische kwestie die specifiek is voor actuariële zaken is de blootstelling. Als een polis halverwege het jaar begint, biedt deze een fractionele blootstelling (bijvoorbeeld 0,5 jaar) voor dat jaar, en niet een volledig ‘polisjaar’. Frequentie en schadepercentages moeten altijd worden genormaliseerd op basis van de blootstelling; anders lijkt het kortetermijnbeleid een groot risico. De AI kan de blootstellingsberekening coderen, maar u moet wel de definitie en bedrijfsregel opgeven.
De volgende tabel vat typische problemen en de juiste aanpak samen:
probleem
verkeerde aanpak
juiste aanpak
ontbrekende waarde
Vul alles met gemiddeld
Analyseer het tekort; open soms een aparte categorie
uitschieter
Automatisch verwijderen
Maak onderscheid tussen gegevensfouten en echte leads
blootstelling
Tel alle polissen voor 1 jaar
Bereken fractionele blootstelling
Categorie-inconsistentie
negeren
Match met standaardwoordenboek
terugkerende schade
merk het niet
Ontdubbelen met sleutelvelden
Feature engineering: kennis afleiden uit data
Feature engineering is de kunst van het afleiden van nieuwe variabelen die nuttiger zijn voor het model uit bestaande onbewerkte variabelen. Voorbeelden: "leeftijd" vanaf geboortedatum, "leeftijdsgroep" (binning) vanaf leeftijd, "risicosegment" vanaf voertuigmerkmodel, "jaarlijkse kilometerschatting" vanaf adres-beleidscombinatie. Een goede eigenschap draagt een sterker signaal over dan de onbewerkte gegevens en verhoogt zowel de nauwkeurigheid als de interpreteerbaarheid van het model.
Bij actuarieel werk worden vaak drie technieken gebruikt. Bindend: het scheiden van een continue variabele (leeftijd) in betekenisvolle groepen; dit legt niet-lineaire relaties vast en maakt het tarief leesbaar. Codering: het omzetten van categorische variabelen (regio) naar een numeriek formaat dat geschikt is voor het model; Op risico gebaseerde codering (waarbij elke categorie wordt weergegeven met een eigen schadepercentage) is gebruikelijk, maar moet met de nodige voorzichtigheid gebeuren. Normalisatie: alles vergelijkbaar maken door het te delen door de blootstelling. AI genereert snel de code voor deze transformaties; Maar je moet de logica van elke transformatie goedkeuren.
Tip: Doelcodering is krachtig, maar gevoelig voor gegevenslekken: het model "speelt vals" als u de eigen schade van een rij meeneemt bij het berekenen van de gemiddelde schade van een categorie. Doe dit altijd binnen de trainingsgegevens, in een kruisvalidatiepatroon.
Het meest verraderlijke gevaar: datalekken en impliciete vooringenomenheid
Datalekken zijn de introductie van informatie in het model die feitelijk niet bestaat op het moment van de voorspelling. Klassiek voorbeeld: het introduceren van een variabele die de uitkomst bevat, zoals ‘betaalde claims’, in een model dat het claimbedrag voorspelt. Het model ziet er perfect uit in testgegevens, maar is nutteloos in de echte wereld omdat die informatie niet beschikbaar is op het moment van de voorspelling. Lekkage wordt vaak verborgen en alleen opgespoord door zorgvuldig actuarieel redeneren – de AI merkt het meestal niet op en prijst soms zelfs de lekkende variabele als ‘zeer krachtige voorspeller’.
Het tweede verraderlijke gevaar is impliciete vooringenomenheid. Als historische gegevens op oneerlijke wijze een bepaalde groep vertegenwoordigen (een gebied is bijvoorbeeld historisch gezien te veel beleid ontzegd), dragen kenmerken die uit die gegevens zijn afgeleid die vooroordeel met zich mee en repliceert het model dit in de toekomst. De feature engineering-fase is het meest kritieke moment waarop deze vertekening kan worden herkend en gecorrigeerd.
Let op: Voordat u zich verheugt wanneer een variabele ‘de voorspellende kracht enorm verbetert’, moet u zich afvragen: is deze variabele daadwerkelijk aanwezig op het moment van de voorspelling, of heeft deze betrekking op de toekomst? Een resultaat dat er te mooi uitziet, is vaak een teken van lekkage.
Hoe u AI kunt gebruiken bij het voorbereiden van gegevens
1) Screening van gegevenskwaliteit:
Jouw rol: assistent datakwaliteit. U beschikt over een actuarieel polisrendement. Kolommen: policy_id, start_date, end_date,age, region, vehicle_age, premium, claim_count, claim_amount. Geef mij een checklist en een Python (panda's) codeschets: - Tel ontbrekende waarden per kolom. - Markeer onredelijke waarden (negatieve premie, leeftijd<16 of >100, einde<start). - Bereken fractionele blootstelling (in jaren) vanaf begin/eind. NIET verwijderen; Meld het gewoon zodat ik kan beslissen.
2) Functieafleiding:
Ik wil nieuwe functionaliteiten uit mijn verkeersgegevens halen. Beschikbaar: leeftijd, voertuigleeftijd, regio, jaarlijkse_km, gebruikstype. - Welke leeftijds- en km-groepen (binning) raadt u aan, waarom? - Hoe kan ik op risico gebaseerde codering uitvoeren voor 'regio' zonder gegevenslekken? - Stel 3 nieuwe functies voor die het proberen waard zijn en schrijf de actuariële rechtvaardiging voor elk. Ik zal beslissen.
3) Lekinspectie:
Mijn model voorspelt de MOGELIJKHEID van schade met de volgende variabelen: leeftijd, regio, voertuigleeftijd, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Welke van deze variabelen vormen een risico op datalekken? Evalueer voor elk ervan of het beschikbaar zal zijn op het moment van de voorspelling. Noem de verdachte en waarom.
4) Normalisatie van de blootstelling:
Sommige van mijn polissen gaan halverwege het jaar in. Verklaar en codeer de normalisatie van de blootstelling om de frequentie correct te berekenen: frequentie = totaal aantal claims / totale blootstelling (polisjaar). Laat met een voorbeeld zien hoe je de exposure berekent van de polis die midden in het jaar ingaat.
Zwakke prompt/sterke prompt
Zwakke prompt:
Schoon de gegevens op en maak deze gereed voor het model.
AI weet niet welke kolom welke is, bedrijfsregels, definitie van blootstelling; Het kan de gegevens blindelings verwijderen, aanvullen en corrumperen.
Krachtige prompt:
Jouw rol: assistent voor het voorbereiden van actuariële gegevens. Gegevenswoordenboek: polis_id (identiteit), begin-/einddatum (polisperiode), leeftijd (verwacht 16-90), premie (moet >0 zijn), claim_count (>=0), claim_amount (>=0). Taak: 1) Schrijf een redelijkheidsregel voor elke kolom en RAPPORT overtredingen (verwijdering). 2) Geef code om de fractionele blootstelling te berekenen. 3) 3 verschillende strategieën voor het missen van 'leeftijd' (verwijderen). / gemiddeld / aparte categorie) aanwezig met plus-min; Laat de beslissing aan mij over.4) Waarschuw als er een kolom is die een risico op lekkage kan opleveren. Automatische verwijdering van elk record; Ik zal elke beslissing goedkeuren.
drie minikoffers
Geval 1 — Belichtingsfout. In één portefeuille werden de kortetermijnreispolissen (drie maanden) als volledige jaren meegeteld, zodat de frequentie vier keer lager leek dan deze in werkelijkheid was; De koers is ten onrechte gedaald. Toen de actuaris de blootstelling als een fractie (0,25 polisjaar) berekende, kwam de werkelijke frequentie naar voren en werd het tarief gecorrigeerd. AI gegenereerde fractionele belichtingscode; De actuaris gaf de definitie.
Geval 2 — Latent lek. Toen een helper de variabele “bestandssluitingstijd” aan het schadewaarschijnlijkheidsmodel toevoegde, nam de nauwkeurigheid dramatisch toe. De vreugde was van korte duur: deze variabele kon pas bekend worden nadat de schade zich had voorgedaan, wat betekent dat deze niet beschikbaar was op het moment van de voorspelling. Toen de lekkende variabele werd verwijderd, daalde het model naar een realistisch niveau. Hij prees de AI-variabele als een “krachtige voorspeller”; Het oordeel van de actuaris was de valkuil.
Geval 3 — Replicatie van vooringenomenheid. Eén bedrijf heeft uit historische gegevens een patroon voor het afwijzen van aanvragen afgeleid en dit in het nieuwe model verwerkt. Uit de analyse bleek dat afwijzingen uit het verleden onevenredig geconcentreerd waren in een bepaalde buurt, wat betekent dat er sprake was van historische vooringenomenheid. Dit kenmerk is uit het model verwijderd en vervangen door meer neutrale risico-indicatoren. AI produceerde de analyse waarbij de overlap van het patroon met de buurt werd gemeten; De ethische beslissing is genomen door de actuaris en de compliance-unit.
Veel voorkomende fouten
- Zonder nadenken ontbrekende waarden invullen met het gemiddelde. Het gebrek zelf kan kennis zijn; Het blindelings invullen schept vooroordelen.
- Uitschieters automatisch verwijderen. Sommige zijn echte randgevallen; Het verwijderen van gegevens zonder deze te scheiden van fouten vernietigt informatie.
- De blootstelling niet normaliseren. Het tellen van korte polissen als volledige jaren vertekent de frequentie en de prijs.
- Geen datalekken opgemerkt. Een te goed resultaat is vaak een teken dat er een variabele in de toekomst zit; Vraag of elke variabele aanwezig is op het moment van de voorspelling.
- Impliciete vooroordelen naar de toekomst brengen. Onrecht in historische gegevens kan lekken naar afgeleide kenmerken; Controleer het in de functiefase.
Samengevat
Bij actuariële modellen gaat het grotendeels om het voorbereiden van gegevens; Als de invoer corrupt is, is de uitvoer ook corrupt. Typische problemen zijn ontbrekende waarden, uitschieters, inconsistenties en duplicatie; Het cruciale actuariële probleem is de normalisatie van de blootstelling. Feature engineering – groeperen, coderen, normaliseren – leidt sterkere signalen af uit data. De meest verraderlijke gevaren zijn datalekken en impliciete vooringenomenheid; beide kunnen alleen worden begrepen door actuariële redeneringen. AI versnelt deze stap enorm: scannen genereert code en aanbevelingen. Maar verwijder niet automatisch gegevens, laat mensen niet controleren op lekken en vooroordelen, en laat elke conversie goedkeuren.
Applicatie taak
Bereid een klein anoniem woordenboek met beleidsgegevens voor (5-7 kolommen, redelijk bereik van elk). Vraag de AI om (a) de redelijkheidsregel en de overtredingsrapportcode voor elke kolom, (b) fractionele blootstellingsberekening, (c) suggesties voor 3 nieuwe functies om te proberen. Voeg vervolgens opzettelijk een ‘lekvanger’-variabele toe aan de lijst (bijvoorbeeld ‘betaalde compensatie’) en test of de AI deze als lek opvangt.
controlelijst
- [ ] Heb ik geanalyseerd waarom voordat ik ontbrekende waarden en uitschieters heb verwijderd?
- [ ] Heb ik de belichting correct gefractioneerd en genormaliseerd?
- [ ] Heb ik voor elk nieuw afgeleid kenmerk de actuariële verantwoording geschreven?
- [ ] Heb ik me afgevraagd of elke variabele daadwerkelijk aanwezig is (lekkage) op het moment van de voorspelling?
- [ ] Heb ik gescand op impliciete vertekeningen in afgeleide kenmerken?
- [ ] Heb ik niet automatisch alle records laten verwijderen en elke beslissing zelf goedgekeurd?