Gains :
- Capacité à détecter les valeurs manquantes, les valeurs aberrantes, les problèmes d'exposition et de qualité des données dans les données de politique et de dommages avec le soutien de l'intelligence artificielle et à produire un projet de correction
- Ingénierie des fonctionnalités (nouvelle dérivation de variables, regroupement, codage) et normalisation de l'exposition à l'intelligence artificielle avec le bon contexte
- Comprenez que les transformations de données suggérées par l'intelligence artificielle doivent être auditées par un actuaire contre le risque de fuite de données et de biais cachés.
La préparation des données est la partie du travail actuariel dont on parle le moins, mais qui prend le plus de temps. Les actuaires expérimentés savent que la majeure partie du temps d’un projet de modélisation est consacrée au nettoyage, à la combinaison et à la correction des données. Quelle que soit l’élégance du modèle, si les données d’entrée sont corrompues, la sortie est corrompue – en bref, « les déchets entrent, les déchets sortent ». Dans cette unité, nous verrons les problèmes typiques liés aux données sur les polices et les sinistres, comment les détecter et les résoudre avec l'IA, ainsi que l'approche d'ingénierie des fonctionnalités (dérivées de nouvelles variables plus informatives à partir des données existantes).
Un avertissement dès le début : la préparation des données est une étape en apparence technique et innocente, mais c’est là que se cachent les erreurs les plus dangereuses. Une normalisation d'exposition incorrecte, une fuite de données cachée ou un biais introduit involontairement corrompt silencieusement tous les modèles ultérieurs. L’IA accélère considérablement cette étape, mais si elle n’est pas contrôlée, elle amplifie également le risque.
Problèmes typiques des données actuarielles
Les données sur les polices et les sinistres n’arrivent presque jamais de façon claire. Les problèmes les plus courants sont les suivants : Valeurs manquantes : certaines polices n'indiquent pas l'âge du véhicule, la profession ou la région. Les remplir aveuglément avec la moyenne peut créer un biais ; la déficience elle-même est parfois porteuse d'informations (les disparus constituent un groupe différent). Valeurs aberrantes : enregistrements illogiques tels qu'une prime négative, une assurance vieille de 200 ans, une police d'assurance zéro exposition. Il faut distinguer s’il s’agit d’erreurs de données ou de cas extrêmes réels. Incohérence : orthographes différentes d'une même région ("Istanbul", "Istanbul", "34"), confusion dans le format de date. Saisies en double : saisie du même dommage deux fois.
Mais le problème le plus critique propre à l’actuariat est l’exposition. Si une police débute en milieu d’année, elle offre une exposition fractionnaire (par exemple 0,5 an) pour cette année-là, et non une « année d’assurance » complète. La fréquence et les taux de dommages doivent toujours être normalisés en fonction de l'exposition ; sinon, les politiques à court terme semblent à haut risque. L’IA peut coder le calcul de l’exposition, mais vous devez en fournir la définition et la règle métier.
Le tableau suivant résume les problèmes typiques et l'approche correcte :
problème
mauvaise approche
bonne approche
valeur manquante
Remplissez le tout avec la moyenne
Analyser la carence ; parfois ouvrir une catégorie distincte
valeur aberrante
Suppression automatique
Faire la distinction entre une erreur de données et une avance réelle
exposition
Compter toutes les polices pendant 1 an
Calculer l'exposition fractionnée
Incohérence de catégorie
ignorer
Correspondance avec le dictionnaire standard
dégâts récurrents
ne remarque pas
Dédupliquer avec les champs clés
Ingénierie des fonctionnalités : dériver des connaissances à partir des données
L'ingénierie des fonctionnalités est l'art de dériver de nouvelles variables plus utiles au modèle à partir de variables brutes existantes. Exemples : "âge" à partir de la date de naissance, "groupe d'âge" (binning) à partir de l'âge, "segment de risque" à partir de la marque et du modèle du véhicule, "estimation du kilométrage annuel" à partir de la combinaison adresse-politique. Une bonne fonctionnalité transmet un signal plus fort que les données brutes et augmente à la fois la précision et l’interprétabilité du modèle.
Trois techniques sont fréquemment utilisées dans le travail actuariel. Liaison : séparer une variable continue (âge) en groupes significatifs ; cela capture les relations non linéaires et rend le tarif lisible. Encodage : conversion des variables catégorielles (région) dans un format numérique adapté au modèle ; Le codage basé sur le risque (représentant chaque catégorie avec son propre taux de dommages) est courant mais doit être effectué avec prudence. Normalisation : rendre tout comparable en le divisant par son exposition. L'IA génère rapidement le code de ces transformations ; Mais il faut approuver la logique de chaque transformation.
Astuce : L'encodage cible est puissant mais sujet aux fuites de données : le modèle « triche » si vous incluez les propres dégâts d'une ligne lors du calcul des dégâts moyens d'une catégorie. Faites toujours cela dans les données d'entraînement, selon un modèle de validation croisée.
Le danger le plus insidieux : fuites de données et biais implicites
La fuite de données est l’introduction dans le modèle d’informations qui n’existent pas réellement au moment de la prédiction. Exemple classique : introduire une variable contenant le résultat, telle que « sinistres payés », dans un modèle qui prédit le montant du sinistre. Le modèle semble parfait dans les données de test mais est inutile dans le monde réel car ces informations ne sont pas disponibles au moment de la prédiction. Les fuites sont souvent cachées et détectées uniquement par un raisonnement actuariel minutieux – l’IA ne le remarque généralement pas, qualifiant même parfois la variable qui fuit de « prédicteur très puissant ».
Le deuxième danger insidieux réside dans les préjugés implicites. Si les données historiques représentent injustement un groupe particulier (par exemple, une zone a été historiquement refusée à trop de politiques), les caractéristiques dérivées de ces données comportent ce biais et le modèle le reproduit dans le futur. La phase d’ingénierie des fonctionnalités est le moment le plus critique où ce biais peut être reconnu et corrigé.
Attention : avant de vous réjouir lorsqu'une variable « améliore considérablement le pouvoir prédictif », demandez-vous : cette variable est-elle réellement présente au moment de la prédiction, ou implique-t-elle le futur ? Un résultat qui paraît trop beau est souvent le signe d’une fuite.
Comment utiliser l'IA dans la préparation des données
1) Contrôle de la qualité des données :
Votre rôle : assistant qualité des données. Vous disposez d’un rendement actuariel. Colonnes : policy_id, start_date, end_date,age, region, Vehicle_age, premium, Claim_count, Claim_amount.Donnez-moi une liste de contrôle et un croquis de code Python (pandas) : - Comptez les valeurs manquantes par colonne. Signalez-le simplement pour que je puisse décider.
2) Dérivation des fonctionnalités :
Je souhaite tirer de nouvelles fonctionnalités de mes données de trafic. Disponible : âge, véhicule_age, région, annual_km, usage_type. - Quels groupes d'âge et de km (binning) recommandez-vous, pourquoi ? - Comment puis-je effectuer un codage basé sur le risque pour la « région » sans fuite de données ? - Suggérez 3 nouvelles fonctionnalités qui valent la peine d'être essayées et rédigez la justification actuarielle pour chacune. Je déciderai.
3) Inspection des fuites :
Mon modèle prédit la POSSIBILITÉ de dommages avec les variables suivantes : âge, région, véhicule_age, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Laquelle de ces variables présente un risque de fuite de données ? Pour chacun, évaluez s’il sera disponible au moment de la prédiction. Énumérez les suspects et pourquoi.
4) Normalisation de l'exposition :
Certaines de mes polices entrent en vigueur en milieu d’année. Expliquez et codez la normalisation de l'exposition pour calculer correctement la fréquence : fréquence = nombre total de sinistres / exposition totale (année d'assurance). Montrez avec un exemple comment calculer l'exposition de la politique qui démarre au milieu de l'année.
Invite faible/Invite forte
Invite faible :
Nettoyez les données et préparez-les pour le modèle.
L'IA ne sait pas quelle colonne correspond à laquelle, aux règles métier, à la définition de l'exposition ; Il peut aveuglément supprimer, remplir et corrompre les données.
Invite puissante :
Votre rôle : assistant de préparation des données actuarielles. Dictionnaire de données : policy_id (identité), début/fin_date (période d'assurance), âge (prévu entre 16 et 90 ans), prime (doit être >0), Claim_count (>=0), Claim_amount (>=0). Tâche : 1) Écrire une règle de caractère raisonnable pour chaque colonne et RAPPORTER les violations (suppression). / moyenne / catégorie distincte) présent avec plus-moins ; Laissez-moi la décision.4) Avertir s'il existe une colonne pouvant présenter un risque de fuite.Suppression automatique de tout enregistrement ; J'approuverai chaque décision.
trois mini-cases
Cas 1 — Erreur d’exposition. Dans un portefeuille, les politiques de voyages à court terme (3 mois) étaient comptées comme des années complètes, de sorte que la fréquence apparaissait quatre fois inférieure à ce qu'elle était réellement ; Le prix n'a pas baissé correctement. Lorsque l'actuaire a calculé l'exposition sous forme de fraction (0,25 année d'assurance), la fréquence réelle a été révélée et le tarif a été corrigé. Code d'exposition fractionnaire généré par l'IA ; L'actuaire a donné la définition.
Cas 2 — Fuite latente. Lorsqu’un assistant a ajouté la variable « délai de fermeture du dossier » au modèle de probabilité de dommages, la précision a considérablement augmenté. La joie fut de courte durée : cette variable ne pouvait être connue qu’après la survenance du dommage, ce qui signifie qu’elle n’était pas disponible au moment de la prédiction. Lorsque la variable de fuite a été supprimée, le modèle a diminué jusqu'à un niveau réaliste. Il a salué la variable IA comme un « puissant prédicteur » ; Le jugement de l'actuaire est tombé dans le piège.
Cas 3 — Réplication du biais. Une entreprise a dérivé un modèle de « rejet de candidature » à partir de données historiques et l’a intégré au nouveau modèle. L’analyse a montré que les refus passés étaient concentrés de manière disproportionnée dans un quartier particulier, ce qui signifie qu’il existait un biais historique. Cette fonctionnalité a été supprimée du modèle et remplacée par des indicateurs de risque plus neutres. L'IA a produit l'analyse mesurant le chevauchement du modèle avec le quartier ; La décision éthique a été prise par l'actuaire et l'unité de conformité.
Erreurs courantes
- Remplir les valeurs manquantes avec la moyenne sans réfléchir. Le manque lui-même peut être la connaissance ; Le remplir aveuglément crée des préjugés.
- Supprimez automatiquement les valeurs aberrantes. Certains sont de véritables cas extrêmes ; Supprimer des données sans les séparer des erreurs détruit les informations.
- Ne pas normaliser l’exposition. Compter les polices courtes comme des années complètes fausse la fréquence et fausse le prix.
- Ne pas remarquer la fuite de données. Un trop bon résultat est souvent le signe d’une variable impliquant le futur ; Demandez si chaque variable est présente au moment de la prédiction.
- Apporter des préjugés implicites dans le futur. L'injustice dans les données historiques peut s'infiltrer dans les caractéristiques dérivées ; Vérifiez-le au stade des fonctionnalités.
En résumé
La modélisation actuarielle consiste en grande partie à préparer des données ; Si l'entrée est corrompue, la sortie est également corrompue. Les problèmes typiques sont les valeurs manquantes, les valeurs aberrantes, les incohérences et les duplications ; La question actuarielle critique est la normalisation de l’exposition. L'ingénierie des fonctionnalités (regroupement, codage, normalisation) permet d'obtenir des signaux plus forts à partir des données. Les dangers les plus insidieux sont les fuites de données et les biais implicites ; tous deux ne sont pris en compte que par le raisonnement actuariel. L’IA accélère considérablement cette étape : la numérisation génère du code et des recommandations. Mais ne supprimez automatiquement aucun enregistrement, laissez les humains vérifier les fuites et les biais et approuvez chaque conversion.
Tâche de candidature
Préparez un petit dictionnaire anonyme de données politiques (5 à 7 colonnes, plage raisonnable de chacune). Demandez à l'IA (a) la règle de caractère raisonnable et le code de rapport de violation pour chaque colonne, (b) le calcul d'exposition fractionnaire, (c) des suggestions pour 3 nouvelles fonctionnalités à essayer. Ajoutez ensuite une variable intentionnelle « piège à fuite » à la liste (par exemple « compensation payée ») et testez si l'IA la détecte comme une fuite.
liste de contrôle
- [ ] Ai-je analysé pourquoi avant de supprimer les éléments manquants et les valeurs aberrantes ?
- [ ] Ai-je fractionné et normalisé l'exposition correctement ?
- [ ] Ai-je rédigé la justification actuarielle pour chaque fonctionnalité nouvellement dérivée ?
- [ ] Me suis-je demandé si chaque variable est réellement présente (fuite) au moment de la prédiction ?
- [ ] Ai-je recherché des biais implicites dans les fonctionnalités dérivées ?
- [ ] N'ai-je pas demandé à l'IA de supprimer automatiquement tous les enregistrements et d'approuver moi-même chaque décision ?