Zyski:
- Możliwość wykrywania brakujących wartości, wartości odstających, problemów z narażeniem i jakością danych w danych dotyczących polis i szkód przy wsparciu sztucznej inteligencji oraz tworzenia projektu korekty
- Inżynieria cech (nowe wyprowadzanie zmiennych, grupowanie, kodowanie) i normalizacja ekspozycji na sztuczną inteligencję w odpowiednim kontekście
- Zrozum, że transformacje danych sugerowane przez sztuczną inteligencję powinny zostać poddane audytowi przez aktuariusza pod kątem ryzyka wycieku danych i ukrytej stronniczości.
Najrzadziej omawianą, ale najbardziej czasochłonną częścią pracy aktuarialnej jest przygotowanie danych. Doświadczeni aktuariusze wiedzą, że większość czasu projektu modelowania spędza się na czyszczeniu, łączeniu i poprawianiu danych. Niezależnie od tego, jak elegancki jest model, jeśli dane wejściowe są uszkodzone, dane wyjściowe są również uszkodzone — w skrócie: „śmieci wchodzą, śmieci znikają”. W tej części przyjrzymy się typowym problemom związanym z danymi dotyczącymi polis i roszczeń, sposobom ich wykrywania i naprawiania za pomocą sztucznej inteligencji oraz podejściu opartemu na inżynierii funkcji (nowe zmienne, które dostarczają więcej informacji z istniejących danych).
Ostrzeżenie od początku: przygotowanie danych to z pozoru techniczny i niewinny krok, jednak właśnie w tym miejscu kryją się najniebezpieczniejsze błędy. Nieprawidłowa normalizacja ekspozycji, ukryty wyciek danych lub nieświadomie wprowadzone stronniczość po cichu psują wszystkie kolejne modele. Sztuczna inteligencja znacznie przyspiesza ten krok, ale pozostawiona bez kontroli zwiększa również ryzyko.
Typowe problemy danych aktuarialnych
Dane dotyczące polis i roszczeń prawie nigdy nie są czyste. Najczęstsze problemy to: Brakujące wartości: w niektórych polisach pusty jest wiek pojazdu, zawód lub region. Ślepe wypełnianie ich średnią może spowodować stronniczość; sam niedobór czasami niesie ze sobą informację (brakujący to inna grupa). Wartości odstające: nielogiczne zapisy, takie jak ujemna składka, 200-letnie ubezpieczenie, polityka zerowej ekspozycji. Należy rozróżnić, czy są to błędy danych, czy przypadki rzeczywistego brzegu. Niespójność: różna pisownia tego samego regionu („Stambuł”, „Stambuł”, „34”), zamieszanie w formacie daty. Zduplikowane wpisy: dwukrotny wpis o tym samym uszkodzeniu.
Jednak najbardziej krytyczną kwestią charakterystyczną dla aktuarialnego jest ekspozycja. Jeśli polisa rozpoczyna się w połowie roku, zapewnia ułamkową ekspozycję (np. 0,5 roku) na ten rok, a nie na pełny „rok polisowy”. Częstotliwość i wskaźniki uszkodzeń należy zawsze normalizować w zależności od narażenia; w przeciwnym razie krótkoterminowe polityki wydają się obarczone wysokim ryzykiem. Sztuczna inteligencja może zakodować obliczenie ekspozycji, ale musisz podać definicję i regułę biznesową.
Poniższa tabela podsumowuje typowe problemy i prawidłowe podejście:
problemu
złe podejście
właściwe podejście
brakująca wartość
Wypełnij wszystko średnią
Przeanalizuj niedobór; czasami otwieraj osobną kategorię
odstający
Automatyczne usuwanie
Rozróżnij błąd danych od rzeczywistego leadu
ekspozycja
Policz wszystkie polisy na 1 rok
Oblicz ekspozycję ułamkową
Niespójność kategorii
ignorować
Dopasuj do standardowego słownika
powtarzające się uszkodzenia
nie zauważaj
Deduplikuj za pomocą kluczowych pól
Inżynieria cech: generowanie wiedzy z danych
Inżynieria cech to sztuka wyprowadzania nowych zmiennych, które są bardziej przydatne dla modelu, z istniejących surowych zmiennych. Przykłady: „wiek” na podstawie daty urodzenia, „grupa wiekowa” (bibinacja) na podstawie wieku, „segment ryzyka” na podstawie marki pojazdu, „szacowany roczny przebieg” na podstawie kombinacji adresu i polityki. Dobra cecha niesie silniejszy sygnał niż surowe dane i zwiększa zarówno dokładność, jak i interpretowalność modelu.
W pracy aktuarialnej często stosuje się trzy techniki. Wiązanie: dzielenie zmiennej ciągłej (wiek) na znaczące grupy; pozwala to wychwycić zależności nieliniowe i sprawić, że taryfa będzie czytelna. Kodowanie: konwersja zmiennych kategorycznych (regionu) na format liczbowy odpowiedni dla modelu; Kodowanie oparte na ryzyku (reprezentujące każdą kategorię z własnym współczynnikiem uszkodzeń) jest powszechne, ale należy je stosować ostrożnie. Normalizacja: uczynienie wszystkiego porównywalnym poprzez podzielenie tego przez ekspozycję. AI szybko generuje kod tych transformacji; Ale musisz zatwierdzić logikę każdej transformacji.
Wskazówka: kodowanie celu jest potężne, ale podatne na wyciek danych: model „oszukuje”, jeśli uwzględnisz własne obrażenia wiersza przy obliczaniu średnich obrażeń w kategorii. Zawsze rób to w ramach danych szkoleniowych, we wzorcu sprawdzania krzyżowego.
Najbardziej podstępne niebezpieczeństwo: wycieki danych i ukryta stronniczość
Wyciek danych to wprowadzenie do modelu informacji, które w momencie prognozowania faktycznie nie istnieją. Klasyczny przykład: wprowadzenie zmiennej zawierającej wynik, np. „wypłacone odszkodowania”, do modelu prognozującego kwotę odszkodowania. Model wygląda idealnie w danych testowych, ale jest bezużyteczny w świecie rzeczywistym, ponieważ informacje te nie są dostępne w momencie prognozowania. Wyciek jest często ukryty i wychwytywany jedynie dzięki dokładnemu rozumowaniu aktuarialnemu – sztuczna inteligencja zwykle tego nie zauważa, a czasem nawet chwali nieszczelną zmienną jako „bardzo skuteczny predyktor”.
Drugim podstępnym niebezpieczeństwem jest ukryta stronniczość. Jeżeli dane historyczne w nieuczciwy sposób reprezentują konkretną grupę (na przykład w przeszłości odmówiono w odniesieniu do danego obszaru zbyt wielu polityk), cechy wywodzące się z tych danych niosą ze sobą tę stronniczość, a model powiela ją w przyszłości. Faza inżynierii cech jest najbardziej krytycznym momentem, w którym można rozpoznać i skorygować to błąd.
Uwaga: Zanim zaczniesz się cieszyć, gdy zmienna „niezwykle poprawia siłę prognostyczną”, zadaj sobie pytanie: czy ta zmienna rzeczywiście istnieje w momencie przewidywania, czy też dotyczy przyszłości? Wynik, który wygląda zbyt dobrze, jest często oznaką wycieku.
Jak wykorzystać AI w przygotowaniu danych
1) Kontrola jakości danych:
Twoja rola: asystent ds. jakości danych. Masz rentowność polisy aktuarialnej. Kolumny: id_polityki, data_początkowa, data_końcowa,wiek, region, wiek_pojazdu, składka, liczba_roszczeń, kwota_roszczenia. Podaj mi listę kontrolną i szkic kodu Pythona (pandy): - Policz brakujące wartości według kolumn. - Oznacz nieuzasadnione wartości (składka ujemna, wiek <16 lub > 100, koniec <start). - Oblicz ułamkową ekspozycję (w latach) od początku/końca. NIE usuwaj; Zgłoś to, żebym mógł podjąć decyzję.
2) Wyprowadzenie cech:
Chcę uzyskać nowe funkcje z moich danych o ruchu. Dostępne: wiek, wiek_pojazdu, region, roczny_km, typ_użytkowania.- Które grupy wiekowe i km (binning) polecasz, dlaczego?- Jak mogę wykonać kodowanie oparte na ryzyku dla „regionu” bez wycieku danych?- Zaproponuj 3 nowe funkcje, które warto wypróbować i napisz dla każdej z nich uzasadnienie aktuarialne. Zdecyduję.
3) Kontrola szczelności:
Mój model przewiduje MOŻLIWOŚĆ uszkodzenia na podstawie następujących zmiennych: wiek, region, wiek_pojazdu, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Które z tych zmiennych stwarzają ryzyko wycieku danych? Dla każdego z nich oceń, czy będzie ono dostępne w momencie prognozowania. Wymień podejrzane i dlaczego.
4) Normalizacja ekspozycji:
Niektóre z moich polis rozpoczynają się w połowie roku. Wyjaśnij i zakoduj normalizację narażenia, aby poprawnie obliczyć częstotliwość: częstotliwość = całkowita liczba roszczeń / całkowita ekspozycja (rok polisy). Pokaż na przykładzie jak obliczyć ekspozycję polisy rozpoczynającej się w połowie roku.
Słaba zachęta/silna zachęta
Słaba zachęta:
Wyczyść dane i przygotuj je dla modelu.
AI nie wie, która kolumna jest która, reguły biznesowe, definicja ekspozycji; Może ślepo usuwać, wypełniać i uszkadzać dane.
Potężny monit:
Twoja rola: asystent przygotowania danych aktuarialnych.Słownik danych: identyfikator_polityki (tożsamość), data_początkowa/końcowa (okres polisy),wiek (oczekiwane 16-90), składka (musi być >0), liczba_roszczeń (>=0), kwota_roszczenia (>=0).Zadanie:1) Napisz regułę rozsądku dla każdej kolumny i ZGŁOŚ naruszenia (usunięcie).2) Podaj kod do obliczenia ułamkowego narażenia.3) 3 różne strategie brakującego „wieku” (usuń). / średnia / osobna kategoria) występuje z plusem i minusem; Decyzję zostaw mnie.4) Ostrzegaj, jeśli istnieje kolumna, która może stwarzać ryzyko wycieku. Automatyczne usuwanie dowolnego rekordu; Zatwierdzę każdą decyzję.
trzy mini etui
Przypadek 1 – Błąd ekspozycji. W jednym portfelu krótkoterminowe (3-miesięczne) polisy podróżne liczone były jako pełne lata, więc częstotliwość wydawała się czterokrotnie niższa niż w rzeczywistości; Cena spadła nieprawidłowo. Kiedy aktuariusz obliczył ekspozycję jako ułamek (0,25 roku polisowego), ujawniono rzeczywistą częstotliwość i skorygowano taryfę. Wygenerowany przez sztuczną inteligencję kod częściowej ekspozycji; Aktuariusz podał definicję.
Przypadek 2 — Ukryty wyciek. Kiedy pomocnik dodał zmienną „czas zamknięcia pliku” do modelu prawdopodobieństwa uszkodzenia, dokładność dramatycznie wzrosła. Radość była krótkotrwała: zmienną tę można było poznać dopiero po wystąpieniu szkody, co oznacza, że nie była dostępna w momencie prognozowania. Po usunięciu nieszczelnej zmiennej model spadł do poziomu realistycznego. Pochwalił zmienną AI jako „potężny predyktor”; Wyrok aktuariusza złapał pułapkę.
Przypadek 3 – Powielanie błędu systematycznego. Jedna firma wyprowadziła wzór „odrzucenia wniosku” z danych historycznych i umieściła go w nowym modelu. Analiza wykazała, że wcześniejsze odmowy dotyczyły nieproporcjonalnie dużej liczby osób w określonej okolicy, co oznacza, że istniało nastawienie historyczne. Cecha ta została usunięta z modelu i zastąpiona bardziej neutralnymi wskaźnikami ryzyka. Sztuczna inteligencja przygotowała analizę mierzącą nakładanie się wzorca na sąsiedztwo; Decyzję etyczną podjął aktuariusz i jednostka ds. zgodności.
Typowe błędy
- Uzupełnianie brakujących wartości średnią bez zastanowienia. Sam brak może być wiedzą; Wypełnianie go na ślepo stwarza uprzedzenia.
- Automatycznie usuwaj wartości odstające. Niektóre z nich to prawdziwe przypadki Edge; Usunięcie danych bez oddzielenia ich od błędów niszczy informacje.
- Nie normalizujące narażenie. Liczenie krótkich polis jako pełnych lat zniekształca częstotliwość i zniekształca cenę.
- Nie zauważyłem wycieku danych. Zbyt dobry wynik jest często oznaką zmiennej dotyczącej przyszłości; Zapytanie, czy każda zmienna jest obecna w momencie prognozowania.
- Wprowadzanie ukrytych uprzedzeń w przyszłość. Niesprawiedliwość w danych historycznych może przedostać się do cech pochodnych; Sprawdź to na etapie funkcji.
Podsumowując
Modelowanie aktuarialne polega głównie na przygotowywaniu danych; Jeśli dane wejściowe są uszkodzone, dane wyjściowe również są uszkodzone. Typowymi problemami są brakujące wartości, wartości odstające, niespójności i powielanie; Kluczową kwestią aktuarialną jest normalizacja ekspozycji. Inżynieria cech — grupowanie, kodowanie, normalizacja — pozwala uzyskać silniejsze sygnały z danych. Najbardziej podstępnymi zagrożeniami są wycieki danych i ukryta stronniczość; oba są ujmowane wyłącznie na podstawie rozumowania aktuarialnego. Sztuczna inteligencja znacznie przyspiesza ten krok: skanowanie generuje kod i rekomendacje. Nie usuwaj jednak automatycznie żadnych rekordów, pozwól ludziom sprawdzić, czy nie ma wycieków i stronniczości, i zatwierdź każdą konwersję.
Zadanie aplikacji
Przygotuj mały anonimowy słownik danych dotyczących zasad (5–7 kolumn, każdy w rozsądnym zakresie). Poproś sztuczną inteligencję o (a) zasadę racjonalności i kod raportu o naruszeniu dla każdej kolumny, (b) obliczenie ułamkowego narażenia, (c) sugestie dotyczące 3 nowych funkcji do wypróbowania. Następnie dodaj do listy celową zmienną „pułapkę na wycieki” (np. „wypłacone odszkodowanie”) i sprawdź, czy sztuczna inteligencja wyłapie ją jako wyciek.
lista kontrolna
- [ ] Czy przeanalizowałem dlaczego przed usunięciem brakujących i wartości odstających?
- [ ] Czy prawidłowo frakcjonowałem i normalizowałem ekspozycję?
- [ ] Czy napisałem uzasadnienie aktuarialne dla każdej nowo wyprowadzonej cechy?
- [ ] Czy miałem wątpliwości, czy każda zmienna jest rzeczywiście obecna (wyciek) w momencie prognozowania?
- [ ] Czy przeskanowałem pod kątem ukrytej stronniczości w funkcjach pochodnych?
- [ ] Czy sztuczna inteligencja nie usuwała automatycznie żadnych zapisów i sama nie zatwierdzała każdej decyzji?