Добици:
- Способност откривања недостајућих вредности, одступања, изложености и проблема са квалитетом података у политици и оштећење података уз подршку вештачке интелигенције и израду нацрта корекције
- Инжењеринг карактеристика (ново извођење варијабли, груписање, кодирање) и нормализација изложености вештачкој интелигенцији са правим контекстом
- Схватите да трансформације података које предлаже вештачка интелигенција треба да ревидира актуар у односу на ризик од цурења података и скривене пристрасности.
Део актуарског посла о коме се најмање говори, али највише времена одузима је припрема података. Искусни актуари знају да већину времена пројекта моделирања троши на чишћење, комбиновање и исправљање података. Без обзира колико је модел елегантан, ако су улазни подаци оштећени, излазни подаци су оштећени – укратко, „смеће унутра, смеће напоље“. У овој јединици ћемо видети типичне проблеме са подацима о смерницама и захтевима, како да их откријемо и поправимо помоћу вештачке интелигенције и приступ инжењеринга карактеристика (изведене нове варијабле које су информативније из постојећих података).
Упозорење од почетка: припрема података је наизглед технички и невин корак, али ту се крију најопасније грешке. Нетачна нормализација експозиције, скривено цурење података или несвесно уведена пристрасност тихо кваре све наредне моделе. АИ у великој мери убрзава овај корак, али ако се не контролише, такође повећава ризик.
Типични проблеми актуарских података
Подаци о политици и потраживањима скоро никада не стижу чисти. Најчешћи проблеми су: Недостају вредности: неке политике имају празно старо возило, занимање или регион. Слепо попуњавање ових просеком може створити пристрасност; сам недостатак понекад носи информацију (нестали су друга група). Екстра: нелогични записи као што су негативна премија, 200-годишњи осигураник, политика нулте изложености. Мора се разликовати да ли се ради о грешкама у подацима или о стварним ивичним случајевима. Недоследност: различити начини писања истог региона („Истанбул“, „Истанбул“, „34“), конфузија у формату датума. Двоструки уноси: два пута унос исте штете.
Али најкритичније питање специфично за актуарство је изложеност. Ако политика почиње средином године, она обезбеђује делимичну изложеност (нпр. 0,5 година) за ту годину, а не пуну „годину политике“. Учесталост и стопе оштећења увек треба да се нормализују у односу на излагање; у супротном краткорочне политике изгледају као високо ризичне. АИ може кодирати израчунавање изложености, али морате дати дефиницију и пословно правило.
Следећа табела сумира типичне проблеме и исправан приступ:
проблем
погрешан приступ
прави приступ
недостаје вредност
Попуните све просеком
Анализирати недостатак; понекад отворите посебну категорију
оутлиер
Аутоматско брисање
Направите разлику између грешке у подацима и стварног потенцијалног клијента
излагање
Рачунајте све политике за 1 годину
Израчунајте фракциону експозицију
Недоследност категорије
игнорисати
Ускладите се са стандардним речником
понављајућа оштећења
не примети
Дедуплицирање са кључним пољима
Инжењеринг карактеристика: извођење знања из података
Инжењеринг карактеристика је уметност извођења нових варијабли које су корисније за модел из постојећих сирових варијабли. Примери: „старост“ од датума рођења, „добна група“ (биндинг) од старости, „сегмент ризика“ из модела марке возила, „годишња процена километраже“ из комбинације адресе и смерница. Добра карактеристика носи јачи сигнал од необрађених података и повећава и тачност и интерпретабилност модела.
У актуарском раду се често користе три технике. Везивање: раздвајање континуиране променљиве (старост) у смислене групе; ово обухвата нелинеарне односе и чини тарифу читљивом. Кодирање: претварање категоричких променљивих (регион) у нумерички формат погодан за модел; Кодирање засновано на ризику (представља сваку категорију са сопственом стопом штете) је уобичајено, али треба да се ради са опрезом. Нормализација: учинити све упоредивим тако што ћете га поделити са његовом изложеношћу. АИ брзо генерише код за ове трансформације; Али морате одобрити логику сваке трансформације.
Савет: Циљно кодирање је моћно, али склоно цурењу података: модел "вара" ако укључите сопствену штету реда када израчунате просечну штету категорије. Увек то радите у оквиру података о обуци, у обрасцу унакрсног провера.
Најподмукла опасност: цурење података и имплицитна пристрасност
Цурење података је уношење информација у модел који заправо не постоје у време предвиђања. Класичан пример: увођење варијабле која садржи исход, као што је „плаћена потраживања“, у модел који предвиђа износ потраживања. Модел изгледа савршено у тест подацима, али је бескористан у стварном свету јер те информације нису доступне у време предвиђања. Цурење је често скривено и ухваћено само пажљивим актуарским расуђивањем — АИ обично не примећује, понекад чак и хвали променљиву која цури као „веома моћан предиктор“.
Друга подмукла опасност је имплицитна пристрасност. Ако историјски подаци неправедно представљају одређену групу (на пример, некој области је историјски ускраћено превише политика), карактеристике изведене из тих података носе ту пристрасност и модел је реплицира у будућност. Фаза инжењеринга карактеристика је најкритичнији тренутак када се ова пристрасност може препознати и исправити.
Опрез: Пре него што се обрадујете када променљива „изразито побољшава предиктивну моћ“, питајте: да ли је ова варијабла заиста присутна у време предвиђања или укључује будућност? Резултат који изгледа превише добро је често знак цурења.
Како користити АИ у припреми података
1) Провера квалитета података:
Ваша улога: помоћник за квалитет података. Имате актуарски принос. Колоне: полици_ид, старт_дате, енд_дате,аге, регион, вехицле_аге, премиум, цлаим_цоунт, цлаим_амоунт.Дај ми контролну листу и Питхон (панде) скицу кода:- Преброј недостајуће вредности по колони.- Означи неразумне вредности (негативна премија, старост<16 до краја или >100 година од калкулације).- почетак/крај.НЕ брисати; Само пријави да могу да одлучим.
2) Извођење карактеристика:
Желим да извучем нове функције из мојих података о саобраћају. Доступно: старост, старост_возила, регион, годишњи_км, тип употребе.- Које старосне групе и групе километара (бинирање) препоручујете, зашто?- Како могу да урадим кодирање засновано на ризику за „регион“ без цурења података?- Предложите 3 нове функције које вреди испробати и напишите актуарско оправдање за сваку. ја ћу одлучити.
3) Инспекција цурења:
Мој модел предвиђа МОГУЋНОСТ оштећења са следећим варијаблама: старост, регион, старост возила, ПАИД_ЦЛАИМ_ФЛАГ, СЕТТЛЕМЕНТ_ДАИС. Које од ових варијабли представљају ризик од цурења података? За сваки, процените да ли ће бити доступан у време предвиђања. Наведите сумњиве и зашто.
4) Нормализација експозиције:
Неке од мојих политика почињу средином године. Објасните и кодирајте нормализацију изложености да бисте правилно израчунали учесталост: учесталост = укупан број_захтева / укупна изложеност (година политике). Покажите на примеру како се израчунава изложеност полисе која почиње средином године.
Слаби промпт / Јаки промпт
Слабо обавештење:
Очистите податке и припремите их за модел.
АИ не зна која је колона која, пословна правила, дефиниција изложености; Може слепо да обрише и попуни и поквари податке.
Снажан упит:
Ваша улога: помоћник за припрему актуарских података. Речник података: ИД_политике (идентитет), датум почетка/завршетка (период политике), старост (очекивано 16-90), премија (мора бити >0), број_захтјева (>=0), износ_захтјева (>=0). Задатак: 1) Напишите правило разумности за сваку колону и ИЗВЈЕШТАЈте правило о разумности за сваку колону и ИЗВЈЕШТАЈТЕ различито кршење кода Гиве пос. стратегије за пропуштање „доба“ (избриши). / просек / посебна категорија) присутан са плус-минус; Оставите одлуку мени. 4) Упозорите ако постоји колона која може представљати ризик од цурења. Аутоматско брисање било ког записа; Ја ћу одобрити сваку одлуку.
три мини кофера
Случај 1 — Грешка експозиције. У једном портфељу, краткорочне (3-месечне) политике путовања рачунале су се као пуне године, тако да је учесталост била четири пута мања него што је заправо била; Цена је пала погрешно. Када је актуар израчунао изложеност као разломак (0,25 полис-година), откривена је стварна учесталост и тарифа је коригована. АИ генерисан фракциони код експозиције; Актуар је дао дефиницију.
Случај 2 — Латентно цурење. Када је помоћник додао променљиву „време затварања датотеке“ моделу вероватноће оштећења, прецизност се драматично повећала. Радост је била кратког даха: ова варијабла је могла бити позната тек након што је штета настала, што значи да није била доступна у време предвиђања. Када је променљива која цури уклоњена, модел се смањио на реалан ниво. Он је похвалио АИ варијаблу као „моћан предиктор“; Актуарска пресуда је ухватила замку.
Случај 3 — Репликација пристрасности. Једна компанија је из историјских података извела образац „одбијања апликације“ и ставила га у нови модел. Анализа је показала да су прошла одбијања била непропорционално концентрисана у одређеном насељу, што значи да је постојала историјска пристрасност. Ова карактеристика је уклоњена из модела и замењена неутралнијим индикаторима ризика. АИ је направио анализу мерећи преклапање шаблона са суседством; Етичку одлуку донели су актуар и јединица за усклађеност.
Уобичајене грешке
- Попуните недостајуће вредности средњом вредношћу без размишљања. Сам недостатак може бити знање; Слепо попуњавање ствара предрасуде.
- Аутоматски избриши изванредне вредности. Неки су истински ивични случајеви; Брисање података без одвајања од грешака уништава информације.
- Не нормализује експозицију. Рачунање кратких полиса као пуне године искривљује учесталост и искривљује цену.
- Не примећујемо цурење података. Превише добар резултат је често знак варијабле која укључује будућност; Питајте да ли је свака променљива присутна у време предвиђања.
- Доношење имплицитне пристрасности у будућност. Неправда у историјским подацима може процурити у изведене карактеристике; Проверите то у фази функције.
Укратко
Актуарско моделирање се углавном односи на припрему података; Ако је улаз оштећен, оштећен је и излаз. Типични проблеми су недостајуће вредности, одступања, недоследности и дуплирање; Критично актуарско питање је нормализација изложености. Инжењеринг карактеристика — груписање, кодирање, нормализација — изводи јаче сигнале из података. Најподмуклије опасности су цурење података и имплицитна пристрасност; оба су захваћена само актуарским расуђивањем. АИ у великој мери убрзава овај корак: скенирање генерише код и препоруке. Али немојте аутоматски брисати ниједан запис, дозволите људима да провере цурење и пристрасност и да одобре сваку конверзију.
Задатак апликације
Припремите мали анонимни речник података о политици (5-7 колона, разуман опсег сваке). Затражите од АИ за (а) правило разумности и шифру извештаја о кршењу за сваку колону, (б) израчунавање делимичне изложености, (ц) предлоге за 3 нове функције које можете испробати. Затим додајте намерну променљиву „замка цурења“ на листу (нпр. „плаћена компензација“) и тестирајте да ли је АИ ухвати као цурење.
контролна листа
- [ ] Да ли сам анализирао зашто пре него што избришем недостајуће и одступнике?
- [ ] Да ли сам правилно фракционисао и нормализовао експозицију?
- [ ] Да ли сам написао актуарско оправдање за сваку новоизведену карактеристику?
- [ ] Да ли сам се питао да ли је свака варијабла заиста присутна (цурење) у време предвиђања?
- [ ] Да ли сам скенирао имплицитну пристрасност у изведеним карактеристикама?
- [ ] Зар нисам имао АИ да аутоматски избрише све записе и сам одобрио сваку одлуку?