Табыстар:
- Жасанды интеллект қолдауымен саясаттағы жетіспейтін мәндерді, шектен тыс мәндерді, әсер ету және деректер сапасы мәселелерін анықтау және деректерге зақым келтіру және түзету жобасын жасау мүмкіндігі
- Функция инженериясы (жаңа айнымалыларды шығару, топтау, кодтау) және дұрыс контекстпен жасанды интеллектке әсер етуді қалыпқа келтіру
- Жасанды интеллект ұсынған деректерді түрлендіру деректердің ағып кету қаупіне және жасырын ауытқуларға қарсы актуарий тексеруі керек екенін түсініңіз.
Актуарлық жұмыстың ең аз айтылған, бірақ көп уақытты қажет ететін бөлігі - бұл деректерді дайындау. Тәжірибелі актуарийлер модельдеу жобасының көп уақытын деректерді тазалауға, біріктіруге және түзетуге кететінін біледі. Модель қаншалықты талғампаз болса да, кіріс деректері бүлінген болса, шығу да бүлінген — қысқасы, «қоқыс кірді, қоқыс шығады». Бұл бөлімде біз саясат пен шағым деректерінің типтік мәселелерін, оларды AI көмегімен қалай анықтауға және түзетуге болатынын және мүмкіндіктерді жобалау (бар деректерден көбірек ақпарат беретін жаңа айнымалылар алынған) әдісін көреміз.
Басынан бастап ескерту: деректерді дайындау техникалық және кінәсіз болып көрінетін қадам, бірақ бұл жерде ең қауіпті қателер жасырылады. Қате экспозицияны қалыпқа келтіру, жасырын деректер ағуы немесе байқаусызда енгізілген ауытқу барлық кейінгі үлгілерді үнсіз бұзады. AI бұл қадамды айтарлықтай жылдамдатады, бірақ егер бақылаусыз қалдырылса, ол тәуекелді де арттырады.
Актуарлық мәліметтердің типтік мәселелері
Саясат пен шағым деректері дерлік таза болмайды. Ең жиі кездесетін мәселелер: Мәндер жоқ: кейбір саясаттарда көлік жасы, кәсіп немесе аймақ бос. Бұларды орташа мәнмен соқыр толтыру қиғаштық тудыруы мүмкін; тапшылықтың өзі кейде ақпаратты алып жүреді (жетпегендер басқа топ). Шектеушілер: теріс сыйлықақы, 200 жастағы сақтандырылған, нөлдік әсер ету саясаты сияқты қисынсыз жазбалар. Бұл деректер қателері немесе нақты шеткі жағдайлар екенін ажырату керек. Сәйкессіздік: бір аймақтың әртүрлі емлесі («Стамбул», «Стамбул», «34»), күн форматының шатастырылуы. Қайталанатын жазбалар: бір залалды екі рет енгізу.
Бірақ актуарийге тән ең маңызды мәселе - бұл әсер ету. Егер саясат жылдың ортасында басталса, ол толық «саясат жылы» емес, сол жыл үшін бөлшек әсерді (мысалы, 0,5 жыл) қамтамасыз етеді. Жиілігі мен зақымдану жылдамдығы әрқашан әсер ету үшін қалыпқа келтірілуі керек; әйтпесе қысқа мерзімді саясат жоғары тәуекел болып көрінеді. AI экспозицияны есептеуді кодтай алады, бірақ сіз анықтама мен бизнес ережесін беруіңіз керек.
Төмендегі кестеде типтік мәселелер мен дұрыс тәсіл жинақталған:
мәселе
қате көзқарас
дұрыс көзқарас
жетіспейтін мән
Барлығын орташа мәнмен толтырыңыз
Жетіспеушілікті талдау; кейде жеке санат ашады
шектен тыс
Автоматты жою
Деректер қатесі мен нақты ықтималды ажыратыңыз
экспозиция
1 жылға арналған барлық саясаттарды санаңыз
Бөлшек экспозицияны есептеңіз
Категориялық сәйкессіздік
елемеу
Стандартты сөздікпен сәйкестендіру
қайталанатын зақым
байқама
Негізгі өрістермен қайталанбаңыз
Ерекшеліктер инженериясы: мәліметтерден білім алу
Функциялық инженерия — бар өңделмеген айнымалылардан үлгіге пайдалырақ жаңа айнымалыларды шығару өнері. Мысалдар: туған күнінен бастап «жасы», жастан «жас тобы» (қосалқы), көлік үлгісінен «тәуекел сегменті», мекенжай-саясат тіркесімінен «жылдық жүгіріс бағалауы». Жақсы мүмкіндік бастапқы деректерге қарағанда күшті сигнал береді және модельдің дәлдігі мен түсіндірмелілігін арттырады.
Актуарлық жұмыста үш әдіс жиі қолданылады. Байланыстыру: үздіксіз айнымалыны (жас) мағыналы топтарға бөлу; бұл сызықтық емес қатынастарды түсіреді және тарифті оқылатын етеді. Кодтау: категориялық айнымалыларды (аймақ) модельге қолайлы сандық пішімге түрлендіру; Тәуекелге негізделген кодтау (әр санатты өзінің зақымдану деңгейімен көрсетеді) жиі кездеседі, бірақ оны сақтықпен жасау керек. Нормалау: барлығын оның экспозициясына бөлу арқылы салыстырмалы ету. AI осы түрлендірулер үшін кодты жылдам жасайды; Бірақ әр түрлендірудің логикасын бекіту керек.
Кеңес: Мақсатты кодтау қуатты, бірақ деректердің ағып кетуіне бейім: санаттың орташа зақымдалуын есептеу кезінде жолдың жеке зақымдалуын қоссаңыз, модель «алдайды». Мұны әрқашан жаттығу деректерінде, айқас тексеру үлгісінде орындаңыз.
Ең жасырын қауіп: деректердің ағып кетуі және жасырын көзқарас
Деректердің ағып кетуі - болжау кезінде іс жүзінде жоқ ақпаратты модельге енгізу. Классикалық мысал: «төленген шағымдар» сияқты нәтижені қамтитын айнымалыны шағым сомасын болжайтын үлгіге енгізу. Модель сынақ деректерінде тамаша көрінеді, бірақ нақты әлемде пайдасыз, себебі бұл ақпарат болжау кезінде қол жетімді емес. Ағып кету жиі жасырылады және тек мұқият актуарлық негіздеу арқылы ұсталады - AI әдетте байқамайды, кейде тіпті ағып жатқан айнымалыны «өте күшті болжау» деп мақтайды.
Екінші жасырын қауіп - жасырын көзқарас. Тарихи деректер белгілі бір топты әділетсіз түрде көрсетсе (мысалы, аймақ тарихи түрде тым көп саясаттан бас тартылса), сол деректерден алынған мүмкіндіктер бұл қиғаштықты тасымалдайды және модель оны болашақта қайталайды. Функцияларды жобалау кезеңі - бұл ауытқуды тануға және түзетуге болатын ең маңызды сәт.
Абайлаңыз: Айнымалы «болжау күшін айтарлықтай жақсартатынына» қуанбас бұрын, сұраңыз: бұл айнымалы болжам жасау кезінде шынымен бар ма, әлде болашаққа қатысты ма? Тым жақсы көрінетін нәтиже көбінесе ағып кетудің белгісі болып табылады.
Деректерді дайындауда AI қалай қолданылады
1) Деректер сапасын тексеру:
Сіздің рөліңіз: деректер сапасының көмекшісі. Сізде актуарлық саясат кірісі бар. Бағандар: саясат_идентификаторы, басталу_күні, аяқталу_күні, жас, аймақ, көлік_жасы, премиум, шағым_саны, шағым_сомасы. Маған бақылау парағын және Python (пандалар) кодының эскизін беріңіз:- Жоқ мәндерді баған бойынша санаңыз.- Негізсіз мәндерді белгілеңіз (теріс сыйлықақы, жас мөлшері <0-0, соңғы көрсеткіш). (жылдармен) басынан/соңынан. ЖОЮ ЕМЕС; Мен шешім қабылдау үшін жай ғана хабарлаңыз.
2) Ерекшелік туындысы:
Мен трафик деректерімнен жаңа мүмкіндіктер алғым келеді. Қолжетімді: жас, көліктің жасы, аймақ, жылдық_км, пайдалану_түрі.- Сіз қандай жас және км топтарын (қосалқылау) ұсынасыз, неліктен?- Деректердің ағып кетуінсіз «аймақ» үшін тәуекелге негізделген кодтауды қалай жасауға болады?- Әрқайсысы үшін актуарлық негіздеме жазуға тұрарлық 3 жаңа мүмкіндікті ұсыныңыз. Мен шешемін.
3) ағып кетуді тексеру:
Менің үлгісім келесі айнымалылармен зақымдалу МҮМКІНДІГІН болжайды: жас, аймақ, көліктің_жасы, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Осы айнымалылардың қайсысы деректердің ағып кету қаупін тудырады? Әрқайсысы үшін оның болжау кезінде қолжетімді болатынын бағалаңыз. Күдіктілерді және неге екенін көрсетіңіз.
4) Экспозицияны қалыпқа келтіру:
Менің кейбір саясаттарым жылдың ортасында басталады. Жиілікті дұрыс есептеу үшін экспозицияны қалыпқа келтіруді түсіндіріңіз және кодтаңыз: жиілік = жалпы шағым_саны / жалпы экспозиция (саясат-жыл). Жылдың ортасында басталатын саясаттың экспозициясын қалай есептеу керектігін мысалмен көрсетіңіз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Деректерді тазалап, үлгіге дайын етіңіз.
AI қай бағанның қайсысы екенін, бизнес ережелерін, экспозиция анықтамасын білмейді; Ол деректерді соқыр түрде жоюы, толтыруы және бүлдіруі мүмкін.
Күшті шақыру:
Сіздің рөліңіз: актуарлық деректерді дайындау көмекшісі.Деректер сөздігі: саясат_идентификаторы (сәйкестендіру), басталу/аяқталу_күні (саясат кезеңі), жас (күтілетін 16-90), премиум (>0 болуы керек), шағым_саны (>=0), шағым_сомасы (>=0). Тапсырма: 1) Әрбір бағанға негізділік ережесін жазыңыз (бөлшек кодының есебі 2). экспозиция.3) «жасы» жетіспейтін 3 түрлі стратегия (жою). / орташа / бөлек санат) плюс-минус бар; Шешімді маған қалдырыңыз.4) Ағып кету қаупін тудыруы мүмкін баған бар болса ескертіңіз. Кез келген жазбаны автоматты түрде жою; Мен әрбір шешімді құптаймын.
үш шағын іс
1-жағдай — Экспозиция қатесі. Бір портфолиода қысқа мерзімді (3 айлық) саяхат саясаты толық жылдар ретінде есептелді, сондықтан жиілік іс жүзінде болғаннан төрт есе төмен болды; Баға дұрыс емес төмендеді. Актуарий экспозицияны бөлшек ретінде есептеген кезде (0,25 саясат-жыл) нақты жиілік анықталды және тариф түзетілді. AI жасалған бөлшек экспозиция коды; Актуарий анықтама берді.
2-жағдай – жасырын ағып кету. Көмекші зақымдану ықтималдығы үлгісіне «файлды жабу уақыты» айнымалысын қосқанда, дәлдік күрт өсті. Қуаныш қысқа уақытқа созылды: бұл айнымалыны тек зақым келгеннен кейін білуге болады, яғни болжау кезінде ол қол жетімді емес. Ағып кеткен айнымалы мән жойылғанда, модель шынайы деңгейге дейін төмендеді. Ол AI айнымалысын «қуатты болжаушы» ретінде жоғары бағалады; Актуарийдің шешімі тұзаққа түсті.
3-жағдай — ығысудың қайталануы. Бір компания тарихи деректерден «өтініштерді қабылдамау» үлгісін шығарып, оны жаңа үлгіге енгізді. Талдау көрсеткендей, бұрынғы бас тартулар белгілі бір ауданда пропорционалды емес шоғырланған, яғни тарихи бетбұрыс болған. Бұл мүмкіндік модельден алынып тасталды және бейтарап тәуекел көрсеткіштерімен ауыстырылды. AI үлгінің көршімен қабаттасуын өлшейтін талдау жасады; Этикалық шешімді актуарий мен сәйкестік бөлімі қабылдады.
Жалпы қателер
- Ойланбай жетіспейтін мәндерді орташа мәнмен толтыру. Жетіспеушіліктің өзі білім болуы мүмкін; Оны соқыр түрде толтыру теріс пікір тудырады.
- Шектеулерді автоматты түрде жою. Кейбіреулері шынайы шеткі жағдайлар; Деректерді қателерден ажыратпай жою ақпаратты бұзады.
- Экспозицияны қалыпқа келтірмейді. Қысқа саясаттарды толық жылдар ретінде санау жиілікті бұрмалайды және бағаны бұрмалайды.
- Деректердің ағып кетуін байқамау. Тым жақсы нәтиже көбінесе болашаққа қатысты айнымалының белгісі болып табылады; Әрбір айнымалының болжау уақытында бар-жоғын сұраңыз.
- Болашаққа жанашырлықпен қарау. Тарихи деректердегі әділетсіздік туынды белгілерге ағып кетуі мүмкін; Оны мүмкіндік сатысында тексеріңіз.
Қысқаша айтқанда
Актуарлық модельдеу негізінен деректерді дайындауға қатысты; Кіріс зақымдалған болса, шығысы да бүлінген. Типтік мәселелер – жетіспейтін мәндер, ауытқулар, сәйкессіздіктер және қайталану; Маңызды актуарлық мәселе – экспозицияны қалыпқа келтіру. Функция инженериясы — топтау, кодтау, қалыпқа келтіру — деректерден күшті сигналдарды алады. Ең жасырын қауіп - деректердің ағып кетуі және жасырын көзқарас; екеуі де тек актуарлық пайымдау арқылы алынады. AI бұл қадамды айтарлықтай жылдамдатады: сканерлеу код пен ұсыныстарды жасайды. Бірақ ешбір жазбаны автоматты түрде жоймаңыз, адамдарға ағып кетулер мен ауытқуларды тексеруге және әрбір түрлендіруді мақұлдауға мүмкіндік беріңіз.
Қолданбалы тапсырма
Шағын анонимді саясат деректерінің сөздігін дайындаңыз (5-7 баған, әрқайсысының қолайлы ауқымы). AI-дан (a) әр баған үшін негізділік ережесін және бұзушылық туралы есеп кодын, (б) бөлшек әсер етуді есептеуді, (c) 3 жаңа мүмкіндікке қатысты ұсыныстарды сұраңыз. Содан кейін тізімге әдейі «ағып кету қақпанының» айнымалы мәнін қосыңыз (мысалы, «төленген өтемақы») және AI оны ағып кету ретінде ұстайтынын тексеріңіз.
бақылау парағы
- [ ] Жетіспейтін және шектен шыққан мәндерді жоймас бұрын неге талдап көрдім?
- [ ] Мен экспозицияны дұрыс бөлшектеп, қалыпқа келтірдім бе?
- [ ] Әрбір жаңадан алынған мүмкіндік үшін актуарлық негіздеме жаздым ба?
- [ ] Мен болжау кезінде әрбір айнымалының шын мәнінде бар (ағып кету) бар-жоғын сұрадым ба?
- [ ] Мен туынды мүмкіндіктердегі жасырын ауытқуларды сканерледім бе?
- [ ] Менде AI ешқандай жазбаларды автоматты түрде жойып, әрбір шешімді өзім бекіткен жоқпын ба?