Faida:
- Uwezo wa kugundua maadili yanayokosekana, wauzaji, udhihirisho na shida za ubora wa data katika sera na data ya uharibifu kwa usaidizi wa akili wa bandia na kutoa rasimu ya marekebisho.
- Uhandisi wa kipengele (utoleo mpya wa kigezo, uwekaji kambi, usimbaji) na urekebishaji wa kufichua kwa akili bandia na muktadha unaofaa.
- Elewa kwamba mabadiliko ya data yanayopendekezwa na akili bandia yanapaswa kukaguliwa na mtaalamu dhidi ya hatari ya uvujaji wa data na upendeleo uliofichwa.
Sehemu iliyozungumzwa kidogo zaidi lakini inayotumia wakati mwingi ya kazi ya uhariri ni utayarishaji wa data. Wataalamu wenye uzoefu wanajua kuwa muda mwingi wa mradi wa uundaji modeli hutumiwa kusafisha, kuchanganya na kusahihisha data. Haijalishi muundo wa kifahari jinsi gani, ikiwa data ya ingizo ni mbovu, matokeo ni mbovu—kwa ufupi, "takataka ndani, takataka nje." Katika kitengo hiki, tutaona matatizo ya kawaida ya data ya sera na madai, jinsi ya kutambua na kurekebisha kwa kutumia AI, na mbinu ya uhandisi wa vipengele (vigezo vipya vinavyotoa taarifa zaidi kutoka kwa data iliyopo).
Onyo tangu mwanzo: utayarishaji wa data ni hatua inayoonekana ya kiufundi na isiyo na hatia, lakini hapa ndipo makosa hatari zaidi yanajificha. Urekebishaji usio sahihi wa udhihirisho, uvujaji wa data uliofichwa, au upendeleo ulioletwa bila kukusudia huharibu miundo yote inayofuata. AI huharakisha sana hatua hii, lakini ikiwa itaachwa bila kudhibitiwa, pia huongeza hatari.
Matatizo ya kawaida ya data ya actuarial
Data ya sera na madai karibu kamwe isifike safi. Matatizo ya kawaida ni: Thamani zinazokosekana: baadhi ya sera zina umri wa gari tupu, kazi au eneo. Kujaza haya kwa wastani kwa upofu kunaweza kuunda upendeleo; upungufu wenyewe wakati mwingine hubeba taarifa (zinazokosekana ni kundi tofauti). Wauzaji: rekodi zisizo na mantiki kama vile malipo hasi, sera ya bima ya miaka 200, sera ya kukaribia sifuri. Ni lazima itofautishwe ikiwa haya ni makosa ya data au visa vya ukingo halisi. Kutokubaliana: tahajia tofauti za eneo moja ("Istanbul", "Istanbul", "34"), machafuko ya muundo wa tarehe. Viingilio vya kurudia: kuingia kwa uharibifu sawa mara mbili.
Lakini suala muhimu zaidi maalum kwa actuarial ni mfiduo. Sera ikianza katikati ya mwaka, inatoa udhihirisho wa sehemu (k.m. miaka 0.5) kwa mwaka huo, si "mwaka wa sera." Viwango vya marudio na uharibifu vinapaswa kuwa vya kawaida kila wakati ili kufichua; vinginevyo sera za muda mfupi zinaonekana kuwa hatari sana. AI inaweza kuweka nambari ya hesabu ya mfiduo, lakini lazima utoe ufafanuzi na sheria ya biashara.
Jedwali lifuatalo linatoa muhtasari wa shida za kawaida na mbinu sahihi:
tatizo
mbinu mbaya
njia sahihi
kukosa thamani
Jaza yote kwa wastani
Kuchambua upungufu; wakati mwingine kufungua kategoria tofauti
nje
Futa kiotomatiki
Tofautisha kati ya makosa ya data na risasi halisi
mfiduo
Hesabu sera zote kwa mwaka 1
Kokotoa mfiduo wa sehemu
Utofauti wa kitengo
kupuuza
Linganisha na kamusi sanifu
uharibifu wa mara kwa mara
usitambue
Toa nakala kwa sehemu muhimu
Uhandisi wa kipengele: kupata ujuzi kutoka kwa data
Uhandisi wa vipengele ni sanaa ya kupata vigeu vipya ambavyo ni muhimu zaidi kwa muundo kutoka kwa vigeu vibichi vilivyopo. Mifano: "umri" kuanzia tarehe ya kuzaliwa, "kikundi cha umri" (kikundi) kutoka umri, "sehemu ya hatari" kutoka kwa muundo wa gari, "makadirio ya maili ya kila mwaka" kutoka kwa mchanganyiko wa sera ya anwani. Kipengele kizuri hubeba mawimbi yenye nguvu zaidi kuliko data ghafi na huongeza usahihi na ufasiri wa muundo.
Mbinu tatu hutumiwa mara kwa mara katika kazi ya actuarial. Kufunga: kutenganisha mabadiliko endelevu (umri) katika makundi yenye maana; hii inachukua uhusiano usio na mstari na hufanya ushuru kusomeka. Usimbaji: kubadilisha vigezo vya kategoria (eneo) kuwa muundo wa nambari unaofaa kwa mfano; Usimbaji unaotegemea hatari (unaowakilisha kila aina na kiwango chake cha uharibifu) ni wa kawaida lakini unapaswa kufanywa kwa tahadhari. Kukaida: kufanya kila kitu kilinganishwe kwa kukigawanya kwa mfiduo wake. AI inazalisha haraka msimbo wa mabadiliko haya; Lakini lazima uidhinishe mantiki ya kila mabadiliko.
Kidokezo: Usimbaji unaolengwa ni mzuri lakini unakabiliwa na uvujaji wa data: mfano "hudanganya" ikiwa utajumuisha uharibifu wa safu mlalo wakati wa kukokotoa uharibifu wa wastani wa kitengo. Fanya hivi kila wakati ndani ya data ya mafunzo, katika muundo wa uthibitishaji mtambuka.
Hatari ya siri zaidi: uvujaji wa data na upendeleo dhahiri
Uvujaji wa data ni utangulizi wa habari katika modeli ambayo haipo wakati wa utabiri. Mfano wa kawaida: tukianzisha kigezo chenye matokeo, kama vile "madai yaliyolipwa," katika muundo unaotabiri kiasi cha dai. Muundo huo unaonekana kamili katika data ya majaribio lakini hauna maana katika ulimwengu halisi kwa sababu maelezo hayo hayapatikani wakati wa kutabiri. Uvujaji mara nyingi hufichwa na kunaswa tu na hoja makini za kisanii - AI mara nyingi haioni, wakati mwingine hata kusifu utofauti unaovuja kama "kitabiri chenye nguvu sana."
Hatari ya pili ya siri ni upendeleo usio wazi. Iwapo data ya kihistoria inawakilisha kundi fulani isivyo sawa (kwa mfano, eneo limekataliwa kihistoria sera nyingi), vipengele vinavyotokana na data hiyo hubeba upendeleo huo na muundo huiiga katika siku zijazo. Awamu ya uhandisi wa kipengele ndio wakati muhimu zaidi ambapo upendeleo huu unaweza kutambuliwa na kusahihishwa.
Tahadhari: Kabla ya kufurahi wakati kigezo "kinaboresha uwezo wa kutabiri kwa kiasi kikubwa," uliza: je, kigeu hiki kipo wakati wa utabiri, au kinahusisha siku zijazo? Matokeo ambayo yanaonekana kuwa mazuri sana mara nyingi ni ishara ya uvujaji.
Jinsi ya kutumia AI katika utayarishaji wa data
1) Uchunguzi wa ubora wa data:
Jukumu lako: msaidizi wa ubora wa data. Una mavuno ya sera ya uhalisia. Safuwima: sera_kitambulisho, tarehe_ya_kuanza, tarehe_ya_mwisho, umri, eneo, umri_wa_gari, malipo, hesabu_ya_madai, kiasi_cha_dai. Nipe orodha hakiki na mchoro wa msimbo wa Python (pandas):- Hesabu thamani zinazokosekana kulingana na safu wima.- Tia alama kwa thamani zisizokubalika (malipo hasi, umri<16 au > 100, hakikisha kuhesabu mwanzo wa sehemu ya mwanzo). USIFUTE; Ripoti tu ili niweze kuamua.
2) Utoaji wa kipengele:
Ninataka kupata vipengele vipya kutoka kwa data yangu ya trafiki. Inapatikana: umri, umri_wa_gari, eneo, mwaka_km, aina_ya_matumizi.- Unapendekeza vikundi gani vya umri na kilomita (kuweka alama), kwa nini?- Ninawezaje kufanya usimbaji unaozingatia hatari kwa 'eneo' bila kuvuja kwa data?- Pendekeza vipengele 3 vipya vinavyostahili kujaribu na uandike uhalalishaji wa kihalisi kwa kila kimoja. nitaamua.
3) Ukaguzi wa kuvuja:
Muundo wangu unatabiri UWEZEKANO wa uharibifu kwa vigeu vifuatavyo: umri, eneo, umri_wa gari, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Ni vipi kati ya vigeu hivi vinavyoleta hatari ya kuvuja kwa data? Kwa kila moja, tathmini ikiwa itapatikana wakati wa utabiri. Orodhesha wanaotiliwa shaka na kwa nini.
4) Urekebishaji wa mfiduo:
Baadhi ya sera zangu huanza katikati ya mwaka. Eleza na uweke kanuni urekebishaji wa kukaribia aliyeambukizwa ili kukokotoa marudio kwa usahihi: frequency = jumla ya dai_hesabu / jumla ya kufichua (mwaka wa sera). Onyesha kwa mfano jinsi ya kukokotoa udhihirisho wa sera inayoanza katikati ya mwaka.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Safisha data na uifanye tayari kwa mfano.
AI haijui safu ni ipi, sheria za biashara, ufafanuzi wa kufichua; Inaweza kufuta na kujaza na kupotosha data kwa upofu.
Agizo lenye nguvu:
Jukumu lako: msaidizi wa utayarishaji wa data halisi. Kamusi ya data: kitambulisho cha sera (kitambulisho), tarehe_ya_kuanza/mwisho (muda wa sera), umri (unaotarajiwa 16-90), malipo (lazima yawe >0), dai_count (>=0), dai_kiasi (>=0). Kazi:1) Andika kanuni ya upatanifu kwa kila safu wima na ukiukaji wa REPORT (kufutwa kwa msimbo 3 unaokosekana). 'umri' (futa). / kategoria ya wastani / tofauti) sasa na plus-minus; Niachie uamuzi.4) Onya ikiwa kuna safu ambayo inaweza kusababisha hatari ya kuvuja.Kufuta kiotomatiki kwa rekodi yoyote; Nitakubali kila uamuzi.
kesi tatu ndogo
Kesi ya 1 - Hitilafu ya kufichua. Katika kwingineko moja, sera za usafiri za muda mfupi (miezi 3) zilihesabiwa kuwa miaka kamili, kwa hivyo mzunguko ulionekana mara nne chini kuliko ulivyokuwa; Bei ilishuka kimakosa. Wakati mtaalamu alihesabu kukaribia aliyeambukizwa kama sehemu (mwaka wa sera 0.25), marudio halisi yalifichuliwa na ushuru ulisahihishwa. AI ilizalisha msimbo wa mfiduo wa sehemu; Mtaalamu alitoa ufafanuzi.
Kesi 2 - Uvujaji uliofichwa. Msaidizi alipoongeza kigezo cha "muda wa kufungwa kwa faili" kwenye muundo wa uwezekano wa uharibifu, usahihi uliongezeka sana. Furaha ilikuwa ya muda mfupi: tofauti hii inaweza kujulikana tu baada ya uharibifu kutokea, maana yake haipatikani wakati wa utabiri. Wakati tofauti iliyovuja iliondolewa, mfano ulipungua hadi kiwango cha kweli. Alisifu tofauti ya AI kama "mtabiri mwenye nguvu"; Hukumu ya mtaalamu huyo ilinasa mtego.
Kesi ya 3 - Kurudia kwa upendeleo. Kampuni moja ilipata muundo wa "kukataliwa kwa programu" kutoka kwa data ya kihistoria na kuiweka katika muundo mpya. Uchanganuzi ulionyesha kuwa kukataliwa huko nyuma kulijilimbikizia kwa njia isiyo sawa katika kitongoji fulani, ikimaanisha kuwa kulikuwa na upendeleo wa kihistoria. Kipengele hiki kiliondolewa kwenye muundo na kubadilishwa na viashiria vya hatari zaidi. AI ilitoa uchanganuzi wa kupima mwingiliano wa muundo na ujirani; Uamuzi wa kimaadili ulifanywa na mtaalamu na kitengo cha kufuata.
Makosa ya kawaida
- Kujaza maadili yaliyokosekana na wastani bila kufikiria. Ukosefu wenyewe unaweza kuwa ujuzi; Kuijaza kwa upofu huleta ubaguzi.
- Futa wauzaji kiotomatiki. Baadhi ni kesi makali ya kweli; Kufuta data bila kuitenganisha na makosa huharibu taarifa.
- Sio kuhalalisha mfiduo. Kuhesabu sera fupi kama miaka kamili hupotosha mzunguko na kuvuruga bei.
- Bila kugundua kuvuja kwa data. Matokeo mazuri sana mara nyingi ni ishara ya mabadiliko yanayohusisha siku zijazo; Swali ikiwa kila kigezo kipo wakati wa utabiri.
- Kuleta upendeleo ulio wazi katika siku zijazo. Ukosefu wa haki katika data ya kihistoria inaweza kuvuja katika vipengele vinavyotokana; Iangalie katika hatua ya kipengele.
Kwa muhtasari
Uundaji wa kielelezo kwa kiasi kikubwa unahusu kuandaa data; Ikiwa ingizo limeharibika, pato pia ni mbovu. Matatizo ya kawaida ni kukosa thamani, viambajengo, kutofautiana, na urudufu; Suala muhimu la utabiri ni urekebishaji wa mfiduo. Uhandisi wa vipengele - kupanga, kuweka misimbo, kuhalalisha - hupata ishara kali kutoka kwa data. Hatari za siri zaidi ni uvujaji wa data na upendeleo dhahiri; zote mbili zimekamatwa tu na hoja za kiuhalisia. AI inaharakisha sana hatua hii: skanning hutoa msimbo na mapendekezo. Lakini usifute rekodi zozote kiotomatiki, waruhusu wanadamu waangalie kama kuna uvujaji na upendeleo, na uidhinishe kila ubadilishaji.
Jukumu la maombi
Tayarisha kamusi ndogo ya data ya sera isiyojulikana (safu wima 5-7, safu zinazofaa za kila moja). Uliza AI (a) kanuni ya usawaziko na msimbo wa ripoti ya ukiukaji kwa kila safu, (b) ukokotoaji wa mfiduo kwa sehemu, (c) mapendekezo ya vipengele 3 vipya vya kujaribu. Kisha ongeza kigezo cha kimakusudi cha "mtego wa uvujaji" kwenye orodha (k.m. "fidia iliyolipwa") na ujaribu kama AI inakipata kama uvujaji.
orodha ya ukaguzi
- [ ] Je, nimechanganua kwa nini kabla ya kufuta vilivyokosekana na vya nje?
- [ ] Je, nimegawanya na kusawazisha mfiduo kwa usahihi?
- [ ] Je, nimeandika uhalalishaji wa kitaalamu kwa kila kipengele kipya kilichotolewa?
- [ ] Je, nimejiuliza ikiwa kila kigeugeu kipo (kuvuja) wakati wa utabiri?
- [ ] Je, nimechanganua kwa upendeleo dhahiri katika vipengele vilivyotolewa?
- [ ] Je, sikuwa na AI kufuta rekodi zozote kiotomatiki na kuidhinisha kila uamuzi mimi mwenyewe?