การเตรียมข้อมูลและวิศวกรรมคุณลักษณะ: การจัดการข้อมูลคณิตศาสตร์ประกันภัยด้วยปัญญาประดิษฐ์

กำไร:

• ความสามารถในการตรวจจับค่าที่หายไป ค่าผิดปกติ การเปิดเผย และปัญหาคุณภาพของข้อมูลในนโยบายและสร้างความเสียหายให้กับข้อมูลด้วยการสนับสนุนปัญญาประดิษฐ์ และสร้างร่างการแก้ไข
• นำเสนอวิศวกรรม (การสืบทอดตัวแปรใหม่ การจัดกลุ่ม การเขียนโค้ด) และการปรับมาตรฐานการสัมผัสให้เป็นปัญญาประดิษฐ์ด้วยบริบทที่ถูกต้อง
• ทำความเข้าใจว่าการแปลงข้อมูลที่แนะนำโดยปัญญาประดิษฐ์ควรได้รับการตรวจสอบโดยนักคณิตศาสตร์ประกันภัย เพื่อป้องกันความเสี่ยงของการรั่วไหลของข้อมูลและอคติที่ซ่อนอยู่

ส่วนที่พูดถึงน้อยที่สุดแต่ใช้เวลามากที่สุดในงานคณิตศาสตร์ประกันภัยคือการเตรียมข้อมูล นักคณิตศาสตร์ประกันภัยที่มีประสบการณ์รู้ดีว่าเวลาส่วนใหญ่ของโครงการการสร้างแบบจำลองจะใช้เวลาในการทำความสะอาด รวบรวม และแก้ไขข้อมูล ไม่ว่าโมเดลจะสวยงามแค่ไหน หากข้อมูลอินพุตเสียหาย เอาท์พุตก็จะเสียหาย พูดง่ายๆ ก็คือ “ขยะเข้า ขยะออก” ในหน่วยนี้ เราจะดูปัญหาทั่วไปของนโยบายและข้อมูลการเรียกร้อง วิธีตรวจจับและแก้ไขด้วย AI และแนวทางวิศวกรรมคุณลักษณะ (ได้มาจากตัวแปรใหม่ที่มีข้อมูลมากขึ้นจากข้อมูลที่มีอยู่)

คำเตือนตั้งแต่ต้น: การเตรียมข้อมูลเป็นขั้นตอนที่ดูเหมือนใช้เทคนิคและไร้เดียงสา แต่นี่คือจุดที่ข้อผิดพลาดที่อันตรายที่สุดซ่อนอยู่ การปรับค่าแสงให้เป็นมาตรฐานที่ไม่ถูกต้อง ข้อมูลรั่วไหลที่ซ่อนอยู่ หรืออคติที่เกิดขึ้นโดยไม่รู้ตัว ส่งผลให้โมเดลที่ตามมาทั้งหมดเสียหายโดยไม่รู้ตัว AI ช่วยเร่งขั้นตอนนี้ให้เร็วขึ้นอย่างมาก แต่หากปล่อยทิ้งไว้โดยไม่มีการควบคุม ก็จะขยายความเสี่ยงไปด้วย

ปัญหาทั่วไปของข้อมูลคณิตศาสตร์ประกันภัย

ข้อมูลนโยบายและการเรียกร้องแทบจะไม่เคยมีความชัดเจนเลย ปัญหาที่พบบ่อยที่สุดคือ: ค่าที่ขาดหายไป: กรมธรรม์บางกรมธรรม์ไม่มีข้อมูลอายุ อาชีพ หรือภูมิภาคของยานพาหนะ การเติมค่าเฉลี่ยเหล่านี้แบบสุ่มสี่สุ่มห้าสามารถสร้างอคติได้ ข้อบกพร่องนั้นบางครั้งมีข้อมูล (ส่วนที่หายไปเป็นกลุ่มอื่น) ค่าผิดปกติ: บันทึกที่ไร้เหตุผล เช่น เบี้ยประกันภัยติดลบ ผู้ประกันตนอายุ 200 ปี นโยบายความเสี่ยงเป็นศูนย์ จะต้องแยกแยะว่าเป็นข้อผิดพลาดของข้อมูลหรือกรณีขอบจริง ความไม่สอดคล้องกัน: การสะกดที่แตกต่างกันของภูมิภาคเดียวกัน ("อิสตันบูล", "อิสตันบูล", "34") ความสับสนของรูปแบบวันที่ รายการซ้ำ: รายการของความเสียหายเดียวกันสองครั้ง

แต่ประเด็นที่สำคัญที่สุดสำหรับนักคณิตศาสตร์ประกันภัยก็คือการเปิดเผย หากกรมธรรม์เริ่มกลางปี ​​จะมีการเปิดเผยความเสี่ยงเป็นเศษส่วน (เช่น 0.5 ปี) สำหรับปีนั้น ไม่ใช่ "ปีกรมธรรม์" ทั้งหมด อัตราความถี่และความเสียหายควรได้รับการปรับให้เป็นมาตรฐานเสมอ ไม่เช่นนั้นนโยบายระยะสั้นอาจมีความเสี่ยงสูง AI สามารถเขียนโค้ดการคำนวณความเสี่ยงได้ แต่คุณต้องระบุคำจำกัดความและกฎเกณฑ์ทางธุรกิจ

ตารางต่อไปนี้สรุปปัญหาทั่วไปและวิธีการที่ถูกต้อง:

ปัญหา

แนวทางที่ผิด

แนวทางที่ถูกต้อง

ค่าที่ขาดหายไป

เติมค่าเฉลี่ยทั้งหมด

วิเคราะห์ข้อบกพร่อง บางครั้งเปิดแยกหมวดหมู่

ผิดปกติ

ลบอัตโนมัติ

แยกแยะระหว่างข้อผิดพลาดของข้อมูลและโอกาสในการขายจริง

การสัมผัส

นับกรมธรรม์ทั้งหมดเป็นเวลา 1 ปี

คำนวณการสัมผัสแบบเศษส่วน

ความไม่สอดคล้องกันของหมวดหมู่

ไม่สนใจ

ตรงกับพจนานุกรมมาตรฐาน

ความเสียหายที่เกิดซ้ำ

อย่าสังเกต

ทำซ้ำกับฟิลด์คีย์

วิศวกรรมคุณลักษณะ: การได้มาซึ่งความรู้จากข้อมูล

วิศวกรรมคุณลักษณะเป็นศิลปะของการได้มาซึ่งตัวแปรใหม่ที่มีประโยชน์ต่อโมเดลมากขึ้นจากตัวแปรดิบที่มีอยู่ ตัวอย่าง: "อายุ" จากวันเกิด "กลุ่มอายุ" (binning) จากอายุ "ส่วนที่เสี่ยง" จากยี่ห้อรถ "การประมาณระยะทางประจำปี" จากการรวมนโยบายที่อยู่ คุณลักษณะที่ดีจะมีสัญญาณที่แรงกว่าข้อมูลดิบ และเพิ่มทั้งความแม่นยำและความสามารถในการตีความของโมเดล

เทคนิคสามประการนี้มักใช้ในงานคณิตศาสตร์ประกันภัย การผูก: การแยกตัวแปรต่อเนื่อง (อายุ) ออกเป็นกลุ่มที่มีความหมาย สิ่งนี้จะรวบรวมความสัมพันธ์ที่ไม่ใช่เชิงเส้นและทำให้อัตราค่าไฟฟ้าสามารถอ่านได้ การเข้ารหัส: การแปลงตัวแปรหมวดหมู่ (ภูมิภาค) ให้เป็นรูปแบบตัวเลขที่เหมาะสมสำหรับโมเดล การเข้ารหัสตามความเสี่ยง (ซึ่งเป็นตัวแทนของแต่ละหมวดหมู่ด้วยอัตราความเสียหายของตัวเอง) เป็นเรื่องปกติ แต่ควรทำด้วยความระมัดระวัง การทำให้เป็นมาตรฐาน: ทำให้ทุกสิ่งสามารถเปรียบเทียบได้โดยการหารด้วยค่าแสง AI สร้างโค้ดสำหรับการแปลงเหล่านี้อย่างรวดเร็ว แต่คุณต้องอนุมัติตรรกะของการเปลี่ยนแปลงแต่ละครั้ง

เคล็ดลับ: การเข้ารหัสเป้าหมายมีประสิทธิภาพแต่มีแนวโน้มที่จะเกิดการรั่วไหลของข้อมูล: โมเดล "โกง" หากคุณรวมความเสียหายของแถวเมื่อคำนวณความเสียหายเฉลี่ยของหมวดหมู่ ทำสิ่งนี้ภายในข้อมูลการฝึกอบรมเสมอ ในรูปแบบการตรวจสอบข้าม

อันตรายที่ร้ายกาจที่สุด: ข้อมูลรั่วไหลและความลำเอียงโดยนัย

การรั่วไหลของข้อมูลคือการนำข้อมูลเข้าสู่แบบจำลองที่ไม่มีอยู่จริงในขณะที่คาดการณ์ ตัวอย่างคลาสสิก: การแนะนำตัวแปรที่มีผลลัพธ์ เช่น "การเรียกร้องค่าสินไหมทดแทน" ลงในแบบจำลองที่คาดการณ์จำนวนการเรียกร้อง แบบจำลองนี้ดูสมบูรณ์แบบในข้อมูลทดสอบ แต่ไม่มีประโยชน์ในโลกแห่งความเป็นจริง เนื่องจากข้อมูลดังกล่าวไม่พร้อมใช้งานในขณะที่คาดการณ์ การรั่วไหลมักถูกซ่อนไว้และถูกจับได้โดยใช้เหตุผลตามหลักคณิตศาสตร์ประกันภัยอย่างรอบคอบเท่านั้น โดยที่ AI มักไม่สังเกตเห็น บางครั้งถึงกับยกย่องตัวแปรที่รั่วว่าเป็น "ตัวทำนายที่ทรงพลังมาก"

อันตรายร้ายกาจประการที่สองคืออคติโดยปริยาย หากข้อมูลในอดีตแสดงถึงกลุ่มใดกลุ่มหนึ่งอย่างไม่ยุติธรรม (เช่น พื้นที่หนึ่งถูกปฏิเสธนโยบายมากเกินไปในอดีต) คุณลักษณะที่ได้รับจากข้อมูลนั้นจะมีอคตินั้นและแบบจำลองจะจำลองข้อมูลดังกล่าวในอนาคต ขั้นตอนวิศวกรรมคุณลักษณะเป็นช่วงเวลาที่สำคัญที่สุดที่สามารถรับรู้และแก้ไขอคตินี้ได้

ข้อควรระวัง: ก่อนที่คุณจะชื่นชมยินดีเมื่อตัวแปร “ปรับปรุงพลังการทำนายอย่างมาก” ให้ถามว่า ตัวแปรนี้ปรากฏจริง ๆ ในขณะทำนายไหม หรือเกี่ยวข้องกับอนาคตหรือไม่ ผลลัพธ์ที่ดูดีเกินไปมักเป็นสัญญาณของการรั่วไหล

วิธีใช้ AI ในการเตรียมข้อมูล

1) การคัดกรองคุณภาพข้อมูล:

บทบาทของคุณ: ผู้ช่วยคุณภาพข้อมูล คุณมีผลตอบแทนตามนโยบายคณิตศาสตร์ประกันภัย คอลัมน์: Policy_id, start_date, end_date,age, ภูมิภาค, vehicle_age, premium, allowance_count, allowance_amount.ให้รายการตรวจสอบและร่างโค้ด Python (pandas) ให้ฉัน:- นับค่าที่หายไปตามคอลัมน์- ตั้งค่าสถานะค่าที่ไม่สมเหตุสมผล (ค่าพรีเมียมติดลบ, อายุ<16 หรือ >100, สิ้นสุด<start)- คำนวณการสัมผัสแบบเศษส่วน (เป็นปี) ตั้งแต่เริ่มต้น/สิ้นสุด อย่าลบ; แจ้งความได้เลยครับผมจะได้ตัดสินใจ

2) ที่มาของคุณสมบัติ:

ฉันต้องการรับคุณสมบัติใหม่ๆ จากข้อมูลการเข้าชมของฉัน ใช้ได้: อายุ, อายุยานพาหนะ, ภูมิภาค, รายปี_กม., ประเภทการใช้งาน- คุณแนะนำอายุและกลุ่มกิโลเมตร (binning) ใด เพราะเหตุใด- ฉันจะเขียนโค้ดตามความเสี่ยงสำหรับ 'ภูมิภาค' โดยไม่มีข้อมูลรั่วไหลได้อย่างไร- แนะนำคุณสมบัติใหม่ 3 ประการที่ควรค่าแก่การลองและเขียนเหตุผลเชิงคณิตศาสตร์ประกันภัยสำหรับแต่ละคุณสมบัติ ฉันจะตัดสินใจ

3) การตรวจสอบรอยรั่ว:

แบบจำลองของฉันคาดการณ์ความเป็นไปได้ที่จะเกิดความเสียหายด้วยตัวแปรต่อไปนี้: อายุ ภูมิภาค อายุยานพาหนะ PAID_CLAIM_FLAG SETTLEMENT_DAYS ตัวแปรใดต่อไปนี้เสี่ยงต่อการรั่วไหลของข้อมูล สำหรับแต่ละอันให้ประเมินว่าจะพร้อมใช้งานในขณะที่คาดการณ์หรือไม่ รายชื่อผู้ต้องสงสัยและเหตุผล

4) การปรับค่าแสงให้เป็นมาตรฐาน:

กรมธรรม์บางส่วนของฉันเริ่มกลางปี อธิบายและเขียนโค้ดการปรับมาตรฐานความเสี่ยงเพื่อคำนวณความถี่อย่างถูกต้อง: ความถี่ = จำนวนการอ้างสิทธิ์ทั้งหมด / จำนวนการสัมผัสทั้งหมด (ปีกรมธรรม์) แสดงพร้อมตัวอย่างวิธีคำนวณความเสี่ยงของนโยบายที่เริ่มในช่วงกลางปี

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

ทำความสะอาดข้อมูลและเตรียมพร้อมสำหรับโมเดล

AI ไม่รู้ว่าคอลัมน์ไหนเป็นคอลัมน์ไหน กฎเกณฑ์ทางธุรกิจ คำจำกัดความของการเปิดเผยข้อมูล มันสามารถลบและเติมและทำให้ข้อมูลเสียหายได้โดยสุ่มสี่สุ่มห้า

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ผู้ช่วยเตรียมข้อมูลนักคณิตศาสตร์ประกันภัย พจนานุกรมข้อมูล: Policy_id (ข้อมูลประจำตัว), start/end_date (ระยะเวลานโยบาย), อายุ (คาดว่า 16-90), เบี้ยประกันภัย (ต้องเป็น >0), การอ้างสิทธิ์_count (>=0), การเรียกร้อง_จำนวน (>=0) งาน: 1) เขียนกฎความสมเหตุสมผลสำหรับแต่ละคอลัมน์และรายงานการละเมิด (การลบ) 2) ให้รหัสเพื่อคำนวณการเปิดเผยเศษส่วน 3) 3 กลยุทธ์ที่แตกต่างกันสำหรับ 'อายุ' ที่หายไป (ลบ) / เฉลี่ย / แยกหมวดหมู่) มีเครื่องหมายบวก-ลบ; ฝากการตัดสินใจให้ฉันด้วย 4) เตือนหากมีคอลัมน์ที่อาจเสี่ยงต่อการรั่วไหล ลบบันทึกใด ๆ โดยอัตโนมัติ ฉันจะอนุมัติทุกการตัดสินใจ

มินิเคสสามอัน

กรณีที่ 1 — ข้อผิดพลาดในการเปิดรับแสง ในพอร์ตโฟลิโอหนึ่ง นโยบายการเดินทางระยะสั้น (3 เดือน) นับเป็นปีเต็ม ดังนั้นความถี่จึงต่ำกว่าความเป็นจริงถึงสี่เท่า ราคาลดลงอย่างไม่ถูกต้อง เมื่อนักคณิตศาสตร์ประกันภัยคำนวณความเสี่ยงเป็นเศษส่วน (0.25 ปีกรมธรรม์) ความถี่ที่แท้จริงจะถูกเปิดเผยและอัตราภาษีได้รับการแก้ไข AI สร้างรหัสการเปิดเผยแบบเศษส่วน นักคณิตศาสตร์ประกันภัยให้คำนิยาม

กรณีที่ 2 — การรั่วไหลที่แฝงอยู่ เมื่อผู้ช่วยเพิ่มตัวแปร “เวลาปิดไฟล์” ให้กับแบบจำลองความน่าจะเป็นของความเสียหาย ความแม่นยำก็เพิ่มขึ้นอย่างมาก ความสุขนั้นมีอายุสั้น: ตัวแปรนี้สามารถทราบได้หลังจากความเสียหายเกิดขึ้นเท่านั้น ซึ่งหมายความว่าไม่สามารถใช้งานได้ในขณะที่คาดการณ์ เมื่อตัวแปรรั่วไหลถูกลบออกไป โมเดลก็ลดระดับลงสู่ระดับที่สมจริง เขายกย่องตัวแปร AI ว่าเป็น “ตัวทำนายที่ทรงพลัง”; คำตัดสินของนักคณิตศาสตร์ประกันภัยติดกับดัก

กรณีที่ 3 — การจำลองอคติ บริษัทแห่งหนึ่งได้รับรูปแบบ "การปฏิเสธแอปพลิเคชัน" จากข้อมูลในอดีตและนำมารวมไว้ในโมเดลใหม่ การวิเคราะห์แสดงให้เห็นว่าการปฏิเสธในอดีตกระจุกตัวอยู่ในละแวกใกล้เคียงอย่างไม่สมสัดส่วน ซึ่งหมายความว่ามีอคติทางประวัติศาสตร์ คุณลักษณะนี้ถูกลบออกจากแบบจำลองและแทนที่ด้วยตัวบ่งชี้ความเสี่ยงที่เป็นกลางมากขึ้น AI สร้างการวิเคราะห์โดยวัดการทับซ้อนของรูปแบบกับพื้นที่ใกล้เคียง การตัดสินใจด้านจริยธรรมทำโดยนักคณิตศาสตร์ประกันภัยและหน่วยงานกำกับดูแล

ข้อผิดพลาดทั่วไป

• เติมค่าที่หายไปด้วยค่าเฉลี่ยโดยไม่ต้องคิด ความขาดแคลนนั้นอาจเป็นความรู้ การกรอกข้อมูลแบบสุ่มสี่สุ่มห้าทำให้เกิดอคติ
• ลบค่าผิดปกติโดยอัตโนมัติ บางกรณีเป็นกรณีขอบที่แท้จริง การลบข้อมูลโดยไม่แยกออกจากข้อผิดพลาดจะทำลายข้อมูล
• ไม่ทำให้การสัมผัสเป็นปกติ การนับกรมธรรม์ระยะสั้นทั้งปีจะบิดเบือนความถี่และบิดเบือนราคา
• ไม่สังเกตเห็นข้อมูลรั่วไหล ผลลัพธ์ที่ดีเกินไปมักเป็นสัญญาณของตัวแปรที่เกี่ยวข้องกับอนาคต ค้นหาว่าแต่ละตัวแปรมีอยู่ในขณะที่คาดการณ์หรือไม่
• นำอคติโดยนัยมาสู่อนาคต ความอยุติธรรมในข้อมูลในอดีตอาจรั่วไหลไปสู่คุณลักษณะที่ได้รับ ตรวจสอบได้ในขั้นตอนคุณสมบัติ

โดยสรุป

การสร้างแบบจำลองตามหลักคณิตศาสตร์ประกันภัยส่วนใหญ่เกี่ยวกับการเตรียมข้อมูล หากอินพุตเสียหาย เอาต์พุตก็จะเสียหายด้วย ปัญหาทั่วไปคือค่าหายไป ค่าผิดปกติ ความไม่สอดคล้องกัน และการทำซ้ำ ปัญหาที่สำคัญของหลักคณิตศาสตร์ประกันภัยคือการทำให้ความเสี่ยงเป็นมาตรฐาน วิศวกรรมฟีเจอร์ — การจัดกลุ่ม การเขียนโค้ด การทำให้เป็นมาตรฐาน — ได้มาซึ่งสัญญาณที่แรงกว่าจากข้อมูล อันตรายที่ร้ายกาจที่สุดคือการรั่วไหลของข้อมูลและความลำเอียงโดยนัย ทั้งสองถูกจับโดยการใช้เหตุผลตามหลักคณิตศาสตร์ประกันภัยเท่านั้น AI ช่วยเร่งขั้นตอนนี้ให้เร็วขึ้นอย่างมาก: การสแกนจะสร้างโค้ดและคำแนะนำ แต่อย่าลบบันทึกใดๆ โดยอัตโนมัติ ให้มนุษย์ตรวจสอบการรั่วไหลและความลำเอียง และอนุมัติแต่ละ Conversion

งานสมัคร

เตรียมพจนานุกรมข้อมูลนโยบายที่ไม่ระบุชื่อขนาดเล็ก (5-7 คอลัมน์ ช่วงที่เหมาะสมของแต่ละคอลัมน์) สอบถาม AI สำหรับ (ก) กฎความสมเหตุสมผลและรหัสรายงานการละเมิดสำหรับแต่ละคอลัมน์ (ข) การคำนวณความเสี่ยงแบบเศษส่วน (ค) คำแนะนำสำหรับคุณสมบัติใหม่ 3 อย่างที่ควรลองใช้ จากนั้นเพิ่มตัวแปร “กับดักการรั่วไหล” โดยเจตนาลงในรายการ (เช่น “ค่าชดเชยที่จ่ายไป”) และทดสอบว่า AI จับได้ว่าเป็นการรั่วไหลหรือไม่

รายการตรวจสอบ

• [ ] ฉันได้วิเคราะห์สาเหตุก่อนที่จะลบสิ่งที่หายไปและค่าผิดปกติหรือไม่
• [ ] ฉันได้แยกส่วนและทำให้ค่าแสงเป็นมาตรฐานอย่างถูกต้องหรือไม่
• [ ] ฉันได้เขียนเหตุผลตามหลักคณิตศาสตร์ประกันภัยสำหรับคุณสมบัติที่ได้รับมาใหม่แต่ละอย่างแล้วหรือยัง?
• [ ] ฉันเคยตั้งคำถามหรือไม่ว่าแต่ละตัวแปรมีอยู่จริง (การรั่วไหล) ในขณะที่คาดการณ์หรือไม่?
• [ ] ฉันได้สแกนหาอคติโดยนัยในคุณสมบัติที่ได้รับมาหรือไม่
• [ ] ฉันไม่มี AI ลบบันทึกใดๆ โดยอัตโนมัติและอนุมัติทุกการตัดสินใจด้วยตัวเองใช่หรือไม่