Lợi nhuận:
- Khả năng phát hiện các giá trị bị thiếu, các ngoại lệ, các vấn đề về mức độ hiển thị và chất lượng dữ liệu trong chính sách và làm hỏng dữ liệu với sự hỗ trợ của trí tuệ nhân tạo và tạo ra bản thảo chỉnh sửa
- Kỹ thuật tính năng (đạo hàm biến mới, nhóm, mã hóa) và chuẩn hóa mức độ tiếp xúc với trí tuệ nhân tạo với bối cảnh phù hợp
- Hiểu rằng các phép biến đổi dữ liệu do trí tuệ nhân tạo đề xuất phải được chuyên gia tính toán kiểm tra để tránh nguy cơ rò rỉ dữ liệu và sai lệch tiềm ẩn.
Phần ít được đề cập nhất nhưng tốn nhiều thời gian nhất của công việc tính toán bảo hiểm là chuẩn bị dữ liệu. Các chuyên gia tính toán có kinh nghiệm biết rằng phần lớn thời gian của một dự án lập mô hình được dành để làm sạch, kết hợp và chỉnh sửa dữ liệu. Cho dù mô hình có đẹp đến đâu, nếu dữ liệu đầu vào bị hỏng thì đầu ra cũng bị hỏng—nói tóm lại là “rác vào, rác ra”. Trong phần này, chúng ta sẽ xem các vấn đề điển hình về chính sách và dữ liệu xác nhận quyền sở hữu, cách phát hiện và khắc phục chúng bằng AI cũng như phương pháp tiếp cận kỹ thuật tính năng (các biến mới rút ra có nhiều thông tin hơn từ dữ liệu hiện có).
Cảnh báo ngay từ đầu: chuẩn bị dữ liệu là một bước có vẻ kỹ thuật và vô hại, nhưng đây lại là nơi ẩn chứa những lỗi nguy hiểm nhất. Việc chuẩn hóa phơi sáng không chính xác, rò rỉ dữ liệu ẩn hoặc sai lệch vô tình được đưa vào sẽ âm thầm làm hỏng tất cả các mô hình tiếp theo. AI tăng tốc đáng kể bước này, nhưng nếu không được kiểm soát, nó cũng làm tăng nguy cơ.
Các vấn đề điển hình của dữ liệu tính toán
Dữ liệu về chính sách và khiếu nại hầu như không bao giờ được cung cấp một cách rõ ràng. Các vấn đề thường gặp nhất là: Thiếu giá trị: một số chính sách để trống tuổi, nghề nghiệp hoặc khu vực của xe. Việc lấp đầy một cách mù quáng những mức trung bình này có thể tạo ra sự thiên vị; bản thân sự thiếu hụt đôi khi mang thông tin (sự thiếu hụt là một nhóm khác). Các ngoại lệ: các hồ sơ phi logic như phí bảo hiểm âm, bảo hiểm 200 năm, chính sách không tiếp xúc. Phải phân biệt được đây là lỗi dữ liệu hay trường hợp thực tế. Không nhất quán: cách viết khác nhau của cùng một khu vực ("Istanbul", "Istanbul", "34"), nhầm lẫn định dạng ngày tháng. Mục trùng lặp: nhập cùng một thiệt hại hai lần.
Nhưng vấn đề quan trọng nhất cụ thể đối với chuyên gia tính toán là mức độ phơi bày. Nếu một chính sách bắt đầu vào giữa năm, nó sẽ cung cấp một phần rủi ro (ví dụ: 0,5 năm) cho năm đó chứ không phải là một “năm chính sách” đầy đủ. Tần suất và tỷ lệ thiệt hại phải luôn được chuẩn hóa theo mức độ phơi nhiễm; nếu không thì các chính sách ngắn hạn sẽ có rủi ro cao. AI có thể mã hóa phép tính phơi nhiễm nhưng bạn phải cung cấp định nghĩa và quy tắc nghiệp vụ.
Bảng sau đây tóm tắt các vấn đề điển hình và cách tiếp cận đúng:
vấn đề
cách tiếp cận sai
cách tiếp cận đúng
giá trị còn thiếu
Điền tất cả với mức trung bình
Phân tích sự thiếu hụt; đôi khi mở một danh mục riêng
ngoại lệ
Tự động xóa
Phân biệt lỗi dữ liệu và khách hàng tiềm năng
tiếp xúc
Đếm tất cả các chính sách trong 1 năm
Tính toán mức phơi nhiễm một phần
Sự không nhất quán về danh mục
bỏ qua
Phù hợp với từ điển chuẩn
thiệt hại định kỳ
không để ý
Loại bỏ trùng lặp với các trường chính
Kỹ thuật tính năng: rút ra kiến thức từ dữ liệu
Kỹ thuật tính năng là nghệ thuật tạo ra các biến mới hữu ích hơn cho mô hình từ các biến thô hiện có. Ví dụ: "tuổi" từ ngày sinh, "nhóm tuổi" (binning) từ độ tuổi, "phân đoạn rủi ro" từ kiểu dáng xe, "ước tính số km đi được hàng năm" từ kết hợp chính sách địa chỉ. Một đặc tính tốt mang tín hiệu mạnh hơn dữ liệu thô và làm tăng cả độ chính xác lẫn khả năng diễn giải của mô hình.
Ba kỹ thuật thường được sử dụng trong công việc tính toán. Ràng buộc: tách một biến liên tục (tuổi) thành các nhóm có ý nghĩa; điều này nắm bắt các mối quan hệ phi tuyến tính và làm cho biểu giá có thể đọc được. Mã hóa: chuyển đổi các biến phân loại (vùng) sang định dạng số phù hợp với mô hình; Mã hóa dựa trên rủi ro (đại diện cho từng danh mục có tỷ lệ thiệt hại riêng) là phổ biến nhưng cần được thực hiện một cách thận trọng. Bình thường hóa: làm cho mọi thứ có thể so sánh được bằng cách chia nó cho mức độ hiển thị của nó. AI nhanh chóng tạo mã cho các phép biến đổi này; Nhưng bạn phải chấp nhận tính logic của mỗi lần chuyển đổi.
Mẹo: Mã hóa mục tiêu mạnh mẽ nhưng dễ bị rò rỉ dữ liệu: mô hình sẽ "gian lận" nếu bạn bao gồm thiệt hại của chính hàng đó khi tính toán thiệt hại trung bình của một danh mục. Luôn thực hiện việc này trong dữ liệu huấn luyện, theo mẫu xác thực chéo.
Mối nguy hiểm nguy hiểm nhất: rò rỉ dữ liệu và thành kiến ngầm
Rò rỉ dữ liệu là việc đưa thông tin vào mô hình không thực sự tồn tại tại thời điểm dự đoán. Ví dụ cổ điển: đưa một biến chứa kết quả, chẳng hạn như "các yêu cầu bồi thường đã thanh toán" vào mô hình dự đoán số tiền yêu cầu bồi thường. Mô hình trông hoàn hảo trong dữ liệu thử nghiệm nhưng vô dụng trong thế giới thực vì thông tin đó không có sẵn tại thời điểm dự đoán. Rò rỉ thường được ẩn giấu và chỉ được phát hiện bằng lý luận tính toán cẩn thận - AI thường không nhận thấy, thậm chí đôi khi còn ca ngợi biến rò rỉ là "công cụ dự đoán rất mạnh mẽ".
Mối nguy hiểm ngấm ngầm thứ hai là sự thiên vị tiềm ẩn. Nếu dữ liệu lịch sử đại diện không công bằng cho một nhóm cụ thể (ví dụ: một khu vực trước đây đã bị từ chối quá nhiều chính sách), thì các đặc điểm thu được từ dữ liệu đó sẽ mang thành kiến đó và mô hình sẽ tái tạo nó trong tương lai. Giai đoạn kỹ thuật tính năng là thời điểm quan trọng nhất khi sự thiên vị này có thể được nhận ra và sửa chữa.
Thận trọng: Trước khi bạn vui mừng khi một biến số “cải thiện đáng kể khả năng dự đoán”, hãy hỏi: biến này có thực sự xuất hiện tại thời điểm dự đoán hay nó liên quan đến tương lai? Một kết quả trông quá tốt thường là dấu hiệu của sự rò rỉ.
Cách sử dụng AI trong việc chuẩn bị dữ liệu
1) Sàng lọc chất lượng dữ liệu:
Vai trò của bạn: trợ lý chất lượng dữ liệu. Bạn có lợi tức chính sách tính toán. Các cột: Policy_id, start_date, end_date,age, Region, Vehicle_age, premium, Claim_count, Claim_amount. Cung cấp cho tôi một danh sách kiểm tra và bản phác thảo mã Python (gấu trúc): - Đếm các giá trị bị thiếu theo cột. - Gắn cờ các giá trị không hợp lý (phí bảo hiểm âm, tuổi<16 hoặc >100, kết thúc<bắt đầu).- Tính toán tỷ lệ hiển thị (theo năm) từ đầu/cuối. KHÔNG xóa; Cứ báo cáo để tôi quyết định.
2) Đạo hàm tính năng:
Tôi muốn rút ra các tính năng mới từ dữ liệu lưu lượng truy cập của mình. Có sẵn: tuổi, tuổi xe, vùng, hàng năm_km, kiểu sử dụng.- Bạn đề xuất nhóm tuổi và km (phân nhóm) nào, tại sao?- Làm cách nào để tôi có thể mã hóa dựa trên rủi ro cho 'khu vực' mà không bị rò rỉ dữ liệu?- Đề xuất 3 tính năng mới đáng thử và viết phần giải thích về tính toán cho mỗi tính năng. Tôi sẽ quyết định.
3) Kiểm tra rò rỉ:
Mô hình của tôi dự đoán KHẢ NĂNG thiệt hại với các biến sau: tuổi, khu vực, xe_age, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Biến nào trong số này có nguy cơ rò rỉ dữ liệu? Đối với mỗi loại, hãy đánh giá xem liệu nó có khả dụng tại thời điểm dự đoán hay không. Liệt kê những điều đáng ngờ và tại sao.
4) Chuẩn hóa phơi sáng:
Một số chính sách của tôi bắt đầu vào giữa năm. Giải thích và mã hóa việc chuẩn hóa mức phơi nhiễm để tính toán tần suất một cách chính xác: tần số = tổng số yêu cầu bồi thường/tổng mức phơi nhiễm (năm hợp đồng). Hiển thị bằng một ví dụ về cách tính mức độ rủi ro của chính sách bắt đầu vào giữa năm.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Làm sạch dữ liệu và sẵn sàng cho mô hình.
AI không biết đó là cột nào, quy tắc kinh doanh, định nghĩa phơi nhiễm; Nó có thể xóa, điền và làm hỏng dữ liệu một cách mù quáng.
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý chuẩn bị dữ liệu chuyên gia tính toán. Từ điển dữ liệu: Policy_id (danh tính), ngày bắt đầu/kết thúc (thời hạn hợp đồng), tuổi (dự kiến là 16-90), phí bảo hiểm (phải >0), số yêu cầu bồi thường (>=0), số tiền yêu cầu bồi thường (>=0). Nhiệm vụ:1) Viết quy tắc hợp lý cho từng cột và BÁO CÁO vi phạm (xóa).2) Cung cấp mã để tính toán tỷ lệ hiển thị.3) 3 chiến lược khác nhau khi thiếu 'tuổi' (xóa). / trung bình / danh mục riêng biệt) hiện diện với dấu cộng trừ; Hãy để tôi quyết định.4) Cảnh báo nếu có một cột có thể gây nguy cơ rò rỉ. Tự động xóa bất kỳ bản ghi nào; Tôi sẽ chấp thuận mọi quyết định.
ba trường hợp nhỏ
Trường hợp 1 - Lỗi phơi sáng. Trong một danh mục đầu tư, các chính sách du lịch ngắn hạn (3 tháng) được tính là cả năm, do đó tần suất xuất hiện thấp hơn bốn lần so với thực tế; Giá giảm không chính xác. Khi chuyên gia tính toán rủi ro tính toán rủi ro dưới dạng phân số (0,25 năm hợp đồng), tần suất thực tế được tiết lộ và biểu giá đã được điều chỉnh. Mã phơi nhiễm phân đoạn do AI tạo ra; Chuyên gia tính toán đã đưa ra định nghĩa.
Trường hợp 2 - Rò rỉ tiềm ẩn. Khi người trợ giúp thêm biến “thời gian đóng tệp” vào mô hình xác suất thiệt hại, độ chính xác đã tăng lên đáng kể. Niềm vui chỉ tồn tại trong thời gian ngắn: biến số này chỉ có thể được biết sau khi thiệt hại xảy ra, nghĩa là nó không có sẵn tại thời điểm dự đoán. Khi biến rò rỉ được loại bỏ, mô hình giảm xuống mức thực tế. Ông ca ngợi biến AI là một “công cụ dự đoán mạnh mẽ”; Phán quyết của chuyên gia tính toán đã mắc bẫy.
Trường hợp 3 - Sao chép sai lệch. Một công ty đã rút ra mô hình “từ chối ứng dụng” từ dữ liệu lịch sử và đưa nó vào mô hình mới. Phân tích cho thấy những lời từ chối trong quá khứ tập trung một cách không cân đối vào một vùng lân cận cụ thể, nghĩa là có sự thiên vị lịch sử. Tính năng này đã bị xóa khỏi mô hình và được thay thế bằng các chỉ báo rủi ro trung tính hơn. AI tạo ra phân tích đo lường sự chồng chéo của mô hình với vùng lân cận; Quyết định đạo đức được đưa ra bởi chuyên gia tính toán và đơn vị tuân thủ.
Những lỗi thường gặp
- Điền giá trị còn thiếu bằng giá trị trung bình mà không cần suy nghĩ. Bản thân sự thiếu hụt có thể là kiến thức; Điền vào nó một cách mù quáng sẽ tạo ra thành kiến.
- Tự động xóa các ngoại lệ. Một số là trường hợp thực sự; Xóa dữ liệu mà không tách nó ra khỏi lỗi sẽ phá hủy thông tin.
- Không bình thường hóa phơi sáng. Việc tính các chính sách ngắn hạn là cả năm sẽ làm sai lệch tần suất và bóp méo giá cả.
- Không nhận thấy rò rỉ dữ liệu. Một kết quả quá tốt thường là dấu hiệu của một biến số liên quan đến tương lai; Truy vấn xem mỗi biến có mặt tại thời điểm dự đoán hay không.
- Đưa sự thiên vị tiềm ẩn vào tương lai. Sự bất công trong dữ liệu lịch sử có thể rò rỉ vào các đặc điểm phái sinh; Kiểm tra nó ở giai đoạn tính năng.
Tóm lại
Mô hình tính toán bảo hiểm phần lớn là về việc chuẩn bị dữ liệu; Nếu đầu vào bị hỏng thì đầu ra cũng bị hỏng. Các vấn đề điển hình là thiếu giá trị, giá trị ngoại lệ, sự không nhất quán và trùng lặp; Vấn đề tính toán quan trọng là bình thường hóa phơi nhiễm. Kỹ thuật tính năng - nhóm, mã hóa, chuẩn hóa - thu được tín hiệu mạnh hơn từ dữ liệu. Mối nguy hiểm tiềm ẩn nhất là rò rỉ dữ liệu và thành kiến ngầm; cả hai đều chỉ được nắm bắt bằng lý luận tính toán. AI tăng tốc đáng kể bước này: quá trình quét tạo ra mã và đề xuất. Nhưng không tự động xóa bất kỳ bản ghi nào, hãy để con người kiểm tra rò rỉ và sai lệch, đồng thời phê duyệt từng chuyển đổi.
Nhiệm vụ ứng dụng
Chuẩn bị một từ điển dữ liệu chính sách ẩn danh nhỏ (5-7 cột, mỗi cột có phạm vi hợp lý). Yêu cầu AI cung cấp (a) quy tắc hợp lý và mã báo cáo vi phạm cho từng cột, (b) tính toán tỷ lệ phơi nhiễm, (c) đề xuất 3 tính năng mới để thử. Sau đó, thêm một biến “bẫy rò rỉ” có chủ ý vào danh sách (ví dụ: “đã trả tiền bồi thường”) và kiểm tra xem AI có phát hiện đó là rò rỉ hay không.
danh sách kiểm tra
- [ ] Tôi đã phân tích lý do tại sao trước khi xóa những phần bị thiếu và ngoại lệ chưa?
- [ ] Tôi đã phân đoạn và chuẩn hóa độ phơi sáng một cách chính xác chưa?
- [ ] Tôi đã viết phần giải thích tính toán cho từng đặc điểm mới được rút ra chưa?
- [ ] Tôi đã đặt câu hỏi liệu mỗi biến có thực sự hiện diện (rò rỉ) tại thời điểm dự đoán không?
- [ ] Tôi đã quét tìm sai lệch tiềm ẩn trong các đặc điểm dẫn xuất chưa?
- [ ] Chẳng phải tôi đã để AI tự động xóa bất kỳ hồ sơ nào và tự mình phê duyệt mọi quyết định sao?