Keuntungan:
- Kemampuan untuk mendeteksi nilai-nilai yang hilang, outlier, paparan dan masalah kualitas data dalam kebijakan dan kerusakan data dengan dukungan kecerdasan buatan dan menghasilkan rancangan koreksi
- Rekayasa fitur (turunan variabel baru, pengelompokan, pengkodean) dan normalisasi paparan terhadap kecerdasan buatan dengan konteks yang tepat
- Memahami bahwa transformasi data yang disarankan oleh kecerdasan buatan harus diaudit oleh aktuaris untuk menghindari risiko kebocoran data dan bias tersembunyi.
Bagian pekerjaan aktuaria yang paling jarang dibicarakan namun paling memakan waktu adalah persiapan data. Aktuaris berpengalaman mengetahui bahwa sebagian besar waktu proyek pemodelan dihabiskan untuk membersihkan, menggabungkan, dan mengoreksi data. Betapapun elegannya model tersebut, jika data masukannya rusak, maka keluarannya juga akan rusak—singkatnya, “sampah masuk, sampah keluar.” Dalam unit ini, kita akan melihat permasalahan umum pada data kebijakan dan klaim, cara mendeteksi dan memperbaikinya dengan AI, dan pendekatan rekayasa fitur (yang menghasilkan variabel baru yang lebih informatif dari data yang ada).
Peringatan sejak awal: persiapan data tampaknya merupakan langkah teknis dan tidak berbahaya, namun di sinilah letak kesalahan yang paling berbahaya. Normalisasi eksposur yang salah, kebocoran data tersembunyi, atau bias yang terjadi secara tidak sengaja akan merusak semua model berikutnya. AI mempercepat langkah ini, namun jika tidak dikendalikan, hal ini juga akan memperbesar risikonya.
Masalah khas data aktuaria
Data polis dan klaim hampir tidak pernah sampai dengan bersih. Masalah yang paling umum adalah: Nilai yang hilang: beberapa polis tidak mencantumkan usia kendaraan, pekerjaan, atau wilayah. Mengisi rata-rata ini secara membabi buta dapat menciptakan bias; kekurangan itu sendiri terkadang membawa informasi (yang hilang adalah kelompok yang berbeda). Pencilan: catatan yang tidak logis seperti premi negatif, asuransi berusia 200 tahun, kebijakan tanpa paparan. Harus dibedakan apakah ini kesalahan data atau kasus edge yang sebenarnya. Inkonsistensi: ejaan berbeda untuk wilayah yang sama ("Istanbul", "Istanbul", "34"), kebingungan format tanggal. Entri duplikat: entri kerusakan yang sama dua kali.
Namun permasalahan yang paling penting dalam bidang aktuaria adalah eksposur. Jika suatu kebijakan dimulai pada pertengahan tahun, maka kebijakan tersebut memberikan paparan pecahan (misalnya 0,5 tahun) untuk tahun tersebut, bukan “tahun kebijakan” penuh. Frekuensi dan tingkat kerusakan harus selalu dinormalisasi terhadap paparan; jika tidak, kebijakan jangka pendek nampaknya berisiko tinggi. AI dapat mengkodekan penghitungan eksposur, tetapi Anda harus memberikan definisi dan aturan bisnis.
Tabel berikut merangkum permasalahan umum dan pendekatan yang tepat:
masalah
pendekatan yang salah
pendekatan yang benar
nilai yang hilang
Isi semua dengan rata-rata
Analisis kekurangannya; terkadang membuka kategori terpisah
orang asing
Hapus otomatis
Bedakan antara kesalahan data dan petunjuk sebenarnya
paparan
Hitung semua polis selama 1 tahun
Hitung paparan fraksional
Inkonsistensi kategori
abaikan
Cocokkan dengan kamus standar
kerusakan berulang
tidak menyadarinya
Hapus duplikat dengan bidang kunci
Rekayasa fitur: memperoleh pengetahuan dari data
Rekayasa fitur adalah seni menurunkan variabel baru yang lebih berguna bagi model dari variabel mentah yang sudah ada. Contoh: "usia" dari tanggal lahir, "kelompok usia" (binning) dari usia, "segmen risiko" dari model merek kendaraan, "perkiraan jarak tempuh tahunan" dari kombinasi kebijakan alamat. Fitur yang baik membawa sinyal yang lebih kuat daripada data mentah dan meningkatkan akurasi dan interpretasi model.
Ada tiga teknik yang sering digunakan dalam pekerjaan aktuaria. Mengikat: memisahkan variabel kontinu (usia) menjadi kelompok-kelompok yang bermakna; hal ini menangkap hubungan non-linear dan membuat tarif dapat dibaca. Pengkodean: mengubah variabel kategori (wilayah) ke dalam format numerik yang sesuai untuk model; Pengkodean berbasis risiko (mewakili setiap kategori dengan tingkat kerusakannya sendiri) adalah hal yang umum namun harus dilakukan dengan hati-hati. Normalisasi: membuat segala sesuatunya sebanding dengan membaginya dengan eksposurnya. AI dengan cepat menghasilkan kode untuk transformasi ini; Tapi Anda harus menyetujui logika setiap transformasi.
Tip: Pengkodean target sangat kuat tetapi rentan terhadap kebocoran data: model "menipu" jika Anda menyertakan kerusakan pada baris saat menghitung kerusakan rata-rata suatu kategori. Selalu lakukan ini dalam data pelatihan, dalam pola validasi silang.
Bahaya paling berbahaya: kebocoran data dan bias implisit
Kebocoran data adalah masuknya informasi ke dalam model yang sebenarnya tidak ada pada saat prediksi. Contoh klasik: memperkenalkan variabel yang berisi hasil, seperti “klaim dibayar,” ke dalam model yang memprediksi jumlah klaim. Model terlihat sempurna dalam data pengujian tetapi tidak berguna di dunia nyata karena informasi tersebut tidak tersedia pada saat prediksi. Kebocoran sering kali tersembunyi dan hanya diketahui melalui penalaran aktuaria yang cermat — AI biasanya tidak menyadarinya, bahkan terkadang memuji variabel kebocoran sebagai "prediktor yang sangat kuat".
Bahaya kedua yang berbahaya adalah bias implisit. Jika data historis secara tidak adil mewakili kelompok tertentu (misalnya, suatu wilayah secara historis tidak menerima terlalu banyak kebijakan), fitur-fitur yang diperoleh dari data tersebut akan membawa bias tersebut dan model akan mengulanginya di masa depan. Fase rekayasa fitur adalah momen paling kritis ketika bias ini dapat dikenali dan diperbaiki.
Perhatian: Sebelum Anda bersukacita ketika suatu variabel “meningkatkan daya prediksi secara signifikan”, tanyakan: apakah variabel ini benar-benar ada pada saat prediksi tersebut dibuat, atau apakah variabel tersebut melibatkan masa depan? Hasil yang terlihat terlalu bagus seringkali menjadi tanda adanya kebocoran.
Cara menggunakan AI dalam persiapan data
1) Penyaringan kualitas data:
Peran Anda: asisten kualitas data. Anda memiliki imbal hasil polis aktuaria. Kolom: policy_id, start_date, end_date,age, region, vehicle_age, premium, Claim_count, Claim_amount.Beri saya daftar periksa dan sketsa kode Python (panda):- Hitung nilai yang hilang berdasarkan kolom.- Tandai nilai yang tidak masuk akal (premi negatif, usia<16 atau >100, akhir<mulai).- Hitung eksposur pecahan (dalam tahun) dari awal/akhir.JANGAN hapus; Laporkan saja agar saya bisa memutuskan.
2) Derivasi fitur:
Saya ingin mendapatkan fitur baru dari data lalu lintas saya. Tersedia: usia, usia_kendaraan, wilayah, km_tahunan, jenis_penggunaan.- Kelompok usia dan km mana (binning) yang Anda rekomendasikan, mengapa?- Bagaimana cara melakukan pengkodean berbasis risiko untuk 'wilayah' tanpa kebocoran data?- Sarankan 3 fitur baru yang layak untuk dicoba dan tuliskan justifikasi aktuaria untuk setiap fitur tersebut. saya akan memutuskan.
3) Pemeriksaan kebocoran:
Model saya memprediksi KEMUNGKINAN kerusakan dengan variabel berikut: usia, wilayah, usia_kendaraan, PAID_CLAIM_FLAG, SETTLEMENT_DAYS. Manakah dari variabel berikut yang menimbulkan risiko kebocoran data? Untuk masing-masingnya, evaluasi apakah itu akan tersedia pada saat prediksi. Buat daftar yang mencurigakan dan alasannya.
4) Normalisasi eksposur:
Beberapa kebijakan saya dimulai pertengahan tahun. Jelaskan dan beri kode normalisasi paparan untuk menghitung frekuensi dengan benar: frekuensi = jumlah_klaim total / paparan total (tahun polis). Tunjukkan dengan contoh bagaimana menghitung eksposur kebijakan yang dimulai pada pertengahan tahun.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Bersihkan data dan siapkan untuk model.
AI tidak mengetahui kolom mana, aturan bisnis, definisi eksposur; Itu dapat menghapus dan mengisi serta merusak data secara membabi buta.
Perintah yang kuat:
Peran Anda: asisten persiapan data aktuaria.Kamus data: policy_id (identitas), start/end_date (periode polis),usia (diperkirakan 16-90), premi (harus >0), jumlah_klaim (>=0), jumlah_klaim (>=0).Tugas:1) Menulis aturan kewajaran untuk setiap kolom dan MELAPORKAN pelanggaran (penghapusan).2) Memberikan kode untuk menghitung paparan pecahan.3) 3 strategi berbeda untuk 'usia' yang hilang (hapus). / rata-rata / kategori terpisah) hadir dengan plus-minus; Serahkan keputusan kepada saya.4) Peringatkan jika ada kolom yang dapat menimbulkan risiko kebocoran. Penghapusan otomatis setiap catatan; Saya akan menyetujui setiap keputusan.
tiga kasus mini
Kasus 1 — Kesalahan eksposur. Dalam satu portofolio, kebijakan perjalanan jangka pendek (3 bulan) dihitung sebagai satu tahun penuh, sehingga frekuensinya tampak empat kali lebih rendah dibandingkan yang sebenarnya; Harganya turun secara tidak benar. Ketika aktuaris menghitung eksposur sebagai pecahan (0,25 tahun polis), frekuensi riil terungkap dan tarif dikoreksi. AI menghasilkan kode paparan pecahan; Aktuaris memberikan definisinya.
Kasus 2 — Kebocoran laten. Ketika seorang helper menambahkan variabel “waktu penutupan file” ke model probabilitas kerusakan, akurasi meningkat secara dramatis. Kegembiraan ini tidak berlangsung lama: variabel ini hanya dapat diketahui setelah kerusakan terjadi, artinya variabel ini tidak tersedia pada saat prediksi. Ketika variabel yang bocor dihilangkan, model diturunkan ke tingkat yang realistis. Dia memuji variabel AI sebagai “prediktor yang kuat”; Keputusan aktuaris berhasil menangkap jebakan tersebut.
Kasus 3 — Replikasi bias. Sebuah perusahaan memperoleh pola “penolakan lamaran” dari data historis dan memasukkannya ke dalam model baru. Analisis menunjukkan bahwa penolakan di masa lalu terkonsentrasi secara tidak proporsional di lingkungan tertentu, yang berarti terdapat bias sejarah. Fitur ini telah dihapus dari model dan diganti dengan indikator risiko yang lebih netral. AI menghasilkan analisis yang mengukur tumpang tindih pola tersebut dengan lingkungan sekitar; Keputusan etis diambil oleh aktuaris dan unit kepatuhan.
Kesalahan umum
- Mengisi nilai yang hilang dengan mean tanpa berpikir panjang. Kekurangan itu sendiri mungkin berupa pengetahuan; Mengisinya secara membabi buta akan menimbulkan prasangka.
- Hapus outlier secara otomatis. Beberapa di antaranya adalah kasus edge yang sebenarnya; Menghapus data tanpa memisahkannya dari kesalahan akan menghancurkan informasi.
- Tidak menormalkan eksposur. Menghitung polis pendek sebagai satu tahun penuh akan mendistorsi frekuensi dan mendistorsi harga.
- Tidak memperhatikan kebocoran data. Hasil yang terlalu bagus sering kali merupakan tanda adanya variabel yang melibatkan masa depan; Kueri apakah setiap variabel ada pada saat prediksi.
- Membawa bias implisit ke masa depan. Ketidakadilan dalam data historis dapat merembes ke fitur-fitur turunan; Periksa di tahap fitur.
Singkatnya
Pemodelan aktuaria sebagian besar berkaitan dengan penyiapan data; Jika inputnya rusak maka outputnya juga rusak. Masalah yang umum terjadi adalah nilai yang hilang, outlier, inkonsistensi, dan duplikasi; Masalah aktuaria yang penting adalah normalisasi eksposur. Rekayasa fitur — pengelompokan, pengkodean, normalisasi — menghasilkan sinyal yang lebih kuat dari data. Bahaya yang paling berbahaya adalah kebocoran data dan bias implisit; keduanya ditangkap hanya dengan penalaran aktuaria. AI sangat mempercepat langkah ini: pemindaian menghasilkan kode dan rekomendasi. Namun jangan otomatis menghapus catatan apa pun, biarkan manusia memeriksa kebocoran dan bias, dan menyetujui setiap konversi.
Tugas aplikasi
Siapkan kamus data kebijakan anonim kecil (5-7 kolom, masing-masing kolom dalam rentang yang wajar). Mintalah AI untuk (a) aturan kewajaran dan kode laporan pelanggaran untuk setiap kolom, (b) perhitungan paparan fraksional, (c) saran 3 fitur baru untuk dicoba. Kemudian tambahkan variabel “perangkap kebocoran” yang disengaja ke dalam daftar (misalnya “kompensasi dibayar”) dan uji apakah AI menangkapnya sebagai kebocoran.
daftar periksa
- [ ] Sudahkah saya menganalisis alasannya sebelum menghapus yang hilang dan outlier?
- [ ] Sudahkah saya melakukan fraksinasi dan menormalkan eksposur dengan benar?
- [ ] Sudahkah saya menuliskan justifikasi aktuaria untuk setiap fitur yang baru diturunkan?
- [ ] Pernahkah saya mempertanyakan apakah setiap variabel benar-benar ada (kebocoran) pada saat prediksi?
- [ ] Sudahkah saya memindai bias implisit dalam fitur turunan?
- [ ] Bukankah AI saya secara otomatis menghapus catatan apa pun dan menyetujui sendiri setiap keputusan?