Keuntungan:
- Keupayaan untuk mengukur dan melaporkan ketidakpastian dengan ensembel, analisis sensitiviti, pengesahan silang dan ujian buta
- Keupayaan untuk mencegah kebocoran data dengan mengasingkannya berdasarkan sumur/medan dan memastikan ketepatan yang dilaporkan mencerminkan generalisasi sebenar.
- Keupayaan untuk menentukur skor kepercayaan kecerdasan buatan dengan rajah kebolehpercayaan dan menerapkan disiplin untuk tidak menggunakan skor tidak ditentukur sebagai kebarangkalian
Terdapat tema berulang dalam setiap unit modul ini: tiada "jawapan pasti" dalam geofizik, hanya model yang dihadkan oleh ketidakpastian. Unit ini menjadikan tema itu sebagai satu disiplin. Ketidakpastian model ialah kewujudan model bawah permukaan yang berbeza yang boleh menerangkan data yang sama dan setiap model membawa selang keyakinan. Pengesahan menguji dengan bukti bebas sama ada model atau output AI sebenarnya sah. Penentukuran adalah untuk memastikan bahawa nilai keyakinan/kebarangkalian yang diberikan oleh model sepadan dengan keputusan sebenar. Dalam unit ini, kita akan mengkaji bagaimana kecerdasan buatan (AI) boleh mengukur dan menyembunyikan ketidakpastian; dan kita akan melihat sebab rangka kerja penentukuran yang kukuh menjadikan AI boleh dipercayai.
Sumber ketidakpastian
Ketidakpastian geofizik datang dari beberapa lapisan:
- Ketidakpastian data: Bunyi pengukuran, liputan terhad, ralat penentukuran.
- Ketidakpastian model (polisemi): Memasang lebih daripada satu struktur bawah permukaan pada data yang sama.
- Ketidakpastian kaedah/parameter: Pilihan pemprosesan, penyongsangan dan penyelarasan mengubah hasil.
- Ketidakpastian khusus untuk AI: Keupayaan model untuk kekal yakin tetapi gagal apabila ia bergerak di luar pengedaran latihan (anjakan pengedaran).
Tugas ahli geofizik yang baik bukanlah untuk menghapuskan ketidakpastian ini, tetapi untuk mengukur, berkomunikasi dan menyempitkannya. AI boleh menjadikannya mudah (menjana berbilang senario) tetapi juga boleh menyembunyikannya dengan mudah dengan menghasilkan satu jawapan yang yakin.
Cara untuk mengukur ketidakpastian
Beberapa alat praktikal:
- Ensemble: Berbilang larian dengan permulaan, parameter atau model yang berbeza; Penyebaran keputusan memberikan ketidakpastian.
- Analisis sensitiviti: Menukar input (parameter, subset data) dan melihat berapa banyak hasil berubah.
- Pengesahan silang: Membahagikan data kepada kepingan, berlatih dengan satu bahagian dan menguji dengan yang lain; Mengukur kuasa generalisasi.
- Ujian buta: Menguji model dengan perigi/bidang bebas yang tidak pernah dilihatnya dalam latihan.
- Keluaran kebarangkalian: Memberikan hasil sebagai selang pengagihan/keyakinan, bukan satu nilai.
Petua: Apabila AI memberikan hasil, sentiasa tanya: "Apakah dan berapa banyak yang saya perlukan untuk memindahkan input untuk menukar hasil ini?" Jika keputusan berbalik dengan perubahan parameter yang kecil, keputusan itu rapuh dan ketidakpastian adalah tinggi.
Penentukuran: adakah skor keyakinan berlaku?
Model AI selalunya memberikan keyakinan/kebarangkalian ("90% kesalahan"). Tetapi nombor ini mengelirukan jika ia tidak ditentukur: model itu sebenarnya betul dalam mungkin 60% daripada kes yang dikatakan "90%". Penentukuran adalah untuk menjajarkan nombor ini dengan kadar hasil sebenar. Dalam amalan, gambar rajah kebolehpercayaan dilukis: model yang ditentukur dengan baik adalah betul 90% apabila ia berkata "90%". Dalam geofizik, adalah penting untuk menentukur skor keyakinan AI dengan data bebas sebelum menjadikannya asas untuk keputusan.
Awas: Ketepatan tinggi tidak sama dengan penentukuran yang baik. Model mungkin secara amnya tepat tetapi terlalu yakin; Perkara penting dalam keputusan kritikal ialah ia benar-benar boleh dipercayai apabila ia berkata "95%". Jangan anggap skor keyakinan yang tidak ditentukur sebagai kebarangkalian.
Peraturan pengesahan emas
Untuk pengesahan yang mantap: (1) Kebebasan — data ujian tidak boleh mengganggu proses latihan/penalaan sama sekali (kebocoran data — mengembang hasilnya). (2) Ujian buta — medan/telaga yang model tidak nampak. (3) Ketekalan fizikal — hasilnya tidak boleh bercanggah dengan fizik dan geologi. (4) Kebolehulangan — hasil yang sama dengan input yang sama, dan boleh dihasilkan oleh orang lain. (5) Dokumentasi — rekod data apa, parameter mana, versi model mana yang digunakan.
tiga kes mini
Kes 1 — Kekeliruan kebocoran data. Satu pasukan melaporkan bahawa pengelas fasies menghasilkan ketepatan 94%. Siasatan menunjukkan bahawa sampel jiran dari telaga yang sama terlibat dalam kedua-dua latihan dan ujian (kebocoran data). Apabila dipecahkan dengan baik, ketepatan menurun kepada 71% — itulah generalisasi sebenar. Kebocoran itu menjadikan model itu kelihatan lebih baik daripada yang sebenarnya.
Kes 2 — Model terlalu yakin. Satu pengesan kerosakan memberikan "95% keyakinan" dalam tanda-tandanya. Rajah kebolehpercayaan menunjukkan bahawa markah "95%" sebenarnya 70% tepat. Setelah model ditentukur, skor keyakinan menjadi realistik dan pengulas melaraskan dengan betul berapa banyak mereka akan mempercayai setiap tanda.
Kes 3 — Penyongsangan rapuh. Model graviti kelihatan sangat meyakinkan. Analisis kepekaan menunjukkan bahawa struktur utama hilang apabila berat regularisasi berubah sebanyak 20%: struktur tidak datang dari data, tetapi dari pemilihan parameter. Pasukan itu membenderakan struktur sebagai "keyakinan rendah" dan meminta data tambahan.
Empat templat yang boleh disalin
1) Pelan pengukuran ketidakpastian:
Peranan anda: perunding ketidakpastian geofizik. Saya mempunyai hasil [penyongsangan / pengelasan / ramalan]. Kaedah (ensembel, kepekaan, pengesahan silang, ujian buta) yang manakah saya gunakan untuk mengukur ketidakpastian dan dalam susunan yang manakah? Terangkan apa yang masing-masing memberitahu saya dan cara melaporkan hasilnya.
2) Pemeriksaan penentukuran:
Model AI saya memberikan skor keyakinan/kebarangkalian. Bagaimanakah saya hendak menguji sama ada skor ini ditentukur? Bagaimanakah cara saya membina gambar rajah kebolehpercayaan, mengenali "keyakinan berlebihan" atau "terlalu berhati-hati" dan menyelaraskan skor dengan kadar hasil sebenar?
3) Audit kebocoran data:
Saya melatih pengelas geofizik. Bagaimanakah cara saya mencari dan mencegah risiko kebocoran data (sampel telaga/lapangan yang sama memasuki kedua-dua latihan dan ujian)? Bagaimanakah cara saya menyediakan pemisahan mengikut telaga/medan? Bagaimanakah saya tahu jika ketepatan yang dilaporkan mencerminkan generalisasi sebenar?
4) Ujian kerapuhan keputusan:
Saya mempunyai hasil penyongsangan/model. Saya ingin memahami betapa rapuhnya keputusan ini. Dengan menukar parameter mana dan berapa banyak perubahan struktur utama? Bagaimanakah saya boleh membezakan sama ada struktur berasal daripada data atau parameter/premis? Berikan protokol sensitiviti.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Lihat jika model saya mempunyai ketepatan yang tinggi.
Nombor kebenaran tunggal; kebocoran menyembunyikan penentukuran dan generalisasi, memberikan keyakinan palsu.
Gesaan kuat:
Peranan anda: pakar pengesahan model. Input: [pengelas menjana N dengan baik, skor keyakinan]. Tugas: (1) mencadangkan peruntukan berasaskan baik terhadap kebocoran data; (2) memasang ujian telaga buta; (3) menentukur skor keyakinan dengan gambar rajah kebolehpercayaan; (4) menguji sejauh mana keputusan itu sensitif terhadap parameter. Pengurangan kepada nombor kebenaran tunggal; Laporkan generalisasi, penentukuran dan kerapuhan secara berasingan.
Kebocoran, ujian buta, penentukuran dan permintaan kepekaan menjadikan pengesahan jujur.
Alat ketidakpastian
kenderaan
Apakah ukurannya?
Risiko utama
keluaran
ensemble
Penyebaran model
Kos akaun
Julat/pengedaran
Sensitiviti
Kesan parameter
Input terlepas
kerapuhan
pengesahan silang
generalisasi
kebocoran data
ketepatan yang realistik
ujian buta
kejayaan berdikari
Set ujian tidak mencukupi
amanah
Penentukuran
mempercayai realiti
terlalu yakin
kebarangkalian sejajar
Kesilapan biasa
- Tidak perasan kebocoran data. Ia mengembang kebenaran; Asingkan dengan perigi/lapangan.
- Menggunakan skor keyakinan tanpa menentukurnya. "90%" mungkin sebenarnya bukan 90%.
- Bergantung pada nombor kebenaran tunggal. Generalisasi dan penentukuran adalah dua perkara yang berbeza.
- Bukan menguji kelemahan. Struktur yang hilang oleh parameter bukanlah maklumat sebenar.
- Tidak melaporkan ketidakpastian. Mempersembahkan keputusan tanpa selang keyakinan adalah mengelirukan.
Secara ringkasnya
Ketidakpastian adalah fakta geofizik yang tidak dapat dihapuskan; tugasnya adalah untuk mengukurnya, menyampaikannya, dan menyempitkannya. AI memudahkan ini dengan ensemble, kepekaan, dan keluaran kebarangkalian, tetapi juga boleh menyamarkannya dengan satu jawapan yakin. Bingkai pepejal; mencegah kebocoran data, mengukur generalisasi dengan ujian buta, menentukur skor keyakinan, dan menguji kerapuhan keputusan. Kepercayaan yang tidak ditentukur, kebenaran yang tidak disahkan, dan ketidakpastian yang tersembunyi adalah tiga ilusi yang paling berbahaya. Geofizik yang boleh dipercayai ialah geofizik yang secara jujur menunjukkan ketidakpastiannya.
Tugasan permohonan
Pilih hasil geofizik AI (pengelasan, penyongsangan atau ramalan). Rancang langkah ujian ensembel/sensitiviti/buta dengan templat "Pelan pengukuran ketidakpastian". Kemudian uji perbezaan ujian kereta api anda dengan templat "Audit kebocoran data". Jika model memberikan skor keyakinan, nilai sama ada skor itu realistik dengan templat "Semakan penentukuran" dan tulis keputusan anda dengan selang keyakinan.
senarai semak
- [ ] Saya mengukur ketidakpastian dengan ensemble/sensitiviti.
- [ ] Saya menghalang kebocoran data dengan mengasingkannya berdasarkan sumur/medan.
- [ ] Saya menguji generalisasi dengan ujian buta.
- [ ] Saya menentukur skor keyakinan dan menyemak realismenya.
- [ ] Saya melaporkan hasilnya dengan selang keyakinan, bukan satu nilai.