Pelnas:
- Gebėjimas išmatuoti ir pranešti apie neapibrėžtumą naudojant ansamblį, jautrumo analizę, kryžminį patvirtinimą ir akląjį testavimą
- Galimybė užkirsti kelią duomenų nutekėjimui, atskiriant juos pagal gręžinį/lauką ir užtikrinti, kad pateiktas tikslumas atspindėtų tikrąjį apibendrinimą.
- Gebėjimas sukalibruoti dirbtinio intelekto pasitikėjimo balą naudojant patikimumo diagramą ir taikyti discipliną nekalibruoto balo kaip tikimybės nenaudoti
Kiekviename šio modulio skyriuje yra pasikartojanti tema: geofizikoje nėra „tikrų atsakymų“, tik modeliai, kuriuos riboja neapibrėžtumas. Šis vienetas paverčia tą temą disciplina. Modelio neapibrėžtumas yra skirtingų požeminių modelių, galinčių paaiškinti tuos pačius duomenis, buvimas, ir kiekvienas modelis turi pasikliautinąjį intervalą. Patvirtinimas yra bandymas su nepriklausomais įrodymais, ar modelis arba AI išvestis iš tikrųjų galioja. Kalibravimas yra skirtas užtikrinti, kad modelio pateiktos patikimumo / tikimybės vertės atitiktų tikrus rezultatus. Šiame skyriuje nagrinėsime, kaip dirbtinis intelektas (AI) gali išmatuoti ir paslėpti neapibrėžtumą; ir pamatysime, kodėl patikima tikrinimo-kalibravimo sistema daro AI patikimą.
Neapibrėžtumo šaltiniai
Geofizinis neapibrėžtis kyla iš kelių sluoksnių:
- Duomenų neapibrėžtumas: matavimo triukšmas, ribota aprėptis, kalibravimo klaida.
- Modelio neapibrėžtumas (polisemija): daugiau nei vienos požeminės struktūros priderinimas prie tų pačių duomenų.
- Metodo / parametro neapibrėžtumas: apdorojimo, inversijos ir reguliarumo pasirinkimai keičia rezultatą.
- AI būdingas neapibrėžtumas: modelio gebėjimas išlikti savimi pasitikintis, bet žlugti, kai išeina už mokymo paskirstymo ribų (paskirstymo pamaina).
Gero geofiziko darbas yra ne pašalinti šį neapibrėžtumą, o jį išmatuoti, bendrauti ir susiaurinti. AI gali tai palengvinti (sugeneruoti kelis scenarijus), bet taip pat gali lengvai tai paslėpti, pateikdama vieną patikimą atsakymą.
Neapibrėžtumo matavimo būdai
Keletas praktinių įrankių:
- Ansamblis: keli paleidimai su skirtingais paleidimais, parametrais ar modeliais; Rezultatų sklaida suteikia netikrumo.
- Jautrumo analizė: pakeičiama įvestis (parametras, duomenų poaibis) ir matoma, kiek pasikeičia rezultatas.
- Kryžminis patvirtinimas: Duomenų padalijimas į dalis, mokymas su viena dalimi ir testavimas su kita; Matuoja apibendrinimo galią.
- Aklas testas: modelio bandymas su nepriklausomu šuliniu/lauku, kurio jis niekada nematė treniruočių metu.
- Tikimybinė išvestis: rezultato pateikimas kaip pasiskirstymo / pasikliovimo intervalas, o ne viena reikšmė.
Patarimas: kai AI pateikia rezultatą, visada paklauskite: „Ką ir kiek reikia perkelti įvestyje, kad pakeisčiau šį rezultatą? Jei rezultatas pasikeičia pakeitus nedidelį parametrą, rezultatas yra trapus ir neapibrėžtumas yra didelis.
Kalibravimas: ar pasitikėjimo balas yra teisingas?
AI modeliai dažnai suteikia pasitikėjimą / tikimybę ("90% gedimas"). Tačiau šis skaičius yra klaidinantis, jei jis nėra sukalibruotas: modelis iš tikrųjų yra teisingas galbūt 60 % atvejų, kai jis sako, kad yra „90 %“. Kalibravimas yra skirtas suderinti šį skaičių su faktiniu rezultato rodikliu. Praktikoje nubraižoma patikimumo diagrama: gerai sukalibruotas modelis tikrai 90% teisus, kai sako „90%. Geofizikoje prieš priimant sprendimą būtina sukalibruoti AI pasitikėjimo balą su nepriklausomais duomenimis.
Dėmesio: didelis tikslumas nėra tas pats, kas geras kalibravimas. Modelis paprastai gali būti tikslus, bet pernelyg pasitikintis savimi; Svarbus dalykas priimant kritinius sprendimus yra tai, kad jis yra tikrai patikimas, kai sakoma "95%. Neapsvarstykite nekalibruoto pasitikėjimo balo kaip tikimybės.
Auksinės tikrinimo taisyklės
Siekiant patikimo patikrinimo: (1) Nepriklausomumas – bandymo duomenys neturėtų trukdyti mokymo/derinimo procesui (duomenų nutekėjimas – padidina rezultatą). (2) Aklas testas – laukas / šulinys, kurio modelis nemato. (3) Fizinis nuoseklumas – rezultatas neturėtų prieštarauti fizikai ir geologijai. (4) Atkuriamumas – tas pats rezultatas su ta pačia įvestimi ir gali būti sukurtas kito asmens. (5) Dokumentacija – įrašas, kokie duomenys, kuris parametras, kokia modelio versija buvo naudojama.
trys mini dėklai
1 atvejis – duomenų nutekėjimo klaidingumas. Viena komanda pranešė, kad veido klasifikatorius davė 94% tikslumą. Tyrimas parodė, kad kaimyniniai mėginiai iš to paties šulinio buvo įtraukti ir į mokymą, ir į bandymus (duomenų nutekėjimas). Išskaidžius pagal šulinį, tikslumas sumažėjo iki 71 % – tai buvo tikras apibendrinimas. Dėl nuotėkio modelis atrodė geriau, nei buvo iš tikrųjų.
2 atvejis – pernelyg pasitikintis modelis. Vienas gedimų detektorius suteikė „95% pasitikėjimo“ savo ženklais. Patikimumo diagrama parodė, kad „95%“ ženklai iš tikrųjų buvo 70% tikslūs. Kai modelis buvo sukalibruotas, pasitikėjimo balai tapo realūs, o komentatoriai teisingai pakoregavo, kiek jie pasitikės kiekvienu ženklu.
3 atvejis – trapi inversija. Gravitacijos modelis atrodė labai įtikinamai. Jautrumo analizė parodė, kad pagrindinė struktūra išnyko, kai normalizacijos svoris pasikeitė 20 %: struktūra atsirado ne iš duomenų, o iš parametrų pasirinkimo. Komanda pažymėjo struktūrą kaip „mažą pasitikėjimą“ ir paprašė papildomų duomenų.
Keturi kopijuojami šablonai
1) Neapibrėžtumo matavimo planas:
Jūsų vaidmuo: geofizinio neapibrėžtumo konsultantas. Turiu [inversija / klasifikacija / numatymas] rezultatą. Kokius metodus (ansamblį, jautrumą, kryžminį patvirtinimą, akląjį testą) taikyti neapibrėžčiai matuoti ir kokia tvarka? Paaiškinkite, ką kiekvienas iš jų man sako ir kaip pranešti apie rezultatą.
2) Kalibravimo patikrinimas:
Mano AI modelis suteikia pasitikėjimo / tikimybės balą. Kaip patikrinti, ar šis balas sukalibruotas? Kaip sudaryti patikimumo diagramą, atpažinti „perdėtą pasitikėjimą“ arba „perdėtą atsargumą“ ir suderinti balą su faktiniu rezultatų rodikliu?
3) Duomenų nutekėjimo auditas:
Išmokiau geofizinį klasifikatorių. Kaip rasti ir užkirsti kelią duomenų nutekėjimo rizikai (tokie patys šulinio/lauko pavyzdžiai patenka į mokymus ir bandymus)? Kaip nustatyti atskyrimą pagal šulinį/lauką? Kaip sužinoti, ar nurodytas tikslumas atspindi tikrąjį apibendrinimą?
4) Rezultatų pažeidžiamumo bandymas:
Turiu inversijos/modelio rezultatą. Noriu suprasti, koks trapus šis rezultatas. Kokius parametrus keičiant ir kiek keičiasi pagrindinė struktūra? Kaip atskirti, ar struktūra gaunama iš duomenų, ar iš parametrų/prielaidos? Pateikite jautrumo protokolą.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Pažiūrėkite, ar mano modelis turi didelį tikslumą.
Vienintelis tiesos skaičius; nuotėkis paslepia kalibravimą ir apibendrinimą, suteikdamas klaidingą pasitikėjimą.
Galingas raginimas:
Jūsų vaidmuo: modelio patvirtinimo ekspertas. Įvestis: [klasifikatorius generuoja N gerai, pasitikėjimo balai]. Užduotis: (1) pasiūlyti gerai pagrįstą paskirstymą, kad būtų išvengta duomenų nutekėjimo; (2) įrengti aklųjų šulinių testavimą; (3) sukalibruokite patikimumo balą su patikimumo diagrama; (4) patikrinkite, kiek rezultatas jautrus parametrui. Sumažinimas iki vieno tiesos skaičiaus; Atskirai praneškite apie apibendrinimą, kalibravimą ir trapumą.
Dėl nuotėkio, aklųjų bandymų, kalibravimo ir jautrumo užklausos patikrinimas yra sąžiningas.
Neapibrėžtumo įrankiai
transporto priemonė
Ką tai matuoja?
Pagrindinė rizika
išvestis
ansamblis
Modelio platinimas
Sąskaitos kaina
Diapazonas/paskirstymas
Jautrumas
Parametrų efektas
Praleista įvestis
Trapumas
kryžminis patvirtinimas
apibendrinimas
duomenų nutekėjimas
realus tikslumas
aklas testas
nepriklausoma sėkmė
Nepakankamas testų rinkinys
pasitikėti
Kalibravimas
pasitikėti tikrove
per didelis pasitikėjimas savimi
suderinta tikimybė
Dažnos klaidos
- Nepastebi duomenų nutekėjimo. Jis išpučia teisumą; Atskirti šuliniu/lauku.
- Pasitikėjimo balo naudojimas jo nekalibruojant. „90%“ iš tikrųjų gali būti ne 90%.
- Remdamiesi vienu tiesos skaičiumi. Apibendrinimas ir kalibravimas yra du skirtingi dalykai.
- Netestuoja pažeidžiamumo. Parametro prarasta struktūra nėra tikra informacija.
- Nepraneša apie netikrumą. Rezultato pateikimas be pasikliautinojo intervalo yra klaidinantis.
Apibendrinant
Neapibrėžtumas yra neišvengiamas geofizikos faktas; darbas yra jį išmatuoti, perduoti ir susiaurinti. Dirbtinis intelektas tai palengvina pasitelkdamas ansamblį, jautrumą ir tikimybinę išvestį, bet taip pat gali tai užmaskuoti vienu patikimu atsakymu. Tvirtas rėmas; užkirsti kelią duomenų nutekėjimui, išmatuoti apibendrinimą akluoju testu, kalibruoti pasitikėjimo balą ir patikrinti rezultato trapumą. Nekalibruotas pasitikėjimas, nepatikrintas tikrumas ir paslėptas netikrumas yra trys pavojingiausios iliuzijos. Patikima geofizika yra geofizika, kuri sąžiningai parodo savo neapibrėžtumą.
Taikymo užduotis
Pasirinkite AI geofizinį rezultatą (klasifikavimą, inversiją arba numatymą). Suplanuokite ansamblio / jautrumo / aklo testavimo veiksmus naudodami „Neapibrėžtumo matavimo plano“ šabloną. Tada išbandykite savo traukinio bandymo skirtumą naudodami šabloną „Duomenų nutekėjimo auditas“. Jei modelis suteikia patikimumo balą, įvertinkite, ar rezultatas yra realus, naudodami šabloną „Kalibravimo patikra“, ir parašykite rezultatą su pasikliautinuoju intervalu.
kontrolinis sąrašas
- [ ] Neapibrėžtumą išmatavau su ansambliu/jautrumu.
- [ ] Užkirtau kelią duomenų nutekėjimui, atskirdamas juos pagal šulinį/lauką.
- [ ] Apibendrinimą išbandžiau akluoju testu.
- [ ] Sukalibravau pasitikėjimo balą ir patikrinau jo tikroviškumą.
- [ ] Rezultatą pateikiau pasikliautinuoju intervalu, o ne viena verte.