Dobički:
- Sposobnost merjenja in poročanja o negotovosti z ansamblom, analizo občutljivosti, navzkrižno validacijo in slepim testiranjem
- Sposobnost preprečevanja uhajanja podatkov z ločevanjem podatkov na podlagi vodnjak/polje in zagotavljanje, da navedena natančnost odraža resnično posploševanje.
- Sposobnost umerjanja ocene zaupanja umetne inteligence z diagramom zanesljivosti in uporabe discipline neuporabe neumerjene ocene kot verjetnosti
V vsaki enoti tega modula se ponavlja tema: v geofiziki ni "gotovih odgovorov", so samo modeli, omejeni z negotovostjo. Ta enota spremeni to temo v disciplino. Negotovost modela je obstoj različnih podzemnih modelov, ki lahko razložijo iste podatke in vsak model ima interval zaupanja. Validacija je preizkušanje z neodvisnimi dokazi, ali je model ali rezultat umetne inteligence dejansko veljaven. Kalibracija zagotavlja, da se vrednosti zaupanja/verjetnosti, ki jih poda model, ujemajo z dejanskimi rezultati. V tej enoti bomo preučili, kako lahko umetna inteligenca (AI) meri in skriva negotovost; in videli bomo, zakaj trden okvir za preverjanje in umerjanje naredi umetno inteligenco zanesljivo.
Viri negotovosti
Geofizična negotovost izvira iz več plasti:
- Negotovost podatkov: Merilni šum, omejena pokritost, napaka kalibracije.
- Negotovost modela (polisemija): prilagajanje več kot ene podpovršinske strukture istim podatkom.
- Negotovost metode/parametra: Izbire obdelave, inverzije in regulacije spremenijo rezultat.
- Negotovost, specifična za AI: sposobnost modela, da ostane samozavesten, vendar ne uspe, ko se premakne izven distribucije usposabljanja (distribucijski premik).
Naloga dobrega geofizika ni odpraviti te negotovosti, temveč jo izmeriti, sporočiti in zožiti. Umetna inteligenca lahko to olajša (generira več scenarijev), lahko pa tudi preprosto skrije tako, da ustvari en samozavesten odgovor.
Načini merjenja negotovosti
Nekaj praktičnih orodij:
- Ensemble: več voženj z različnimi začetki, parametri ali modeli; Širjenje rezultatov povzroča negotovost.
- Analiza občutljivosti: Spreminjanje vnosa (parametra, podnabora podatkov) in opazovanje, koliko se spremeni rezultat.
- Navzkrižna validacija: razdelitev podatkov na dele, usposabljanje z enim delom in testiranje z drugim; Meri moč posploševanja.
- Slepi test: Preizkušanje modela z neodvisno vrtino/poljem, ki ga še nikoli ni videl med usposabljanjem.
- Probabilistični rezultat: Zagotavljanje rezultata kot porazdelitve/intervala zaupanja, ne kot ene vrednosti.
Nasvet: Ko umetna inteligenca da rezultat, vedno vprašajte: "Kaj in koliko moram premakniti v vnosu, da spremenim ta rezultat?" Če se rezultat obrne z majhno spremembo parametra, je ta rezultat krhek in negotovost velika.
Umerjanje: ali rezultat zaupanja drži?
Modeli AI pogosto dajejo zaupanje/verjetnost (»90 % napaka«). Toda ta številka je zavajajoča, če ni umerjena: model je dejansko pravilen v morda 60% primerov, za katere pravi, da so "90%". Kalibracija je, da se to število uskladi z dejansko stopnjo rezultata. V praksi je narisan diagram zanesljivosti: dobro kalibriran model ima res 90 % prav, ko piše "90 %". V geofiziki je bistveno umeriti rezultat zaupanja AI z neodvisnimi podatki, preden postane podlaga za odločitev.
Pozor: visoka natančnost ni enaka dobri kalibraciji. Model je lahko na splošno točen, vendar preveč samozavesten; Pomembna stvar pri kritičnih odločitvah je, da je resnično zanesljiva, ko piše "95%". Neumerjenega rezultata zaupanja ne obravnavajte kot verjetnosti.
Zlata pravila verifikacije
Za zanesljivo preverjanje: (1) Neodvisnost — testni podatki sploh ne smejo ovirati procesa usposabljanja/uglaševanja (puščanje podatkov — poveča rezultat). (2) Slepi test — polje/vodnjak, ki ga model ne vidi. (3) Fizična skladnost — rezultat ne sme biti v nasprotju s fiziko in geologijo. (4) Ponovljivost — enak rezultat z enakim vložkom, ki ga lahko ustvari nekdo drug. (5) Dokumentacija — zapis, kateri podatki, kateri parameter, katera različica modela je bila uporabljena.
trije mini kovčki
1. primer – napaka pri uhajanju podatkov. Ena skupina je poročala, da je klasifikator facies dal 94-odstotno natančnost. Preiskava je pokazala, da so bili sosednji vzorci iz iste vrtine vključeni tako v usposabljanje kot v testiranje (uhajanje podatkov). Pri razčlenitvi po vodnjakih je natančnost padla na 71 % — to je bila prava posplošitev. Zaradi uhajanja je bil model videti boljši, kot je v resnici bil.
2. primer – Preveč samozavestni model. En detektor napak je dal "95-odstotno zaupanje" v svoje znake. Diagram zanesljivosti je pokazal, da so bile oznake "95%" dejansko 70% točne. Ko je bil model umerjen, so rezultati zaupanja postali realistični in komentatorji so pravilno prilagodili, koliko bodo zaupali vsakemu znaku.
Primer 3 – Krhka inverzija. Gravitacijski model je bil videti zelo prepričljiv. Analiza občutljivosti je pokazala, da je glavna struktura izginila, ko se je utež regulacije spremenila za 20 %: struktura ni izhajala iz podatkov, ampak iz izbire parametrov. Ekipa je strukturo označila kot "nizko zaupanje" in zahtevala dodatne podatke.
Štiri predloge za kopiranje
1) Načrt merjenja negotovosti:
Vaša vloga: svetovalec za geofizikalne negotovosti. Imam rezultat [inverzije / klasifikacije / napovedi]. Katere metode (zbirka, občutljivost, navzkrižna validacija, slepi test) uporabim za merjenje negotovosti in v kakšnem vrstnem redu? Pojasnite mi, kaj mi vsak pove in kako sporočiti rezultat.
2) Preverjanje kalibracije:
Moj model AI daje oceno zaupanja/verjetnosti. Kako preverim, ali je ta rezultat umerjen? Kako sestavim diagram zanesljivosti, prepoznam "pretirano samozavest" ali "previdnost" in uskladim rezultat z dejansko stopnjo izida?
3) Revizija uhajanja podatkov:
Usposobil sem geofizikalnega klasifikatorja. Kako najdem in preprečim tveganje uhajanja podatkov (isti vzorci vrtin/polja vstopijo v usposabljanje in testiranje)? Kako nastavim ločevanje po vrtini/polju? Kako naj vem, ali navedena natančnost odraža resnično posploševanje?
4) Rezultat testiranja krhkosti:
Imam rezultat inverzije/modela. Želim razumeti, kako krhek je ta rezultat. S spremembo katerih parametrov in koliko se spremeni glavna struktura? Kako ločim, ali struktura izvira iz podatkov ali parametrov/premise? Podajte protokol občutljivosti.
Šibek poziv/močan poziv
Šibek poziv:
Preverite, ali ima moj model visoko natančnost.
Ena številka resnice; uhajanje skriva kalibracijo in posploševanje ter daje lažno zaupanje.
Močan poziv:
Vaša vloga: strokovnjak za validacijo modelov. Vnos: [klasifikator dobro ustvari N, ocene zaupanja]. Naloga: (1) predlagati dobro utemeljeno dodelitev proti uhajanju podatkov; (2) namestitev slepega testiranja vrtin; (3) umerite oceno zaupanja z diagramom zanesljivosti; (4) preizkusite, kako občutljiv je rezultat na parameter. Redukcija na eno resnicno število; Ločeno poročajte o generalizaciji, kalibraciji in krhkosti.
Zaradi puščanja, slepega testiranja, kalibracije in zahteve po občutljivosti je preverjanje pošteno.
Orodja za negotovost
vozilo
Kaj meri?
Glavno tveganje
izhod
ansambel
Širjenje modela
Stroški računa
Razpon/razporeditev
Občutljivost
Učinek parametra
Zgrešen vnos
Krhkost
navzkrižno preverjanje
posploševanje
uhajanje podatkov
realna natančnost
slepi test
samostojni uspeh
Nezadosten testni niz
zaupanje
Umerjanje
zaupaj realnosti
pretirana samozavest
usklajena verjetnost
Pogoste napake
- Ne opazim uhajanja podatkov. Napihuje pravičnost; Ločeno po vodnjaku/njivi.
- Uporaba ocene zaupanja brez umerjanja. »90 %« morda dejansko ni 90 %.
- Zanašanje na eno resnico. Generalizacija in kalibracija sta dve različni stvari.
- Ne preizkuša ranljivosti. Struktura, ki jo izgubi parameter, ni resnična informacija.
- Ne poročanje o negotovosti. Predstavitev rezultata brez intervala zaupanja je zavajajoča.
Če povzamem
Negotovost je neizkoreniljivo dejstvo geofizike; naloga je to izmeriti, sporočiti in zožiti. Umetna inteligenca to olajša s sestavo, občutljivostjo in verjetnostnim rezultatom, lahko pa ga tudi prikrije z enim samozavestnim odgovorom. Trden okvir; preprečevanje uhajanja podatkov, merjenje generalizacije s slepim testiranjem, umerjanje ocene zaupanja in testiranje krhkosti rezultata. Neumerjeno zaupanje, nepreverjena resnicoljubnost in prikrita negotovost so tri najnevarnejše iluzije. Zanesljiva geofizika je tista geofizika, ki pošteno dokazuje svojo negotovost.
Aplikacijska naloga
Izberite geofizični rezultat AI (razvrstitev, inverzija ali napoved). Načrtujte korake ansambla/občutljivosti/slepega testiranja s predlogo "Načrt merjenja negotovosti". Nato preizkusite svojo razliko med preskusom vlaka s predlogo »Revizija uhajanja podatkov«. Če model daje rezultat zaupanja, ocenite, ali je rezultat realen s predlogo "Preverjanje umerjanja" in zapišite svoj rezultat z intervalom zaupanja.
kontrolni seznam
- [ ] Negotovost sem izmeril z ansamblom/občutljivostjo.
- [ ] Preprečil sem uhajanje podatkov tako, da sem jih ločil na podlagi vodnjak/polje.
- [ ] Posplošitev sem preizkusil s slepim testom.
- [ ] Umeril sem rezultat zaupanja in preveril njegovo realističnost.
- [ ] Rezultat sem sporočil z intervalom zaupanja, ne z eno samo vrednostjo.