Kasu:
- Võimalus mõõta määramatust ja sellest aru anda ansambli, tundlikkusanalüüsi, ristvalideerimise ja pimetesti abil
- Võimalus vältida andmete lekkimist, eraldades need kaevu/välja alusel, ja tagada, et teatatud täpsus peegeldab tõelist üldistust.
- Võimalus kalibreerida tehisintellekti usaldusskoori usaldusväärsuse diagrammiga ja rakendada distsipliini, et tõenäosusena ei kasutata kalibreerimata skoori
Selle mooduli igas üksuses on läbiv teema: geofüüsikas pole "kindlaid vastuseid", on ainult mudelid, mida piirab määramatus. See üksus muudab selle teema distsipliiniks. Mudeli ebakindlus on erinevate maa-aluste mudelite olemasolu, mis suudavad seletada samu andmeid ja igal mudelil on usaldusvahemik. Valideerimine on sõltumatute tõenditega testimine, kas mudel või tehisintellekti väljund on tegelikult kehtiv. Kalibreerimise eesmärk on tagada, et mudeli antud usaldus/tõenäosusväärtused vastavad tegelikele tulemustele. Selles üksuses uurime, kuidas tehisintellekt (AI) suudab mõõta ja varjata ebakindlust; ja me näeme, miks tugev verifitseerimis-kalibreerimisraamistik muudab AI usaldusväärseks.
Ebakindluse allikad
Geofüüsikaline määramatus pärineb mitmest kihist:
- Andmete ebakindlus: mõõtmismüra, piiratud katvus, kalibreerimisviga.
- Mudeli määramatus (polüseemia): rohkem kui ühe maa-aluse struktuuri sobitamine samadele andmetele.
- Meetodi/parameetri määramatus: töötlemine, inverteerimine ja reguleerimise valikud muudavad tulemust.
- AI-le omane määramatus: mudeli võime jääda enesekindlaks, kuid ebaõnnestub, kui see liigub väljapoole treeningjaotust (jaotuse nihe).
Hea geofüüsiku töö pole seda ebakindlust kõrvaldada, vaid seda mõõta, suhelda ja kitsendada. Tehisintellekt võib selle lihtsaks teha (mitme stsenaariumi genereerimine), kuid võib seda ka hõlpsalt peita, andes ühe kindla vastuse.
Ebakindluse mõõtmise viisid
Mõned praktilised tööriistad:
- Ansambel: mitu käitamist erinevate käivituste, parameetrite või mudelitega; Tulemuste levik annab ebakindlust.
- Tundlikkuse analüüs: sisendi (parameetri, andmete alamhulga) muutmine ja tulemuse muutumise vaatamine.
- Ristvalideerimine: Andmete jagamine tükkideks, ühe osaga treenimine ja teisega testimine; Mõõdab üldistusvõimsust.
- Pimetest: mudeli testimine iseseisva kaevu/väljaga, mida ta pole kunagi treeningul näinud.
- Tõenäosuslik väljund: tulemuse esitamine jaotuse/usaldusvahemikuna, mitte ühe väärtusena.
Näpunäide: kui tehisintellekt annab tulemuse, küsige alati: "Mida ja kui palju ma pean selle tulemuse muutmiseks sisendis liigutama?" Kui tulemus pöördub väikese parameetrimuutusega, on see tulemus habras ja ebakindlus suur.
Kalibreerimine: kas usaldusskoor vastab tõele?
AI mudelid annavad sageli usalduse/tõenäosuse (“90% viga”). Kuid see arv on eksitav, kui seda ei kalibreerita: mudelil on tegelikult õigus võib-olla 60% juhtudest, mille kohta see ütleb "90%. Kalibreerimine on selle numbri joondamine tegeliku tulemuse määraga. Praktikas koostatakse töökindluse diagramm: hästi kalibreeritud mudelil on tõesti 90% õigus, kui ta ütleb "90%. Geofüüsikas on oluline kalibreerida tehisintellekti usaldusskoor sõltumatute andmetega, enne kui teete selle otsuse aluseks.
Ettevaatust: suur täpsus ei ole sama, mis hea kalibreerimine. Mudel võib olla üldiselt täpne, kuid liiga enesekindel; Kriitiliste otsuste puhul on oluline, et see oleks tõeliselt usaldusväärne, kui see ütleb "95%. Ärge käsitlege kalibreerimata usaldusskoori tõenäosusena.
Kontrollimise kuldreeglid
Tugeva kontrolli jaoks: (1) Sõltumatus – katseandmed ei tohiks üldse segada koolitus-/häälestusprotsessi (andmete lekkimine – suurendab tulemust). (2) Pimetest – väli/kaev, mida mudel ei näe. (3) Füüsiline järjepidevus – tulemus ei tohiks olla vastuolus füüsika ja geoloogiaga. (4) Reprodutseeritavus – sama tulemus sama sisendiga ja selle saab toota keegi teine. (5) Dokumentatsioon – kirje selle kohta, milliseid andmeid, millist parameetrit, millist mudeliversiooni kasutati.
kolm minikarpi
Juhtum 1 – andmete lekke eksitus. Üks meeskond teatas, et faatsiklassifikaator andis 94% täpsuse. Uurimine näitas, et samast kaevust naaberproovid olid seotud nii koolitusega kui ka testimisega (andmete lekkimine). Kaevude kaupa jagades langes täpsus 71% -ni - see oli tõeline üldistus. Leke muutis mudeli paremaks, kui see tegelikult oli.
Juhtum 2 – liiga enesekindel mudel. Üks veadetektor andis oma märkidele "95% kindlustunde". Usaldusväärsuse diagramm näitas, et "95%" märgid olid tegelikult 70% täpsed. Kui mudel oli kalibreeritud, muutusid usaldusskoorid realistlikuks ja kommentaatorid kohandasid õigesti, kui palju nad iga märki usaldavad.
Juhtum 3 – habras ümberpööramine. Gravitatsioonimudel nägi väga veenev välja. Tundlikkusanalüüs näitas, et põhistruktuur kadus, kui regulatsioonikaal muutus 20%: struktuur ei tulnud andmetest, vaid parameetrite valikust. Meeskond märkis struktuuri kui "madala usaldusväärsuse" ja taotles täiendavaid andmeid.
Neli kopeeritavat malli
1) Määramatuse mõõtmise plaan:
Teie roll: geofüüsikalise määramatuse konsultant. Mul on [inversioon / klassifikatsioon / ennustus] tulemus. Milliseid meetodeid (ansambel, tundlikkus, ristvalideerimine, pimetest) kasutan määramatuse mõõtmiseks ja millises järjekorras? Selgitage, mida igaüks mulle ütleb ja kuidas tulemustest teatada.
2) Kalibreerimise kontroll:
Minu tehisintellekti mudel annab usalduse/tõenäosuse skoori. Kuidas kontrollida, kas see skoor on kalibreeritud? Kuidas koostada usaldusväärsuse diagrammi, tuvastada "liigne enesekindlus" või "ülevaatus" ja viia tulemus vastavusse tegeliku tulemuse määraga?
3) Andmelekke audit:
Koolitasin geofüüsikalist klassifikaatorit. Kuidas leida ja ennetada andmete lekke ohtu (sama kaevu/välja proovid sisenevad nii koolitusele kui ka testimisele)? Kuidas seadistada eraldamist kaevu/põllu järgi? Kuidas ma tean, kas teatatud täpsus peegeldab tõelist üldistust?
4) Hapruse testimise tulemused:
Mul on inversiooni/mudeli tulemus. Ma tahan mõista, kui habras see tulemus on. Milliseid parameetreid muutes ja kui palju muutub põhistruktuur? Kuidas teha vahet, kas struktuur pärineb andmetest või parameetritest/eeldusest? Andke tundlikkuse protokoll.
Nõrk viip / Tugev viip
Nõrk viip:
Vaadake, kas mu mudelil on suur täpsus.
Üks tõenumber; leke peidab kalibreerimist ja üldistamist, andes vale kindlustunde.
Võimas viip:
Sinu roll: mudeli valideerimise ekspert. Sisend: [klassifikaator genereerib N hästi, usaldusskoorid]. Ülesanne: (1) teha ettepanek andmelekke vastu hästi põhinevaks jaotamiseks; (2) paigaldama pimekaevude testimise; (3) kalibreerida usaldusskoori usaldusväärsuse diagrammiga; (4) testige, kui tundlik on tulemus parameetri suhtes. Taandamine ühe tõenumbrini; Eraldi teatage üldistus, kalibreerimine ja nõrkus.
Leke, pimetestimine, kalibreerimine ja tundlikkuse päring muudavad kontrollimise ausaks.
Ebakindluse tööriistad
sõidukit
Mida see mõõdab?
Peamine risk
väljund
ansambel
Mudeli levitamine
Konto kulu
Vahemik/jaotus
Tundlikkus
Parameetri efekt
Sisend vastamata
Haprus
ristvalideerimine
üldistus
andmete lekkimine
realistlik täpsus
pime test
iseseisev edu
Ebapiisav testikomplekt
usaldada
Kalibreerimine
usalda reaalsust
liigne enesekindlus
joondatud tõenäosus
Levinud vead
- Andmeleket ei märka. See õhutab õiglust õhku; Eraldada kaevu/põllu järgi.
- Usaldusskoori kasutamine ilma seda kalibreerimata. "90%" ei pruugi tegelikult olla 90%.
- Tuginedes ühele tõenumbrile. Üldistamine ja kalibreerimine on kaks erinevat asja.
- Haavatavust ei testita. Parameetriga kaotatud struktuur ei ole tegelik teave.
- Ei teata ebakindlusest. Tulemuse esitamine ilma usaldusvahemikuta on eksitav.
Kokkuvõttes
Määramatus on geofüüsika väljajuurimatu fakt; töö on seda mõõta, edastada ja kitsendada. AI hõlbustab seda ansambli, tundlikkuse ja tõenäosusliku väljundiga, kuid võib seda ka maskeerida ühe kindla vastusega. Tugev raam; andmete lekke vältimine, üldistuse mõõtmine pimetestiga, usaldusskoori kalibreerimine ja tulemuse hapruse testimine. Kalibreerimata usaldus, kontrollimata tõepärasus ja varjatud ebakindlus on kolm kõige ohtlikumat illusiooni. Usaldusväärne geofüüsika on geofüüsika, mis näitab ausalt oma ebakindlust.
Rakenduse ülesanne
Valige tehisintellekti geofüüsikaline tulemus (klassifikatsioon, inversioon või ennustus). Planeerige ansambli / tundlikkuse / pimetesti sammud malliga "Määramatusmõõtmise plaan". Seejärel testige oma rongitesti eristust malliga „Andmelekete audit”. Kui mudel annab usaldusskoori, hinnake malliga "Kalibreerimise kontroll", kas tulemus on realistlik, ja kirjutage oma tulemus usaldusvahemikuga.
kontrollnimekiri
- [ ] Mõõtsin määramatust ansambli/tundlikkusega.
- [ ] Andmelekkeid hoidsin ära, eraldades need kaevu/välja alusel.
- [ ] Testisin üldistamist pimetestiga.
- [ ] Kalibreerisin usaldusskoori ja kontrollisin selle realistlikkust.
- [ ] Esitasin tulemuse usaldusvahemikuga, mitte ühe väärtusega.