Mallin epävarmuus, validointi ja kalibrointi

Voitot:

• Kyky mitata ja raportoida epävarmuutta kokonaisuuden, herkkyysanalyysin, ristiinvalidoinnin ja sokkotestauksen avulla
• Kyky estää tietovuodot erottamalla ne kaivo/kenttä perusteella ja varmistaa, että raportoitu tarkkuus heijastaa todellista yleistystä.
• Kyky kalibroida tekoälyn luottamuspisteet luotettavuuskaavion avulla ja soveltaa kurinalaisuutta olla käyttämättä kalibroimatonta pistemäärää todennäköisyytenä

Tämän moduulin jokaisessa yksikössä on toistuva teema: geofysiikassa ei ole "varmoja vastauksia", vain malleja, joita rajoittaa epävarmuus. Tämä yksikkö muuttaa tämän teeman kurinalaiseksi. Mallin epävarmuus on erilaisten maanalaisten mallien olemassaolo, jotka voivat selittää saman datan ja jokaisella mallilla on luottamusväli. Validointi on testaamista riippumattomilla todisteilla, onko malli tai tekoälytulos todella kelvollinen. Kalibroinnin tarkoituksena on varmistaa, että mallin antamat luottamus/todennäköisyysarvot vastaavat todellisia tuloksia. Tässä osiossa tutkimme, kuinka tekoäly (AI) voi sekä mitata että piilottaa epävarmuutta; ja näemme, miksi vankka varmennus-kalibrointikehys tekee tekoälystä luotettavan.

Epävarmuuden lähteet

Geofysiikan epävarmuus tulee useista kerroksista:

• Tietojen epävarmuus: Mittauskohina, rajoitettu kattavuus, kalibrointivirhe.
• Mallin epävarmuus (polysemia): Useamman kuin yhden maanalaisen rakenteen sovittaminen samaan dataan.
• Menetelmän/parametrin epävarmuus: Käsittely-, inversio- ja regularisointivalinnat muuttavat tulosta.
• Tekoälyyn liittyvä epävarmuus: Mallin kyky pysyä luottavaisena, mutta epäonnistuu, kun se siirtyy harjoitusjakauman ulkopuolelle (jakauman muutos).

Hyvän geofyysikon tehtävänä ei ole poistaa tätä epävarmuutta, vaan mitata, kommunikoida ja kaventaa sitä. Tekoäly voi tehdä tämän helpoksi (luomalla useita skenaarioita), mutta voi myös helposti piilottaa sen tuottamalla yhden varman vastauksen.

Tapoja mitata epävarmuutta

Muutamia käytännön työkaluja:

1. Ensemble: Useita ajoja eri käynnistyksillä, parametreilla tai malleilla; Tulosten leviäminen tuo epävarmuutta.
2. Herkkyysanalyysi: syötteen (parametrin, tietojen osajoukon) muuttaminen ja tuloksen muuttumisen näkeminen.
3. Ristiinvalidointi: tietojen jakaminen osiin, harjoitus yhdellä osalla ja testaus toisella; Mittaa yleistysvoimaa.
4. Sokkotesti: Mallin testaus itsenäisellä kaivolla/pellolla, jota se ei ole koskaan nähnyt harjoituksissa.
5. Todennäköisyyslaskenta: Tuloksen antaminen jakauman/luottamusvälin, ei yksittäisen arvon, muodossa.

Vinkki: Kun tekoäly antaa tuloksen, kysy aina: "Mitä ja kuinka paljon minun täytyy siirtää syötteessä muuttaakseni tätä tulosta?" Jos tulos kääntyy pienellä parametrimuutoksella, tulos on hauras ja epävarmuus on suuri.

Kalibrointi: pitääkö luottamuspiste paikkansa?

Tekoälymallit antavat usein luotettavuuden/todennäköisyyden ("90 % vika"). Mutta tämä luku on harhaanjohtava, jos sitä ei ole kalibroitu: malli on itse asiassa oikeassa ehkä 60 %:ssa tapauksista, joissa se sanoo olevan "90%. Kalibroinnin tarkoituksena on kohdistaa tämä luku todelliseen tulosprosenttiin. Käytännössä piirretään luotettavuuskaavio: hyvin kalibroitu malli on todellakin 90 % oikeassa, kun se sanoo "90 %". Geofysiikassa on olennaista kalibroida tekoälyn luottamuspisteet riippumattomilla tiedoilla ennen päätöksen tekemistä.

Varoitus: Suuri tarkkuus ei ole sama asia kuin hyvä kalibrointi. Malli voi olla yleensä tarkka, mutta liian itsevarma; Tärkeää kriittisissä päätöksissä on, että se on todella luotettava, kun se sanoo "95%. Älä pidä kalibroimatonta luottamuspistettä todennäköisyytenä.

Todentamisen kultaiset säännöt

Luotettavaa todentamista varten: (1) Riippumattomuus – testitietojen ei pitäisi häiritä koulutus-/säätöprosessia ollenkaan (tietovuoto – paisuttaa tulosta). (2) Sokkotesti — kenttä/kaivo, jota malli ei näe. (3) Fysikaalinen johdonmukaisuus – tulos ei saa olla ristiriidassa fysiikan ja geologian kanssa. (4) Uusittavuus — sama tulos samalla syötteellä, ja joku muu voi tuottaa sen. (5) Dokumentaatio — tietue siitä, mitä tietoja, mitä parametreja ja mitä malliversiota käytettiin.

kolme minilaukkua

Tapaus 1 – Tietovuotovirhe. Eräs ryhmä ilmoitti, että facies-luokitin tuotti 94 prosentin tarkkuuden. Tutkimus osoitti, että samasta kaivosta viereiset näytteet osallistuivat sekä koulutukseen että testaukseen (tietovuoto). Kaivon mukaan eriteltynä tarkkuus putosi 71 prosenttiin - se oli todellinen yleistys. Vuoto sai mallin näyttämään paremmalta kuin se todellisuudessa oli.

Tapaus 2 – Liian itsevarma malli. Yksi vianilmaisin antoi "95% luotettavuuden" merkkeihinsä. Luotettavuuskaavio osoitti, että "95%"-merkit olivat itse asiassa 70% tarkkoja. Kun malli oli kalibroitu, luottamuspisteet muuttuivat realistisiksi ja kommentoijat säätelivät oikein, kuinka paljon he luottaisivat kuhunkin merkkiin.

Tapaus 3 – Hauras inversio. Painovoimamalli näytti erittäin vakuuttavalta. Herkkyysanalyysi osoitti, että päärakenne katosi, kun regularisointipaino muuttui 20 %: rakenne ei tullut tiedoista, vaan parametrien valinnasta. Tiimi merkitsi rakenteen "alhaiseksi luotettaviksi" ja pyysi lisätietoja.

Neljä kopioitavaa mallia

1) Epävarmuuden mittaussuunnitelma:

Tehtäväsi: geofysiikan epävarmuuskonsultti. Minulla on [inversio / luokitus / ennustus] tulos. Mitä menetelmiä (ensemble, herkkyys, ristiinvalidointi, sokkotesti) käytän epävarmuuden mittaamiseen ja missä järjestyksessä? Selitä, mitä kukin kertoo minulle ja kuinka raportoida tuloksesta.

2) Kalibroinnin tarkistus:

Tekoälymallini antaa luottamus/todennäköisyyspisteen. Kuinka testaan, onko tämä pistemäärä kalibroitu? Miten luon luotettavuuskaavion, tunnistan "ylivarmuuden" tai "ylivarovaisuuden" ja kohdistan pisteet todelliseen tulosprosenttiin?

3) Tietovuodon tarkastus:

Koulutin geofysikaalisen luokittelijan. Miten löydän ja estän tietovuotojen riskin (samat kaivo-/kenttänäytteet tulevat sekä koulutukseen että testaukseen)? Kuinka määritän erottelun kaivon/pellon mukaan? Mistä tiedän, vastaako raportoitu tarkkuus todellista yleistystä?

4) Tulosten herkkyystesti:

Minulla on inversio/mallitulos. Haluan ymmärtää, kuinka hauras tämä tulos on. Mitä parametreja muuttamalla ja kuinka paljon päärakenne muuttuu? Miten voin erottaa, tuleeko rakenne tiedoista vai parametreista/oletuksesta? Anna herkkyysprotokolla.

Heikko kehote / Vahva kehote

Heikko kehote:

Katso, onko mallillani suuri tarkkuus.

Yksi totuusnumero; vuoto piilottaa kalibroinnin ja yleistyksen, mikä antaa väärää luottamusta.

Tehokas kehotus:

Sinun roolisi: mallin validointiasiantuntija. Syöte: [luokitin tuottaa N hyvin, luottamuspisteet]. Tehtävä: (1) ehdottaa hyvin perustettua allokointia tietovuotoja vastaan; (2) asentaa sokkokaivon testaus; (3) kalibroi luottamuspisteet luotettavuuskaaviolla; (4) testaa, kuinka herkkä tulos on parametrille. Pelkistys yhdeksi totuusluvuksi; Raportoi yleistys, kalibrointi ja hauraus erikseen.

Vuoto, sokkotestaus, kalibrointi ja herkkyyspyyntö tekevät tarkastuksesta rehellisen.

Epävarmuuden työkalut

ajoneuvoa

Mitä se mittaa?

Pääriski

ulostulo

yhtye

Mallin leviäminen

Tilin hinta

Alue/jakauma

Herkkyys

Parametrivaikutus

Syöte puuttui

Hauraus

ristiin validointi

yleistäminen

tietovuoto

realistinen tarkkuus

sokea testi

itsenäistä menestystä

Riittämätön testisarja

luottaa

Kalibrointi

luottaa todellisuuteen

yliluottamusta

tasattu todennäköisyys

Yleisiä virheitä

• Tietovuotoa ei huomaa. Se paisuttaa vanhurskauden; Erottele kaivon/pellon mukaan.
• Luottamuspisteiden käyttäminen kalibroimatta sitä. "90%" ei välttämättä ole 90%.
• Luotetaan yhteen totuusnumeroon. Yleistäminen ja kalibrointi ovat kaksi eri asiaa.
• Ei testata haavoittuvuutta. Parametrin menettämä rakenne ei ole todellista tietoa.
• Ei raportoida epävarmuutta. Tuloksen esittäminen ilman luottamusväliä on harhaanjohtavaa.

Yhteenvetona

Epävarmuus on geofysiikan väistämätön tosiasia; tehtävänä on mitata se, viestiä se ja rajata sitä. Tekoäly helpottaa tätä kokonaisuudella, herkkyydellä ja todennäköisyydellä, mutta voi myös peittää sen yhdellä varmalla vastauksella. Kiinteä runko; tietovuotojen estäminen, yleistyksen mittaaminen sokkotestauksella, luottamuspisteiden kalibrointi ja tuloksen haurauden testaaminen. Kalibroimaton luottamus, todentamaton totuus ja piilotettu epävarmuus ovat kolme vaarallisinta illuusiota. Luotettava geofysiikka on geofysiikka, joka osoittaa rehellisesti sen epävarmuuden.

Sovellustehtävä

Valitse tekoälyn geofyysinen tulos (luokitus, inversio tai ennuste). Suunnittele kokonaisuuden/herkkyyden/sokeiden testausvaiheet "Epävarmuuden mittaussuunnitelma" -mallin avulla. Testaa sitten junatestierottelusi "Data leak audit" -mallilla. Jos malli antaa luottamuspisteen, arvioi "Kalibrointitarkistus" -mallin avulla, onko pistemäärä realistinen, ja kirjoita tuloksesi luottamusvälillä.

tarkistuslista

• [ ] Mittasin epävarmuutta kokonaisuudella/herkkyydellä.
• [ ] Estin tietovuodot erottamalla ne kaivo/kenttä -periaatteella.
• [ ] Testasin yleistystä sokkotestillä.
• [ ] Kalibroin luottamuspisteen ja tarkistin sen realistisuuden.
• [ ] Raportoin tuloksen luottamusvälillä, en yhdellä arvolla.