Nesigurnost modela, validacija i kalibracija

Dobici:

• Sposobnost mjerenja i izvješćivanja o nesigurnosti s ansamblom, analizom osjetljivosti, unakrsnom provjerom valjanosti i slijepim testiranjem
• Sposobnost sprječavanja curenja podataka njihovim odvajanjem na osnovi bunar/polje i osiguravanje da prijavljena točnost odražava istinsku generalizaciju.
• Sposobnost kalibriranja rezultata povjerenja umjetne inteligencije s dijagramom pouzdanosti i primjene discipline nekorištenja nekalibriranog rezultata kao vjerojatnosti

Postoji tema koja se ponavlja u svakoj jedinici ovog modula: u geofizici ne postoje "sigurni odgovori", samo modeli ograničeni nesigurnošću. Ova jedinica tu temu pretvara u disciplinu. Nesigurnost modela je postojanje različitih podzemnih modela koji mogu objasniti iste podatke, a svaki model nosi interval pouzdanosti. Validacija je testiranje s neovisnim dokazima jesu li model ili AI izlaz stvarno valjani. Kalibracijom se osigurava da vrijednosti pouzdanosti/vjerojatnosti koje daje model odgovaraju stvarnim rezultatima. U ovoj jedinici ćemo ispitati kako umjetna inteligencija (AI) može i mjeriti i sakriti neizvjesnost; i vidjet ćemo zašto čvrst okvir verifikacije-kalibracije čini AI pouzdanom.

Izvori neizvjesnosti

Geofizička nesigurnost dolazi iz nekoliko slojeva:

• Nesigurnost podataka: Šum mjerenja, ograničena pokrivenost, pogreška kalibracije.
• Nesigurnost modela (polisemija): uklapanje više od jedne podpovršinske strukture u iste podatke.
• Nesigurnost metode/parametra: izbori obrade, inverzije i regularizacije mijenjaju ishod.
• Nesigurnost specifična za AI: Sposobnost modela da ostane samouvjeren, ali ne uspije kada izađe iz distribucije obuke (distribucijski pomak).

Posao dobrog geofizičara nije eliminirati tu nesigurnost, već je mjeriti, komunicirati i suziti. AI to može učiniti lakim (generirajući više scenarija), ali to može i lako sakriti davanjem jednog pouzdanog odgovora.

Načini mjerenja nesigurnosti

Nekoliko praktičnih alata:

1. Ansambl: više puta s različitim startovima, parametrima ili modelima; Širenje rezultata daje neizvjesnost.
2. Analiza osjetljivosti: Mijenjanje ulaza (parametra, podskupa podataka) i gledanje koliko se rezultat mijenja.
3. Unakrsna provjera valjanosti: Dijeljenje podataka u dijelove, obuka s jednim dijelom i testiranje s drugim; Mjeri snagu generalizacije.
4. Slijepi test: Testiranje modela s neovisnom bušotinom/poljem koje nikada nije vidio u obuci.
5. Probabilistički izlaz: pružanje rezultata kao distribucije/intervala pouzdanosti, a ne jedne vrijednosti.

Savjet: Kada AI ​​da rezultat, uvijek pitajte: "Što i koliko trebam pomaknuti u unosu da bih promijenio ovaj rezultat?" Ako se rezultat poništi s malom promjenom parametra, taj je rezultat krhak i neizvjesnost je velika.

Kalibracija: vrijedi li rezultat pouzdanosti?

AI modeli često daju pouzdanost/vjerojatnost ("90% greške"). Ali ovaj broj dovodi u zabludu ako nije kalibriran: model je zapravo u pravu u možda 60% slučajeva za koje kaže da su "90%". Kalibracija služi za usklađivanje ovog broja sa stvarnom stopom rezultata. U praksi se crta dijagram pouzdanosti: dobro kalibriran model je stvarno 90% u pravu kada kaže "90%". U geofizici je bitno kalibrirati rezultat pouzdanosti umjetne inteligencije s neovisnim podacima prije nego što to postane osnova za odluku.

Oprez: Visoka točnost nije isto što i dobra kalibracija. Model može biti općenito točan, ali previše samouvjeren; Važna stvar kod kritičnih odluka je da je doista pouzdano kada kaže "95%". Nemojte nekalibrirani rezultat pouzdanosti smatrati vjerojatnošću.

Zlatna pravila verifikacije

Za robusnu provjeru: (1) Neovisnost — testni podaci uopće ne bi trebali ometati proces obuke/ugađanja (curenje podataka — povećava rezultat). (2) Slijepi test — polje/bušotina koju model ne vidi. (3) Fizička dosljednost — rezultat ne bi trebao proturječiti fizici i geologiji. (4) Ponovljivost — isti rezultat s istim unosom, a može ga proizvesti netko drugi. (5) Dokumentacija — evidencija o tome koji su podaci, koji parametar, koja verzija modela korištena.

tri mini kućišta

Slučaj 1 — Pogreška curenja podataka. Jedan tim je izvijestio da je klasifikator facijesa dao 94% točnosti. Istraživanje je pokazalo da su susjedni uzorci iz iste bušotine bili uključeni i u obuku i u testiranje (curenje podataka). Kada se analizira po bušotinama, točnost je pala na 71% — to je bila prava generalizacija. Zbog curenja je model izgledao bolje nego što je zapravo bio.

Slučaj 2 — Pretjerano samouvjeren model. Jedan detektor grešaka dao je "95% povjerenja" u svoje znakove. Dijagram pouzdanosti pokazao je da su oznake "95%" bile zapravo 70% točne. Nakon što je model kalibriran, rezultati pouzdanosti postali su realni i komentatori su ispravno prilagodili koliko će vjerovati svakom znaku.

Slučaj 3 — Krhka inverzija. Gravitacijski model izgledao je vrlo uvjerljivo. Analiza osjetljivosti pokazala je da je glavna struktura nestala kada se težina regulacije promijenila za 20%: struktura nije proizašla iz podataka, već iz odabira parametra. Tim je označio strukturu kao "nisku pouzdanost" i zatražio dodatne podatke.

Četiri predloška za kopiranje

1) Plan mjerenja nesigurnosti:

Vaša uloga: konzultant za geofizičku nesigurnost. Imam rezultat [inverzije/klasifikacije/predviđanja]. Koje metode (zbir, osjetljivost, unakrsna validacija, slijepo testiranje) trebam primijeniti za mjerenje nesigurnosti i kojim redoslijedom? Objasnite što mi svaki govori i kako prijaviti rezultat.

2) Provjera kalibracije:

Moj AI model daje ocjenu pouzdanosti/vjerojatnosti. Kako mogu provjeriti je li rezultat kalibriran? Kako mogu konstruirati dijagram pouzdanosti, prepoznati "pretjerano samopouzdanje" ili "preopreznost" i uskladiti rezultat sa stvarnom stopom ishoda?

3) Revizija curenja podataka:

Istrenirao sam geofizičkog klasifikatora. Kako mogu pronaći i spriječiti rizik od curenja podataka (isti uzorci iz bunara/polja ulaze i u obuku i u testiranje)? Kako mogu postaviti razdvajanje po bušotini/polju? Kako mogu znati odražava li prijavljena točnost istinsku generalizaciju?

4) Ispitivanje krhkosti rezultata:

Imam rezultat inverzije/modela. Želim razumjeti koliko je ovaj rezultat krhak. Promjenom kojih parametara i koliko se mijenja glavna struktura? Kako mogu razlikovati dolazi li struktura od podataka ili parametara/premise? Navedite protokol osjetljivosti.

Slab upit / Jak upit

Slab upit:

Provjerite ima li moj model visoku točnost.

Jedan broj istine; curenje skriva kalibraciju i generalizaciju, dajući lažno povjerenje.

Snažan upit:

Vaša uloga: stručnjak za validaciju modela. Unos: [klasifikator generira N dobro, rezultati pouzdanosti]. Zadatak: (1) predložiti dobro utemeljenu raspodjelu protiv curenja podataka; (2) instalirati ispitivanje slijepe bušotine; (3) kalibrirati ocjenu pouzdanosti s dijagramom pouzdanosti; (4) ispitati koliko je rezultat osjetljiv na parametar. Svođenje na jedan istinosni broj; Odvojeno navedite generalizaciju, kalibraciju i krhkost.

Propuštanje, slijepo testiranje, kalibracija i zahtjev za osjetljivošću čine provjeru poštenom.

Alati nesigurnosti

vozilo

Što mjeri?

Glavni rizik

izlaz

ansambl

Širenje modela

Trošak računa

Raspon/distribucija

Osjetljivost

Učinak parametra

Propušteni unos

Krhkost

unakrsna provjera valjanosti

generalizacija

curenje podataka

realna točnost

slijepi test

samostalni uspjeh

Nedovoljan skup testova

povjerenje

Kalibracija

vjeruj stvarnosti

pretjerano samopouzdanje

usklađena vjerojatnost

Uobičajene greške

• Ne primjećuje curenje podataka. Napuhuje pravednost; Odvojeno bunar/njiva.
• Korištenje rezultata pouzdanosti bez njegove kalibracije. “90%” možda zapravo i nije 90%.
• Oslanjanje na jedini broj istine. Generalizacija i kalibracija dvije su različite stvari.
• Ne testira ranjivost. Struktura koju je izgubio parametar nije prava informacija.
• Bez izvješćivanja o neizvjesnosti. Predstavljanje rezultata bez intervala pouzdanosti dovodi u zabludu.

Ukratko

Neizvjesnost je neiskorijenjiva činjenica geofizike; posao je to izmjeriti, komunicirati i suziti. AI to olakšava skupom, osjetljivošću i probabilističkim izlazom, ali ga također može prikriti jednim pouzdanim odgovorom. Čvrst okvir; sprječavanje curenja podataka, mjerenje generalizacije slijepim testiranjem, kalibriranje rezultata pouzdanosti i testiranje krhkosti rezultata. Nekalibrirano povjerenje, neprovjerena istinitost i prikrivena neizvjesnost tri su najopasnije iluzije. Pouzdana geofizika je ona geofizika koja iskreno pokazuje svoju nesigurnost.

Zadatak aplikacije

Odaberite AI geofizički rezultat (klasifikacija, inverzija ili predviđanje). Planirajte korake ansambla/osjetljivosti/slijepog ispitivanja s predloškom "Plan mjerenja nesigurnosti". Zatim testirajte svoju razliku između testiranja vlaka pomoću predloška "Revizija curenja podataka". Ako model daje rezultat pouzdanosti, procijenite je li rezultat realan pomoću predloška "Provjera kalibracije" i zapišite svoj rezultat s intervalom pouzdanosti.

popis za provjeru

• [ ] Nesigurnost sam mjerio s ansambl/osjetljivost.
• [ ] Spriječio sam curenje podataka tako što sam ih odvojio na osnovi bušotine/polja.
• [ ] Testirao sam generalizaciju slijepim testom.
• [ ] Kalibrirao sam rezultat pouzdanosti i provjerio njegovu realističnost.
• [ ] Prijavio sam rezultat s intervalom pouzdanosti, ne s jednom vrijednošću.