Fitimet:
- Aftësia për të matur dhe raportuar pasigurinë me ansambël, analizën e ndjeshmërisë, verifikimin e kryqëzuar dhe testimin e verbër
- Aftësia për të parandaluar rrjedhjen e të dhënave duke i ndarë ato në një bazë pusi/fushe dhe për të siguruar që saktësia e raportuar pasqyron përgjithësimin e vërtetë.
- Aftësia për të kalibruar rezultatin e besimit të inteligjencës artificiale me diagramin e besueshmërisë dhe për të zbatuar disiplinën e mospërdorimit të një rezultati të pakalibruar si probabilitet
Ekziston një temë e përsëritur në çdo njësi të këtij moduli: nuk ka "përgjigje të sigurta" në gjeofizikë, vetëm modele të kufizuara nga pasiguria. Kjo njësi e kthen atë temë në një disiplinë. Pasiguria e modelit është ekzistenca e modeleve të ndryshme nëntokësore që mund të shpjegojnë të njëjtat të dhëna dhe secili model mbart një interval besimi. Validimi është testimi me prova të pavarura nëse një model ose prodhim i AI është me të vërtetë i vlefshëm. Kalibrimi është të sigurojë që vlerat e besimit/probabilitetit të dhëna nga një model të përputhen me rezultatet aktuale. Në këtë njësi, ne do të shqyrtojmë se si inteligjenca artificiale (AI) mund të matë dhe të fshehë pasigurinë; dhe do të shohim pse një kornizë solide verifikimi-kalibrimi e bën AI të besueshme.
Burimet e pasigurisë
Pasiguria gjeofizike vjen nga disa shtresa:
- Pasiguria e të dhënave: Zhurma e matjes, mbulimi i kufizuar, gabimi i kalibrimit.
- Pasiguria e modelit (polisemia): Përshtatja e më shumë se një strukture nëntokësore me të njëjtat të dhëna.
- Pasiguria e metodës/parametrit: Zgjedhjet e përpunimit, përmbysjes dhe rregullimit ndryshojnë rezultatin.
- Pasiguria specifike për AI: Aftësia e modelit për të qëndruar të sigurt, por të dështuar kur lëviz jashtë shpërndarjes së trajnimit (ndërrimi i shpërndarjes).
Detyra e një gjeofizikani të mirë nuk është të eliminojë këtë pasiguri, por ta masë, komunikojë dhe ngushtojë atë. AI mund ta bëjë këtë të lehtë (duke gjeneruar skenarë të shumtë), por gjithashtu mund ta fshehë lehtësisht duke prodhuar një përgjigje të vetme të sigurt.
Mënyrat për të matur pasigurinë
Disa mjete praktike:
- Ansambli: Ekzekutime të shumta me fillime, parametra ose modele të ndryshme; Përhapja e rezultateve jep pasiguri.
- Analiza e ndjeshmërisë: Ndryshimi i një hyrjeje (parametri, nëngrupi i të dhënave) dhe shikimi se sa ndryshon rezultati.
- Verifikimi i kryqëzuar: Ndarja e të dhënave në pjesë, trajnimi me njërën pjesë dhe testimi me tjetrin; Mat fuqinë e përgjithësimit.
- Test i verbër: Testimi i modelit me një pus/fushë të pavarur që nuk e ka parë kurrë në trajnim.
- Prodhimi probabilistik: Sigurimi i rezultatit si një interval shpërndarjeje/besimi, jo një vlerë të vetme.
Këshillë: Kur AI jep një rezultat, gjithmonë pyesni: "Çfarë dhe sa duhet të lëviz në hyrje për të ndryshuar këtë rezultat?" Nëse rezultati ndryshon me një ndryshim të vogël parametri, ai rezultat është i brishtë dhe pasiguria është e lartë.
Kalibrimi: a qëndron i vërtetë rezultati i besimit?
Modelet e AI shpesh japin një besim/probabilitet (“90% faj”). Por ky numër është mashtrues nëse nuk është i kalibruar: modeli në fakt ka të drejtë në ndoshta 60% të rasteve që thotë se janë "90%". Kalibrimi është për të lidhur këtë numër me normën aktuale të rezultatit. Në praktikë, vizatohet një diagram besueshmërie: një model i kalibruar mirë ka vërtet 90% të drejtë kur thotë "90%". Në gjeofizikë, është thelbësore të kalibroni rezultatin e besimit të AI me të dhëna të pavarura përpara se ta bëni atë bazë për një vendim.
Kujdes: Saktësia e lartë nuk është e njëjtë me kalibrimin e mirë. Një model mund të jetë përgjithësisht i saktë, por me vetëbesim të tepruar; Gjëja e rëndësishme në vendimet kritike është se është vërtet e besueshme kur thotë "95%". Mos e trajtoni si probabilitet një rezultat besimi të pakalibruar.
Rregullat e arta të verifikimit
Për verifikim të fortë: (1) Pavarësia - të dhënat e testit nuk duhet të ndërhyjnë fare me procesin e trajnimit/akordimit (rrjedhja e të dhënave - fryn rezultatin). (2) Test i verbër - fushë/pus që modeli nuk e sheh. (3) Konsistenca fizike - rezultati nuk duhet të kundërshtojë fizikën dhe gjeologjinë. (4) Riprodhueshmëria - i njëjti rezultat me të njëjtin input dhe mund të prodhohet nga dikush tjetër. (5) Dokumentacioni - regjistrimi i çfarë të dhënave, cili parametër, cili version model është përdorur.
tre mini kuti
Rasti 1 - Gabimi i rrjedhjes së të dhënave. Një ekip raportoi se klasifikuesi i facies dha saktësi 94%. Hetimi tregoi se mostrat fqinje nga i njëjti pus u përfshinë si në trajnim ashtu edhe në testim (rrjedhje e të dhënave). Kur zbërthehet me pus, saktësia ra në 71% - ky ishte përgjithësimi i vërtetë. Rrjedhja e bëri modelin të dukej më mirë se sa ishte në të vërtetë.
Rasti 2 - Modeli me vetëbesim të tepruar. Një detektor defekti dha "95% besim" në shenjat e tij. Diagrami i besueshmërisë tregoi se shenjat "95%" ishin në fakt 70% të sakta. Pasi modeli u kalibruar, rezultatet e besimit u bënë realiste dhe komentuesit rregulluan saktë se sa do t'i besonin secilës shenjë.
Rasti 3 - Përmbysja e brishtë. Një model i gravitetit dukej shumë bindës. Analiza e ndjeshmërisë tregoi se struktura kryesore u zhduk kur pesha e rregullimit ndryshoi me 20%: struktura nuk erdhi nga të dhënat, por nga përzgjedhja e parametrave. Ekipi e shënoi strukturën si "besim të ulët" dhe kërkoi të dhëna shtesë.
Katër shabllone të kopjueshëm
1) Plani i matjes së pasigurisë:
Roli juaj: konsulent i pasigurisë gjeofizike. Unë kam një rezultat [inversioni / klasifikimi / parashikimi]. Cilat metoda (ansambli, ndjeshmëria, verifikimi i kryqëzuar, më i verbër) duhet të aplikoj për të matur pasigurinë dhe në çfarë rendi? Shpjegoni se çfarë më thotë secili dhe si të raportoj rezultatin.
2) Kontrolli i kalibrimit:
Modeli im i AI jep një rezultat besimi/probabiliteti. Si mund të testoj nëse ky rezultat është i kalibruar? Si mund të ndërtoj një diagram besueshmërie, të njoh "besimin e tepërt" ose "mbikujdesin" dhe të përafroj rezultatin me normën aktuale të rezultatit?
3) Auditimi i rrjedhjes së të dhënave:
Kam trajnuar një klasifikues gjeofizik. Si mund të gjej dhe të parandaloj rrezikun e rrjedhjes së të dhënave (të njëjtat mostra pusi/fushe hyjnë si në trajnim ashtu edhe në testim)? Si mund ta vendos ndarjen sipas pusit/fushës? Si mund ta di nëse saktësia e raportuar pasqyron përgjithësimin e vërtetë?
4) Rezultatet e testimit të brishtësisë:
Unë kam një rezultat përmbysje/model. Dua të kuptoj se sa i brishtë është ky rezultat. Duke ndryshuar cilët parametra dhe sa ndryshon struktura kryesore? Si mund të dalloj nëse struktura vjen nga të dhënat apo parametrat/premisat? Jepni një protokoll ndjeshmërie.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Shihni nëse modeli im ka saktësi të lartë.
Një numër i vetëm i së vërtetës; rrjedhja fsheh kalibrimin dhe përgjithësimin, duke dhënë besim të rremë.
Njoftim i fuqishëm:
Roli juaj: ekspert i vërtetimit të modelit. Input: [klasifikuesi gjeneron mirë N, rezultatet e besimit]. Detyra: (1) të propozojë alokim të bazuar mirë kundër rrjedhjes së të dhënave; (2) instaloni testimin e pusit të verbër; (3) kalibroni rezultatin e besimit me diagramin e besueshmërisë; (4) testoni se sa i ndjeshëm është rezultati ndaj parametrit. Reduktimi në një numër të vetëm të së vërtetës; Raportoni përgjithësimin, kalibrimin dhe brishtësinë veçmas.
Rrjedhja, testimi i verbër, kërkesa për kalibrim dhe ndjeshmëri e bëjnë verifikimin të ndershëm.
Mjetet e pasigurisë
automjeti
Çfarë mat?
Rreziku kryesor
prodhimit
ansambël
Përhapja e modelit
Kostoja e llogarisë
Gama/shpërndarja
Ndjeshmëria
Efekti i parametrit
Hyrja e humbur
Brishtësia
vlefshmëria e kryqëzuar
përgjithësim
rrjedhje e të dhënave
saktësi realiste
test i verbër
sukses i pavarur
Set i pamjaftueshëm i testimit
besimin
Kalibrimi
besoni realitetin
besimi i tepërt
probabiliteti i përafruar
Gabimet e zakonshme
- Duke mos vënë re rrjedhje të të dhënave. Ajo fryn drejtësinë; Të ndara sipas pusit/fushës.
- Përdorimi i rezultatit të besimit pa e kalibruar atë. "90%" mund të mos jetë në të vërtetë 90%.
- Duke u mbështetur në numrin e vetëm të së vërtetës. Përgjithësimi dhe kalibrimi janë dy gjëra të ndryshme.
- Mos testimi i cenueshmërisë. Struktura e humbur nga parametri nuk është informacion real.
- Mos raportimi i pasigurisë. Paraqitja e rezultatit pa një interval besimi është mashtruese.
Në përmbledhje
Pasiguria është fakti i pashmangshëm i gjeofizikës; puna është ta matësh, ta komunikosh dhe ta ngushtosh. AI e lehtëson këtë me ansambël, ndjeshmëri dhe rezultat probabilistik, por gjithashtu mund ta maskojë atë me një përgjigje të vetme të sigurt. Një kornizë e fortë; parandalimi i rrjedhjes së të dhënave, matja e përgjithësimit me testim të verbër, kalibrimi i rezultatit të besimit dhe testimi i brishtësisë së rezultatit. Besimi i pakalibruar, vërtetësia e paverifikuar dhe pasiguria e fshehur janë tre iluzionet më të rrezikshme. Gjeofizika e besueshme është gjeofizika që tregon sinqerisht pasigurinë e saj.
Detyra e aplikimit
Zgjidhni një rezultat gjeofizik të AI (klasifikimi, përmbysja ose parashikimi). Planifikoni hapat e testimit të ansamblit/ndjeshmërisë/verbër me shabllonin "Plani i matjes së pasigurisë". Pastaj testoni dallimin tuaj të testit tren me shabllonin "Auditimi i rrjedhjes së të dhënave". Nëse modeli jep një pikë besimi, vlerësoni nëse rezultati është real me shabllonin "Kontrolli i kalibrimit" dhe shkruani rezultatin tuaj me një interval besimi.
listë kontrolli
- [ ] E kam matur pasigurinë me ansambël/ndjeshmëri.
- [ ] Unë parandalova rrjedhjen e të dhënave duke i ndarë ato në një bazë pusi/fushe.
- [ ] Kam testuar përgjithësimin me një test të verbër.
- [ ] Kam kalibruar rezultatin e besimit dhe kontrollova realizmin e tij.
- [ ] Unë raportova rezultatin me një interval besimi, jo me një vlerë të vetme.