Nyereség:
- Képesség a bizonytalanság mérésére és jelentésére együttes, érzékenységi elemzés, keresztellenőrzés és vakteszt segítségével
- Képes az adatszivárgás megelőzésére kút/terület alapon történő szétválasztással, és biztosítja, hogy a jelentett pontosság valódi általánosítást tükröz.
- Képes a mesterséges intelligencia megbízhatósági pontszámának kalibrálására a megbízhatósági diagrammal, és alkalmazza azt a fegyelmet, hogy ne használjunk kalibrálatlan pontszámot valószínűségként
Ennek a modulnak minden egységében van egy visszatérő téma: a geofizikában nincsenek "biztos válaszok", csak a bizonytalanság által korlátozott modellek. Ez az egység ezt a témát tudományággá változtatja. A modell bizonytalansága a különböző felszín alatti modellek létezése, amelyek ugyanazokat az adatokat magyarázzák, és mindegyik modellnek van egy konfidenciaintervalluma. Az érvényesítés független bizonyítékokkal való tesztelés, hogy egy modell vagy mesterséges intelligencia kimenet valóban érvényes-e. A kalibrálás célja annak biztosítása, hogy a modell által adott megbízhatósági/valószínűségi értékek megfeleljenek a tényleges eredményeknek. Ebben az egységben azt fogjuk megvizsgálni, hogy a mesterséges intelligencia (AI) hogyan képes mérni és elrejteni a bizonytalanságot; és látni fogjuk, hogy egy szilárd verifikációs-kalibrációs keretrendszer miért teszi megbízhatóvá az AI-t.
A bizonytalanság forrásai
A geofizikai bizonytalanság több rétegből származik:
- Adatok bizonytalansága: Mérési zaj, korlátozott lefedettség, kalibrálási hiba.
- Modellbizonytalanság (poliszémia): Több felszín alatti szerkezet illesztése ugyanarra az adatra.
- Módszer/paraméter bizonytalanság: A feldolgozás, az inverzió és a legalizálási döntések megváltoztatják az eredményt.
- Az AI-ra jellemző bizonytalanság: A modell azon képessége, hogy magabiztos maradjon, de kudarcot vall, amikor a képzési eloszláson kívülre kerül (eloszlási eltolódás).
A jó geofizikusnak nem az a dolga, hogy ezt a bizonytalanságot kiküszöbölje, hanem hogy mérje, kommunikálja és szűkítse. A mesterséges intelligencia ezt megkönnyíti (több forgatókönyv létrehozása), de könnyen el is rejtheti egyetlen magabiztos válasz létrehozásával.
A bizonytalanság mérésének módjai
Néhány praktikus eszköz:
- Ensemble: Több futtatás különböző indításokkal, paraméterekkel vagy modellekkel; Az eredmények terjedése bizonytalanságot ad.
- Érzékenységelemzés: Bemenet (paraméter, adatrészhalmaz) módosítása és annak megtekintése, hogy az eredmény mennyit változik.
- Keresztellenőrzés: Az adatok darabokra bontása, az egyik résszel betanítás, a másikkal tesztelés; Az általánosító erőt méri.
- Vakteszt: A modell tesztelése olyan független kúttal/mezővel, amilyet edzésen még nem látott.
- Valószínűségi kimenet: Az eredményt eloszlás/konfidenciaintervallumként adja meg, nem pedig egyetlen értékként.
Tipp: Amikor a mesterséges intelligencia eredményt ad, mindig kérdezze meg: "Mit és mennyit kell mozgatnom a bemeneten, hogy megváltoztassuk ezt az eredményt?" Ha az eredmény kis paraméterváltozással megfordul, az eredmény törékeny és nagy a bizonytalanság.
Kalibrálás: igaz-e a megbízhatósági pontszám?
Az AI modellek gyakran megbízhatóságot/valószínűséget adnak („90%-os hiba”). Ez a szám azonban félrevezető, ha nincs kalibrálva: a modellnek az esetek talán 60%-ában igaza van, amelyekre "90%-ot" ír. A kalibrálás célja, hogy ezt a számot a tényleges eredményarányhoz igazítsa. A gyakorlatban egy megbízhatósági diagramot rajzolnak: egy jól kalibrált modellnek valóban 90%-ban igaza van, ha azt írja, hogy „90%. A geofizikában elengedhetetlen az AI megbízhatósági pontszámának független adatokkal történő kalibrálása, mielőtt döntés alapjául szolgálna.
Figyelem: A nagy pontosság nem egyenlő a jó kalibrációval. Egy modell lehet általában pontos, de túlságosan magabiztos; A kritikus döntéseknél az a fontos, hogy valóban megbízható legyen, ha „95%” legyen. A kalibrálatlan megbízhatósági pontszámot ne kezelje valószínűségként.
Az igazolás aranyszabályai
A megbízható ellenőrzés érdekében: (1) Függetlenség – a tesztadatok egyáltalán nem zavarhatják a betanítási/hangolási folyamatot (adatszivárgás – felfújja az eredményt). (2) Vakteszt – olyan terep/kút, amelyet a modell nem lát. (3) Fizikai konzisztencia – az eredmény nem mond ellent a fizikának és a geológiának. (4) Reprodukálhatóság – ugyanaz az eredmény ugyanazzal a bemenettel, és valaki más is előállíthatja. (5) Dokumentáció – rögzíti, hogy milyen adatokat, melyik paramétert, melyik modellváltozatot használtuk.
három mini tok
1. eset – Adatszivárgási tévedés. Az egyik csapat arról számolt be, hogy a fáciesosztályozó 94%-os pontosságot adott. A vizsgálat kimutatta, hogy az ugyanabból a kútból származó szomszédos minták képzésben és tesztelésben is részt vettek (adatszivárgás). Jól lebontva a pontosság 71%-ra esett – ez volt az igazi általánosítás. A szivárgás miatt a modell jobban nézett ki, mint amilyen volt.
2. eset – Túl magabiztos modell. Az egyik hibaérzékelő "95%-os megbízhatóságot" adott a jeleibe. A megbízhatósági diagram azt mutatta, hogy a "95%" jelölések valójában 70%-ban pontosak. Miután a modellt kalibrálták, a megbízhatósági pontszámok reálissá váltak, és a kommentátorok helyesen beállították, hogy mennyire bíznak meg az egyes jelekben.
3. eset – Törékeny inverzió. Egy gravitációs modell nagyon meggyőzőnek tűnt. Az érzékenységvizsgálat azt mutatta, hogy a rendszerezési súly 20%-os változásával a főstruktúra eltűnt: a struktúra nem az adatokból, hanem a paraméterválasztásból jött létre. A csapat „alacsony megbízhatóságúként” jelölte meg a szerkezetet, és további adatokat kért.
Négy másolható sablon
1) Bizonytalanság mérési terv:
Az Ön szerepe: geofizikai bizonytalansági tanácsadó. Van egy [inverzió / osztályozás / előrejelzés] eredménye. Milyen módszereket (együttes, érzékenység, keresztellenőrzés, vakteszt) alkalmazok a bizonytalanság mérésére és milyen sorrendben? Magyarázza el, mit mond nekem mindegyik, és hogyan jelentheti az eredményt.
2) Kalibrálás ellenőrzése:
Az AI modellem megbízhatósági/valószínűségi pontszámot ad. Hogyan tesztelhetem, hogy ez a pontszám kalibrálva van-e? Hogyan készíthetek megbízhatósági diagramot, hogyan ismerhetem fel a "túlzott magabiztosságot" vagy "túlzott óvatosságot", és hogyan igazíthatom a pontszámot a tényleges eredményarányhoz?
3) Adatszivárgás audit:
Geofizikai osztályozót képeztem ki. Hogyan találhatom meg és előzhetem meg az adatszivárgás kockázatát (azonos kút/területi minták kerülnek be a képzésbe és a tesztelésbe is)? Hogyan állíthatom be a kút/mező szerinti elkülönítést? Honnan tudhatom, hogy a jelentett pontosság valódi általánosítást tükröz-e?
4) A törékenységi vizsgálat eredménye:
Van egy inverziós/modell eredményem. Szeretném megérteni, mennyire törékeny ez az eredmény. Mely paraméterek változtatásával és mennyit változik a fő szerkezet? Hogyan tudom megkülönböztetni, hogy a struktúra adatokból vagy paraméterekből/feltételekből származik? Adjon meg egy érzékenységi protokollt.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Nézze meg, hogy a modellem nagy pontosságú-e.
Egyetlen igazságszám; a szivárgás elrejti a kalibrációt és az általánosítást, hamis bizalmat adva.
Erőteljes felszólítás:
Az Ön szerepe: modellérvényesítési szakértő. Bemenet: [az osztályozó N jól generál, megbízhatósági pontszámot]. Feladat: (1) javaslatot tegyen az adatszivárgás elleni jól megalapozott allokációra; (2) telepítse a vakkutak tesztelését; (3) kalibrálja a megbízhatósági pontszámot a megbízhatósági diagrammal; (4) tesztelje, mennyire érzékeny az eredmény a paraméterre. Redukció egyetlen igazságszámra; Jelentse külön az általánosítást, a kalibrálást és a törékenységet.
A szivárgás, a vakteszt, a kalibrálás és az érzékenység kérése az ellenőrzést őszintevé teszi.
Bizonytalansági eszközök
járművet
Mit mér?
Fő kockázat
kimenet
együttes
Modell terjesztés
Számlaköltség
Tartomány/eloszlás
Érzékenység
Paraméter hatás
Elmaradt bevitel
Törékenység
keresztellenőrzés
általánosítás
adatszivárgás
reális pontosság
vakteszt
önálló siker
Nincs elegendő tesztkészlet
bizalom
Kalibrálás
bízz a valóságban
túlzott önbizalom
igazított valószínűség
Gyakori hibák
- Nem veszi észre az adatszivárgást. Felfújja az igazságosságot; Kúttal/mezővel elválasztva.
- A megbízhatósági pontszám használata kalibrálás nélkül. A „90%” valójában nem biztos, hogy 90%.
- Az egyetlen igazságszámra támaszkodva. Az általánosítás és a kalibrálás két különböző dolog.
- Nem teszteli a sebezhetőséget. A paraméter által elvesztett struktúra nem valós információ.
- Nem jelenti a bizonytalanságot. Az eredmény konfidenciaintervallum nélküli bemutatása félrevezető.
Összefoglalva
A bizonytalanság a geofizika felszámolhatatlan ténye; a feladat annak mérése, közlése és szűkítése. A mesterséges intelligencia ezt ensemble-vel, érzékenységgel és valószínűségi kimenettel segíti elő, de egyetlen magabiztos válasszal is álcázhatja. Szilárd keret; az adatszivárgás megakadályozása, az általánosítás mérése vakteszttel, a megbízhatósági pontszám kalibrálása és az eredmény törékenységének tesztelése. A kalibrálatlan bizalom, az ellenőrizetlen igazmondás és a rejtett bizonytalanság a három legveszélyesebb illúzió. A megbízható geofizika olyan geofizika, amely őszintén demonstrálja bizonytalanságát.
Pályázati feladat
Válasszon ki egy mesterséges intelligencia geofizikai eredményt (osztályozás, inverzió vagy előrejelzés). Tervezze meg az együttes/érzékenységi/vaktesztelési lépéseket a „Bizonytalanság mérési terv” sablon segítségével. Ezután tesztelje a vonatteszt szerinti megkülönböztetést az „Adatszivárgás ellenőrzése” sablonnal. Ha a modell megbízhatósági pontszámot ad, értékelje ki, hogy a pontszám reális-e a „Kalibrálási ellenőrzés” sablonnal, és írja be az eredményt konfidenciaintervallummal.
ellenőrző lista
- [ ] A bizonytalanságot együttessel/érzékenységgel mértem.
- [ ] Az adatszivárgást úgy akadályoztam meg, hogy kút/föld alapon elkülönítettem.
- [ ] Az általánosítást vakteszttel teszteltem.
- [ ] Kalibráltam a megbízhatósági pontszámot, és ellenőriztem a valósághűségét.
- [ ] Az eredményt konfidenciaintervallumtal közöltem, nem egyetlen értékkel.