Добици:
- Способност мерења и извештавања о несигурности помоћу скупа, анализе осетљивости, унакрсног провера и слепог тестирања
- Способност да се спречи цурење података одвајањем на основу бунара/поља и да се обезбеди да пријављена тачност одражава праву генерализацију.
- Способност да се калибрише резултат поверења вештачке интелигенције са дијаграмом поузданости и примени дисциплина да се некалибрирани резултат не користи као вероватноћа
У свакој јединици овог модула постоји тема која се понавља: у геофизици не постоје „сигурни одговори“, само модели ограничени неизвесношћу. Ова јединица претвара ту тему у дисциплину. Неизвесност модела је постојање различитих подземних модела који могу да објасне исте податке и сваки модел носи интервал поверења. Валидација је тестирање са независним доказима да ли је модел или АИ излаз заиста валидан. Калибрација је да обезбеди да вредности поверења/вероватноће које даје модел одговарају стварним резултатима. У овој јединици ћемо испитати како вештачка интелигенција (АИ) може и да мери и сакрије неизвесност; и видећемо зашто чврст оквир за верификацију-калибрацију чини АИ поузданом.
Извори неизвесности
Геофизичка несигурност долази из неколико слојева:
- Несигурност података: бука мерења, ограничена покривеност, грешка калибрације.
- Неизвесност модела (полисемија): Прилагођавање више од једне подземне структуре истим подацима.
- Неизвесност метода/параметара: Избори обраде, инверзије и регуларизације мењају исход.
- Неизвесност специфична за АИ: Способност модела да остане самоуверен, али не успе када се помери ван дистрибуције обуке (промена дистрибуције).
Посао доброг геофизичара није да отклони ову неизвесност, већ да је измери, саопшти и сузи. АИ то може учинити лаким (генерисање више сценарија), али га такође може лако сакрити тако што ће произвести један поуздан одговор.
Начини мерења несигурности
Неколико практичних алата:
- Ансамбл: више покрета са различитим стартовима, параметрима или моделима; Ширење резултата даје неизвесност.
- Анализа осетљивости: Промена улаза (параметар, подскуп података) и гледање колико се мења резултат.
- Унакрсна провера: Подела података на делове, обука са једним делом и тестирање са другим; Мери моћ генерализације.
- Слепи тест: Тестирање модела са независном бушотином/пољом које никада није видео у обуци.
- Пробабилистички излаз: пружање резултата као интервал дистрибуције/поверљивости, а не као појединачна вредност.
Савет: Када АИ да резултат, увек питајте: „Шта и колико треба да померим у уносу да бих променио овај резултат?“ Ако се резултат обрне уз малу промену параметара, тај резултат је крхак и неизвесност је велика.
Калибрација: да ли је резултат поузданости истинит?
АИ модели често дају поверење/вероватноћу („90% грешке“). Али овај број је погрешан ако није калибрисан: модел је заправо исправан у можда 60% случајева за које каже да је "90%". Калибрација је да се овај број усклади са стварном стопом резултата. У пракси се црта дијаграм поузданости: добро калибрисан модел је заиста 90% у праву када каже "90%". У геофизици је од суштинског значаја калибрисати резултат АИ поузданости са независним подацима пре него што то постане основа за одлуку.
Опрез: Висока прецизност није исто што и добра калибрација. Модел може бити генерално тачан, али превише самоуверен; Важна ствар у критичним одлукама је да је заиста поуздано када каже „95%“. Не третирајте некалибрирани резултат поверења као вероватноћу.
Златна правила верификације
За робусну верификацију: (1) Независност — подаци теста уопште не би требало да ометају процес обуке/подешавања (цурење података — надувава резултат). (2) Слепи тест — поље/бунар који модел не види. (3) Физичка доследност — резултат не би требало да буде у супротности са физиком и геологијом. (4) Репродуцибилност — исти резултат са истим инпутом и може га произвести неко други. (5) Документација — запис о томе који подаци, који параметар, која верзија модела је коришћена.
три мини кофера
Случај 1 — Заблуда о цурењу података. Један тим је известио да је фацијални класификатор дао 94% тачности. Истрага је показала да су суседни узорци из истог бунара били укључени у обуку и тестирање (цурење података). Када се рашчлани по бунарима, тачност је пала на 71% — то је била права генерализација. Цурење је учинило да модел изгледа боље него што је заправо био.
Случај 2 — Превише самоуверен модел. Један детектор квара дао је "95% поверења" у његове знакове. Дијаграм поузданости је показао да су ознаке "95%" заправо биле 70% тачне. Када је модел калибрисан, резултати поверења су постали реални и коментатори су исправно подесили колико ће веровати сваком знаку.
Случај 3 — Крхка инверзија. Гравитациони модел је изгледао веома убедљиво. Анализа осетљивости је показала да је главна структура нестала када се тежина регуларизације променила за 20%: структура није настала из података, већ из избора параметара. Тим је структуру означио као „ниску поузданост“ и затражио додатне податке.
Четири шаблона за копирање
1) План мерења несигурности:
Ваша улога: консултант за геофизичку несигурност. Имам резултат [инверзија / класификација / предвиђање]. Које методе (скупина, осетљивост, унакрсна валидација, слепи тест) да применим за мерење несигурности и којим редоследом? Објасни шта ми свако од њих говори и како да пријавим резултат.
2) Провера калибрације:
Мој АИ модел даје оцену поверења/вероватноће. Како да тестирам да ли је овај резултат калибрисан? Како да направим дијаграм поузданости, препознам „прекомерно самопоуздање“ или „превише опреза“ и ускладим резултат са стварном стопом исхода?
3) Ревизија цурења података:
Обучавао сам геофизичког класификатора. Како да пронађем и спречим ризик од цурења података (исти узорци бунара/поља улазе у обуку и тестирање)? Како да подесим раздвајање по бушотини/пољу? Како да знам да ли пријављена тачност одражава праву генерализацију?
4) Тестирање крхкости резултата:
Имам резултат инверзије/модела. Желим да разумем колико је овај резултат крхак. Променом којих параметара и колико се мења главна структура? Како да разликујем да ли структура потиче од података или параметара/премисе? Дајте протокол осетљивости.
Слаби промпт / Јаки промпт
Слабо обавештење:
Види да ли мој модел има високу тачност.
Један истинит број; цурење скрива калибрацију и генерализацију, дајући лажно поверење.
Снажан упит:
Ваша улога: стручњак за валидацију модела. Улаз: [класификатор генерише Н добро, резултати поузданости]. Задатак: (1) предложити добро засновану алокацију против цурења података; (2) инсталирати слепо испитивање бунара; (3) калибрисати резултат поузданости са дијаграмом поузданости; (4) тестирати колико је резултат осетљив на параметар. Свођење на један истинит број; Засебно пријавите генерализацију, калибрацију и крхкост.
Цурење, слепо тестирање, калибрација и захтеви за осетљивост чине верификацију поштеном.
Алати за несигурност
возила
Шта то мери?
Главни ризик
излаз
ансамбл
Пропагација модела
Трошкови рачуна
Распон/дистрибуција
Осетљивост
Параметарски ефекат
Пропуштен унос
Крхкост
унакрсна валидација
генерализација
цурење података
реалистична тачност
слепи тест
самосталан успех
Недовољан скуп тестова
поверење
Калибрација
веровати стварности
претерано самопоуздање
усклађена вероватноћа
Уобичајене грешке
- Не примећујемо цурење података. Она надувава праведност; Одвојите бунар/поље.
- Коришћење оцене поузданости без калибрације. „90%“ можда заправо није 90%.
- Ослањајући се на једини истинит број. Генерализација и калибрација су две различите ствари.
- Не тестира се рањивост. Структура изгубљена параметром није стварна информација.
- Не извештавање о неизвесности. Представљање резултата без интервала поверења је погрешно.
Укратко
Неизвесност је неискорењива чињеница геофизике; посао је да се то измери, саопшти и сузи. АИ то олакшава ансамблом, осетљивошћу и вероватноћом, али може то и прикрити једним самоувереним одговором. Чврсти оквир; спречавање цурења података, мерење генерализације слепим тестирањем, калибрисање резултата поузданости и тестирање крхкости резултата. Некалибрирано поверење, непроверена истинитост и прикривена неизвесност су три најопасније илузије. Поуздана геофизика је геофизика која искрено показује своју неизвесност.
Задатак апликације
Изаберите геофизички резултат АИ (класификација, инверзија или предвиђање). Планирајте кораке тестирања ансамбла/осетљивости/слепог тестирања помоћу шаблона „План мерења несигурности“. Затим тестирајте своју разлику између теста воза помоћу шаблона „Ревизија цурења података“. Ако модел даје оцену поверења, процените да ли је резултат реалан помоћу шаблона „Провера калибрације“ и напишите свој резултат са интервалом поверења.
контролна листа
- [ ] Неизвесност сам мерио са ансамблом/осетљивошћу.
- [ ] Спречио сам цурење података тако што сам их одвојио на основу бунара/поља.
- [ ] Тестирао сам генерализацију слепим тестом.
- [ ] Калибрирао сам оцену самопоуздања и проверио њен реализам.
- [ ] Пријавио сам резултат са интервалом поверења, а не са једном вредношћу.