Печалби:
- Възможност за измерване и докладване на несигурност с ансамбъл, анализ на чувствителността, кръстосано валидиране и сляпо тестване
- Възможност за предотвратяване на изтичане на данни чрез разделянето им на база кладенец/поле и гарантиране, че докладваната точност отразява истинското обобщение.
- Възможност за калибриране на резултата за доверие на изкуствения интелект с диаграмата за надеждност и прилагане на дисциплината да не се използва некалибриран резултат като вероятност
Във всяка част от този модул има повтаряща се тема: няма „сигурни отговори“ в геофизиката, а само модели, ограничени от несигурност. Този модул превръща тази тема в дисциплина. Несигурността на модела е наличието на различни подземни модели, които могат да обяснят едни и същи данни и всеки модел носи доверителен интервал. Валидирането е тестване с независими доказателства дали даден модел или AI резултат е действително валиден. Калибрирането е да гарантира, че стойностите на доверителност/вероятност, дадени от даден модел, съответстват на действителните резултати. В тази част ще разгледаме как изкуственият интелект (AI) може едновременно да измерва и скрие несигурността; и ще видим защо една солидна рамка за проверка и калибриране прави AI надежден.
Източници на несигурност
Геофизичната несигурност идва от няколко слоя:
- Несигурност на данните: шум при измерване, ограничено покритие, грешка при калибриране.
- Несигурност на модела (полисемия): Напасване на повече от една подповърхностна структура към едни и същи данни.
- Несигурност на метода/параметъра: Изборът на обработка, инверсия и регулиране променя резултата.
- Несигурност, специфична за AI: Способността на модела да остане уверен, но да се провали, когато се движи извън разпределението на обучението (промяна на разпределението).
Работата на добрия геофизик не е да елиминира тази несигурност, а да я измери, съобщи и стесни. AI може да направи това лесно (генериране на множество сценарии), но също така може лесно да го скрие, като даде един-единствен уверен отговор.
Начини за измерване на неопределеността
Няколко практични инструмента:
- Ансамбъл: Множество писти с различни стартове, параметри или модели; Разпространението на резултатите създава несигурност.
- Анализ на чувствителността: Промяна на вход (параметър, подмножество от данни) и виждане колко се променя резултатът.
- Кръстосано валидиране: Разделяне на данните на части, обучение с едната част и тестване с другата; Измерва силата на обобщаване.
- Сляп тест: Тестване на модела с независим кладенец/наход, който никога не е виждал в обучението.
- Вероятностен изход: Предоставяне на резултата като разпределение/доверителен интервал, а не единична стойност.
Съвет: Когато AI дава резултат, винаги питайте: "Какво и колко трябва да преместя във входа, за да променя този резултат?" Ако резултатът се обърне с малка промяна на параметъра, този резултат е крехък и несигурността е висока.
Калибриране: верен ли е резултатът за доверие?
AI моделите често дават увереност/вероятност („90% грешка“). Но това число е подвеждащо, ако не е калибрирано: моделът всъщност е прав в може би 60% от случаите, за които казва, че са „90%“. Калибрирането е да се приведе това число към действителния резултат. На практика се изчертава диаграма на надеждността: един добре калибриран модел наистина е 90% прав, когато пише "90%". В геофизиката е от съществено значение да се калибрира оценката на доверието на AI с независими данни, преди да се направи основа за решение.
Внимание: Високата точност не е същото като добро калибриране. Един модел може да е като цяло точен, но прекалено самоуверен; Важното при критичните решения е, че е наистина надеждно, когато пише "95%". Не третирайте некалибриран доверителен резултат като вероятност.
Златни правила за проверка
За стабилна проверка: (1) Независимост — данните от теста изобщо не трябва да пречат на процеса на обучение/настройка (изтичане на данни — увеличава резултата). (2) Сляп тест — поле/кладенец, който моделът не вижда. (3) Физическа последователност — резултатът не трябва да противоречи на физиката и геологията. (4) Възпроизводимост — същият резултат със същия вход и може да бъде произведен от някой друг. (5) Документация — запис на това какви данни, кой параметър, коя версия на модела е използвана.
три мини калъфа
Случай 1 — Грешка при изтичане на данни. Един екип съобщи, че класификаторът на фациесите дава 94% точност. Разследването показа, че съседни проби от същия кладенец са участвали както в обучение, така и в тестване (изтичане на данни). Когато се раздели по кладенец, точността падна до 71% - това беше истинското обобщение. Течът направи модела да изглежда по-добре, отколкото беше в действителност.
Случай 2 — Прекалено самоуверен модел. Един детектор за повреда даде "95% увереност" в своите знаци. Диаграмата за надеждност показа, че знаците "95%" всъщност са 70% точни. След като моделът беше калибриран, резултатите за доверието станаха реалистични и коментаторите правилно коригираха колко биха се доверили на всеки знак.
Случай 3 — Чупливо обръщане. Гравитационният модел изглеждаше много убедителен. Анализът на чувствителността показа, че основната структура изчезва, когато теглото на регуляризацията се промени с 20%: структурата не идва от данните, а от избора на параметър. Екипът маркира структурата като „с ниска степен на доверие“ и поиска допълнителни данни.
Четири копируеми шаблона
1) План за измерване на неопределеността:
Вашата роля: консултант по геофизична неопределеност. Имам резултат от [инверсия/класификация/предсказание]. Кои методи (съвкупност, чувствителност, кръстосано валидиране, сляпо тестване) прилагам за измерване на неопределеността и в какъв ред? Обяснете какво ми казва всеки от тях и как да докладвам резултата.
2) Проверка на калибрирането:
Моят AI модел дава резултат за увереност/вероятност. Как да проверя дали този резултат е калибриран? Как да съставя диаграма на надеждността, да разпозная „свръх самоувереност“ или „прекомерна предпазливост“ и да приравня резултата към действителния процент на резултат?
3) Одит на изтичане на данни:
Обучих геофизичен класификатор. Как да открия и предотвратя риска от изтичане на данни (едни и същи проби от кладенец/поле, влизащи както в обучение, така и в тестване)? Как да настроя разделяне по кладенец/находище? Как да разбера дали докладваната точност отразява истинското обобщение?
4) Резултат от тестване за крехкост:
Имам резултат от инверсия/модел. Искам да разбера колко крехък е този резултат. Чрез промяна на кои параметри и колко се променя основната структура? Как да разгранича дали структурата идва от данни или параметри/помещение? Дайте протокол за чувствителност.
Слаба подкана / Силна подкана
Слаба подкана:
Вижте дали моят модел има висока точност.
Едно число на истината; изтичането скрива калибриране и обобщение, давайки фалшива увереност.
Мощна подкана:
Вашата роля: експерт по валидиране на модели. Вход: [класификаторът генерира N добре, резултати за увереност]. Задача: (1) предлага добре базирано разпределение срещу изтичане на данни; (2) инсталиране на сляпо тестване на кладенци; (3) калибрирайте оценката на доверието с диаграмата на надеждността; (4) проверете колко чувствителен е резултатът към параметъра. Намаляване до едно число на истината; Докладвайте отделно генерализацията, калибрирането и крехкостта.
Изтичането, сляпото тестване, калибрирането и искането за чувствителност правят проверката честна.
Инструменти за несигурност
превозно средство
Какво измерва?
Основен риск
изход
ансамбъл
Размножаване на модела
Разходи по сметката
Обхват/разпределение
Чувствителност
Параметър ефект
Пропуснато въвеждане
Чупливост
кръстосано валидиране
обобщение
изтичане на данни
реалистична точност
сляп тест
независим успех
Недостатъчен набор от тестове
доверие
Калибриране
доверете се на реалността
прекомерна самоувереност
подравнена вероятност
Често срещани грешки
- Не забелязва изтичане на данни. Раздува правдата; Отделно от кладенец/нива.
- Използване на резултата за увереност, без да го калибрирате. „90%“ всъщност може да не е 90%.
- Разчитайки на единственото число на истината. Генерализацията и калибрирането са две различни неща.
- Не се тества уязвимост. Структурата, загубена от параметъра, не е истинска информация.
- Не се отчита несигурност. Представянето на резултата без доверителен интервал е подвеждащо.
В обобщение
Несигурността е неизкоренимият факт на геофизиката; работата е да го измерите, съобщите и стесните. AI улеснява това с ансамбъл, чувствителност и вероятностен изход, но може също да го прикрие с един-единствен уверен отговор. Здрава рамка; предотвратяване на изтичане на данни, измерване на генерализация със сляпо тестване, калибриране на резултата за доверие и тестване на нестабилността на резултата. Некалибрираното доверие, непроверената истинност и скритата несигурност са трите най-опасни илюзии. Надеждната геофизика е геофизика, която честно демонстрира своята несигурност.
Задача за приложение
Изберете AI геофизичен резултат (класификация, инверсия или прогноза). Планирайте стъпките за ансамбъл/чувствителност/сляпо тестване с шаблона „План за измерване на несигурност“. След това тествайте разграничението си от влаков тест с шаблона „Одит на изтичане на данни“. Ако моделът дава оценка на достоверност, преценете дали резултатът е реалистичен с шаблона „Проверка на калибриране“ и запишете резултата си с интервал на достоверност.
контролен списък
- [ ] Измерих несигурността с ансамбъл/чувствителност.
- [ ] Предотвратих изтичане на данни, като ги разделих на база кладенец/поле.
- [ ] Тествах обобщението със сляп тест.
- [ ] Калибрирах резултата за увереност и проверих реализма му.
- [ ] Отчетох резултата с доверителен интервал, а не с една стойност.