Прибыль:
- Способность измерять неопределенность и сообщать о ней с помощью ансамблевого анализа, анализа чувствительности, перекрестной проверки и слепого тестирования.
- Возможность предотвратить утечку данных путем разделения их по скважинам и месторождениям и гарантировать, что сообщаемая точность отражает истинное обобщение.
- Способность калибровать показатель доверия искусственному интеллекту с помощью диаграммы надежности и применять правило не использовать некалиброванный показатель в качестве вероятности.
В каждом модуле этого модуля присутствует повторяющаяся тема: в геофизике нет «определенных ответов», есть только модели, ограниченные неопределенностью. Этот модуль превращает эту тему в дисциплину. Неопределенность модели – это существование различных моделей геологической среды, которые могут объяснить одни и те же данные, и каждая модель имеет доверительный интервал. Валидация — это проверка с помощью независимых доказательств того, действительно ли модель или результаты ИИ действительны. Калибровка предназначена для обеспечения соответствия значений достоверности/вероятности, заданных моделью, фактическим результатам. В этом разделе мы рассмотрим, как искусственный интеллект (ИИ) может измерять и скрывать неопределенность; и мы увидим, почему надежная система проверки и калибровки делает ИИ надежным.
Источники неопределенности
Геофизическая неопределенность возникает из нескольких слоев:
- Неопределенность данных: шум измерений, ограниченный охват, ошибка калибровки.
- Неопределенность модели (полисемия): соответствие более чем одной подземной структуры одним и тем же данным.
- Неопределенность метода/параметра. Выбор обработки, инверсии и регуляризации меняет результат.
- Неопределенность, специфичная для ИИ: способность модели сохранять уверенность, но терпит неудачу, когда она выходит за пределы обучающего распределения (сдвиг распределения).
Задача хорошего геофизика – не устранить эту неопределенность, а измерить, сообщить и сузить ее. ИИ может упростить эту задачу (генерируя несколько сценариев), но также может легко скрыть это, выдав один уверенный ответ.
Способы измерения неопределенности
Несколько практических инструментов:
- Ансамбль: несколько прогонов с разными запусками, параметрами или моделями; Разброс результатов дает неопределенность.
- Анализ чувствительности: изменение входных данных (параметра, подмножества данных) и наблюдение за тем, насколько изменится результат.
- Перекрестная проверка: разделение данных на части, обучение одной части и тестирование другой; Измеряет силу обобщения.
- Слепое тестирование: тестирование модели на независимой скважине/месторождении, которую она никогда не видела при обучении.
- Вероятностный результат: предоставление результата в виде распределения/доверительного интервала, а не отдельного значения.
Совет: Когда ИИ выдает результат, всегда спрашивайте: «Что и насколько мне нужно переместить на входе, чтобы изменить этот результат?» Если результат меняется на противоположный при небольшом изменении параметра, этот результат хрупкий и неопределенность высока.
Калибровка: верен ли показатель уверенности?
Модели ИИ часто дают достоверность/вероятность («ошибка 90 %)». Но это число вводит в заблуждение, если оно не откалибровано: модель на самом деле верна, возможно, в 60% случаев, о которых она говорит, как «90%». Калибровка заключается в приведении этого числа в соответствие с фактическим результатом. На практике рисуется диаграмма надежности: хорошо откалиброванная модель действительно на 90% права, когда на ней написано «90%». В геофизике важно калибровать показатель уверенности ИИ с помощью независимых данных, прежде чем положить его в основу решения.
Внимание: Высокая точность — это не то же самое, что хорошая калибровка. Модель может быть в целом точной, но слишком самоуверенной; В критических решениях важно то, что они действительно надежны, когда говорят «95%». Не рассматривайте некалиброванную оценку достоверности как вероятность.
Золотые правила проверки
Для надежной проверки: (1) Независимость — тестовые данные вообще не должны мешать процессу обучения/настройки (утечка данных — завышает результат). (2) Слепой тест — месторождение/скважина, которые модель не видит. (3) Физическая последовательность — результат не должен противоречить физике и геологии. (4) Воспроизводимость — тот же результат с теми же входными данными, который может быть получен кем-то другим. (5) Документация — запись, какие данные, какой параметр, какая версия модели использовались.
три мини-кейса
Случай 1 — Ошибка утечки данных. Одна группа сообщила, что классификатор фаций дает точность 94%. Расследование показало, что как в обучении, так и в тестировании участвовали соседние пробы из одной скважины (утечка данных). При разбивке по скважинам точность упала до 71% — вот истинные обобщения. Из-за утечки модель выглядела лучше, чем была на самом деле.
Случай 2. Модель самоуверенности. Один детектор неисправностей дал «95% уверенности» в своих признаках. Диаграмма надежности показала, что отметки «95%» на самом деле были точными на 70%. После того как модель была откалибрована, показатели достоверности стали реалистичными, и комментаторы правильно скорректировали степень доверия к каждому признаку.
Случай 3 — Хрупкая инверсия. Гравитационная модель выглядела очень убедительно. Анализ чувствительности показал, что основная структура исчезла при изменении веса регуляризации на 20%: структура возникла не из данных, а из выбора параметров. Команда пометила структуру как «низкую достоверность» и запросила дополнительные данные.
Четыре копируемых шаблона
1) План измерения неопределенности:
Ваша роль: консультант по геофизической неопределенности. У меня есть результат [инверсия/классификация/прогнозирование]. Какие методы (ансамбл, чувствительность, перекрестная проверка, слепое тестирование) я применяю для измерения неопределенности и в каком порядке? Объясните, что каждый из них мне говорит и как сообщить о результате.
2) Проверка калибровки:
Моя модель искусственного интеллекта дает оценку достоверности/вероятности. Как проверить, откалиброван ли этот показатель? Как мне построить диаграмму надежности, распознать «чрезмерную самоуверенность» или «чрезмерную осторожность» и сопоставить оценку с фактическим результатом?
3) Аудит утечки данных:
Я обучил геофизический классификатор. Как обнаружить и предотвратить риск утечки данных (одни и те же скважинные/промысловые образцы поступают как для обучения, так и для тестирования)? Как настроить разделение по скважине/месторождению? Как узнать, соответствует ли заявленная точность истинному обобщению?
4) Результаты тестирования на хрупкость:
У меня есть результат инверсии/модели. Я хочу понять, насколько хрупок этот результат. При изменении каких параметров и насколько меняется основная структура? Как определить, исходит ли структура из данных или параметров/предпосылок? Дайте протокол чувствительности.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Посмотрите, имеет ли моя модель высокую точность.
Единственное число истинности; утечка скрывает калибровку и обобщение, создавая ложную уверенность.
Мощная подсказка:
Ваша роль: эксперт по валидации модели. Входные данные: [классификатор хорошо генерирует N, оценки уверенности]. Задача: (1) предложить обоснованное распределение средств против утечки данных; (2) установить слепое испытание скважин; (3) откалибровать показатель достоверности с помощью диаграммы надежности; (4) проверить, насколько чувствителен результат к параметру. Сведение к единственному числу истинности; Отдельно сообщайте об генерализации, калибровке и хрупкости.
Утечки, слепое тестирование, калибровка и запрос чувствительности делают проверку честной.
Инструменты неопределенности
транспортное средство
Что он измеряет?
Основной риск
вывод
ансамбль
Распространение модели
Стоимость аккаунта
Диапазон/распределение
Чувствительность
Эффект параметра
Пропущенный ввод
Хрупкость
перекрестная проверка
обобщение
утечка данных
реалистичная точность
слепой тест
независимый успех
Недостаточный набор тестов
доверие
Калибровка
доверять реальности
чрезмерная самоуверенность
выровненная вероятность
Распространенные ошибки
- Не замечая утечки данных. Это раздувает праведность; Отдельно по колодцу/полю.
- Использование показателя уверенности без его калибровки. «90%» на самом деле может не быть 90%.
- Опираясь на единственное истинное число. Обобщение и калибровка — две разные вещи.
- Не тестируем уязвимости. Структура, потерянная параметром, не является реальной информацией.
- Не сообщать о неопределенности. Представление результата без доверительного интервала вводит в заблуждение.
В заключение
Неопределенность — неистребимый факт геофизики; задача состоит в том, чтобы измерить это, сообщить об этом и сузить круг вопросов. ИИ облегчает это с помощью ансамблевого, чувствительности и вероятностного вывода, но также может замаскировать это одним уверенным ответом. Прочный каркас; предотвращение утечки данных, измерение обобщения с помощью слепого тестирования, калибровка показателя достоверности и проверка хрупкости результата. Некалиброванное доверие, непроверенная правдивость и скрытая неуверенность — три самые опасные иллюзии. Надежная геофизика — это геофизика, которая честно демонстрирует свою неопределенность.
Задача приложения
Выберите геофизический результат ИИ (классификация, инверсия или прогноз). Спланируйте этапы комплексного тестирования/чувствительности/слепого тестирования с помощью шаблона «План измерения неопределенности». Затем проверьте разницу между поездом и тестом с помощью шаблона «Аудит утечки данных». Если модель дает оценку достоверности, оцените реалистичность этой оценки с помощью шаблона «Проверка калибровки» и запишите результат с доверительным интервалом.
контрольный список
- [ ] Я измерил неопределенность с помощью ансамбля/чувствительности.
- [ ] Я предотвратил утечку данных, разделив их по скважинам и месторождениям.
- [ ] Я проверил обобщение с помощью слепого теста.
- [ ] Я откалибровал показатель уверенности и проверил его реалистичность.
- [ ] Я сообщил о результате с доверительным интервалом, а не с одним значением.