Добивки:
- Способност за мерење и известување на несигурноста со ансамбл, анализа на чувствителност, вкрстена валидација и слепо тестирање
- Способност да се спречи истекување на податоци со нивно раздвојување на бунар/теренска основа и да се осигура дека пријавената точност ја одразува вистинската генерализација.
- Способност да се калибрира резултатот на доверба од вештачката интелигенција со дијаграмот за доверливост и да се примени дисциплината на некористење некалибриран резултат како веројатност
Во секоја единица од овој модул има повторлива тема: нема „сигурни одговори“ во геофизиката, само модели ограничени од несигурност. Оваа единица ја претвора таа тема во дисциплина. Несигурноста на моделот е постоење на различни подземни модели кои можат да ги објаснат истите податоци и секој модел носи интервал на доверба. Валидацијата е тестирање со независен доказ дали моделот или излезот на вештачката интелигенција е навистина валиден. Калибрацијата е да се осигура дека вредностите на доверба/веројатност дадени од моделот се совпаѓаат со вистинските резултати. Во оваа единица, ќе испитаме како вештачката интелигенција (ВИ) може и да ја мери и сокрие несигурноста; и ќе видиме зошто цврстата рамка за верификација-калибрација ја прави вештачката интелигенција доверлива.
Извори на несигурност
Геофизичката несигурност доаѓа од неколку слоеви:
- Несигурност на податоците: шум при мерење, ограничена покриеност, грешка при калибрација.
- Несигурност на моделот (полисемија): Местење на повеќе од една подземна структура на истите податоци.
- Несигурност на методот/параметарот: Изборите за обработка, инверзија и регулација го менуваат исходот.
- Несигурност специфична за вештачката интелигенција: Способноста на моделот да остане самоуверен, но да не успее кога ќе се движи надвор од дистрибуцијата на обуката (промена на дистрибуција).
Работата на добриот геофизичар не е да ја елиминира оваа несигурност, туку да ја мери, комуницира и стеснува. Вештачката интелигенција може да го олесни ова (генерирање на повеќе сценарија), но исто така може лесно да го сокрие со производство на еден сигурен одговор.
Начини за мерење на несигурноста
Неколку практични алатки:
- Ансамбл: Повеќекратни работи со различни стартови, параметри или модели; Ширењето на резултатите дава неизвесност.
- Анализа на чувствителност: Промена на влез (параметар, подмножество податоци) и гледање колку се менува резултатот.
- Вкрстена валидација: Поделба на податоците на парчиња, обука со едниот дел и тестирање со другиот; Ја мери моќта на генерализација.
- Слеп тест: Тестирање на моделот со независен бунар/поле што никогаш не го видел на обука.
- Веројатен излез: Обезбедување на резултатот како интервал на дистрибуција/доверба, а не како единствена вредност.
Совет: Кога вештачката интелигенција дава резултат, секогаш прашувајте: „Што и колку треба да се преместувам во влезот за да го сменам овој резултат?“ Ако резултатот се промени со мала промена на параметарот, тој резултат е кревок, а неизвесноста е висока.
Калибрација: дали е точен резултатот за доверба?
Моделите со вештачка интелигенција често даваат доверба/веројатност („90% грешка“). Но, овој број е погрешен ако не е калибриран: моделот е всушност во право во можеби 60% од случаите за кои се вели дека се „90%. Калибрацијата е да се усогласи овој број со вистинската стапка на резултат. Во пракса, се црта дијаграм за доверливост: добро калибриран модел е навистина 90% во право кога вели „90%“. Во геофизиката, од суштинско значење е да се калибрира оценката за доверба на ВИ со независни податоци пред да се направи основа за одлука.
Внимание: високата прецизност не е исто што и добрата калибрација. Моделот може да биде генерално точен, но премногу самоуверен; Важно во критичните одлуки е тоа што е навистина доверливо кога вели „95%“. Не го третирајте некалибрираниот резултат на доверба како веројатност.
Златни правила за верификација
За силна верификација: (1) Независност - податоците од тестот воопшто не треба да се мешаат во процесот на обука/подесување (протекување на податоци - го надува резултатот). (2) Слеп тест - поле/бунар што моделот не го гледа. (3) Физичка конзистентност - резултатот не треба да противречи на физиката и геологијата. (4) Репродуктивност - истиот резултат со ист влез и може да биде произведен од некој друг. (5) Документација - евиденција за тоа кои податоци, кој параметар, која верзија на моделот е користена.
три мини футроли
Случај 1 - Заблуда во истекувањето на податоци. Еден тим објави дека класификаторот на фациес дава 94% точност. Истрагата покажа дека соседните примероци од истиот бунар биле вклучени и во обуката и во тестирањето (истекување на податоци). Кога беше разложена по бунар, точноста падна на 71% - тоа беше вистинската генерализација. Протекувањето направи моделот да изгледа подобро отколку што всушност беше.
Случај 2 - Премногу самоуверен модел. Еден детектор за дефекти даде „95% доверба“ во неговите знаци. Дијаграмот за доверливост покажа дека ознаките „95%“ се всушност 70% прецизни. Откако моделот беше калибриран, оценките за доверба станаа реални и коментаторите правилно приспособија колку ќе му веруваат на секој знак.
Случај 3 - Кревка инверзија. Модел за гравитација изгледаше многу убедливо. Анализата на чувствителноста покажа дека главната структура исчезнала кога тежината на регулација се променила за 20%: структурата не доаѓа од податоците, туку од изборот на параметри. Тимот ја означи структурата како „ниска доверба“ и побара дополнителни податоци.
Четири шаблони за копирање
1) План за мерење на несигурност:
Вашата улога: консултант за геофизичка несигурност. Имам резултат [инверзија / класификација / предвидување]. Кои методи (ансамбл, чувствителност, вкрстена валидација, слепо) ги применувам за мерење на несигурноста и по кој редослед? Објаснете што ми кажува секој од нив и како да го пријавам резултатот.
2) Проверка на калибрација:
Мојот модел со вештачка интелигенција дава оценка за доверба/веројатност. Како да тестирам дали овој резултат е калибриран? Како да изградам дијаграм за доверливост, да препознаам „прекумерна самодоверба“ или „прекумерна претпазливост“ и да го усогласам резултатот со вистинската стапка на исход?
3) Ревизија на истекување на податоци:
Тренирав геофизички класификатор. Како да најдам и да го спречам ризикот од истекување на податоци (истите примероци од бунар/терен влегуваат и во обуката и во тестирањето)? Како да поставам раздвојување по бунар/поле? Како да знам дали пријавената точност ја одразува вистинската генерализација?
4) Резултати од тестот за кршливост:
Имам резултат на инверзија/модел. Сакам да разберам колку е кревок овој резултат. Со промена на кои параметри и колку се менува главната структура? Како да разликувам дали структурата доаѓа од податоци или параметри/премиса? Дајте протокол за чувствителност.
Слаб промпт / Силен промпт
Слаба навестување:
Погледнете дали мојот модел има висока точност.
Единствен број на вистина; истекувањето крие калибрација и генерализација, давајќи лажна доверба.
Моќен потсетник:
Вашата улога: експерт за валидација на модели. Влез: [класификаторот генерира N добро, оценки за доверба]. Задача: (1) да предложи добро заснована распределба против истекување на податоци; (2) инсталирајте тестирање на слепи бунари; (3) калибрирајте го резултатот на доверба со дијаграмот за доверливост; (4) тестирајте колку е чувствителен резултатот на параметарот. Намалување на еден вистинит број; Пријавете ја генерализацијата, калибрацијата и кревкоста одделно.
Протекување, слепо тестирање, калибрација и барање за чувствителност ја прават проверката искрена.
Алатки за несигурност
возилото
Што мери?
Главен ризик
излез
ансамбл
Размножување на моделот
Цена на сметката
Опсег / дистрибуција
Чувствителност
Ефект на параметар
Пропуштен влез
Кршливост
вкрстена валидација
генерализација
истекување на податоци
реална точност
слеп тест
независен успех
Недоволен тест сет
доверба
Калибрација
верувајте во реалноста
прекумерна самодоверба
усогласена веројатност
Вообичаени грешки
- Не забележувајќи истекување на податоци. Ја надува праведноста; Одделете по бунар/поле.
- Користење на резултатот за доверба без да се калибрира. „90%“ можеби всушност не е 90%.
- Потпирајќи се на единствениот број на вистина. Генерализацијата и калибрацијата се две различни работи.
- Не се тестира ранливоста. Структурата изгубена од параметарот не е реална информација.
- Не известување за неизвесност. Презентирањето на резултатот без интервал на доверба е погрешно.
Сумирано
Неизвесноста е неискоренливиот факт на геофизиката; работата е да се измери, да се пренесе и да се стесни. ВИ го олеснува ова со ансамбл, чувствителност и веројатност, но исто така може да го прикрие со еден сигурен одговор. Цврста рамка; спречување на истекување на податоци, мерење на генерализацијата со слепо тестирање, калибрирање на резултатот за доверба и тестирање на кревкоста на резултатот. Некалибрирана доверба, непроверена вистинитост и скриена несигурност се трите најопасни илузии. Сигурна геофизика е геофизика која искрено ја покажува својата несигурност.
Задача за апликација
Изберете геофизички резултат со вештачка интелигенција (класификација, инверзија или предвидување). Планирајте чекори за тестирање на ансамбл/чувствителност/слепи со шаблонот „План за мерење на несигурност“. Потоа тестирајте ја разликата помеѓу тестовите за возови со шаблонот „Ревизија за истекување податоци“. Ако моделот дава оценка за доверба, проценете дали резултатот е реален со шаблонот „Проверка на калибрација“ и напишете го вашиот резултат со интервал на доверба.
листа за проверка
- [ ] Неизвесноста ја измерив со ансамбл/чувствителност.
- [ ] Спречив истекување на податоци со тоа што ги одвојував на бунар/теренска основа.
- [ ] Ја тестирав генерализацијата со слеп тест.
- [ ] Го калибрирав резултатот за доверба и ја проверив неговата реалистичност.
- [ ] Го пријавив резултатот со интервал на доверба, а не со една вредност.