Qazanclar:
- Ansambl, həssaslıq təhlili, çarpaz doğrulama və kor test ilə qeyri-müəyyənliyi ölçmək və hesabat vermək bacarığı
- Quyu/sahə əsasında ayırmaqla məlumat sızmasının qarşısını almaq və bildirilən dəqiqliyin həqiqi ümumiləşdirməni əks etdirməsini təmin etmək bacarığı.
- Etibarlılıq diaqramı ilə süni intellektin etibar xalını kalibrləmək və kalibrlənməmiş baldan ehtimal kimi istifadə etməmək qaydasını tətbiq etmək bacarığı
Bu modulun hər bölməsində təkrarlanan bir mövzu var: geofizikada “əmin cavablar” yoxdur, yalnız qeyri-müəyyənliklə məhdudlaşan modellər. Bu bölmə həmin mövzunu bir intizam halına gətirir. Model qeyri-müəyyənliyi eyni məlumatları izah edə bilən müxtəlif yeraltı modellərin mövcudluğudur və hər bir model etibarlılıq intervalı daşıyır. Doğrulama, bir modelin və ya AI çıxışının həqiqətən etibarlı olub olmadığını müstəqil sübutlarla sınaqdan keçirməkdir. Kalibrləmə bir model tərəfindən verilən etimad/ehtimal dəyərlərinin faktiki nəticələrə uyğun olmasını təmin etməkdir. Bu bölmədə biz süni intellektin (AI) qeyri-müəyyənliyi necə ölçə və gizlədə biləcəyini araşdıracağıq; və möhkəm yoxlama-kalibrləmə çərçivəsinin AI-ni niyə etibarlı etdiyini görəcəyik.
Qeyri-müəyyənlik mənbələri
Geofiziki qeyri-müəyyənlik bir neçə təbəqədən qaynaqlanır:
- Məlumat qeyri-müəyyənliyi: Ölçmə səs-küyü, məhdud əhatə dairəsi, kalibrləmə xətası.
- Model qeyri-müəyyənliyi (polisemiya): Eyni məlumatlara birdən çox yeraltı strukturun uyğunlaşdırılması.
- Metod/parametr qeyri-müəyyənliyi: Emal, inversiya və nizamlanma seçimləri nəticəni dəyişir.
- Süni intellektə xas qeyri-müəyyənlik: Modelin inamlı qalmaq qabiliyyəti, lakin təlim paylanmasından kənarda hərəkət edərkən uğursuzluq (paylama dəyişikliyi).
Yaxşı bir geofizikin işi bu qeyri-müəyyənliyi aradan qaldırmaq deyil, onu ölçmək, əlaqələndirmək və daraltmaqdır. Süni intellekt bunu asanlaşdıra bilər (birdən çox ssenari yarada bilər), eyni zamanda tək inamlı cavab verməklə bunu asanlıqla gizlədə bilər.
Qeyri-müəyyənliyin ölçülməsi yolları
Bir neçə praktik vasitə:
- Ansambl: Müxtəlif başlanğıclar, parametrlər və ya modellərlə çoxlu qaçış; Nəticələrin yayılması qeyri-müəyyənlik yaradır.
- Həssaslıq təhlili: Girişin dəyişdirilməsi (parametr, verilənlərin alt dəsti) və nəticənin nə qədər dəyişdiyini görmək.
- Çarpaz doğrulama: Verilənlərin hissələrə bölünməsi, bir hissə ilə məşq, digəri ilə sınaq; Ümumiləşdirmə gücünü ölçür.
- Kor test: Modelin heç vaxt təlimdə görmədiyi müstəqil quyu/sahə ilə sınaqdan keçirilməsi.
- Ehtimallı çıxış: Nəticənin tək bir dəyər deyil, paylanma/etibar intervalı kimi təqdim edilməsi.
İpucu: Süni intellekt nəticə verəndə həmişə soruşun: "Bu nəticəni dəyişmək üçün girişdə nəyi və nə qədər hərəkət etməliyəm?" Nəticə kiçik bir parametr dəyişikliyi ilə tərsinə dönərsə, bu nəticə kövrək və qeyri-müəyyənlik yüksəkdir.
Kalibrləmə: etimad balı doğrudurmu?
AI modelləri tez-tez etimad/ehtimal verir (“90% səhv”). Lakin bu rəqəm kalibrlənmədiyi təqdirdə yanıltıcıdır: model əslində "90%" dediyi halların 60% -də haqlıdır. Kalibrləmə bu rəqəmi faktiki nəticə nisbətinə uyğunlaşdırmaqdır. Praktikada etibarlılıq diaqramı çəkilir: yaxşı kalibrlənmiş model "90%" deyəndə həqiqətən 90% doğrudur. Geofizikada, qərar qəbul etmək üçün əsas etməzdən əvvəl AI inam balını müstəqil məlumatlarla kalibrləmək vacibdir.
Diqqət: Yüksək dəqiqlik yaxşı kalibrləmə ilə eyni deyil. Model ümumiyyətlə dəqiq ola bilər, lakin həddindən artıq əmin ola bilər; Kritik qərarlarda vacib olan odur ki, “95%” dedikdə həqiqətən etibarlıdır. Kalibrlənməmiş etimad xalını ehtimal kimi qəbul etməyin.
Doğrulamanın qızıl qaydaları
Güclü yoxlama üçün: (1) Müstəqillik — test məlumatları təlim/tənzimləmə prosesinə qətiyyən müdaxilə etməməlidir (məlumat sızması — nəticəni şişirdir). (2) Kor test - modelin görmədiyi sahə/quyu. (3) Fiziki ardıcıllıq - nəticə fizika və geologiya ilə ziddiyyət təşkil etməməlidir. (4) Təkrarlanma - eyni girişlə eyni nəticə və başqası tərəfindən istehsal edilə bilər. (5) Sənədləşdirmə — hansı verilənlərin, hansı parametrin, hansı model versiyasının istifadə edildiyinin qeydi.
üç mini qutu
1-ci hal - Məlumat sızması səhvi. Bir komanda, fasiya təsnifatının 94% dəqiqlik verdiyini bildirdi. İstintaq göstərdi ki, eyni quyudan qonşu nümunələr həm təlimə, həm də sınaqlara cəlb olunub (məlumat sızması). Quyulara görə böldükdə dəqiqlik 71%-ə düşdü - bu, əsl ümumiləşdirmə idi. Sızıntı modeli olduğundan daha yaxşı göstərib.
2-ci hal - Həddindən artıq inamlı model. Bir nasazlıq detektoru öz əlamətlərinə "95% etibar" verdi. Etibarlılıq diaqramı göstərdi ki, "95%" işarələri əslində 70% dəqiqdir. Model kalibrləndikdən sonra etimad balları reallaşdı və şərhçilər hər işarəyə nə qədər etibar edəcəklərini düzgün şəkildə tənzimlədilər.
3-cü hal - Kövrək inversiya. Qravitasiya modeli çox inandırıcı görünürdü. Həssaslıq təhlili göstərdi ki, nizamlanma çəkisi 20% dəyişdikdə əsas struktur yoxa çıxıb: struktur məlumatlardan deyil, parametr seçimindən yaranıb. Komanda strukturu "aşağı inam" kimi qeyd etdi və əlavə məlumat tələb etdi.
Dörd kopyalana bilən şablon
1) Qeyri-müəyyənliyin ölçülməsi planı:
Sizin rolunuz: geofiziki qeyri-müəyyənlik üzrə məsləhətçi. Məndə [inversiya / təsnifat / proqnoz] nəticəsi var. Qeyri-müəyyənliyi ölçmək üçün hansı üsulları (ansambl, həssaslıq, çarpaz doğrulama, blindtest) tətbiq edirəm və hansı ardıcıllıqla? Hər birinin mənə nə dediyini və nəticəni necə bildirəcəyini izah edin.
2) Kalibrləmə yoxlanışı:
Mənim AI modelim etimad/ehtimal balı verir. Bu balın kalibrləndiyini necə yoxlaya bilərəm? Etibarlılıq diaqramını necə qura bilərəm, "həddindən artıq inam" və ya "həddindən artıq ehtiyatlılığı" tanıyıram və hesabı faktiki nəticə nisbətinə uyğunlaşdıra bilərəm?
3) Məlumat sızmasının auditi:
Mən geofiziki təsnifatçı hazırlamışam. Məlumat sızması riskini necə tapmaq və qarşısını almaq olar (eyni quyu/sahə nümunələri həm təlimə, həm də sınaqlara daxil olur)? Mən quyuya/sahəyə görə ayırmanı necə qura bilərəm? Məlumatın düzgünlüyünün həqiqi ümumiləşdirməni əks etdirdiyini necə bilə bilərəm?
4) Nəticə kövrəklik testi:
Məndə inversiya/model nəticəsi var. Mən bu nəticənin nə qədər kövrək olduğunu anlamaq istəyirəm. Hansı parametrləri dəyişdirməklə və əsas struktur nə qədər dəyişir? Quruluşun verilənlərdən və ya parametrlərdən/mükafatdan gəldiyini necə ayırd edə bilərəm? Həssaslıq protokolu verin.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Modelimin yüksək dəqiqliyə malik olub-olmadığına baxın.
Tək həqiqət nömrəsi; sızma kalibrləmə və ümumiləşdirməni gizlədir, yalançı güvən verir.
Güclü göstəriş:
Sizin rolunuz: modelin doğrulanması üzrə mütəxəssis. Daxiletmə: [klassifikator N quyusu yaradır, güvən balları]. Tapşırıq: (1) məlumat sızmasına qarşı yaxşı əsaslı bölüşdürmə təklif edin; (2) kor quyu sınağı quraşdırmaq; (3) etibarlılıq diaqramı ilə etimad xalını kalibrləmək; (4) nəticənin parametrə nə dərəcədə həssas olduğunu yoxlayın. Tək həqiqət nömrəsinə endirmə; Ümumiləşdirmə, kalibrləmə və kövrəkliyi ayrıca bildirin.
Sızma, kor-koranə sınaq, kalibrləmə və həssaslıq sorğusu yoxlamanı dürüst edir.
Qeyri-müəyyənlik alətləri
nəqliyyat vasitəsi
Nə ölçür?
Əsas risk
çıxış
ansambl
Modelin yayılması
Hesab dəyəri
Aralıq/paylama
Həssaslıq
Parametr effekti
Buraxılmış giriş
Kövrəklik
çarpaz doğrulama
ümumiləşdirmə
məlumat sızması
real dəqiqlik
kor test
müstəqil uğur
Qeyri-kafi test dəsti
güvən
Kalibrləmə
reallığa inanmaq
həddən artıq güvən
uyğunlaşdırılmış ehtimal
Ümumi səhvlər
- Məlumat sızmasını fərq etməmək. O, salehliyi şişirdir; Quyu/tarla ilə ayırın.
- Etibar balını kalibrləmədən istifadə edin. “90%” əslində 90% olmaya bilər.
- Vahid həqiqət nömrəsinə arxalanaraq. Ümumiləşdirmə və kalibrləmə iki fərqli şeydir.
- Zəifliyi sınaqdan keçirmir. Parametrlə itirilən struktur real məlumat deyil.
- Qeyri-müəyyənlik barədə məlumat verməmək. Nəticəni inam intervalı olmadan təqdim etmək yanlışdır.
Xülasə
Qeyri-müəyyənlik geofizikanın aradan qaldırılması mümkün olmayan faktıdır; iş onu ölçmək, çatdırmaq və daraltmaqdır. Süni intellekt bunu ansambl, həssaslıq və ehtimala əsaslanan nəticə ilə asanlaşdırır, eyni zamanda onu tək bir əmin cavabla gizlədə bilər. Möhkəm çərçivə; məlumat sızmasının qarşısının alınması, kor-koranə testlə ümumiləşdirmənin ölçülməsi, etibarlılıq balının kalibrlənməsi və nəticənin kövrəkliyinin yoxlanılması. Kalibrlənməmiş inam, yoxlanılmamış doğruluq və gizli qeyri-müəyyənlik üç ən təhlükəli illüziyadır. Etibarlı geofizika öz qeyri-müəyyənliyini vicdanla nümayiş etdirən geofizikadır.
Tətbiq tapşırığı
AI geofiziki nəticəni seçin (təsnifat, inversiya və ya proqnozlaşdırma). "Qeyri-müəyyənliyin ölçülməsi planı" şablonu ilə ansambl/həssaslıq/kor test addımlarını planlaşdırın. Sonra “Məlumat sızmasının auditi” şablonu ilə qatar-test fərqinizi yoxlayın. Model etimad balı verirsə, "Kalibrləmə yoxlaması" şablonu ilə xalın real olub-olmadığını qiymətləndirin və nəticənizi etimad intervalı ilə yazın.
yoxlama siyahısı
- [ ] Mən qeyri-müəyyənliyi ansambl/həssaslıqla ölçdüm.
- [ ] Mən məlumat sızmasının qarşısını quyu/sahə əsasında ayıraraq aldım.
- [ ] Mən ümumiləşdirməni kor testlə sınaqdan keçirdim.
- [ ] Mən etimad xalını kalibrlədim və onun reallığını yoxladım.
- [ ] Nəticəni tək qiymətlə deyil, etibarlılıq intervalı ilə bildirdim.