Qazanclar:
- Sıfır fərziyyəni, p-dəyərini, etibarlılıq intervalını və statistik gücü düzgün müəyyən etmək və test seçimində və şərhində süni intellektdən istifadə etmək bacarığı.
- P-dəyərinin nə olduğunu və nə olmadığını ayırd etmək bacarığı (təsir ölçüsü deyil, dəqiqlik ehtimalı deyil) və çoxsaylı müqayisə korreksiyasının nə üçün lazım olduğunu başa düşmək bacarığı
- Mənalılığı əhəmiyyətliliklə qarışdıran süni intellekt tərəfindən edilən şərhləri tanımaq və onları təsir ölçüsü və qeyri-müəyyənliklə bildirmək bacarığı
Statistikanın ən çox istifadə edilən və ən çox səhv başa düşülən vasitəsi hipotez testidir. Əsas fikir sadədir: bir iddiamız var (məsələn, "bu iki qrupun ortası fərqlidir") və onun əksi, sıfır hipotezimiz (H0 - "əslində heç bir fərq yoxdur"). Test verilənlərin sıfır fərziyyə ilə nə dərəcədə uyğun olduğunu ölçür. Bu bölmədə biz süni intellektin (AI) test seçimini və şərhini necə asanlaşdırdığını, lakin p-dəyəri ətrafındakı tələlərin niyə bu qədər ümumi və təhlükəli olduğunu görəcəyik. Əvvəldən başlayaq: AI hansı test sintaksisini yazacağını bilir; lakin testin fərziyyəsinin təmin edilib-edilmədiyini və nəticənin həqiqətən nə demək olduğunu şərh etmək sizin işinizdir.
Əslində p-dəyəri nədir?
P-dəyəri, müşahidə etdiyiniz nəticənin və ya daha ekstremal nəticənin, sıfır fərziyyə doğru olduqda (yəni, əslində heç bir təsir olmadıqda) təsadüfən baş vermə ehtimalıdır. Kiçik bir p-dəyəri (0,05 ənənəvi hədddir) "həqiqətən heç bir təsir olmasaydı, belə məlumatları görmək təəccüblü olardı" deməkdir; Bu, sıfır fərziyyəyə qarşı sübut hesab olunur.
İndi p-dəyərinin nə olmadığını aydınlaşdıraq - AI tez-tez çaşdırır:
- P-qiyməti sıfır fərziyyənin doğru olması ehtimalı deyil. p=0,03 “3% effekt olma ehtimalı var” demək deyil.
- P-dəyəri təsirin ölçüsünü göstərmir. Çox kiçik bir təsir böyük bir nümunədə kiçik bir p-dəyəri verə bilər.
- p-qiyməti tapıntının əhəmiyyətli və ya real olduğunu sübut etmir. “Əhəmiyyətli” statistik termindir, “əhəmiyyətli” mühakimədir.
- p>0,05 "təsir yoxdur" demək deyil; Bu, "biz bu məlumatla effekti göstərə bilmədik" deməkdir. Sübutun olmaması yoxluğun sübutu deyil.
Diqqət: Süni intellektin şərhində ən çox rast gəlinən səhv “əhəmiyyətli” sözünün “əhəmiyyətli/güclü/əsas təsir” kimi təqdim edilməsidir. Statistik əhəmiyyət və praktik əhəmiyyət iki fərqli şeydir; Həmişə ikisini ayrı-ayrılıqda bildirin.
Etibar intervalı və təsir ölçüsü: daha zəngin məlumat
Tək bir p-dəyəri əvəzinə, etimad intervalı daha çox məlumatlandırıcıdır: təxmininiz üçün məqbul dəyərlər aralığını verir. “Effekt 1200, 95% güvən intervalı [300, 2100]” cümləsi həm istiqaməti, həm böyüklüyünü, həm də qeyri-müəyyənliyi göstərir; "p<0.05" sadəcə "sıfırdan uzaq" deyir. Müasir statistik təcrübə p-dəyərindən tək istifadə etmir; təsir ölçüsü + güvən intervalı + p-dəyəri üçlüyü ilə hesabat verməyi tövsiyə edir.
Statistik güc və nümunə
Statistik güc faktiki mövcud olan effekti aşkar etmək ehtimalıdır (1 minus II tip xəta ehtimalı, yəni “real effekti əldən vermək”). Gücsüz tədqiqat iki riskə həssasdır: (1) həqiqi təsirləri əldən verir (yalan mənfi); (2) əhəmiyyətli olan bir neçə nəticə şişirdilmiş miqyasları daşıyır - sözdə qalibin lənəti, çünki yalnız şişirdilmiş proqnozlar həddi keçə bilər. Buna görə də, analizdən əvvəl gücü/nümunəni hesablamaq yaxşı təcrübədir. AI bu hesab üçün kodu yaradır; Hədəf təsir ölçüsünü nəzəriyyə ilə təyin edirsiniz.
Çoxsaylı müqayisə problemi
Test edərkən, 0,05 həddi "5% yanlış pozitiv risk" deməkdir. Ancaq 20 test etsəniz, orta hesabla birinin təsadüfən p<0.05 verməsi gözlənilir, hətta onların hamısı həqiqətən təsirsiz olsa belə. Buna çoxlu müqayisə problemi deyilir. Çoxlu sayda dəyişənlər, alt qruplar və ya nəticə dəyişənləri sınaqdan keçirildikdə yanlış müsbətlərin ehtimalı sürətlə artır. Həll həddi düzəltməkdir: Bonferroni (həddi testlərin sayına bölmək — ciddi), yalançı kəşf dərəcəsini (FDR) idarə edən Holm və ya Benjamini-Hochberg üsulları. Süni intellekt dövründə bu risk daha da artır, çünki AI saniyələr ərzində onlarla test yarada bilər – bu, növbəti bölmənin birbaşa mövzusudur (p-hacking).
Müqayisə cədvəli: p-dəyəri nə deyir və nə demir
ifadə
Doğrudurmu?
Təsvir
"p=0,02, təsirin olmama ehtimalı 2%"
səhv
p H0 ehtimalı deyil
"p<0.05, təsir böyükdür"
səhv
p ölçüsü göstərmir
"p=0.20, effekt yoxdur"
səhv
Göstərə bilməmək yoxluq deyil
"p<0.05, H0-a qarşı dəlil var"
Doğrudur
Ehtiyatlı və nöqtədə
"Effekt 1.200 [300;2.100], p=0.01"
ən yaxşı
Ölçü + qeyri-müəyyənlik + sübut
Dörd kopyalana bilən sorğu
1. Düzgün testin seçilməsi:
Rolunuz: statistik test köməkçisi. Mən iki müstəqil qrupun (davamlı dəyişən) ortasını müqayisə etmək istəyirəm. Mənə verin: hansı testin uyğun olduğunu (fərziyyələri ilə: normallıq, dispersiya bərabərliyi), fərziyyə yerinə yetirilmədikdə alternativ (məsələn, Welch, Mann-Whitney) və R kodu. Nəticəni işə salacağam və fərziyyələri yoxlayacağam.
2. P-dəyərinin düzgün bildirilməsi:
Aşağıdakı test nəticəsini bildirin, lakin QAYDALAR:- p-dəyərini “H0 ehtimalı” və ya “təsir ölçüsü” kimi təqdim etməyin,- təsir ölçüsünü və 95% etibar intervalını daxil etməyinizə əmin olun,- “əhəmiyyətli” və “əhəmiyyətli” sözlərini ayrıca yazın,- p>0,05 olarsa, “təsiri yoxdur” deməyin, “göstərmədik” deyin. Çıxış: [yapışdırın]
3. Güc/nümunə hesablanması:
Təcrübə planlaşdırıram: iki qrup, gözlənilən təsir ölçüsü (Cohen d) ~0,4, güc 0,80, alfa 0,05. Tələb olunan nümunə ölçüsünü hesablayan R kodunu yazın (pwr paketi) və aşağı güclü tədqiqatın risklərini izah edin (qalibin lənəti).
4. Çoxsaylı müqayisə korreksiyası:
Mən 15 ayrı fərziyyə testi etmişəm və p-dəyərlərim var. Bonferroni və Benjamin-Hochberg (FDR) düzəlişlərini tətbiq edən R kodunu yazın, iki üsul arasındakı fərqi izah edin və niyə çılpaq p<0.05-ə etibar etməməli olduğumu bir cümlə ilə ümumiləşdirin.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Bu testin nəticəsi mənalıdırmı? Nəticəni şərh edin.
Bu iddia AI-ni “mənalı/mənalı olmayan” ikilikdə saxlayır; çox güman ki, “bəli, əhəmiyyətlidir, təsir güclüdür” kimi böyüklüklə əhəmiyyəti qarışdıran cümlə yaradır.
Güclü göstəriş:
Sizin rolunuz: diqqətli statistik köməkçi. Nəticəni şərh edin, lakin: (1) təsir ölçüsünü + 95% inam intervalını + p-qiymətini birlikdə verin, (2) əhəmiyyəti əhəmiyyətdən ayırın, (3) p>0,05 "göstərmək mümkün olmadı", (4) neçə test etdiyimi soruşun; Əgər birdən çox olarsa, çoxsaylı müqayisə korreksiyası təklif edin, (5) testin fərziyyələrinin yoxlanılmalı olduğunu xatırladın.
Fərq: güclü əmr zəngin hesabatı tətbiq edir və p-dəyəri tələlərindən qoruyur.
üç mini qutu
1-ci hal – Böyük nümunədə əhəmiyyətsiz “əhəmiyyət”. Bir analitik 500.000 müşahidə ilə məlumatlarda p<0.001-də iki qrup arasındakı orta fərqi "çox əhəmiyyətli" tapdı. Amma fərq cəmi 0,3 baldı (100 baldan) və praktiki olaraq mənasız idi. Böyük nümunə hətta kiçik fərqi "əhəmiyyətli" etdi. Təsir ölçüsü bildirildikdə, tapıntının əhəmiyyətsiz olduğu aşkar edildi. Dərs: əhəmiyyət böyüklük deyil; Əgər n böyükdürsə, hər bir fərq əhəmiyyətlidir.
Case 2 - Çoxsaylı sınaq illüziyası. Bir komanda 22 nəticə dəyişənini sınaqdan keçirdi; Onlardan biri p=0,04 göstərdi və “təsiri tapdıq” elan edildi. Bonferroni korreksiyası ilə eşik 0,05/22 = 0,0023-ə qədər azaldı; 0,04 bu həddi keçə bilməyib. Yeganə "mənalı" nəticə 22 sınaqdan təsadüfən ola bilərdi. Dərs: çox sınaqdan keçirərkən düzəliş lazımdır.
Case 3 - Gücsüzlük və qalibin lənəti. Kiçik bir pilot tədqiqat (qrup başına n=15) çox böyük (d=0,9) və əhəmiyyətli təsir tapdı. Böyük bir təkrarlama tədqiqatı effekti d = 0,2-ə endirdi. Kiçik nümunə yalnız həddən artıq qiymətləndirmənin həddi keçməsinə imkan verdi. Dərs: Aşağı gücdə əhəmiyyətli təsir ölçülərinə etibar etmək olmaz.
Ümumi səhvlər
- Mənalılığı əhəmiyyət/böyüklük ilə qarışdırmaq. Yalnız p kiçik olduğu üçün təsir böyük deyil; Təsir ölçüsünü ayrıca bildirin.
- H0 ehtimalı ilə p-qiymətini səhv salmaq. p “heç bir təsir ehtimalı” deyil; konseptual olaraq fərqlidir.
- P>0,05-in "təsir yoxdur" kimi oxunması. Göstərməmək yoxluğun sübutu deyil; Qeyri-müəyyənliyi bildirin.
- Çox test üçün düzəliş edilmir. Həddindən artıq çox test yanlış müsbət nəticələr verir; Bonferroni/FDR tətbiq edin.
- Gücü nəzərə almamaq. Kiçik nümunədə əhəmiyyətli təsir şişirdilmişdir; Analiz etməzdən əvvəl gücü hesablayın.
İpucu: Nəticəni "əhəmiyyətli" kimi silməzdən əvvəl iki sual verin: "Təsir praktiki olaraq əhəmiyyətlidirmi (böyüklük)?" və "Bu nəticəni tapana qədər neçə test keçirdim?" İkinci sual dürüstlüyün lakmus testidir.
Xülasə
Hipotez testi və p-dəyəri güclü, lakin səhv başa düşülən alətlərdir. p-qiyməti sıfır fərziyyə doğru olduqda verilənləri görmə ehtimalıdır; H0 ehtimalı təsirin böyüklüyü və ya tapıntının əhəmiyyəti deyil. Həmişə təsir ölçüsü və etibarlılıq intervalı ilə birlikdə əhəmiyyətini bildirin; p>0,05-i “təsiri yoxdur” kimi oxumayın; çoxlu testlər etmisinizsə, çoxsaylı müqayisə korreksiyasını tətbiq edin; Aşağı güclü tədqiqatların şişirdilmiş təsirləri riskindən xəbərdar olun. Süni intellekt test kodunu və planını hazırlayır; Mənalılıq və əhəmiyyətlilik arasında fərq qoymaq və fərziyyələri yoxlamaq sizin məsuliyyətinizdir.
Tətbiq tapşırığı
Məlumat dəstində iki qrup arasında vasitələrin müqayisəsini aparın. Süni intellektdən müvafiq testi (öz fərziyyələri ilə) və kodu soruşun, işə salın və fərziyyələri yoxlayın. Nəticəni üç komponentlə bildirin: effekt ölçüsü, 95% etibarlılıq intervalı, p-dəyəri. Sonra eyni məlumat üzərində nə qədər fərqli müqayisə apara biləcəyinizi düşünün; Əgər bir neçə test keçirmisinizsə, Bonferroni və ya FDR korreksiyasını tətbiq edin və nəticənin hələ də qaldığını bildirin. Nəhayət, analiziniz üçün kobud güc qiymətləndirməsi yazın.
yoxlama siyahısı
- [ ] Testi fərziyyələri ilə seçdim və fərziyyələri yoxladım.
- [ ] Mən nəticəni təsir ölçüsü + güvən intervalı + p-dəyəri kimi bildirdim.
- [ ] Mən “əhəmiyyətli” və “vacib”i ayrı saxladım; Mən p-nin H0 ehtimalı olduğunu düşünmürdüm.
- [ ] Mən p>0.05-i “təsiri yoxdur” yox, “göstərə bilmədik” kimi yazdım.
- [ ] Çoxsaylı testlər keçirsəm, çoxsaylı müqayisə korreksiyasını tətbiq etdim.
- [ ] Mən seçmə gücünü qiymətləndirdim; Mən aşağı gücdə təsir ölçüsü ilə bağlı ehtiyatlı idim.