கருதுகோள் சோதனை மற்றும் p-மதிப்பு: முக்கியத்துவம், சக்தி மற்றும் பல ஒப்பீடுகள்

ஆதாயங்கள்:

• பூஜ்ய கருதுகோள், p-மதிப்பு, நம்பிக்கை இடைவெளி மற்றும் புள்ளிவிவர சக்தி ஆகியவற்றை சரியாக வரையறுக்கும் திறன் மற்றும் சோதனை தேர்வு மற்றும் விளக்கத்தில் செயற்கை நுண்ணறிவைப் பயன்படுத்துதல்.
• பி-மதிப்பு எது மற்றும் இல்லை என்பதை வேறுபடுத்தும் திறன் (விளைவு அளவு அல்ல, துல்லியத்தின் நிகழ்தகவு அல்ல) மற்றும் பல ஒப்பீட்டு திருத்தம் ஏன் அவசியம் என்பதைப் புரிந்துகொள்வது
• பொருளுணர்வோடு அர்த்தமுள்ள தன்மையைக் குழப்பி, விளைவு அளவு மற்றும் நிச்சயமற்ற தன்மையுடன் அவற்றைப் புகாரளிக்கும் செயற்கை நுண்ணறிவால் செய்யப்பட்ட கருத்துகளை அடையாளம் காணும் திறன்

புள்ளிவிவரங்களில் அதிகம் பயன்படுத்தப்படும் மற்றும் தவறாகப் புரிந்துகொள்ளப்பட்ட கருவி கருதுகோள் சோதனை ஆகும். அடிப்படை யோசனை எளிதானது: எங்களிடம் ஒரு கூற்று உள்ளது (எ.கா. "இந்த இரண்டு குழுக்களின் சராசரி வேறுபட்டது") மற்றும் அதன் எதிர், பூஜ்ய கருதுகோள் (H0 — "உண்மையில் எந்த வித்தியாசமும் இல்லை"). பூஜ்ய கருதுகோளுடன் தரவு எவ்வளவு நன்றாக ஒத்துப்போகிறது என்பதை சோதனை அளவிடுகிறது. செயற்கை நுண்ணறிவு (AI) சோதனைத் தேர்வு மற்றும் விளக்கத்தை எவ்வாறு எளிதாக்குகிறது என்பதை இந்த பிரிவில் பார்ப்போம், ஆனால் p-மதிப்பைச் சுற்றியுள்ள ஆபத்துகள் ஏன் மிகவும் பொதுவானவை மற்றும் ஆபத்தானவை. ஆரம்பத்தில் இருந்து ஆரம்பிக்கலாம்: எந்த சோதனை தொடரியல் எழுத வேண்டும் என்பதை AI அறிந்திருக்கிறது; ஆனால் சோதனையின் அனுமானம் திருப்திகரமாக உள்ளதா மற்றும் அதன் விளைவு உண்மையில் என்ன என்பதை விளக்குவது உங்கள் வேலை.

உண்மையில் p-மதிப்பு என்றால் என்ன?

p-மதிப்பு என்பது பூஜ்ய கருதுகோள் உண்மையாக இருக்கும்போது (அதாவது, உண்மையில் எந்த விளைவும் இல்லை) நீங்கள் கவனிக்கும் விளைவு அல்லது மிகவும் தீவிரமான விளைவு தற்செயலாக நிகழும் நிகழ்தகவு ஆகும். ஒரு சிறிய p-மதிப்பு (0.05 என்பது பாரம்பரிய வாசல்) என்பது "உண்மையில் எந்த விளைவும் இல்லை என்றால் அத்தகைய தரவைப் பார்ப்பது ஆச்சரியமாக இருக்கும்"; இது பூஜ்ய கருதுகோளுக்கு எதிரான ஆதாரமாக கருதப்படுகிறது.

இப்போது p-மதிப்பு என்ன அல்ல என்பதை தெளிவுபடுத்துவோம் - இது AI அடிக்கடி குழப்புகிறது:

• p-மதிப்பு என்பது பூஜ்ய கருதுகோள் உண்மையாக இருப்பதற்கான நிகழ்தகவு அல்ல. p=0.03 என்பது "விளைவின் 3% நிகழ்தகவு உள்ளது" என்று அர்த்தமல்ல.
• பி-மதிப்பு விளைவின் அளவைக் குறிக்கவில்லை. மிகச் சிறிய விளைவு ஒரு பெரிய மாதிரியில் ஒரு சிறிய p-மதிப்பை அளிக்கலாம்.
• பி-மதிப்பு, கண்டுபிடிப்பு குறிப்பிடத்தக்கது அல்லது உண்மையானது என்பதை நிரூபிக்கவில்லை. "குறிப்பிடத்தக்கது" என்பது ஒரு புள்ளியியல் சொல், "குறிப்பிடத்தக்கது" என்பது ஒரு தீர்ப்பு.
• p>0.05 என்பதன் அர்த்தம் "விளைவு இல்லை"; இதன் பொருள் "இந்தத் தரவு மூலம் எங்களால் விளைவைக் காட்ட முடியவில்லை." ஆதாரம் இல்லாதது இல்லாததற்கான ஆதாரம் அல்ல.

எச்சரிக்கை: மிகவும் பொதுவான AI விளக்கப் பிழையானது "குறிப்பிடத்தக்கது" என்ற வார்த்தையை "குறிப்பிடத்தக்க/வலுவான/பெரிய தாக்கம்" என்று வழங்குவதாகும். புள்ளியியல் முக்கியத்துவம் மற்றும் நடைமுறை முக்கியத்துவம் இரண்டு வெவ்வேறு விஷயங்கள்; எப்பொழுதும் இரண்டையும் தனித்தனியாகப் புகாரளிக்கவும்.

நம்பிக்கை இடைவெளி மற்றும் விளைவு அளவு: பணக்கார தகவல்

ஒரு ஒற்றை p-மதிப்பிற்கு பதிலாக, ஒரு நம்பிக்கை இடைவெளி மிகவும் தகவலறிந்ததாகும்: இது உங்கள் மதிப்பீட்டிற்கான நம்பத்தகுந்த மதிப்புகளை வழங்குகிறது. "விளைவு 1,200, 95% நம்பிக்கை இடைவெளி [300, 2,100]" என்ற வாக்கியம் திசை, அளவு மற்றும் நிச்சயமற்ற தன்மை இரண்டையும் காட்டுகிறது; "p<0.05" என்பது "பூஜ்ஜியத்திலிருந்து வெகு தொலைவில்" என்று கூறுகிறது. நவீன புள்ளியியல் நடைமுறையானது p-மதிப்பை மட்டும் பயன்படுத்தவில்லை; விளைவு அளவு + நம்பிக்கை இடைவெளி + p-மதிப்பு ஆகிய மூன்றையும் கொண்டு புகாரளிக்க பரிந்துரைக்கிறது.

புள்ளிவிவர சக்தி மற்றும் மாதிரி

புள்ளியியல் சக்தி என்பது உண்மையில் இருக்கும் விளைவைக் கண்டறிவதற்கான நிகழ்தகவு (வகை II பிழையின் நிகழ்தகவை 1 கழித்தல், அதாவது "உண்மையான விளைவைக் காணவில்லை"). சக்தியற்ற ஆய்வு இரண்டு அபாயங்களுக்கு ஆளாகிறது: (1) அது உண்மையான விளைவுகளைத் தவறவிடுகிறது (தவறான எதிர்மறை); (2) குறிப்பிடத்தக்கதாக மாறும் சில முடிவுகள் உயர்த்தப்பட்ட அளவைக் கொண்டு செல்கின்றன-வெற்றியாளர்களின் சாபம் என்று அழைக்கப்படுபவை, ஏனெனில் உயர்த்தப்பட்ட கணிப்புகள் மட்டுமே வாசலைக் கடக்க முடியும். எனவே, பகுப்பாய்விற்கு முன் சக்தி/மாதிரியைக் கணக்கிடுவது நல்ல நடைமுறை. இந்தக் கணக்கிற்கான குறியீட்டை AI உருவாக்குகிறது; நீங்கள் கோட்பாட்டின் மூலம் இலக்கு விளைவு அளவை தீர்மானிக்கிறீர்கள்.

பல ஒப்பீடு பிரச்சனை

ஒரு சோதனையைச் செய்யும்போது, ​​0.05 வரம்பு என்பது "தவறான நேர்மறைகளின் 5% ஆபத்து" என்று பொருள். ஆனால் நீங்கள் 20 சோதனைகளைச் செய்தால், அவை அனைத்தும் உண்மையில் பயனற்றதாக இருந்தாலும் கூட, சராசரியாக ஒருவர் p <0.05 ஐ தற்செயலாகக் கொடுப்பார் என்று எதிர்பார்க்கப்படுகிறது. இது பல ஒப்பீட்டு சிக்கல் என்று அழைக்கப்படுகிறது. அதிக எண்ணிக்கையிலான மாறிகள், துணைக்குழுக்கள் அல்லது விளைவு மாறிகள் சோதிக்கப்படும்போது தவறான நேர்மறைகளின் நிகழ்தகவு வேகமாக அதிகரிக்கிறது. வாசலைச் சரிசெய்வதே தீர்வு: போன்ஃபெரோனி (சோதனைகளின் எண்ணிக்கையால் வாசலைப் பிரித்தல் - கண்டிப்பானது), ஹோல்ம் அல்லது பெஞ்சமினி-ஹோச்பெர்க் முறைகள் தவறான கண்டுபிடிப்பு விகிதத்தைக் (FDR) கட்டுப்படுத்துகின்றன. AI இன் வயதில் இந்த ஆபத்து இன்னும் அதிகமாகிறது, ஏனெனில் AI ஆனது வினாடிகளில் டஜன் கணக்கான சோதனைகளை உருவாக்க முடியும் - இது அடுத்த யூனிட்டின் நேரடி பொருள் (p-ஹேக்கிங்).

ஒப்பீட்டு அட்டவணை: p-மதிப்பு என்ன சொல்கிறது மற்றும் என்ன சொல்லவில்லை

வெளிப்பாடு

உண்மையா?

விளக்கம்

"p=0.02, விளைவு இல்லாத நிகழ்தகவு 2%"

தவறு

p என்பது H0 இன் நிகழ்தகவு அல்ல

"p<0.05, விளைவு பெரியது"

தவறு

p அளவைக் குறிக்கவில்லை

"p=0.20, விளைவு இல்லை"

தவறு

காட்ட முடியாமல் இருப்பது இல்லாதது அல்ல

"p<0.05, H0 க்கு எதிராக ஆதாரம் உள்ளது"

உண்மை

கவனமாக மற்றும் புள்ளியில்

"விளைவு 1.200 [300;2.100], ப=0.01"

சிறந்த

அளவு + நிச்சயமற்ற தன்மை + ஆதாரம்

நகலெடுக்கக்கூடிய நான்கு தூண்டுதல்கள்

1. சரியான சோதனையைத் தேர்ந்தெடுப்பது:

உங்கள் பங்கு: புள்ளியியல் சோதனை உதவியாளர். இரண்டு சுயாதீன குழுக்களின் சராசரியை (தொடர்ச்சியான மாறி) ஒப்பிட விரும்புகிறேன். எனக்குக் கொடுங்கள்: எந்த சோதனை பொருத்தமானது (அதன் அனுமானங்களுடன்: இயல்பான தன்மை, மாறுபாட்டின் சமத்துவம்), அனுமானம் பூர்த்தி செய்யப்படாவிட்டால் மாற்று (எ.கா. வெல்ச், மான்-விட்னி) மற்றும் R குறியீடு. நான் முடிவை இயக்கி அனுமானங்களைச் சரிபார்ப்பேன்.

2. p-மதிப்பை சரியாகப் புகாரளித்தல்:

சோதனை வெளியீட்டை கீழே புகாரளிக்கவும், ஆனால் விதிகள்:- p-மதிப்பை "H0 நிகழ்தகவு" அல்லது "விளைவு அளவு" என வழங்க வேண்டாம்,- விளைவு அளவு மற்றும் 95% நம்பிக்கை இடைவெளியை உள்ளடக்குவதை உறுதிப்படுத்தவும்,- "குறிப்பிடத்தக்கது" மற்றும் "குறிப்பிடத்தக்கது" என்று தனித்தனியாக எழுதவும்,- p>0.05 எனில், "எந்த விளைவையும் காட்ட முடியாது" என்று சொல்ல வேண்டாம். வெளியீடு: [ஒட்டு]

3. சக்தி/மாதிரி கணக்கீடு:

நான் ஒரு பரிசோதனையைத் திட்டமிடுகிறேன்: இரண்டு குழுக்கள், எதிர்பார்க்கப்படும் விளைவு அளவு (கோஹனின் ஈ) ~0.4, சக்தி 0.80, ஆல்பா 0.05. தேவையான மாதிரி அளவை (pwr தொகுப்பு) கணக்கிடும் R குறியீட்டை எழுதவும் மற்றும் குறைந்த ஆற்றல் கொண்ட ஆய்வின் அபாயங்களை விளக்கவும் (வெற்றியாளரின் சாபம்).

4. பல ஒப்பீடு திருத்தம்:

நான் 15 தனித்தனி கருதுகோள் சோதனைகளைச் செய்துள்ளேன், மேலும் என்னிடம் p-மதிப்புகள் உள்ளன. Bonferroni மற்றும் Benjamin-Hochberg (FDR) திருத்தங்களைப் பயன்படுத்தும் R குறியீட்டை எழுதவும், இரண்டு முறைகளுக்கு இடையே உள்ள வேறுபாட்டை விளக்கவும், மற்றும் நான் ஏன் வெற்று p<0.05 ஐ நம்பக்கூடாது என்பதை ஒரு வாக்கியத்தில் சுருக்கவும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்த சோதனையின் முடிவு அர்த்தமுள்ளதா? முடிவைப் பற்றி கருத்து தெரிவிக்கவும்.

இந்த கூற்று AI ஐ "அர்த்தமுள்ள/அர்த்தமற்ற" பைனரியில் சிக்க வைக்கிறது; "ஆம், இது குறிப்பிடத்தக்கது, விளைவு வலுவானது" போன்ற முக்கியத்துவத்துடன் அளவைக் குழப்பும் ஒரு வாக்கியத்தை பெரும்பாலும் உருவாக்குகிறது.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: கவனமுள்ள புள்ளியியல் உதவியாளர். முடிவை விளக்கவும் ஆனால்: (1) விளைவு அளவு + 95% நம்பிக்கை இடைவெளி + p-மதிப்பை ஒன்றாகக் கொடுங்கள், (2) முக்கியத்துவத்திலிருந்து தனி முக்கியத்துவம், (3) p>0.05 இல் "காட்ட முடியவில்லை", (4) நான் எத்தனை சோதனைகளைச் செய்தேன் என்று கேட்கவும்; ஒன்றுக்கு மேற்பட்டதாக இருந்தால், பல ஒப்பீடு திருத்தங்களை பரிந்துரைக்கவும், (5) சோதனையின் அனுமானங்கள் சரிபார்க்கப்பட வேண்டும் என்பதை நினைவூட்டவும்.

வேறுபாடு: வலுவான ப்ராம்ட் பணக்கார அறிக்கையை செயல்படுத்துகிறது மற்றும் p-மதிப்பு பொறிகளிலிருந்து பாதுகாக்கிறது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - பெரிய மாதிரியில் முக்கியமற்ற "முக்கியத்துவம்". 500,000 அவதானிப்புகள் கொண்ட தரவுகளில் p<0.001 இல் இரண்டு குழுக்களுக்கு இடையேயான சராசரி வேறுபாட்டை ஒரு ஆய்வாளர் கண்டறிந்தார். ஆனால் வித்தியாசம் 0.3 புள்ளிகள் மட்டுமே (100 இல்) மற்றும் நடைமுறையில் அர்த்தமற்றது. பெரிய மாதிரி சிறிய வித்தியாசத்தை கூட "குறிப்பிடத்தக்கதாக" மாற்றியது. விளைவு அளவைப் புகாரளித்தபோது, ​​​​கண்டுபிடிப்பு முக்கியமற்றதாகக் கண்டறியப்பட்டது. பாடம்: முக்கியத்துவம் என்பது அளவு அல்ல; n பெரியதாக இருந்தால், ஒவ்வொரு வித்தியாசமும் குறிப்பிடத்தக்கது.

வழக்கு 2 - பல சோதனை மாயை. ஒரு குழு 22 விளைவு மாறிகளை சோதித்தது; அவற்றில் ஒன்று p=0.04 ஐக் காட்டியது மற்றும் "நாங்கள் விளைவைக் கண்டோம்" என அறிவிக்கப்பட்டது. Bonferroni திருத்தம் மூலம், threshold 0.05/22 = 0.0023 ஆக குறைந்தது; 0.04 இந்த வரம்பை கடக்கவில்லை. 22 சோதனைகளில் தற்செயலாக "அர்த்தமுள்ள" முடிவு கிடைத்திருக்கும். பாடம்: நிறைய சோதனை செய்யும் போது, ​​திருத்தம் அவசியம்.

வழக்கு 3 - அண்டர்பவர் மற்றும் வெற்றியாளரின் சாபம். ஒரு சிறிய பைலட் ஆய்வில் (ஒரு குழுவிற்கு n=15) ஒரு பெரிய விளைவைக் கண்டறிந்தது (d=0.9) மற்றும் குறிப்பிடத்தக்கது. ஒரு பெரிய பிரதி ஆய்வு விளைவை d = 0.2 ஆகக் குறைத்தது. சிறிய மாதிரியானது மிகை மதிப்பீட்டை வாசலைக் கடக்க மட்டுமே அனுமதித்தது. பாடம்: குறைந்த சக்தியில் குறிப்பிடத்தக்க விளைவு அளவுகளை நம்ப முடியாது.

பொதுவான தவறுகள்

• முக்கியத்துவத்தை/அளவைக் கொண்டு அர்த்தமுள்ள குழப்பம். p சிறியதாக இருப்பதால் விளைவு பெரிதாக இருக்காது; விளைவு அளவை தனித்தனியாகப் புகாரளிக்கவும்.
• H0 இன் நிகழ்தகவுக்காக p-மதிப்பை தவறாகப் புரிந்துகொள்வது. p என்பது "விளைவின் நிகழ்தகவு" அல்ல; கருத்து ரீதியாக வேறுபட்டது.
• p>0.05 ஐ "எஃபெக்ட் இல்லை" என்று படித்தல். காட்டத் தவறியது இல்லாததற்கு ஆதாரம் அல்ல; நிச்சயமற்ற தன்மையைக் கூறவும்.
• பல சோதனைகளை சரி செய்யவில்லை. பல சோதனைகள் தவறான நேர்மறைகளை உருவாக்குகின்றன; Bonferroni/FDR விண்ணப்பிக்கவும்.
• அதிகாரத்தை புறக்கணித்தல். சிறிய மாதிரியில் குறிப்பிடத்தக்க விளைவு மிகைப்படுத்தப்பட்டது; பகுப்பாய்விற்கு முன் சக்தியைக் கணக்கிடுங்கள்.

உதவிக்குறிப்பு: ஒரு முடிவை "குறிப்பிடத்தக்கது" என்று எழுதுவதற்கு முன் இரண்டு கேள்விகளைக் கேளுங்கள்: "விளைவு நடைமுறையில் குறிப்பிடத்தக்கதா (அளவு)?" மற்றும் "இந்த முடிவைக் கண்டுபிடிப்பதற்கு முன்பு நான் எத்தனை சோதனைகளை எடுத்தேன்?" இரண்டாவது கேள்வி நேர்மைக்கான லிட்மஸ் சோதனை.

சுருக்கமாக

கருதுகோள் சோதனை மற்றும் p-மதிப்பு சக்தி வாய்ந்த ஆனால் தவறாக புரிந்து கொள்ளப்பட்ட கருவிகள். p-மதிப்பு என்பது பூஜ்ய கருதுகோள் உண்மையாக இருக்கும்போது தரவைப் பார்ப்பதற்கான நிகழ்தகவு ஆகும்; H0 இன் நிகழ்தகவு விளைவின் அளவு அல்லது கண்டுபிடிப்பின் முக்கியத்துவம் அல்ல. விளைவு அளவு மற்றும் நம்பிக்கை இடைவெளியுடன் எப்பொழுதும் முக்கியத்துவத்தைப் புகாரளிக்கவும்; p>0.05 ஐ "எஃபெக்ட் இல்லை" என்று படிக்க வேண்டாம்; நீங்கள் பல சோதனைகளைச் செய்திருந்தால், பல ஒப்பீட்டுத் திருத்தத்தைப் பயன்படுத்துங்கள்; குறைந்த சக்தி கொண்ட ஆய்வுகள் மூலம் மிகைப்படுத்தப்பட்ட விளைவுகளின் அபாயம் குறித்து எச்சரிக்கையாக இருங்கள். AI சோதனைக் குறியீடு மற்றும் வரைபடத்தை உருவாக்குகிறது; அர்த்தமுள்ள தன்மை மற்றும் பொருள் ஆகியவற்றை வேறுபடுத்துவது மற்றும் அனுமானங்களை சரிபார்ப்பது உங்கள் பொறுப்பு.

விண்ணப்ப பணி

தரவுத் தொகுப்பில் உள்ள இரண்டு குழுக்களுக்கு இடையே உள்ள வழிமுறைகளை ஒப்பிட்டுப் பார்க்கவும். AIயிடம் பொருத்தமான சோதனை (அதன் அனுமானங்களுடன்) மற்றும் குறியீட்டைக் கேட்டு, அதை இயக்கி அனுமானங்களைச் சரிபார்க்கவும். மூன்று கூறுகளுடன் முடிவைப் புகாரளிக்கவும்: விளைவு அளவு, 95% நம்பிக்கை இடைவெளி, p-மதிப்பு. ஒரே தரவில் நீங்கள் எத்தனை வித்தியாசமான ஒப்பீடுகளைச் செய்யலாம் என்பதைப் பற்றி சிந்தியுங்கள்; நீங்கள் பல சோதனைகளை மேற்கொண்டிருந்தால், Bonferroni அல்லது FDR திருத்தத்தைப் பயன்படுத்துங்கள் மற்றும் முடிவு இன்னும் இருந்தால் புகாரளிக்கவும். இறுதியாக, உங்கள் பகுப்பாய்விற்கு ஒரு தோராயமான சக்தி மதிப்பீட்டை எழுதுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் சோதனையை அதன் அனுமானங்களுடன் தேர்ந்தெடுத்து அனுமானங்களைச் சரிபார்த்தேன்.
• [ ] விளைவு அளவு + நம்பிக்கை இடைவெளி + p-மதிப்பு என முடிவைப் புகாரளித்தேன்.
• [ ] நான் "குறிப்பிடத்தக்கவை" மற்றும் "முக்கியமானவை" தனித்தனியாக வைத்திருந்தேன்; p என்பது H0 இன் நிகழ்தகவு என்று நான் நினைக்கவில்லை.
• [ ] நான் p>0.05 ஐ "எந்த விளைவும் இல்லை" என்பதற்கு பதிலாக "எங்களால் அதைக் காட்ட முடியவில்லை" என்று எழுதினேன்.
• [ ] நான் பல சோதனைகளை நடத்தினால், பல ஒப்பீட்டுத் திருத்தத்தைப் பயன்படுத்தினேன்.
• [ ] நான் மாதிரி சக்தியை மதிப்பீடு செய்தேன்; குறைந்த சக்தியில் விளைவு அளவு குறித்து நான் எச்சரிக்கையாக இருந்தேன்.