नफा:
- शून्य गृहितक, p-मूल्य, आत्मविश्वास मध्यांतर आणि सांख्यिकीय शक्ती योग्यरित्या परिभाषित करण्याची क्षमता आणि चाचणी निवड आणि व्याख्यामध्ये कृत्रिम बुद्धिमत्ता वापरण्याची क्षमता.
- पी-व्हॅल्यू काय आहे आणि काय नाही हे वेगळे करण्याची क्षमता (प्रभाव आकार नाही, अचूकतेची संभाव्यता नाही) आणि एकाधिक तुलना दुरुस्ती आवश्यक का आहे हे समजून घेणे
- कृत्रिम बुद्धिमत्तेद्वारे केलेल्या टिप्पण्या ओळखण्याची क्षमता जी भौतिकतेसह अर्थपूर्णतेला गोंधळात टाकते आणि परिणाम आकार आणि अनिश्चिततेसह त्यांचा अहवाल देते
आकडेवारीचे सर्वाधिक वापरलेले आणि सर्वात गैरसमज असलेले साधन म्हणजे हायपोथिसिस चाचणी. मूळ कल्पना सोपी आहे: आमच्याकडे एक दावा आहे (उदा. "या दोन गटांचे मध्य वेगळे आहे") आणि त्याच्या विरुद्ध, एक शून्य गृहितक (H0 - "प्रत्यक्षात काही फरक नाही"). डेटा शून्य गृहीतकाशी किती चांगला सहमत आहे हे चाचणी मोजते. या युनिटमध्ये आपण आर्टिफिशियल इंटेलिजन्स (AI) चाचणी निवड आणि अर्थ लावणे कसे सोपे करत आहे ते पाहू, परंतु p-व्हॅल्यूच्या आसपासचे नुकसान इतके सामान्य आणि धोकादायक का आहेत. चला सुरुवातीपासून सुरुवात करूया: AI ला माहित आहे की कोणता चाचणी वाक्यरचना लिहायची आहे; परंतु चाचणीचे गृहितक समाधानी आहे की नाही आणि निकालाचा अर्थ काय आहे याचा अर्थ लावणे हे तुमचे काम आहे.
पी-व्हॅल्यू म्हणजे काय?
p-मूल्य ही संभाव्यता आहे की जेव्हा शून्य गृहीतक सत्य असते (म्हणजे, प्रत्यक्षात कोणताही परिणाम नसतो) तेव्हा तुम्ही पाहत असलेला परिणाम, किंवा अधिक टोकाचा परिणाम, योगायोगाने होईल. एक लहान p-मूल्य (0.05 पारंपारिक थ्रेशोल्ड आहे) म्हणजे "खरोखर कोणताही परिणाम झाला नसेल तर असा डेटा पाहणे आश्चर्यचकित होईल"; हा शून्य गृहितकाविरुद्ध पुरावा मानला जातो.
आता पी-व्हॅल्यू काय नाही ते स्पष्ट करूया - जे एआय सहसा गोंधळात टाकते:
- p-मूल्य हे शून्य गृहितक सत्य असण्याची शक्यता नाही. p=0.03 याचा अर्थ "कोणत्याही परिणामाची 3% शक्यता नाही" असा नाही.
- p-मूल्य प्रभावाचा आकार दर्शवत नाही. अगदी लहान परिणामामुळे मोठ्या नमुन्यात एक लहान p-मूल्य मिळू शकते.
- p-मूल्य हे सिद्ध करत नाही की शोध महत्त्वपूर्ण किंवा वास्तविक आहे. "महत्त्वपूर्ण" एक सांख्यिकीय संज्ञा आहे, "महत्त्वपूर्ण" एक निर्णय आहे.
- p>0.05 चा अर्थ "प्रभाव नाही" असा नाही; याचा अर्थ "आम्ही या डेटासह प्रभाव दर्शवू शकलो नाही." पुराव्याची अनुपस्थिती म्हणजे अनुपस्थितीचा पुरावा नाही.
खबरदारी: सर्वात सामान्य AI व्याख्या त्रुटी म्हणजे “लक्षणीय” हा शब्द “महत्त्वपूर्ण/मजबूत/मुख्य प्रभाव” म्हणून सादर करणे. सांख्यिकीय महत्त्व आणि व्यावहारिक महत्त्व या दोन भिन्न गोष्टी आहेत; नेहमी दोघांची स्वतंत्रपणे तक्रार करा.
आत्मविश्वास मध्यांतर आणि प्रभाव आकार: समृद्ध माहिती
एका p-मूल्याऐवजी, आत्मविश्वास मध्यांतर अधिक माहितीपूर्ण आहे: ते आपल्या अंदाजासाठी मूल्यांची प्रशंसनीय श्रेणी देते. "प्रभाव 1,200, 95% आत्मविश्वास मध्यांतर [300, 2,100]" हे वाक्य दिशा, विशालता आणि अनिश्चितता दोन्ही दर्शवते; "p <0.05" फक्त "शून्य पासून लांब" म्हणतो. आधुनिक सांख्यिकी सराव पी-व्हॅल्यू एकट्याने वापरत नाही; प्रभाव आकार + आत्मविश्वास मध्यांतर + p-मूल्य या त्रिकूटासह अहवाल देण्याची शिफारस करते.
सांख्यिकीय शक्ती आणि नमुना
सांख्यिकीय शक्ती म्हणजे प्रत्यक्षात अस्तित्वात असलेला प्रभाव शोधण्याची संभाव्यता (1 वजा प्रकार II त्रुटीची संभाव्यता, म्हणजे "वास्तविक परिणाम गहाळ"). कमी शक्ती असलेला अभ्यास दोन जोखमींना संवेदनाक्षम असतो: (1) त्याचे खरे परिणाम चुकतात (खोटे नकारात्मक); (२) जे काही परिणाम लक्षणीय ठरतात ते फुगवलेले परिमाण घेऊन जातात—तथाकथित विजेत्याचा शाप कारण केवळ फुगवलेले अंदाज उंबरठा ओलांडू शकतात. म्हणून, विश्लेषण करण्यापूर्वी शक्ती/नमुन्याची गणना करणे चांगले आहे. AI या खात्यासाठी कोड व्युत्पन्न करते; आपण सिद्धांतासह लक्ष्य प्रभाव आकार निर्धारित करता.
एकाधिक तुलना समस्या
चाचणी करताना, 0.05 चा उंबरठा म्हणजे "खोट्या सकारात्मकतेचा 5% धोका". परंतु जर तुम्ही 20 चाचण्या केल्या, तर त्या सर्व प्रत्यक्षात कुचकामी असतानाही सरासरी एकाने p<0.05 देणे योगायोगाने अपेक्षित आहे. याला एकाधिक तुलना समस्या म्हणतात. जेव्हा मोठ्या संख्येने व्हेरिएबल्स, उपसमूह किंवा परिणाम व्हेरिएबल्सची चाचणी केली जाते तेव्हा खोट्या सकारात्मकतेची संभाव्यता वेगाने वाढते. थ्रेशोल्ड दुरुस्त करणे हा उपाय आहे: बोनफेरोनी (चाचण्यांच्या संख्येने थ्रेशोल्ड विभाजित करणे — कडक), हॉल्म किंवा बेंजामिनी-हॉचबर्ग पद्धती ज्या खोट्या शोध दर (FDR) नियंत्रित करतात. AI च्या वयात हा धोका आणखी वाढतो, कारण AI काही सेकंदात डझनभर चाचण्या करू शकते — हा पुढील युनिटचा थेट विषय आहे (p-हॅकिंग).
तुलना सारणी: p-मूल्य काय म्हणतो आणि काय म्हणत नाही
अभिव्यक्ती
ते खरे आहे का?
वर्णन
"p=0.02, प्रभाव नसण्याची शक्यता 2% आहे"
चुकीचे
p ही H0 ची संभाव्यता नाही
"p <0.05, प्रभाव मोठा आहे"
चुकीचे
p आकार दर्शवत नाही
"p=0.20, परिणाम नाही"
चुकीचे
दाखवू न शकणे म्हणजे अनुपस्थिती नाही
"p <0.05, H0 विरुद्ध पुरावा आहे"
खरे
सावध आणि बिंदूवर
"प्रभाव 1.200 [300; 2.100], p=0.01"
सर्वोत्तम
आकार + अनिश्चितता + पुरावा
चार कॉपी करण्यायोग्य प्रॉम्प्ट
1. योग्य चाचणी निवडणे:
तुमची भूमिका: सांख्यिकीय चाचणी सहाय्यक. मला दोन स्वतंत्र गटांच्या सरासरीची (सतत चल) तुलना करायची आहे. मला द्या: कोणती चाचणी योग्य आहे (त्याच्या गृहितकांसह: सामान्यता, भिन्नतेची समानता), गृहितके पूर्ण न झाल्यास पर्यायी (उदा. वेल्च, मान-व्हिटनी), आणि आर कोड. मी निकाल चालवतो आणि गृहीतके तपासतो.
2. p-मूल्याचा योग्यरितीने अहवाल देणे:
खालील चाचणी आउटपुटचा अहवाल द्या, परंतु नियम:- p-मूल्य "H0 ची संभाव्यता" किंवा "प्रभाव आकार" म्हणून सादर करू नका, - प्रभाव आकार आणि 95% आत्मविश्वास मध्यांतर समाविष्ट करण्याचे सुनिश्चित करा, - "महत्त्वपूर्ण" आणि "लक्षणीय" स्वतंत्रपणे लिहा, - जर p>0.05, तर "कोणताही प्रभाव दाखवू शकलो नाही" असे म्हणू नका, "आम्ही परिणाम दाखवू शकलो नाही" असे म्हणू नका. आउटपुट: [पेस्ट]
3. पॉवर/नमुना गणना:
मी एका प्रयोगाची योजना करत आहे: दोन गट, अपेक्षित प्रभाव आकार (कोहेनचा डी) ~0.4, पॉवर 0.80, अल्फा 0.05. आवश्यक नमुना आकार (pwr पॅकेज) ची गणना करणारा R कोड लिहा आणि कमी-शक्तीच्या अभ्यासाचे धोके स्पष्ट करा (विजेत्याचा शाप).
4. एकाधिक तुलना सुधारणा:
मी 15 स्वतंत्र गृहीतक चाचण्या केल्या आहेत आणि माझ्याकडे p-मूल्ये आहेत. बोनफेरोनी आणि बेंजामिन-हॉचबर्ग (FDR) सुधारणा लागू करणारा R कोड लिहा, दोन पद्धतींमधील फरक स्पष्ट करा आणि मी बेअर p<0.05 वर विश्वास का ठेवू नये हे एका वाक्यात सारांशित करा.
कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट
कमकुवत प्रॉम्प्ट:
या परीक्षेचा निकाल अर्थपूर्ण आहे का? निकालावर टिप्पणी द्या.
हा दावा AI ला “अर्थपूर्ण/गैर-अर्थपूर्ण” बायनरीमध्ये अडकवतो; बहुधा एखादे वाक्य तयार करते जे मोठेपणाला महत्त्व देऊन गोंधळात टाकते, जसे की "होय, हे महत्त्वपूर्ण आहे, प्रभाव मजबूत आहे."
शक्तिशाली सूचना:
तुमची भूमिका: सजग सांख्यिकीय सहाय्यक. परिणामाचा अर्थ लावा पण: (1) परिणाम आकार + 95% आत्मविश्वास मध्यांतर + p-मूल्य एकत्रितपणे द्या, (2) महत्त्वापेक्षा वेगळे महत्त्व, (3) p>0.05 मध्ये "दाखवता आले नाही", (4) मी किती चाचण्या केल्या ते विचारा; एकापेक्षा जास्त असल्यास, एकाधिक तुलना सुधारणा सुचवा, (5) लक्षात ठेवा की चाचणीचे गृहितक तपासले पाहिजेत.
फरक: मजबूत प्रॉम्प्ट रिच रिपोर्टिंग लागू करते आणि पी-व्हॅल्यू ट्रॅप्सपासून संरक्षण करते.
तीन लहान प्रकरणे
केस 1 - मोठ्या नमुन्यात नगण्य "महत्त्व" एका विश्लेषकाला 500,000 निरीक्षणांसह डेटामध्ये p<0.001 वर दोन गटांमधील "अत्यंत लक्षणीय" फरक आढळला. परंतु फरक फक्त 0.3 गुण (100 पैकी) होता आणि व्यावहारिकदृष्ट्या अर्थहीन होता. प्रचंड नमुन्याने अगदी लहान फरक "महत्त्वपूर्ण" बनवला. जेव्हा परिणामाचा आकार नोंदवला गेला तेव्हा निष्कर्ष नगण्य असल्याचे आढळले. धडा: महत्त्व मोठेपणा नाही; n मोठा असल्यास, प्रत्येक फरक महत्त्वपूर्ण आहे.
केस 2 - एकाधिक चाचणी भ्रम. एका संघाने 22 परिणाम चलांची चाचणी केली; त्यापैकी एकाने p=0.04 दर्शविला आणि "आम्हाला परिणाम सापडला" म्हणून घोषित करण्यात आले. बोनफेरोनी सुधारणेसह, थ्रेशोल्ड 0.05/22 = 0.0023 पर्यंत कमी झाला; 0.04 ने हा थ्रेशोल्ड पार केला नाही. 22 चाचण्यांपैकी एकमेव "अर्थपूर्ण" निकाल योगायोगाने आला असता. धडा: भरपूर चाचणी करताना, सुधारणा आवश्यक आहे.
केस 3 - अंडरपॉवर आणि विजेत्याचा शाप. एका लहान प्रायोगिक अभ्यासात (n=15 प्रति गट) परिणाम खूप मोठा (d=0.9) आणि लक्षणीय आढळला. मोठ्या प्रतिकृती अभ्यासाने प्रभाव कमी केला d = 0.2. लहान नमुन्याने केवळ उंबरठा ओलांडण्याची परवानगी दिली होती. धडा: कमी पॉवरवर महत्त्वपूर्ण प्रभाव आकारांवर विश्वास ठेवला जाऊ शकत नाही.
सामान्य चुका
- महत्त्व/मोठेपणासह अर्थपूर्णता गोंधळात टाकणारी. केवळ p लहान असल्यामुळे प्रभाव मोठा नाही; परिणाम आकार स्वतंत्रपणे नोंदवा.
- H0 च्या संभाव्यतेसाठी p-मूल्य चुकणे. p ही "परिणाम होण्याची शक्यता" नाही; वैचारिकदृष्ट्या भिन्न आहे.
- p>0.05 "कोणताही प्रभाव नाही" म्हणून वाचत आहे. दर्शविण्यात अयशस्वी हा अनुपस्थितीचा पुरावा नाही; अनिश्चितता सांगा.
- बहु-चाचणीसाठी दुरुस्त करत नाही. बऱ्याच चाचण्या खोट्या सकारात्मक परिणाम देतात; बोनफेरोनी/एफडीआर लागू करा.
- सत्तेकडे दुर्लक्ष. लहान नमुना मध्ये लक्षणीय परिणाम अतिशयोक्तीपूर्ण आहे; विश्लेषणापूर्वी शक्तीची गणना करा.
टीप: "महत्त्वपूर्ण" म्हणून निकाल लिहिण्यापूर्वी दोन प्रश्न विचारा: "परिणाम व्यावहारिकदृष्ट्या महत्त्वपूर्ण आहे का (विशालता)?" आणि "हा निकाल मिळण्यापूर्वी मी किती चाचण्या घेतल्या?" दुसरा प्रश्न म्हणजे प्रामाणिकपणाची लिटमस टेस्ट.
सारांशात
गृहीतक चाचणी आणि पी-मूल्य हे शक्तिशाली परंतु गैरसमज असलेली साधने आहेत. p-मूल्य म्हणजे शून्य गृहीतक सत्य असताना डेटा पाहण्याची संभाव्यता; H0 ची संभाव्यता परिणामाची परिमाण किंवा शोधाचे महत्त्व नाही. प्रभाव आकार आणि आत्मविश्वास मध्यांतरासह नेहमी महत्त्व नोंदवा; p>0.05 "कोणताही प्रभाव नाही" म्हणून वाचू नका; तुम्ही अनेक चाचण्या केल्या असतील तर एकाधिक तुलना सुधारणा लागू करा; कमी-शक्तीच्या अभ्यासातून अतिशयोक्तीपूर्ण प्रभावांच्या जोखमीबद्दल जागरूक रहा. AI चाचणी कोड आणि ब्लूप्रिंट तयार करते; अर्थपूर्णता आणि भौतिकता यातील फरक ओळखणे आणि गृहीतके तपासणे ही तुमची जबाबदारी आहे.
अर्ज कार्य
डेटा सेटमधील दोन गटांमधील साधनांची तुलना करा. AI ला योग्य चाचणी (त्याच्या गृहितकांसह) आणि कोडसाठी विचारा, ते चालवा आणि गृहीतके तपासा. तीन घटकांसह निकालाचा अहवाल द्या: प्रभाव आकार, 95% आत्मविश्वास मध्यांतर, p-मूल्य. मग एकाच डेटावर तुम्ही किती वेगवेगळ्या तुलना करू शकता याचा विचार करा; तुम्ही एकाधिक चाचण्या घेतल्या असल्यास, बोनफेरोनी किंवा FDR सुधारणा लागू करा आणि परिणाम अजूनही टिकून राहिल्यास अहवाल द्या. शेवटी, तुमच्या विश्लेषणासाठी उग्र शक्ती मूल्यांकन लिहा.
चेकलिस्ट
- [ ] मी चाचणी त्याच्या गृहितकांसह निवडली आणि गृहीतके तपासली.
- [ ] मी परिणाम आकार + आत्मविश्वास मध्यांतर + p-मूल्य म्हणून परिणाम नोंदविला.
- [ ] मी "महत्त्वाचे" आणि "महत्त्वाचे" वेगळे ठेवले; p ही H0 ची संभाव्यता आहे असे मला वाटत नव्हते.
- [ ] मी p>0.05 असे लिहिले आहे की "आम्ही ते दाखवू शकलो नाही" ऐवजी "कोणताही परिणाम नाही".
- मी एकाधिक चाचण्या घेतल्यास मी एकाधिक तुलना सुधारणा लागू केली.
- मी सॅम्पलिंग पॉवरचे मूल्यांकन केले; मी कमी पॉवरवर प्रभाव आकाराबद्दल सावध होतो.