लाभ:
- शून्य परिकल्पना, पी-मूल्य, आत्मविश्वास अंतराल और सांख्यिकीय शक्ति को सही ढंग से परिभाषित करने और परीक्षण चयन और व्याख्या में कृत्रिम बुद्धिमत्ता का उपयोग करने की क्षमता।
- पी-वैल्यू क्या है और क्या नहीं है, इसे अलग करने की क्षमता (प्रभाव का आकार नहीं, सटीकता की संभावना नहीं) और यह समझने की क्षमता कि एकाधिक तुलना सुधार क्यों आवश्यक है
- कृत्रिम बुद्धिमत्ता द्वारा की गई टिप्पणियों को पहचानने की क्षमता जो सार्थकता को भौतिकता के साथ भ्रमित करती है और उन्हें प्रभाव के आकार और अनिश्चितता के साथ रिपोर्ट करती है
सांख्यिकी का सबसे अधिक इस्तेमाल किया जाने वाला और सबसे गलत समझा जाने वाला उपकरण परिकल्पना परीक्षण है। मूल विचार सरल है: हमारे पास एक दावा है (उदाहरण के लिए "इन दो समूहों का माध्य अलग है") और इसके विपरीत, एक शून्य परिकल्पना (H0 - "वास्तव में कोई अंतर नहीं है")। परीक्षण यह मापता है कि डेटा शून्य परिकल्पना से कितनी अच्छी तरह सहमत है। इस इकाई में हम देखेंगे कि कैसे कृत्रिम बुद्धिमत्ता (एआई) परीक्षण चयन और व्याख्या को आसान बना रही है, लेकिन पी-वैल्यू के आसपास की खामियां इतनी आम और खतरनाक क्यों हैं। आइए शुरुआत से शुरू करें: एआई जानता है कि कौन सा परीक्षण सिंटैक्स लिखना है; लेकिन यह व्याख्या करना आपका काम है कि क्या परीक्षण की धारणा संतुष्ट है और परिणाम का वास्तव में क्या मतलब है।
वास्तव में पी-वैल्यू क्या है?
पी-वैल्यू वह संभावना है कि जो परिणाम आप देखते हैं, या अधिक चरम परिणाम, संयोग से घटित होगा जब शून्य परिकल्पना सत्य है (यानी, वास्तव में कोई प्रभाव नहीं है)। एक छोटा पी-मान (0.05 पारंपरिक सीमा है) का अर्थ है "यदि वास्तव में कोई प्रभाव नहीं होता तो ऐसे डेटा को देखना आश्चर्यजनक होगा"; इसे शून्य परिकल्पना के विरुद्ध साक्ष्य माना जाता है।
अब आइए स्पष्ट करें कि पी-वैल्यू क्या नहीं है - जिसे एआई अक्सर भ्रमित करता है:
- पी-वैल्यू यह संभावना नहीं है कि शून्य परिकल्पना सत्य है। p=0.03 का मतलब यह नहीं है कि "कोई प्रभाव न पड़ने की 3% संभावना है"।
- पी-मान प्रभाव के आकार को नहीं दर्शाता है। बहुत छोटे प्रभाव से बड़े नमूने में छोटा पी-मान प्राप्त हो सकता है।
- पी-वैल्यू यह साबित नहीं करता है कि खोज महत्वपूर्ण या वास्तविक है। "महत्वपूर्ण" एक सांख्यिकीय शब्द है, "महत्वपूर्ण" एक निर्णय है।
- p>0.05 का अर्थ "कोई प्रभाव नहीं" नहीं है; इसका मतलब है "हम इस डेटा के साथ प्रभाव नहीं दिखा सके।" साक्ष्य का अभाव अनुपस्थिति का साक्ष्य नहीं है।
सावधानी: सबसे आम एआई व्याख्या त्रुटि "महत्वपूर्ण" शब्द को "महत्वपूर्ण/मजबूत/प्रमुख प्रभाव" के रूप में प्रस्तुत करना है। सांख्यिकीय महत्व और व्यावहारिक महत्व दो अलग चीजें हैं; हमेशा दोनों को अलग-अलग रिपोर्ट करें.
आत्मविश्वास अंतराल और प्रभाव का आकार: समृद्ध जानकारी
एकल पी-मूल्य के बजाय, एक आत्मविश्वास अंतराल अधिक जानकारीपूर्ण है: यह आपके अनुमान के लिए मूल्यों की प्रशंसनीय सीमा देता है। वाक्य "प्रभाव 1,200, 95% विश्वास अंतराल [300, 2,100]" दिशा, परिमाण और अनिश्चितता दोनों को दर्शाता है; "p<0.05" केवल "शून्य से दूर" कहता है। आधुनिक सांख्यिकीय अभ्यास अकेले पी-वैल्यू का उपयोग नहीं करता है; प्रभाव आकार + आत्मविश्वास अंतराल + पी-मूल्य की तिकड़ी के साथ रिपोर्टिंग की सिफारिश करता है।
सांख्यिकीय शक्ति और नमूना
सांख्यिकीय शक्ति उस प्रभाव का पता लगाने की संभावना है जो वास्तव में मौजूद है (टाइप II त्रुटि की संभावना को घटाकर 1, यानी "वास्तविक प्रभाव गायब")। एक कमज़ोर अध्ययन दो जोखिमों के प्रति संवेदनशील होता है: (1) यह वास्तविक प्रभावों को नज़रअंदाज कर देता है (झूठा नकारात्मक); (2) कुछ परिणाम जो महत्वपूर्ण साबित होते हैं, उनमें बढ़े हुए परिमाण होते हैं - तथाकथित विजेता का अभिशाप क्योंकि केवल बढ़ी हुई भविष्यवाणियाँ ही सीमा को पार कर सकती हैं। इसलिए, विश्लेषण से पहले शक्ति/नमूने की गणना करना अच्छा अभ्यास है। AI इस खाते के लिए कोड उत्पन्न करता है; आप सिद्धांत के साथ लक्ष्य प्रभाव का आकार निर्धारित करते हैं।
एकाधिक तुलना समस्या
परीक्षण करते समय, 0.05 की सीमा का अर्थ है "गलत सकारात्मकता का 5% जोखिम"। लेकिन यदि आप 20 परीक्षण करते हैं, तो औसतन एक से संयोगवश पी <0.05 मिलने की उम्मीद की जाएगी, भले ही वे सभी वास्तव में अप्रभावी हों। इसे बहु तुलना समस्या कहा जाता है। जब बड़ी संख्या में चर, उपसमूह या परिणाम चर का परीक्षण किया जाता है तो गलत सकारात्मकता की संभावना तेजी से बढ़ जाती है। समाधान सीमा को सही करना है: बोनफेरोनी (परीक्षणों की संख्या से सीमा को विभाजित करना - सख्त), होल्म या बेंजामिनी-होचबर्ग विधियां जो झूठी खोज दर (एफडीआर) को नियंत्रित करती हैं। एआई के युग में यह जोखिम और भी अधिक हो जाता है, क्योंकि एआई सेकंडों में दर्जनों परीक्षण कर सकता है - यह अगली इकाई (पी-हैकिंग) का प्रत्यक्ष विषय है।
तुलना तालिका: पी-मान क्या कहता है और क्या नहीं कहता
अभिव्यक्ति
क्या यह सच है?
विवरण
"पी=0.02, कोई प्रभाव न होने की संभावना 2% है"
गलत
p, H0 की प्रायिकता नहीं है
"पी <0.05, प्रभाव बड़ा है"
गलत
p आकार नहीं दर्शाता
"पी=0.20, कोई प्रभाव नहीं"
गलत
न दिखा पाना अभाव नहीं है
"पी<0.05, एच0 के खिलाफ सबूत है"
सच है
सतर्क और मुद्दे पर
"प्रभाव 1.200 [300;2.100], पी=0.01"
सर्वोत्तम
आकार + अनिश्चितता + साक्ष्य
चार प्रतिलिपि योग्य संकेत
1. सही परीक्षण का चयन:
आपकी भूमिका: सांख्यिकीय परीक्षण सहायक। मैं दो स्वतंत्र समूहों (निरंतर चर) के माध्य की तुलना करना चाहता हूं। मुझे बताएं: कौन सा परीक्षण उपयुक्त है (इसकी मान्यताओं के साथ: सामान्यता, भिन्नता की समानता), यदि धारणा पूरी नहीं हुई है तो विकल्प (जैसे वेल्च, मैन-व्हिटनी), और आर कोड। मैं परिणाम चलाऊंगा और धारणाओं की जांच करूंगा।
2. पी-वैल्यू को सही ढंग से रिपोर्ट करना:
नीचे दिए गए परीक्षण आउटपुट की रिपोर्ट करें, लेकिन नियम: - पी-मान को "एच0 की संभावना" या "प्रभाव आकार" के रूप में प्रस्तुत न करें, - प्रभाव आकार और 95% विश्वास अंतराल को शामिल करना सुनिश्चित करें, - "महत्वपूर्ण" और "महत्वपूर्ण" को अलग से लिखें, - यदि पी> 0.05, तो "कोई प्रभाव नहीं" न कहें, "हम नहीं दिखा सके" कहें। आउटपुट: [पेस्ट करें]
3. शक्ति/नमूना गणना:
मैं एक प्रयोग की योजना बना रहा हूं: दो समूह, अपेक्षित प्रभाव आकार (कोहेन का डी) ~0.4, शक्ति 0.80, अल्फा 0.05। आर कोड लिखें जो आवश्यक नमूना आकार (पीडब्लूआर पैकेज) की गणना करता है और कम-शक्ति वाले अध्ययन (विजेता का अभिशाप) के जोखिमों की व्याख्या करता है।
4. एकाधिक तुलना सुधार:
मैंने 15 अलग-अलग परिकल्पना परीक्षण किए हैं और मेरे पास पी-वैल्यू हैं। आर कोड लिखें जो बोनफेरोनी और बेंजामिन-होचबर्ग (एफडीआर) सुधारों को लागू करता है, दो तरीकों के बीच अंतर समझाएं, और एक वाक्य में संक्षेप में बताएं कि मुझे नंगे पी <0.05 पर भरोसा क्यों नहीं करना चाहिए।
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत:
क्या इस परीक्षण का परिणाम सार्थक है? परिणाम पर टिप्पणी करें.
यह दावा एआई को "सार्थक/गैर-अर्थपूर्ण" बाइनरी में फंसा देता है; सबसे अधिक संभावना एक वाक्य उत्पन्न करती है जो महत्व के साथ परिमाण को भ्रमित करती है, जैसे "हाँ, यह महत्वपूर्ण है, प्रभाव मजबूत है।"
शक्तिशाली संकेत:
आपकी भूमिका: चौकस सांख्यिकीय सहायक। परिणाम की व्याख्या करें लेकिन: (1) प्रभाव का आकार + 95% विश्वास अंतराल + पी-मूल्य एक साथ दें, (2) महत्व से अलग महत्व, (3) पी>0.05 "दिखा नहीं सका", (4) पूछें कि मैंने कितने परीक्षण किए; यदि एक से अधिक है, तो एकाधिक तुलना सुधार का सुझाव दें, (5) याद दिलाएँ कि परीक्षण की मान्यताओं की जाँच की जानी चाहिए।
अंतर: मजबूत संकेत समृद्ध रिपोर्टिंग को लागू करता है और पी-वैल्यू ट्रैप से बचाता है।
तीन मिनी मामले
केस 1 - बड़े नमूने में गैर-महत्वपूर्ण "महत्व"। एक विश्लेषक ने 500,000 अवलोकनों के साथ डेटा में पी <0.001 पर दो समूहों के बीच औसत अंतर "अत्यधिक महत्वपूर्ण" पाया। लेकिन अंतर केवल 0.3 अंक (100 में से) था और व्यावहारिक रूप से अर्थहीन था। विशाल नमूने ने छोटे अंतर को भी "महत्वपूर्ण" बना दिया। जब प्रभाव के आकार की सूचना दी गई, तो निष्कर्ष महत्वहीन पाया गया। पाठ: महत्व परिमाण नहीं है; यदि n बड़ा है, तो प्रत्येक अंतर महत्वपूर्ण है।
केस 2 - एकाधिक परीक्षण भ्रम। एक टीम ने 22 परिणाम चर का परीक्षण किया; उनमें से एक ने p=0.04 दिखाया और "हमें प्रभाव मिल गया" के रूप में घोषित किया गया। बोनफेरोनी सुधार के साथ, सीमा घटकर 0.05/22 = 0.0023 हो गई; 0.04 ने इस सीमा को पार नहीं किया। 22 परीक्षणों में से एकमात्र "सार्थक" परिणाम संयोगवश आया होगा। सबक: बहुत अधिक परीक्षण करते समय सुधार आवश्यक है।
केस 3 - कमज़ोरी और विजेता का अभिशाप। एक छोटे पायलट अध्ययन (n=15 प्रति समूह) में प्रभाव बहुत बड़ा (d=0.9) और महत्वपूर्ण पाया गया। एक बड़े प्रतिकृति अध्ययन ने प्रभाव को घटाकर d = 0.2 कर दिया। छोटे नमूने ने केवल अधिक अनुमान को सीमा पार करने की अनुमति दी थी। पाठ: कम शक्ति पर महत्वपूर्ण प्रभाव के आकार पर भरोसा नहीं किया जा सकता।
सामान्य गलतियाँ
- महत्व/परिमाण के साथ सार्थकता को भ्रमित करना। केवल इसलिए प्रभाव बड़ा नहीं है क्योंकि पी छोटा है; प्रभाव का आकार अलग से रिपोर्ट करें.
- P-मान को H0 की प्रायिकता समझने की भूल करना। पी "बिना किसी प्रभाव की संभावना" नहीं है; वैचारिक रूप से भिन्न है.
- p>0.05 को "कोई प्रभाव नहीं" के रूप में पढ़ना। दिखाने में विफलता अनुपस्थिति का प्रमाण नहीं है; अनिश्चितता बताएं.
- बहु-परीक्षण के लिए सही नहीं किया जा रहा है. बहुत सारे परीक्षण गलत सकारात्मक परिणाम देते हैं; बोनफेरोनी/एफडीआर लागू करें।
- शक्ति की अनदेखी. छोटे नमूने में महत्वपूर्ण प्रभाव अतिरंजित है; विश्लेषण से पहले शक्ति की गणना करें.
युक्ति: किसी परिणाम को "महत्वपूर्ण" लिखने से पहले, दो प्रश्न पूछें: "क्या प्रभाव व्यावहारिक रूप से महत्वपूर्ण (परिमाण) है?" और "यह परिणाम मिलने से पहले मैंने कितने परीक्षण किए?" दूसरा प्रश्न ईमानदारी की अग्निपरीक्षा है।
सारांश
परिकल्पना परीक्षण और पी-वैल्यू शक्तिशाली लेकिन गलत समझे जाने वाले उपकरण हैं। पी-वैल्यू शून्य परिकल्पना सत्य होने पर डेटा देखने की संभावना है; H0 की संभावना प्रभाव का परिमाण या खोज का महत्व नहीं है। हमेशा प्रभाव आकार और आत्मविश्वास अंतराल के साथ महत्व की रिपोर्ट करें; p>0.05 को "कोई प्रभाव नहीं" के रूप में न पढ़ें; यदि आपने कई परीक्षण किए हैं तो एकाधिक तुलना सुधार लागू करें; कम शक्ति वाले अध्ययनों से अतिरंजित प्रभावों के जोखिम से सावधान रहें। एआई परीक्षण कोड और ब्लूप्रिंट तैयार करता है; सार्थकता और भौतिकता के बीच अंतर करना और धारणाओं की जांच करना आपकी जिम्मेदारी है।
आवेदन कार्य
डेटा सेट में दो समूहों के बीच साधनों की तुलना करें। एआई से उचित परीक्षण (उसकी मान्यताओं के साथ) और कोड के लिए पूछें, इसे चलाएं और मान्यताओं की जांच करें। तीन घटकों के साथ परिणाम की रिपोर्ट करें: प्रभाव आकार, 95% विश्वास अंतराल, पी-मूल्य। फिर सोचें कि आप एक ही डेटा पर कितनी अलग-अलग तुलनाएँ कर सकते हैं; यदि आपने कई परीक्षण चलाए हैं, तो बोनफेरोनी या एफडीआर सुधार लागू करें और यदि परिणाम अभी भी बरकरार है तो रिपोर्ट करें। अंत में, अपने विश्लेषण के लिए एक मोटा शक्ति मूल्यांकन लिखें।
जांच सूची
- [ ] मैंने परीक्षण को उसकी मान्यताओं के साथ चुना और मान्यताओं की जाँच की।
- [ ] मैंने परिणाम को प्रभाव आकार + आत्मविश्वास अंतराल + पी-मूल्य के रूप में रिपोर्ट किया।
- [ ] मैंने "महत्वपूर्ण" और "महत्वपूर्ण" को अलग रखा; मैंने नहीं सोचा था कि p, H0 की संभावना है।
- [ ] मैंने p>0.05 को "कोई प्रभाव नहीं" के बजाय "हम इसे नहीं दिखा सके" के रूप में लिखा।
- [ ] यदि मैंने कई परीक्षण चलाए तो मैंने कई तुलना सुधार लागू किए।
- [ ] मैंने नमूनाकरण शक्ति का मूल्यांकन किया; मैं कम पावर पर प्रभाव के आकार को लेकर सतर्क था।