लाभ:
- समझें कि पी-हैकिंग, हार्किंग, चयनात्मक रिपोर्टिंग, और फोर्किंग पथों का बगीचा गलत निष्कर्ष उत्पन्न करता है और देखें कि कृत्रिम बुद्धिमत्ता इन जालों को कैसे तेज कर सकती है
- कृत्रिम बुद्धिमत्ता समर्थन के साथ पूर्व-पंजीकरण, विश्लेषण योजना, एकाधिक तुलना अनुशासन और संवेदनशीलता विश्लेषण जैसे बचाव स्थापित करने की क्षमता
- ईमानदार अनुरोध डिज़ाइन को आंतरिक बनाने में सक्षम होना जो कृत्रिम बुद्धिमत्ता को 'सार्थक परिणाम खोजने' प्रकार के अनुरोधों को अस्वीकार करने में सक्षम करेगा और अंतिम जिम्मेदारी शोधकर्ता की होगी।
पिछली इकाई में हमने देखा कि पी-वैल्यू क्या है और क्या नहीं है। इस इकाई में हम एक गहरे विषय पर नज़र डालेंगे, व्यवस्थित जाल जो सांख्यिकीय अखंडता को खतरे में डालते हैं। इनमें से अधिकांश जानबूझकर धोखाधड़ी नहीं हैं; ये कपटी तंत्र हैं जिनमें नेक इरादे वाले शोधकर्ता भी बिना इसका एहसास किए फंस जाते हैं। और कृत्रिम बुद्धिमत्ता (एआई) इन नुकसानों को आसान और तेज़ दोनों बनाती है, क्योंकि यह सेकंडों में दर्जनों विश्लेषण चलाना संभव बनाती है। इस इकाई का उद्देश्य उस अनुशासन को स्थापित करना है जो एआई को "सार्थक परिणाम खोजने वाली मशीन" से एक ईमानदार सहायक में बदल देगा।
बुनियादी नुकसान
पी-हैकिंग (पी-वैल्यू हंटिंग): यह एक महत्वपूर्ण परिणाम (पी<0.05) प्राप्त होने तक अलग-अलग तरीकों से फिर से विश्लेषण का प्रयास कर रहा है। चर जोड़ना और हटाना, उप-नमूनों का चयन करना, आउटलेर्स की परिभाषा बदलना, विभिन्न परिवर्तनों का प्रयास करना, विभिन्न परिणाम चर का उपयोग करना, सार्थक होने पर डेटा संग्रह को रोकना... प्रत्येक प्रयास एक नया "मौका" देता है; यदि आप पर्याप्त प्रयास करें, तो उनमें से एक सार्थक हो जाएगा, भले ही उसका वास्तव में कोई प्रभाव न हो। नतीजा: नकली निष्कर्ष जो प्रकाशित तो हुए लेकिन प्रतिलिपि प्रस्तुत करने योग्य नहीं।
हार्किंग (परिणाम ज्ञात होने के बाद परिकल्पना करना): परिणाम देखने के बाद एक परिकल्पना बनाना और इसे "मैंने शुरू से ही इसकी भविष्यवाणी की थी" के रूप में प्रस्तुत करना। आप डेटा को देखें और सबसे आकर्षक संबंध ढूंढें, फिर पेपर को इस तरह लिखें जैसे कि यह उस परिकल्पना का परीक्षण करने के लिए डिज़ाइन किया गया हो। यह खोज को पुष्टि जैसा बनाकर पाठक को गुमराह करता है।
चयनात्मक रिपोर्टिंग (चेरी चुनना): दर्जनों विश्लेषणों में से केवल "अच्छे" की रिपोर्ट करना और बाकी को चुपचाप दफन कर देना। इसे "फ़ाइल ड्रॉअर समस्या" के रूप में भी जाना जाता है: अर्थहीन परिणाम ड्रॉअर में रहते हैं, जिससे साहित्य व्यवस्थित रूप से पक्षपाती हो जाता है।
गार्डन ऑफ़ फोर्किंग पाथ्स: एंड्रयू गेलमैन का कार्यकाल। एक भी जानबूझकर पी-हैकिंग के बिना भी, शोधकर्ता डेटा (कौन सा चर, कौन सी सीमा, कौन सा उपसमूह, कौन सा परिवर्तन) के आधार पर कई उचित विकल्प बनाता है। स्वतंत्रता की ये खोजी कोटि इतनी अधिक हैं कि आप अनेक विश्लेषणों में से प्रभावी रूप से सार्थक को चुन रहे हैं - बिना किसी बुरे इरादे के भी। परिणाम फिर से झूठी सकारात्मक दर में वृद्धि है।
सावधानी: इनमें से अधिकतर जाल जानबूझकर की गई चालें नहीं हैं। प्रतीत होने वाले निर्दोष कदमों का योग जैसे "मैंने अभी कुछ और मॉडल आज़माए", "जब मैंने बाहरी हिस्से को हटा दिया तो यह साफ था", "इस उपसमूह में प्रभाव स्पष्ट है" एक नकली खोज उत्पन्न कर सकता है। ईमानदारी तरीके का मामला है, इरादे का नहीं.
AI इन जालों को क्यों बड़ा करता है?
3 मॉडलों को हाथ से आज़माने में समय लगता है; YZ मिनटों में 50 मॉडल वेरिएंट, 10 अलग-अलग रूपांतरण, 8 उपसमूह तैयार करता है। एक ईमानदार योजना के बिना यह शक्ति विनाशकारी है: "इस डेटा में एक सार्थक संबंध ढूंढें" या "एक मॉडल बनाएं जो इस परिकल्पना का समर्थन करता है" जैसा अनुरोध एआई को सीधे पी-हैकिंग इंजन में बदल देता है। एआई भी मददगार बनना चाहता है; एक "सार्थक" परिणाम ढूंढने की प्रवृत्ति होती है जो आपको संतुष्ट करेगा। इसीलिए आपका त्वरित डिज़ाइन ईमानदारी की रक्षा की पहली पंक्ति है।
बचाव: व्यापार का उचित मार्ग
1. पूर्व-पंजीकरण: इसका अर्थ है विश्लेषण करने से पहले अपनी परिकल्पना, चर, मॉडल और परीक्षणों को लिखित रूप में (संभवतः टाइम-स्टैम्प्ड प्लेटफॉर्म पर) रिकॉर्ड करना। इस प्रकार, खोज को पुष्टि से अलग कर दिया गया है; बाद में आप जो कुछ भी बदलते हैं उसे "एक्सप्लोरर" के रूप में टैग किया जाता है।
2. विश्लेषण योजना: भले ही आप पूर्व-रिकॉर्ड नहीं कर सकते, डेटा में गोता लगाने से पहले एक विश्लेषण योजना लिखें: प्राथमिक परिकल्पना, प्राथमिक परिणाम चर, मुख्य मॉडल। शुरुआत से ही "मुख्य विश्लेषण" और "अतिरिक्त/खोजपूर्ण विश्लेषण" के बीच अंतर स्थापित करें और इसे रिपोर्ट में बनाए रखें।
3. हर चीज़ की रिपोर्ट करें: जिन मॉडलों को आपने आज़माया है उन्हें छिपाएँ नहीं। "संवेदनशीलता विश्लेषण" (मजबूती जांच) अनुभाग में, दिखाएं कि विभिन्न विनिर्देश परिणाम को कैसे बदलते हैं। यह निष्कर्ष तभी मजबूत है जब यह कई प्रशंसनीय विकल्पों पर खरा उतरता है।
4. एकाधिक तुलना अनुशासन: यदि आपने बहुत सारे परीक्षण किए हैं, तो उन्हें ठीक करें (इकाई 6)। प्रश्न का उत्तर दें "मैंने कितने परीक्षण किए हैं?" ईमानदारी से।
5. संवेदनशीलता विश्लेषण: एक अलग नमूने, अलग नियंत्रण सेट और अलग परिवर्तन के साथ अपने मुख्य निष्कर्ष को दोहराएं। यदि परिणाम बदलता है तो उसे छिपाएं नहीं, रिपोर्ट करें।
तुलना चार्ट: ईमानदार बनाम जाल
आवेदन
जाल का आकार
ईमानदार समकक्ष
मॉडल चयन
जब तक इसका कोई अर्थ न निकले तब तक प्रयास करना (पी-हैकिंग)
पूर्व नियोजित मास्टर मॉडल
परिकल्पना
तथ्य के बाद फिटिंग (हार्किंग)
डेटा से पहले, पूर्व-रिकॉर्ड किया गया
रिपोर्टिंग
केवल सुंदर चीजें मत दिखाओ
सभी विशिष्टताएँ + संवेदनशीलता
उपसमूह
सबसे आकर्षक चुनना
पूर्वनिर्धारित, सुधार योग्य
डेटा संग्रह
जब इसका मतलब समझ में आ जाए तो रुकें
पूर्व निर्धारित नमूना
चार प्रतिलिपि योग्य संकेत
1. ईमानदार दावा ढांचा:
आपकी भूमिका: ईमानदार सांख्यिकी सहायक। मेरा लक्ष्य कोई सार्थक परिणाम ढूँढ़ना नहीं है, बल्कि सही परिणाम ढूँढ़ना है। नियम:- मुझे "मॉडल तब तक आज़माएं जब तक कि यह समझ में न आ जाए" प्रकार के सुझाव न दें, - यदि आप कई विशिष्टताओं का सुझाव देते हैं तो मुझे बताएं, उन सभी की रिपोर्ट करने की आवश्यकता है, - मुझे ऐसे किसी भी कदम के बारे में चेतावनी दें जिससे पी-हैकिंग हो सकती है। पहले मेरे मुख्य मॉडल को स्पष्ट करने में मेरी सहायता करें, खोज को पुष्टिकरण से अलग करें।
2. विश्लेषण योजना का मसौदा:
एक अध्ययन के लिए प्रारंभिक विश्लेषण योजना का मसौदा तैयार करने में मेरी सहायता करें: प्राथमिक परिकल्पना, प्राथमिक परिणाम चर, मुख्य मॉडल विनिर्देश, पूर्वनिर्धारित उपसमूह, एकाधिक तुलना रणनीति। "खोजपूर्ण" और "पुष्टिकरणात्मक" विश्लेषणों को अलग-अलग शीर्षकों में रखें। मुझे डेटा देखे बिना इसे भरने के लिए याद दिलाएं।
3. संवेदनशीलता विश्लेषण:
मेरा मुख्य निष्कर्ष संवेदनशीलता विश्लेषण कोड (आर) लिखना है, मेरा लक्ष्य यह देखना है कि परिणाम कितना ठोस है, सर्वोत्तम को चुनना नहीं; सभी परिणाम दिखाएं.
4. स्व-निगरानी:
मैं अपनी विश्लेषण प्रक्रिया समझाऊंगा; मुझे पी-हैकिंग/हार्किंग/चयनात्मक रिपोर्टिंग के लिए एक चेकलिस्ट दें और चिह्नित करें कि मेरे कौन से कदम जोखिम भरे हैं। मुझसे वापस पूछें कि मैंने कितने मॉडल/परीक्षण आज़माए हैं और मैं किनकी रिपोर्ट करने की योजना बना रहा हूँ।
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत:
कौन से चर इस डेटा में महत्वपूर्ण संबंध दिखाते हैं, सर्वोत्तम मॉडल ढूंढें।
यह संकेत एक सीधा पी-हैकिंग निर्देश है: एआई दर्जनों संयोजनों की कोशिश करता है और वह प्रस्तुत करता है जो "सबसे अधिक समझ में आता है।" परिणाम लगभग निश्चित रूप से एक नकली खोज है जिसे दोहराया नहीं जा सकता।
शक्तिशाली संकेत:
आपकी भूमिका: ईमानदार सहायक. मेरे द्वारा पूर्व निर्धारित मुख्य मॉडल है: Y ~ X + नियंत्रण। वह कोड लिखें जो इस मॉडल की भविष्यवाणी करता है। किसी अन्य "अधिक सार्थक" मॉडल की तलाश न करें। एक संवेदनशीलता विश्लेषण का भी सुझाव दें ताकि मैं परिणाम की मजबूती देख सकूं, लेकिन यह जान लूं कि मैं सभी परिणामों की रिपोर्ट करूंगा, सर्वोत्तम को नहीं चुनूंगा। मुझे किसी भी खोजपूर्ण निष्कर्ष को 'पुष्टि' के रूप में लिखने न दें।
अंतर: दृढ़ इच्छाशक्ति मुख्य मॉडल को ठीक करती है, खोज पर रोक लगाती है, और सभी परिणामों की रिपोर्ट करने की आवश्यकता होती है।
तीन मिनी मामले
केस 1 - उपसमूह शिकार। एक शोधकर्ता को समग्र नमूने में कोई प्रभाव नहीं मिला; उन्होंने एआई से पूछा "किस उपसमूह में यह महत्वपूर्ण है?" YZ ने उम्र, लिंग और क्षेत्र के संयोजन को स्कैन किया और "35-44 वर्ष की शहरी महिलाओं में पी = 0.03" पाया। लेख इसी उपसमूह पर आधारित था. उनकी प्रतिकृति का कोई प्रभाव नहीं पड़ा: यह दर्जनों उपसमूहों के संयोग का परिणाम था। पाठ: डेटा के बाद चयनित उपसमूह परेशान कर रहा है, पुष्टि नहीं कर रहा है।
केस 2 - रूपांतरण शिकार। जो रिश्ता विद्यार्थी स्तर पर अर्थहीन हो जाता है; इसे लॉग, वर्गमूल, वर्ग और लैग रूपों में आज़माया; उन्होंने लॉग-लॉग फॉर्म में p=0.048 पाया और केवल उसी की रिपोर्ट की। सौभाग्य से, आजमाए गए 5 रूपों में से एक ने सीमा पार कर ली। सही तरीका यह था: सिद्धांत के साथ फॉर्म का पूर्व-चयन करना और संवेदनशीलता तालिका में सभी रूपों का परिणाम दिखाना। पाठ: चयनात्मक रिपोर्टिंग गलत महत्व उत्पन्न करती है।
केस 3 - फ़्रेमिंग कितनी ईमानदार काम करती है। विश्लेषण से पहले पूर्व पंजीकृत एक टीम: एकल प्राथमिक परिकल्पना, एकल मुख्य मॉडल, दो पूर्वनिर्धारित उपसमूह, बोनफेरोनी सुधार। मुख्य प्रभाव महत्वपूर्ण नहीं था, लेकिन टीम ने इसे ईमानदारी से रिपोर्ट किया; खोजी व्यक्ति ने एक खोज को "भविष्य में परीक्षण करने की आवश्यकता" के रूप में चिह्नित किया। अध्ययन प्रतिलिपि प्रस्तुत करने योग्य और विश्वसनीय था। सबक: ईमानदार योजना "असफल" परिणाम को भी सार्थक बना देती है।
सामान्य गलतियाँ
- एआई को "सार्थक परिणाम ढूंढने" के लिए कहना। यह सीधे तौर पर पी-हैकिंग है; एआई को एक ईमानदार फ्रेम में रखें, जो सटीकता मांगता है, परिणाम नहीं।
- खोज को पुष्टि के रूप में प्रस्तुत करना (हार्किंग)। डेटा के बाद स्थापित परिकल्पना को "मैंने शुरुआत से ही इसकी भविष्यवाणी की थी" लिखना भ्रामक है; खोजपूर्ण खोज को लेबल करें।
- बस अच्छे नतीजे बता रहे हैं. परीक्षण किए गए सभी विनिर्देश दिखाएं; भावना विश्लेषण को छुपाना ईमानदारी से समझौता करता है।
- उपसमूह/रूपांतरण स्क्रीनिंग. दर्जनों उपसमूहों या परिवर्तनों में से सबसे महत्वपूर्ण को चुनने से नकली निष्कर्ष निकलते हैं; पहले से पहचानें और ठीक करें.
- यह भूल जाना कि आपने कितने परीक्षण किए हैं। प्रयासों की कुल संख्या पर नज़र रखें; इस संख्या को जाने बिना किसी भी पी-वैल्यू की ईमानदारी से व्याख्या नहीं की जा सकती।
युक्ति: किसी निष्कर्ष को लिखने से पहले, अपने आप से पूछें: "यह परिणाम मिलने तक मैंने चुपचाप कितने तरीके आज़माए हैं, और क्या मैं उन सभी की रिपोर्ट कर रहा हूँ?" यदि कुछ निबंध ड्रॉअर में रह जाते हैं, तो आपकी रिपोर्ट पहले से कहीं अधिक मजबूत दिखती है।
संक्षेप में
पी-हैकिंग, हार्किंग, चयनात्मक रिपोर्टिंग, और फोर्किंग पथों का बगीचा; कई ऐसे जाल हैं जो अनजाने में संचालित होते हैं लेकिन नकली, अप्राप्य निष्कर्ष निकालते हैं। एआई इन ख़तरों को तेज़ करता है क्योंकि यह तुरंत दर्जनों विश्लेषण आज़मा सकता है; "सार्थक परिणाम ढूंढें" प्रकार के अनुरोध एआई को पी-हैकिंग इंजन में बदल देते हैं। रक्षा; पूर्व-पंजीकरण और विश्लेषण योजना के साथ खोज को पुष्टि से अलग करना, सभी विशिष्टताओं और संवेदनशीलता विश्लेषण की रिपोर्ट करना, कई तुलनाओं को सही करना, और एआई को एक ईमानदार ढांचे में रखना जो "सही परिणाम" की मांग करता है। अंतिम जिम्मेदारी हमेशा शोधकर्ता की होती है।
आवेदन कार्य
एक शोध प्रश्न चुनें और डेटा को देखने से पहले एक संक्षिप्त विश्लेषण योजना लिखें: प्राथमिक परिकल्पना, मुख्य मॉडल, प्राथमिक परिणाम चर, पूर्वनिर्धारित उपसमूह, एकाधिक तुलना रणनीति। फिर मुख्य मॉडल का अनुमान लगाएं. फिर एक संवेदनशीलता विश्लेषण करें (अलग-अलग नियंत्रण, बाहरी रूप से शामिल/बहिष्कृत, अलग-अलग फ़ंक्शन फॉर्म) और सभी परिणाम एक ही तालिका में दिखाएं। एक पैराग्राफ में, मूल्यांकन करें कि कौन से कदम पी-हैकिंग का खतरा पैदा करते हैं और आपका ईमानदार ढांचा उन्हें कैसे सीमित करता है।
चेकलिस्ट
- [ ] मैंने डेटा पर विचार करने से पहले विश्लेषण योजना/मास्टर मॉडल लिखा था।
- [ ] मैंने खोजपूर्ण और पुष्टिकारक विश्लेषणों को अलग-अलग लेबल किया है; मैं परेशान नहीं कर रहा था.
- [ ] मैंने उन सभी विशिष्टताओं की रिपोर्ट की है जिन्हें मैंने आज़माया है; मैंने सिर्फ सुंदर को नहीं चुना।
- [ ] मैंने उपसमूहों और परिवर्तनों को पहले से परिभाषित किया था, मैंने डेटा के बाद उन्हें स्कैन नहीं किया।
- [ ] मैंने इस बात पर नज़र रखी कि मैंने कितने परीक्षण चलाए और आवश्यक सुधार लागू किया।
- [ ] मैंने एआई का उपयोग "सच्चाई को खोजने" के बजाय "इसे सार्थक खोजने" के संदर्भ में किया; मैंने जिम्मेदारी ली.