नफा:
- हे समजून घ्या की पी-हॅकिंग, हार्किंग, निवडक रिपोर्टिंग आणि फोर्किंग मार्गांची बाग खोटे निष्कर्ष काढतात आणि कृत्रिम बुद्धिमत्ता या सापळ्यांना कसे गती देऊ शकते ते पहा.
- पूर्व-नोंदणी, विश्लेषण योजना, एकाधिक तुलना शिस्त आणि कृत्रिम बुद्धिमत्ता समर्थनासह संवेदनशीलता विश्लेषण यासारखे संरक्षण स्थापित करण्याची क्षमता
- कृत्रिम बुद्धिमत्तेला 'अर्थपूर्ण परिणाम शोधा' प्रकारच्या विनंत्या नाकारता येतील आणि अंतिम जबाबदारी संशोधकाची आहे.
मागील युनिटमध्ये आपण p-value म्हणजे काय आणि काय नाही हे पाहिले. या घटकामध्ये आपण एका गडद विषयावर, सांख्यिकीय अखंडतेला धोका देणारे पद्धतशीर सापळे पाहू. यापैकी बहुतांश फसवणूक हेतुपुरस्सर नाही; या कपटी यंत्रणा आहेत ज्यात चांगल्या हेतू असलेल्या संशोधकांना देखील ते लक्षात न घेता अडकतात. आणि कृत्रिम बुद्धिमत्ता (AI) या अडचणींना सोपे आणि जलद दोन्ही बनवते, कारण ते सेकंदात डझनभर विश्लेषणे चालवणे शक्य करते. या युनिटचे उद्दिष्ट एक शिस्त प्रस्थापित करणे आहे जे AI ला "अर्थपूर्ण परिणाम शोधण्याच्या मशीन" पासून प्रामाणिक सहाय्यकामध्ये बदलेल.
मूलभूत तोटे
पी-हॅकिंग (पी-व्हॅल्यू हंटिंग): एक महत्त्वपूर्ण परिणाम (p<0.05) मिळेपर्यंत ते वेगवेगळ्या प्रकारे विश्लेषणाचा प्रयत्न करत आहे. व्हेरिएबल्स जोडणे आणि काढून टाकणे, उपनमुने निवडणे, आउटलायर्सची व्याख्या बदलणे, भिन्न परिवर्तने वापरणे, भिन्न परिणाम व्हेरिएबल्स वापरणे, डेटा संकलन थांबवणे जेव्हा ते अर्थपूर्ण होते तेव्हा ... प्रत्येक प्रयत्न नवीन "संधी" देतो; आपण पुरेसा प्रयत्न केल्यास, त्यापैकी एक अर्थपूर्ण होईल, जरी त्याचा प्रत्यक्षात काहीही परिणाम झाला नाही. परिणाम: खोटे निष्कर्ष जे प्रकाशित झाले होते परंतु पुनरुत्पादक नव्हते.
हार्किंग (परिणाम ज्ञात झाल्यानंतर गृहीतक करणे): निकाल पाहिल्यानंतर एक गृहितक तयार करणे आणि "मी सुरुवातीपासून असेच भाकीत केले आहे" असे सादर करणे. तुम्ही डेटा पाहता आणि सर्वात उल्लेखनीय संबंध शोधता, मग पेपर लिहा जणू ते त्या गृहितकाची चाचणी घेण्यासाठी डिझाइन केलेले आहे. हे शोध पुष्टीसारखे वाटून वाचकांची दिशाभूल करते.
निवडक अहवाल (चेरी-पिकिंग): डझनभर विश्लेषणांमधून फक्त "चांगल्या" गोष्टींचा अहवाल देणे आणि बाकीचे शांतपणे दफन करणे. याला "फाइल ड्रॉवर प्रॉब्लेम" असेही म्हटले जाते: निरर्थक परिणाम ड्रॉवरमध्ये राहतात, ज्यामुळे साहित्य पद्धतशीरपणे पक्षपाती होते.
गार्डन ऑफ फोर्किंग पाथ: अँड्र्यू गेल्मनचे पद. एकच हेतुपुरस्सर पी-हॅकिंग न करताही, संशोधक डेटावर आधारित अनेक वाजवी निवडी करतो (कोणता चल, कोणता थ्रेशोल्ड, कोणता उपसमूह, कोणता परिवर्तन). स्वातंत्र्याचे हे अन्वेषणात्मक प्रमाण इतके असंख्य आहेत की तुम्ही अनेक विश्लेषणातून अर्थपूर्ण निवड करत आहात—अगदी कोणत्याही वाईट हेतूशिवाय. परिणाम पुन्हा वाढत्या खोट्या सकारात्मक दर आहे.
खबरदारी: यापैकी बहुतेक सापळे मुद्दाम केलेल्या युक्त्या नाहीत. "मी आत्ताच आणखी काही मॉडेल्स वापरून पाहिले", "मी आउटलायर काढले तेव्हा ते अधिक स्वच्छ होते", "या उपसमूहात परिणाम अधिक स्पष्ट आहे" यासारख्या निष्पाप वाटणाऱ्या चरणांची बेरीज खोटी निष्कर्ष काढू शकते. प्रामाणिकपणा ही पद्धतीची बाब आहे, हेतू नाही.
AI हे सापळे का मोठे करते?
हाताने 3 मॉडेल वापरून पाहण्यास वेळ लागतो; YZ 50 मॉडेल प्रकार, 10 भिन्न रूपांतरणे, 8 उपसमूह मिनिटांत तयार करते. ही शक्ती प्रामाणिक योजनेशिवाय विनाशकारी आहे: "या डेटामध्ये अर्थपूर्ण संबंध शोधा" किंवा "या गृहीतकाला समर्थन देणारे मॉडेल तयार करा" सारखी विनंती एआयला थेट पी-हॅकिंग इंजिनमध्ये बदलते. AI देखील उपयुक्त होऊ इच्छित आहे; तुम्हाला समाधान देणारा "अर्थपूर्ण" परिणाम शोधण्याकडे कल असतो. म्हणूनच तुमची प्रॉम्प्ट रचना ही प्रामाणिकपणाची संरक्षणाची पहिली ओळ आहे.
संरक्षण: व्यवसायाचा योग्य मार्ग
1. पूर्व-नोंदणी: याचा अर्थ विश्लेषण करण्यापूर्वी तुमची गृहीते, व्हेरिएबल्स, मॉडेल आणि चाचण्या लिखित स्वरूपात (शक्यतो टाइम-स्टॅम्प केलेल्या प्लॅटफॉर्मवर) रेकॉर्ड करणे. अशा प्रकारे, शोध पुष्टीकरणापासून वेगळे केले जाते; तुम्ही नंतर काहीही बदलता ते "एक्सप्लोरर" म्हणून टॅग केले जाते.
2. विश्लेषण योजना: तुम्ही प्री-रेकॉर्ड करू शकत नसाल तरीही, डेटामध्ये जाण्यापूर्वी विश्लेषण योजना लिहा: प्राथमिक गृहितक, प्राथमिक परिणाम व्हेरिएबल, मुख्य मॉडेल. सुरुवातीपासून "मुख्य विश्लेषण" आणि "अतिरिक्त/अन्वेषणात्मक विश्लेषण" मधील फरक स्थापित करा आणि अहवालात ते कायम ठेवा.
3. प्रत्येक गोष्टीचा अहवाल द्या: तुम्ही प्रयत्न केलेले मॉडेल लपवू नका. "संवेदनशीलता विश्लेषण" (मजबूतपणा तपासणी) विभागात, भिन्न वैशिष्ट्ये परिणाम कसे बदलतात ते दर्शवा. शोध अनेक प्रशंसनीय निवडींमध्ये टिकून राहिल्यासच तो मजबूत असतो.
4. एकाधिक तुलना शिस्त: जर तुम्ही खूप चाचण्या केल्या असतील, तर त्या दुरुस्त करा (एकक 6). "मी किती चाचण्या केल्या आहेत?" या प्रश्नाचे उत्तर द्या. प्रामाणिकपणे
5. संवेदनशीलता विश्लेषण: भिन्न नमुना, भिन्न नियंत्रण संच आणि भिन्न परिवर्तनासह आपल्या मुख्य शोधाची पुनरावृत्ती करा. परिणाम बदलल्यास, तो लपवू नका, त्याची तक्रार करा.
तुलना चार्ट: प्रामाणिक वि. ट्रॅप
अर्ज
सापळा आकार
प्रामाणिक समतुल्य
मॉडेल निवड
अर्थ प्राप्त होईपर्यंत प्रयत्न करणे (पी-हॅकिंग)
पूर्व-नियोजित मास्टर मॉडेल
गृहीतक
वस्तुस्थितीनंतर फिटिंग (हार्किंग)
डेटा आधी, पूर्व-रेकॉर्ड
अहवाल देत आहे
फक्त सुंदर दाखवू नका
सर्व तपशील + संवेदनशीलता
उपसमूह
सर्वात धक्कादायक निवडणे
पूर्वनिर्धारित, सुधारण्यायोग्य
डेटा संकलन
जेव्हा समजेल तेव्हा थांबा
पूर्वनिर्धारित नमुना
चार कॉपी करण्यायोग्य प्रॉम्प्ट
1. प्रामाणिक दावा फ्रेमवर्क:
तुमची भूमिका: प्रामाणिक सांख्यिकी सहाय्यक. माझे ध्येय अर्थपूर्ण परिणाम शोधणे नाही तर योग्य परिणाम शोधणे आहे. नियम:- मला "अर्थ समजेपर्यंत मॉडेल्स वापरून पहा" टाईप सूचना देऊ नका, - जर तुम्ही अनेक तपशील सुचवत असाल तर त्या सर्वांचा अहवाल द्यावा लागेल, - p-हॅकिंगला कारणीभूत ठरणाऱ्या कोणत्याही पायऱ्यांबद्दल मला चेतावणी द्या. प्रथम माझे मुख्य मॉडेल स्पष्ट करण्यात मला मदत करा, पुष्टीकरणापासून वेगळे शोध.
2. विश्लेषण योजना मसुदा:
मला अभ्यासासाठी प्राथमिक विश्लेषण योजना तयार करण्यात मदत करा: प्राथमिक गृहीतक, प्राथमिक परिणाम व्हेरिएबल, मुख्य मॉडेल तपशील, पूर्वनिर्धारित उपसमूह, एकाधिक तुलना धोरण. "अन्वेषणात्मक" आणि "पुष्टीकरणात्मक" विश्लेषणे स्वतंत्र शीर्षकांमध्ये ठेवा. डेटा न पाहता हे भरण्यासाठी मला आठवण करून द्या.
3. संवेदनशीलता विश्लेषण:
माझा मुख्य शोध म्हणजे संवेदनशीलता विश्लेषण कोड (R) लिहिणे हे माझे ध्येय आहे की परिणाम किती ठोस आहे हे पाहणे, सर्वोत्तम निवडणे नव्हे; सर्व परिणाम दर्शवा.
4. स्व-निरीक्षण:
मी माझ्या विश्लेषण प्रक्रियेचे स्पष्टीकरण देईन; मला पी-हॅकिंग / हार्किंग / निवडक रिपोर्टिंगसाठी एक चेकलिस्ट द्या आणि माझे कोणते पाऊल धोकादायक आहे ते चिन्हांकित करा. मला परत विचारा की मी किती मॉडेल्स/चाचण्या करून पाहिल्या आहेत आणि कोणत्या चाचण्यांचा अहवाल देण्याची माझी योजना आहे.
कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट
कमकुवत प्रॉम्प्ट:
या डेटामध्ये कोणते व्हेरिएबल्स महत्त्वपूर्ण संबंध दर्शवतात, सर्वोत्तम मॉडेल शोधा.
हा प्रॉम्प्ट थेट पी-हॅकिंग सूचना आहे: एआय डझनभर संयोजनांचा प्रयत्न करते आणि "सर्वात अर्थपूर्ण" एक सादर करते. परिणाम जवळजवळ निश्चितपणे एक बनावट शोध आहे ज्याची प्रतिकृती केली जाऊ शकत नाही.
शक्तिशाली सूचना:
तुमची भूमिका: प्रामाणिक सहाय्यक. मी पूर्वनिश्चित केलेले मुख्य मॉडेल आहे: Y ~ X + नियंत्रणे. या मॉडेलचा अंदाज लावणारा कोड लिहा. दुसरे "अधिक अर्थपूर्ण" मॉडेल शोधू नका. संवेदनशीलता विश्लेषण देखील सुचवा जेणेकरुन मी निकालाची मजबूतता पाहू शकेन, परंतु हे जाणून घ्या की मी सर्व परिणामांचा अहवाल देईन, सर्वोत्तम निवडणार नाही. मला कोणतेही अन्वेषणात्मक निष्कर्ष 'पुष्टी' म्हणून लिहू देऊ नका.
फरक: मजबूत इच्छा मुख्य मॉडेलचे निराकरण करते, शोध प्रतिबंधित करते आणि सर्व परिणाम नोंदवण्याची आवश्यकता असते.
तीन लहान प्रकरणे
केस 1 - उपसमूह शिकार. एका संशोधकाला एकूण नमुन्यात कोणताही परिणाम आढळला नाही; त्याने AI ला विचारले "कोणत्या उपसमूहात ते लक्षणीय आहे?" YZ ने वय, लिंग आणि प्रदेश संयोजन स्कॅन केले आणि "35-44 वयोगटातील शहरी महिलांमध्ये p = 0.03" आढळले. लेख या उपसमूहावर आधारित होता. त्याच्या प्रतिकृतीचा कोणताही परिणाम झाला नाही: हे डझनभर उपसमूहांच्या संधीचा परिणाम आहे. धडा: डेटा हार्किंग झाल्यानंतर निवडलेला उपसमूह, पुष्टी करत नाही.
केस 2 - रूपांतरण शिकार. विद्यार्थी स्तरावर निरर्थक ठरणारे नाते; लॉग, स्क्वेअर रूट, स्क्वेअर आणि लॅग फॉर्ममध्ये प्रयत्न केला; त्याला लॉग-लॉग फॉर्ममध्ये p=0.048 सापडले आणि फक्त तेच कळवले. सुदैवाने, प्रयत्न केलेल्या 5 फॉर्मपैकी एकाने उंबरठा ओलांडला. योग्य मार्ग होता: सिद्धांतासह फॉर्म पूर्व-निवडणे आणि संवेदनशीलता तक्त्यामध्ये सर्व स्वरूपांचे परिणाम दर्शवणे. धडा: निवडक रिपोर्टिंग चुकीचे महत्त्व निर्माण करते.
केस 3 — प्रामाणिक फ्रेमिंग कसे कार्य करते. विश्लेषणापूर्वी एका संघाने पूर्वनोंदणी केली: एकल प्राथमिक गृहितक, एकल मुख्य मॉडेल, दोन पूर्वनिर्धारित उपसमूह, बोनफेरोनी सुधारणा. मुख्य परिणाम लक्षणीय नव्हता, परंतु संघाने ते प्रामाणिकपणे नोंदवले; शोधार्थी व्यक्तीने एक शोध "भविष्यात चाचणी करणे आवश्यक आहे" म्हणून ध्वजांकित केले. अभ्यास पुनरुत्पादक आणि विश्वासार्ह होता. धडा: प्रामाणिक नियोजनामुळे "अयशस्वी" परिणाम देखील फायदेशीर ठरतो.
सामान्य चुका
- AI ला "अर्थपूर्ण परिणाम शोधण्यासाठी" सांगणे. हे सरळ पी-हॅकिंग आहे; AI ला प्रामाणिक फ्रेममध्ये ठेवा, अचूकतेसाठी विचारा, परिणाम नाही.
- शोध पुष्टीकरण (HARKing) म्हणून सादर करत आहे. डेटानंतर प्रस्थापित गृहितक "मी सुरुवातीपासूनच वर्तवले" असे लिहिणे दिशाभूल करणारे आहे; अन्वेषणात्मक शोध लेबल करा.
- फक्त चांगले परिणाम कळवत आहे. चाचणी केलेली सर्व वैशिष्ट्ये दर्शवा; भावनांचे विश्लेषण लपविल्याने अखंडतेशी तडजोड होते.
- उपसमूह/रूपांतरण स्क्रीनिंग. डझनभर उपसमूह किंवा परिवर्तनांपैकी सर्वात लक्षणीय निवडल्याने बनावट निष्कर्ष निघतात; आगाऊ ओळखा आणि निराकरण करा.
- आपण किती चाचण्या केल्या हे विसरून जातो. प्रयत्नांच्या एकूण संख्येचा मागोवा ठेवा; ही संख्या जाणून घेतल्याशिवाय कोणत्याही p-मूल्याचा प्रामाणिकपणे अर्थ लावला जाऊ शकत नाही.
टीप: एखादा निष्कर्ष लिहिण्यापूर्वी, स्वतःला विचारा: "हा निकाल मिळेपर्यंत मी शांतपणे किती मार्गांनी प्रयत्न केले आणि मी त्या सर्वांची तक्रार करत आहे का?" काही निबंध ड्रॉवरमध्ये राहिल्यास, तुमचा अहवाल त्यापेक्षा मजबूत दिसतो.
सारांशात
पी-हॅकिंग, हार्किंग, निवडक रिपोर्टिंग आणि फोर्किंग पाथची बाग; बरेच सापळे आहेत जे अनावधानाने चालतात परंतु बनावट, अनुत्पादित निष्कर्ष काढतात. AI या अडचणींना गती देते कारण ते डझनभर विश्लेषण झटपट करून पाहू शकते; “अर्थपूर्ण परिणाम शोधा” प्रकारच्या विनंत्या एआयला पी-हॅकिंग इंजिनमध्ये बदलतात. संरक्षण; पूर्व-नोंदणी आणि विश्लेषण योजनेसह पुष्टीकरणापासून शोध वेगळे करणे, सर्व तपशील आणि संवेदनशीलता विश्लेषणाचा अहवाल देणे, एकाधिक तुलना दुरुस्त करणे आणि AI ला "योग्य परिणाम" आवश्यक असलेल्या प्रामाणिक फ्रेमवर्कमध्ये ठेवणे. अंतिम जबाबदारी नेहमीच संशोधकाची असते.
अर्ज कार्य
संशोधन प्रश्न निवडा आणि डेटा पाहण्यापूर्वी संक्षिप्त विश्लेषण योजना लिहा: प्राथमिक गृहितक, मुख्य मॉडेल, प्राथमिक परिणाम चल, पूर्वनिर्धारित उपसमूह, एकाधिक तुलना धोरण. मग मुख्य मॉडेलचा अंदाज लावा. नंतर संवेदनशीलता विश्लेषण करा (वेगवेगळे नियंत्रण, आउटलायर समाविष्ट/वगळलेले, भिन्न फंक्शन फॉर्म) आणि सर्व परिणाम एकाच टेबलमध्ये दाखवा. एका परिच्छेदामध्ये, कोणत्या पायऱ्यांमुळे पी-हॅकिंगचा धोका आहे आणि तुमची प्रामाणिक फ्रेमवर्क त्यांना कशी मर्यादित करते याचे मूल्यांकन करा.
चेकलिस्ट
- डेटामध्ये जाण्यापूर्वी मी विश्लेषण योजना/मास्टर मॉडेल लिहिले.
- [ ] मी शोधात्मक आणि पुष्टीकरणात्मक विश्लेषणे स्वतंत्रपणे लेबल केली आहेत; मी हार्किंग करत नव्हतो.
- [ ] मी प्रयत्न केलेले सर्व तपशील मी नोंदवले आहेत; मी फक्त सुंदर निवडले नाही.
- [ ] मी उपसमूह आणि परिवर्तन आधीच परिभाषित केले आहेत, मी डेटा नंतर स्कॅन केले नाही.
- मी किती चाचण्या केल्या आहेत याचा मागोवा ठेवला आणि आवश्यक सुधारणा लागू केल्या.
- [ ] मी AI चा वापर "सत्य शोधा" ऐवजी "ते अर्थपूर्ण शोधा" च्या संदर्भात केला; मी जबाबदारी घेतली.