فائدہ:
- سمجھیں کہ پی ہیکنگ، ہارکنگ، سلیکٹیو رپورٹنگ، اور فارکنگ پاتھز کا باغ غلط نتائج پیدا کرتے ہیں اور دیکھیں کہ مصنوعی ذہانت ان جال کو کیسے تیز کر سکتی ہے۔
- مصنوعی ذہانت کی مدد کے ساتھ پہلے سے رجسٹریشن، تجزیہ کی منصوبہ بندی، متعدد موازنہ نظم و ضبط اور حساسیت کا تجزیہ جیسے دفاع قائم کرنے کی صلاحیت
- دیانتدارانہ درخواست کے ڈیزائن کو اندرونی بنانے کے قابل ہونا جو مصنوعی ذہانت کو 'معنی نتیجہ تلاش کریں' قسم کی درخواستوں کو مسترد کرنے کے قابل بنائے گا اور یہ کہ حتمی ذمہ داری محقق پر عائد ہوتی ہے۔
پچھلی یونٹ میں ہم نے دیکھا کہ p-value کیا ہے اور کیا نہیں ہے۔ اس اکائی میں ہم ایک گہرے موضوع پر غور کریں گے، وہ منظم جال جو شماریاتی سالمیت کے لیے خطرہ ہیں۔ ان میں سے زیادہ تر جان بوجھ کر دھوکہ دہی نہیں ہیں۔ یہ کپٹی میکانزم ہیں جن میں نیک نیت محققین بھی اس کا احساس کیے بغیر گر جاتے ہیں۔ اور مصنوعی ذہانت (AI) ان خرابیوں کو آسان اور تیز تر بناتی ہے، کیونکہ یہ سیکنڈوں میں درجنوں تجزیے کو ممکن بناتی ہے۔ اس یونٹ کا مقصد اس نظم و ضبط کو قائم کرنا ہے جو AI کو ایک "بامعنی نتیجہ تلاش کرنے والی مشین" سے ایک ایماندار معاون میں بدل دے گا۔
بنیادی نقصانات
p-hacking (p-value hunting): یہ مختلف طریقوں سے دوبارہ تجزیہ کرنے کی کوشش کر رہا ہے جب تک کہ کوئی اہم نتیجہ (p <0.05) حاصل نہ ہو جائے۔ متغیرات کو شامل کرنا اور ہٹانا، ذیلی نمونوں کا انتخاب، آؤٹ لیرز کی تعریف کو تبدیل کرنا، مختلف تبدیلیوں کی کوشش کرنا، مختلف نتائج کے متغیرات کا استعمال کرنا، ڈیٹا اکٹھا کرنا جب یہ معنی خیز ہو جائے تو روکنا... ہر کوشش ایک نیا "موقع" دیتی ہے؛ اگر آپ کافی کوشش کریں گے تو ان میں سے ایک بامعنی نکلے گا، چاہے اس کا حقیقت میں کوئی اثر نہ ہو۔ نتیجہ: جعلی نتائج جو شائع کیے گئے تھے لیکن دوبارہ پیدا نہیں کیے جا سکتے تھے۔
ہارکنگ (نتائج معلوم ہونے کے بعد قیاس آرائی کرنا): نتائج دیکھنے کے بعد ایک مفروضہ بنانا اور اسے "میں نے شروع سے ہی اس کی پیش گوئی کی تھی" کے طور پر پیش کرنا۔ آپ اعداد و شمار کو دیکھتے ہیں اور سب سے زیادہ حیرت انگیز رشتہ تلاش کرتے ہیں، پھر کاغذ کو اس طرح لکھیں جیسے اس مفروضے کو جانچنے کے لیے ڈیزائن کیا گیا ہو۔ یہ دریافت کو تصدیق کے مترادف بنا کر قاری کو گمراہ کرتا ہے۔
منتخب رپورٹنگ (چیری چننا): درجنوں تجزیوں سے صرف "اچھے" کی رپورٹنگ اور باقی کو خاموشی سے دفن کرنا۔ اسے "فائل دراز کا مسئلہ" کے نام سے بھی جانا جاتا ہے: بے معنی نتائج دراز میں رہتے ہیں، جس سے ادب کو منظم طور پر متعصب بنایا جاتا ہے۔
کانٹے دار راستوں کا باغ: اینڈریو گیلمین کی اصطلاح۔ یہاں تک کہ ایک جان بوجھ کر پی ہیکنگ کے بغیر بھی، محقق ڈیٹا کی بنیاد پر بہت سے معقول انتخاب کرتا ہے (کون سا متغیر، کون سی حد، کون سا ذیلی گروپ، کون سا تبدیلی)۔ آزادی کی یہ تحقیقاتی ڈگریاں اتنی بے شمار ہیں کہ آپ بے شمار تجزیوں سے مؤثر طریقے سے بامعنی کا انتخاب کر رہے ہیں۔ نتیجہ ایک بار پھر بڑھتی ہوئی غلط مثبت شرح ہے۔
احتیاط: ان میں سے زیادہ تر جال دانستہ چالیں نہیں ہیں۔ بظاہر معصوم قدموں کا مجموعہ جیسے کہ "میں نے ابھی کچھ اور ماڈلز آزمائے ہیں"، "جب میں نے آؤٹ لیئر کو ہٹایا تو یہ صاف تھا"، "اس ذیلی گروپ میں اثر واضح ہے" ایک جعلی تلاش پیدا کر سکتا ہے۔ ایمانداری طریقہ کا معاملہ ہے نیت کا نہیں۔
AI ان پھندوں کو کیوں بڑا کرتا ہے؟
ہاتھ سے 3 ماڈل آزمانے میں وقت لگتا ہے۔ YZ منٹوں میں 50 ماڈل ویریئنٹس، 10 مختلف تبادلوں، 8 ذیلی گروپ تیار کرتا ہے۔ یہ طاقت ایماندارانہ منصوبے کے بغیر تباہ کن ہے: "اس ڈیٹا میں ایک بامعنی رشتہ تلاش کریں" یا "ایک ایسا ماڈل بنائیں جو اس مفروضے کی حمایت کرتا ہو" جیسی درخواست AI کو براہ راست پی-ہیکنگ انجن میں بدل دیتی ہے۔ AI بھی مددگار بننا چاہتا ہے۔ ایک "بامعنی" نتیجہ تلاش کرنے کا رجحان ہے جو آپ کو مطمئن کرے گا۔ اس لیے آپ کا فوری ڈیزائن ایمانداری کی دفاع کی پہلی لائن ہے۔
دفاع: کاروبار کا منصفانہ کورس
1. پری رجسٹریشن: اس کا مطلب ہے تجزیہ کرنے سے پہلے اپنے مفروضے، متغیرات، ماڈل اور ٹیسٹ کو تحریری طور پر (ممکنہ طور پر ٹائم اسٹیمپڈ پلیٹ فارم پر) ریکارڈ کرنا۔ اس طرح، دریافت کو تصدیق سے الگ کر دیا گیا ہے۔ جو کچھ بھی آپ بعد میں تبدیل کرتے ہیں اسے "ایکسپلورر" کے طور پر ٹیگ کیا جاتا ہے۔
2. تجزیہ کا منصوبہ: یہاں تک کہ اگر آپ پہلے سے ریکارڈ نہیں کر سکتے ہیں، ڈیٹا میں غوطہ لگانے سے پہلے ایک تجزیہ کا منصوبہ لکھیں: بنیادی مفروضہ، بنیادی نتیجہ متغیر، اہم ماڈل۔ شروع سے "مین تجزیہ" اور "اضافی/تحقیقاتی تجزیہ" کے درمیان فرق قائم کریں اور رپورٹ میں اسے برقرار رکھیں۔
3. ہر چیز کی اطلاع دیں: ان ماڈلز کو مت چھپائیں جنہیں آپ نے آزمایا ہے۔ "حساسیت کا تجزیہ" (مضبوطی کی جانچ) سیکشن میں، دکھائیں کہ کس طرح مختلف وضاحتیں نتیجہ کو تبدیل کرتی ہیں۔ تلاش صرف اس صورت میں مضبوط ہے جب یہ بہت سے قابل فہم انتخاب کے تحت برقرار رہے۔
4. ایک سے زیادہ موازنہ کا نظم و ضبط: اگر آپ نے بہت زیادہ ٹیسٹ کیے ہیں، تو انہیں درست کریں (یونٹ 6)۔ سوال کا جواب دیں "میں نے کتنے ٹیسٹ کیے ہیں؟" ایمانداری سے
5. حساسیت کا تجزیہ: ایک مختلف نمونے، مختلف کنٹرول سیٹ، اور مختلف تبدیلی کے ساتھ اپنی اہم تلاش کو دہرائیں۔ اگر نتیجہ بدلتا ہے تو اسے چھپائیں نہیں، رپورٹ کریں۔
موازنہ چارٹ: ایماندار بمقابلہ ٹریپ
درخواست
ٹریپ کی شکل
ایماندار برابر
ماڈل کا انتخاب
اس وقت تک کوشش کرنا جب تک یہ سمجھ میں نہ آجائے (پی ہیکنگ)
پہلے سے منصوبہ بند ماسٹر ماڈل
مفروضہ
حقیقت کے بعد موزوں کرنا (ہارکنگ)
پہلے سے ریکارڈ شدہ، ڈیٹا سے پہلے
رپورٹنگ
صرف خوبصورت نہ دکھائیں۔
تمام وضاحتیں + حساسیت
ذیلی گروپ
سب سے زیادہ متاثر کن کا انتخاب
پہلے سے طے شدہ، قابل اصلاح
ڈیٹا اکٹھا کرنا
جب یہ سمجھ میں آتا ہے تو رک جائیں۔
پہلے سے طے شدہ نمونہ
چار کاپی کرنے کے قابل اشارے
1. ایماندارانہ دعوے کا فریم ورک:
آپ کا کردار: ایماندار شماریات کا معاون۔ میرا مقصد کوئی معنی خیز نتیجہ تلاش کرنا نہیں ہے بلکہ صحیح نتیجہ تلاش کرنا ہے۔ قواعد: - مجھے "ماڈل آزمائیں جب تک کہ یہ سمجھ میں نہ آئے" قسم کی تجاویز نہ دیں، - مجھے بتائیں کہ کیا آپ متعدد تصریحات تجویز کرتے ہیں ان سب کو رپورٹ کرنے کی ضرورت ہے، - مجھے کسی ایسے اقدامات سے خبردار کریں جو پی-ہیکنگ کا باعث بن سکتے ہیں۔ پہلے میرے مرکزی ماڈل کو واضح کرنے میں میری مدد کریں، دریافت کو تصدیق سے الگ کریں۔
2. تجزیہ پلان کا مسودہ:
مطالعہ کے لیے ایک ابتدائی تجزیہ کا منصوبہ تیار کرنے میں میری مدد کریں: بنیادی مفروضہ، بنیادی نتیجہ متغیر، مرکزی ماڈل کی تفصیلات، پہلے سے طے شدہ ذیلی گروپس، متعدد موازنہ کی حکمت عملی۔ "تحقیقاتی" اور "تصدیق" کے تجزیوں کو الگ الگ عنوانات میں رکھیں۔ مجھے ڈیٹا کو دیکھے بغیر اسے بھرنے کے لیے یاد دلائیں۔
3. حساسیت کا تجزیہ:
میری بنیادی تلاش یہ ہے کہ حساسیت کے تجزیہ کوڈ (R) کو لکھیں کیونکہ میرا مقصد یہ دیکھنا ہے کہ نتیجہ کتنا ٹھوس ہے، نہ کہ بہترین کا انتخاب کرنا۔ تمام نتائج دکھائیں.
4. خود نگرانی:
میں اپنے تجزیہ کے عمل کی وضاحت کروں گا۔ مجھے p-hacking / HARKing / سلیکٹیو رپورٹنگ کے لیے ایک چیک لسٹ دیں اور نشان زد کریں کہ میرے کون سے اقدامات خطرناک ہیں۔ مجھ سے واپس پوچھیں کہ میں نے کتنے ماڈل/ٹیسٹ آزمائے ہیں اور میں کن کی رپورٹ کرنے کا ارادہ رکھتا ہوں۔
کمزور فوری / مضبوط اشارہ
کمزور اشارہ:
اس ڈیٹا میں کون سے متغیرات اہم تعلقات دکھاتے ہیں، بہترین ماڈل تلاش کریں۔
یہ پرامپٹ براہ راست پی ہیکنگ کی ہدایت ہے: AI درجنوں مجموعوں کو آزماتا ہے اور اسے پیش کرتا ہے جو "سب سے زیادہ معنی خیز ہے۔" نتیجہ تقریبا یقینی طور پر ایک جعلی تلاش ہے جسے نقل نہیں کیا جاسکتا۔
طاقتور اشارہ:
آپ کا کردار: ایماندار معاون۔ مین ماڈل جس کا میں نے پہلے سے تعین کیا ہے وہ ہے: Y ~ X + کنٹرولز۔ کوڈ لکھیں جو اس ماڈل کی پیش گوئی کرتا ہے۔ ایک اور "زیادہ معنی خیز" ماڈل کی تلاش نہ کریں۔ ایک حساسیت کا تجزیہ بھی تجویز کریں تاکہ میں نتیجہ کی مضبوطی دیکھ سکوں، لیکن جان لیں کہ میں تمام نتائج کی اطلاع دوں گا، بہترین کو منتخب نہیں کروں گا۔ مجھے کسی بھی تحقیقاتی نتائج کو 'تصدیق شدہ' کے طور پر لکھنے نہ دیں۔
فرق: مضبوط مرضی مرکزی ماڈل کو ٹھیک کرتی ہے، تلاش سے منع کرتی ہے، اور تمام نتائج کی اطلاع دینے کی ضرورت ہوتی ہے۔
تین چھوٹے مقدمات
کیس 1 - ذیلی گروپ شکار۔ ایک محقق کو مجموعی نمونے میں کوئی اثر نہیں ملا۔ اس نے AI سے پوچھا "یہ کس ذیلی گروپ میں اہم ہے؟" YZ نے عمر، جنس اور علاقے کے امتزاج کو اسکین کیا اور "35-44 سال کی شہری خواتین میں p = 0.03" پایا۔ مضمون اس ذیلی گروپ پر مبنی تھا۔ اس کی نقل کا کوئی اثر نہیں ہوا: یہ درجنوں ذیلی گروپوں کے موقع کا نتیجہ تھا۔ سبق: ڈیٹا کے بعد منتخب ذیلی گروپ HARKing ہے، تصدیق نہیں کر رہا ہے۔
کیس 2 - تبادلوں کا شکار۔ وہ رشتہ جو طالب علم کی سطح پر بے معنی نکلتا ہے۔ اسے لاگ، مربع جڑ، مربع اور وقفہ کی شکلوں میں آزمایا۔ اسے لاگ لاگ فارم میں p=0.048 ملا اور صرف اس کی اطلاع دی۔ خوش قسمتی سے، کوشش کی گئی 5 شکلوں میں سے ایک نے دہلیز کو عبور کیا۔ صحیح طریقہ یہ تھا: تھیوری کے ساتھ فارم کو پہلے سے منتخب کرنا اور حساسیت کے جدول میں تمام شکلوں کا نتیجہ دکھانا۔ سبق: منتخب رپورٹنگ غلط اہمیت پیدا کرتی ہے۔
کیس 3 - کس طرح ایماندارانہ فریمنگ کام کرتی ہے۔ تجزیہ سے پہلے ایک ٹیم پہلے سے رجسٹرڈ: واحد بنیادی مفروضہ، واحد مرکزی ماڈل، دو پہلے سے طے شدہ ذیلی گروپس، بونفرونی اصلاح۔ اہم اثر اہم نہیں تھا، لیکن ٹیم نے ایمانداری سے اس کی اطلاع دی۔ تلاش کرنے والے فرد نے ایک تلاش کو "مستقبل میں جانچنے کی ضرورت" کے طور پر نشان زد کیا۔ مطالعہ تولیدی اور قابل اعتماد تھا۔ سبق: ایماندارانہ منصوبہ بندی "ناکام" نتیجہ کو بھی قابل قدر بناتی ہے۔
عام غلطیاں
- AI کو "بامعنی نتائج تلاش کرنے" کو بتانا۔ یہ سیدھا پی-ہیکنگ ہے۔ AI کو ایک ایماندار فریم میں رکھیں، درستگی کے لیے پوچھیں، نتائج کے لیے نہیں۔
- دریافت کو بطور تصدیق (HARKing) پیش کرنا۔ اعداد و شمار کے بعد قائم کردہ مفروضے کو "میں نے شروع سے اس کی پیش گوئی کی تھی" لکھنا گمراہ کن ہے۔ تلاشی تلاش پر لیبل لگائیں۔
- صرف اچھے نتائج کی اطلاع دینا۔ جانچ کی گئی تمام وضاحتیں دکھائیں؛ جذبات کے تجزیے کو چھپانا سالمیت سے سمجھوتہ کرتا ہے۔
- ذیلی گروپ/تبادلوں کی اسکریننگ۔ درجنوں ذیلی گروپوں یا تبدیلیوں میں سے سب سے اہم کا انتخاب جعلی نتائج پیدا کرتا ہے۔ پہلے سے شناخت اور درست کریں.
- بھول رہے ہیں کہ آپ نے کتنے ٹیسٹ کیے ہیں۔ کوششوں کی کل تعداد پر نظر رکھیں؛ اس نمبر کو جانے بغیر کسی بھی p-value کی ایمانداری سے تشریح نہیں کی جا سکتی۔
ٹپ: تلاش لکھنے سے پہلے، اپنے آپ سے پوچھیں: "یہ نتیجہ ملنے تک میں نے خاموشی سے کتنے طریقے آزمائے ہیں، اور کیا میں ان سب کی اطلاع دے رہا ہوں؟" اگر کچھ مضامین دراز میں رہتے ہیں، تو آپ کی رپورٹ اس سے زیادہ مضبوط نظر آتی ہے۔
خلاصہ میں
پی-ہیکنگ، ہارکنگ، سلیکٹیو رپورٹنگ، اور کانٹے دار راستوں کا باغ؛ بہت سے ایسے جال ہیں جو غیر ارادی طور پر چلتے ہیں لیکن جعلی، ناقابل تولید نتائج پیدا کرتے ہیں۔ AI ان خرابیوں کو تیز کرتا ہے کیونکہ یہ درجنوں تجزیوں کو فوری طور پر آزما سکتا ہے۔ "بامعنی نتائج تلاش کریں" قسم کی درخواستیں AI کو پی ہیکنگ انجن میں بدل دیتی ہیں۔ دفاع; پہلے سے رجسٹریشن اور تجزیہ کے منصوبے کے ساتھ دریافت کو تصدیق سے الگ کرنا، تمام وضاحتیں اور حساسیت کے تجزیہ کی اطلاع دینا، متعدد موازنہوں کو درست کرنا، اور AI کو ایک ایماندار فریم ورک میں رکھنا جو "درست نتیجہ" کا مطالبہ کرتا ہے۔ حتمی ذمہ داری ہمیشہ محقق پر عائد ہوتی ہے۔
درخواست کا کام
ایک تحقیقی سوال کا انتخاب کریں اور ڈیٹا کو دیکھنے سے پہلے ایک مختصر تجزیہ کا منصوبہ لکھیں: بنیادی مفروضہ، مرکزی ماڈل، بنیادی نتائج کا متغیر، پہلے سے طے شدہ ذیلی گروپس، متعدد موازنہ کی حکمت عملی۔ پھر مرکزی ماڈل کا اندازہ لگائیں۔ پھر حساسیت کا تجزیہ کریں (مختلف کنٹرولز، آؤٹ لیئر شامل/خارج، مختلف فنکشن فارم) اور تمام نتائج کو ایک ٹیبل میں دکھائیں۔ ایک پیراگراف میں، اندازہ کریں کہ کون سے اقدامات سے پی ہیکنگ کا خطرہ ہے اور آپ کا ایماندار فریم ورک انہیں کیسے محدود کرتا ہے۔
چیک لسٹ
- میں نے ڈیٹا میں ڈوبنے سے پہلے تجزیہ پلان/ماسٹر ماڈل لکھا۔
- میں نے الگ الگ تحقیقاتی اور تصدیقی تجزیوں کا لیبل لگایا۔ میں ہارکنگ نہیں کر رہا تھا۔
- میں نے ان تمام تفصیلات کی اطلاع دی ہے جن کی میں نے کوشش کی ہے۔ میں نے صرف خوبصورت کا انتخاب نہیں کیا۔
- میں نے ذیلی گروپس اور تبدیلیوں کی پہلے سے وضاحت کی تھی، میں نے ڈیٹا کے بعد انہیں اسکین نہیں کیا۔
- میں نے ٹریک کیا کہ میں نے کتنے ٹیسٹ چلائے اور ضروری تصحیح کا اطلاق کیا۔
- [ ] میں نے AI کا استعمال "سچائی کی تلاش" کے تناظر میں کیا ہے بجائے اس کے کہ "اسے بامعنی تلاش کریں"۔ میں نے ذمہ داری لی۔