فائدہ:
- null hypothesis، p-value، اعتماد کا وقفہ اور شماریاتی طاقت کی صحیح طور پر وضاحت کرنے اور ٹیسٹ کے انتخاب اور تشریح میں مصنوعی ذہانت کا استعمال کرنے کی صلاحیت۔
- پی-ویلیو کیا ہے اور کیا نہیں ہے اس میں فرق کرنے کی صلاحیت (اثر کا سائز نہیں، درستگی کا امکان نہیں) اور یہ سمجھنا کہ متعدد موازنہ کی اصلاح کیوں ضروری ہے۔
- مصنوعی ذہانت کے ذریعہ کئے گئے تبصروں کو پہچاننے کی اہلیت جو معنی خیزی کو مادیت کے ساتھ الجھاتے ہیں اور اثر کے سائز اور غیر یقینی صورتحال کے ساتھ ان کی اطلاع دیتے ہیں۔
شماریات کا سب سے زیادہ استعمال شدہ اور سب سے زیادہ غلط سمجھا جانے والا ٹول مفروضے کی جانچ ہے۔ بنیادی خیال سادہ ہے: ہمارے پاس ایک دعوی ہے (مثال کے طور پر "ان دو گروہوں کا مطلب مختلف ہے") اور اس کے برعکس، ایک کالعدم مفروضہ (H0 - "اصل میں کوئی فرق نہیں ہے")۔ ٹیسٹ اس بات کی پیمائش کرتا ہے کہ ڈیٹا کالعدم مفروضے سے کتنی اچھی طرح متفق ہے۔ اس یونٹ میں ہم دیکھیں گے کہ مصنوعی ذہانت (AI) کس طرح ٹیسٹ کے انتخاب اور تشریح کو آسان بنا رہی ہے، لیکن p-value کے ارد گرد کے نقصانات اتنے عام اور خطرناک کیوں ہیں۔ آئیے شروع سے شروع کریں: AI جانتا ہے کہ کون سا ٹیسٹ نحو لکھنا ہے۔ لیکن یہ آپ کا کام ہے کہ آپ اس بات کی تشریح کریں کہ آیا ٹیسٹ کا مفروضہ مطمئن ہے اور نتیجہ کا اصل مطلب کیا ہے۔
اصل میں پی ویلیو کیا ہے؟
p-value وہ امکان ہے کہ جس نتیجہ کا آپ مشاہدہ کرتے ہیں، یا اس سے زیادہ انتہائی نتیجہ، اتفاقاً اس وقت رونما ہوتا ہے جب null مفروضہ درست ہو (یعنی، اصل میں کوئی اثر نہیں ہوتا ہے)۔ ایک چھوٹی پی-ویلیو (0.05 روایتی حد ہے) کا مطلب ہے "اس طرح کے اعداد و شمار کو دیکھ کر حیرت ہوگی اگر واقعی کوئی اثر نہیں ہوتا"؛ یہ کالعدم مفروضے کے خلاف ثبوت سمجھا جاتا ہے۔
اب آئیے واضح کرتے ہیں کہ p-value کیا نہیں ہے - جسے AI اکثر الجھا دیتا ہے:
- p-value یہ امکان نہیں ہے کہ null hypothesis سچ ہے۔ p=0.03 کا مطلب یہ نہیں ہے کہ "کوئی اثر نہ ہونے کا 3٪ امکان ہے"۔
- p-value اثر کے سائز کی نشاندہی نہیں کرتی ہے۔ ایک بہت ہی چھوٹا اثر بڑے نمونے میں ایک چھوٹی سی پی ویلیو پیدا کر سکتا ہے۔
- p-value یہ ثابت نہیں کرتی ہے کہ تلاش اہم یا حقیقی ہے۔ "اہم" ایک شماریاتی اصطلاح ہے، "اہم" ایک فیصلہ ہے۔
- p>0.05 کا مطلب "کوئی اثر نہیں" نہیں ہے۔ اس کا مطلب ہے "ہم اس ڈیٹا کے ساتھ اثر نہیں دکھا سکے۔" ثبوت کی عدم موجودگی عدم موجودگی کا ثبوت نہیں ہے۔
احتیاط: سب سے عام AI تشریح کی غلطی لفظ "اہم" کو "اہم/مضبوط/بڑے اثر" کے طور پر پیش کر رہی ہے۔ شماریاتی اہمیت اور عملی اہمیت دو مختلف چیزیں ہیں۔ ہمیشہ دونوں کو الگ الگ رپورٹ کریں۔
اعتماد کا وقفہ اور اثر کا سائز: زیادہ معلومات
ایک واحد p-value کے بجائے، اعتماد کا وقفہ بہت زیادہ معلوماتی ہے: یہ آپ کے تخمینے کے لیے قدروں کی قابل فہم حد فراہم کرتا ہے۔ جملہ "اثر 1,200, 95% اعتماد کا وقفہ [300, 2,100]" سمت، وسعت اور غیر یقینی صورتحال دونوں کو ظاہر کرتا ہے۔ "p <0.05" صرف "صفر سے دور" کہتا ہے۔ جدید شماریاتی مشق p-value کا استعمال کرتی ہے اکیلے نہیں۔ اثر سائز + اعتماد کا وقفہ + p-value کی تینوں کے ساتھ رپورٹنگ کی سفارش کرتا ہے۔
شماریاتی طاقت اور نمونہ
شماریاتی طاقت کسی اثر کا پتہ لگانے کا امکان ہے جو حقیقت میں موجود ہے (1 مائنس قسم II کی خرابی کا امکان، یعنی "حقیقی اثر غائب")۔ کم طاقت والا مطالعہ دو خطرات کے لیے حساس ہوتا ہے: (1) یہ صحیح اثرات سے محروم رہتا ہے (غلط منفی)؛ (2) چند نتائج جو اہم ثابت ہوتے ہیں ان میں فلایا ہوا طول و عرض ہوتا ہے - نام نہاد فاتح کی لعنت کیونکہ صرف فلائی ہوئی پیشین گوئیاں حد کو عبور کر سکتی ہیں۔ لہذا، تجزیہ سے پہلے طاقت/نمونہ کا حساب لگانا اچھا عمل ہے۔ AI اس اکاؤنٹ کے لیے کوڈ تیار کرتا ہے۔ آپ تھیوری کے ساتھ ٹارگٹ ایفیکٹ سائز کا تعین کرتے ہیں۔
متعدد موازنہ کا مسئلہ
ٹیسٹ کرتے وقت، 0.05 کی حد کا مطلب ہے "جھوٹے مثبت ہونے کا 5% خطرہ"۔ لیکن اگر آپ 20 ٹیسٹ کرتے ہیں، تو اوسطاً ایک سے اتفاق سے p <0.05 دینے کی توقع کی جائے گی، یہاں تک کہ جب وہ سب حقیقت میں غیر موثر ہوں۔ اسے کثیر موازنہ مسئلہ کہا جاتا ہے۔ جب بڑی تعداد میں متغیرات، ذیلی گروپس، یا نتائج کے متغیرات کی جانچ کی جاتی ہے تو غلط مثبت ہونے کا امکان تیزی سے بڑھتا ہے۔ حل یہ ہے کہ حد کو درست کیا جائے: بونفرونی (ٹیسٹوں کی تعداد سے حد کو تقسیم کرنا — سخت)، ہولم یا بنجمینی-ہچبرگ کے طریقے جو غلط دریافت کی شرح (FDR) کو کنٹرول کرتے ہیں۔ یہ خطرہ AI کی عمر میں اور بھی بڑھ جاتا ہے، کیونکہ AI سیکنڈوں میں درجنوں ٹیسٹ کر سکتا ہے - یہ اگلے یونٹ (p-hacking) کا براہ راست موضوع ہے۔
موازنہ جدول: p-value کیا کہتی ہے اور کیا نہیں کہتی
اظہار
کیا یہ سچ ہے؟
تفصیل
"p=0.02، کوئی اثر نہ ہونے کا امکان 2% ہے"
غلط
p H0 کا امکان نہیں ہے۔
"p <0.05، اثر بڑا ہے"
غلط
p سائز کی نشاندہی نہیں کرتا ہے۔
"p=0.20، کوئی اثر نہیں"
غلط
ظاہر کرنے کے قابل نہ ہونا غیر موجودگی نہیں ہے۔
"p <0.05، H0 کے خلاف ثبوت موجود ہیں"
سچ ہے۔
محتاط اور نقطہ پر
"اثر 1.200 [300؛ 2.100]، p=0.01"
بہترین
سائز + غیر یقینی صورتحال + ثبوت
چار کاپی کرنے کے قابل اشارے
1. صحیح ٹیسٹ کا انتخاب:
آپ کا کردار: شماریاتی ٹیسٹنگ اسسٹنٹ۔ میں دو آزاد گروپوں (مسلسل متغیر) کے وسط کا موازنہ کرنا چاہتا ہوں۔ مجھے بتائیں: کون سا ٹیسٹ مناسب ہے (اس کے مفروضوں کے ساتھ: نارملٹی، تغیر کی مساوات)، اگر مفروضہ پورا نہیں ہوتا ہے تو متبادل (مثلاً ویلچ، مان-وائٹنی)، اور آر کوڈ۔ میں نتیجہ چلاؤں گا اور مفروضوں کو چیک کروں گا۔
2. p-value کو صحیح طور پر رپورٹ کرنا:
ذیل میں ٹیسٹ آؤٹ پٹ کی اطلاع دیں، لیکن اصول: - p-value کو "H0" یا "اثر سائز" کے امکان کے طور پر پیش نہ کریں، - اثر کا سائز اور 95% اعتماد کا وقفہ شامل کرنا یقینی بنائیں، - "اہم" اور "اہم" الگ الگ لکھیں، - اگر p>0.05، تو یہ نہ کہیں کہ "کوئی اثر نہیں دکھا سکا"، کہو "ہم کوئی اثر نہیں دکھا سکے"۔ آؤٹ پٹ: [پیسٹ]
3. طاقت/نمونہ کا حساب کتاب:
میں ایک تجربے کی منصوبہ بندی کر رہا ہوں: دو گروپس، متوقع اثر سائز (کوہن کا ڈی) ~0.4، پاور 0.80، الفا 0.05۔ R کوڈ لکھیں جو مطلوبہ نمونے کے سائز (pwr پیکیج) کا حساب لگاتا ہے اور کم طاقت والے مطالعہ (فاتح کی لعنت) کے خطرات کی وضاحت کرتا ہے۔
4. متعدد موازنہ کی اصلاح:
میں نے 15 الگ الگ مفروضے کے ٹیسٹ کیے ہیں اور میرے پاس p-values ہیں۔ R کوڈ لکھیں جو Bonferroni اور Benjamin-Hochberg (FDR) تصحیح کو لاگو کرتا ہے، دونوں طریقوں کے درمیان فرق کی وضاحت کریں، اور ایک جملے میں خلاصہ کریں کہ مجھے ننگے p <0.05 پر کیوں بھروسہ نہیں کرنا چاہیے۔
کمزور فوری / مضبوط اشارہ
کمزور اشارہ:
کیا اس امتحان کا نتیجہ معنی خیز ہے؟ نتیجہ پر تبصرہ کریں۔
یہ دعویٰ AI کو "بامعنی/غیر معنی خیز" بائنری میں پھنساتا ہے۔ غالباً ایک جملہ تیار کرتا ہے جو اہمیت کے ساتھ وسعت کو الجھا دیتا ہے، جیسے "ہاں، یہ اہم ہے، اثر مضبوط ہے۔"
طاقتور اشارہ:
آپ کا کردار: توجہ دینے والا شماریاتی معاون۔ نتیجہ کی تشریح کریں لیکن: (1) اثر کا سائز + 95% اعتماد کا وقفہ + p-value ایک ساتھ دیں، (2) اہمیت سے الگ اہمیت، (3) p>0.05 "دکھایا نہیں جا سکا"، (4) پوچھیں کہ میں نے کتنے ٹیسٹ کیے؛ اگر ایک سے زیادہ ہوں تو متعدد موازنہ کی اصلاح تجویز کریں، (5) یاد دلائیں کہ ٹیسٹ کے مفروضوں کو چیک کیا جانا چاہیے۔
فرق: مضبوط پرامپٹ بھرپور رپورٹنگ کو نافذ کرتا ہے اور پی ویلیو ٹریپس سے بچاتا ہے۔
تین چھوٹے مقدمات
کیس 1 - بڑے نمونے میں غیر اہم "اہمیت"۔ ایک تجزیہ کار نے 500,000 مشاہدات کے ساتھ ڈیٹا میں p <0.001 پر دو گروپوں کے درمیان "انتہائی اہم" فرق پایا۔ لیکن فرق صرف 0.3 پوائنٹس (100 میں سے) تھا اور عملی طور پر بے معنی تھا۔ بڑے نمونے نے چھوٹے سے فرق کو بھی "اہم" بنا دیا۔ جب اثر کے سائز کی اطلاع دی گئی تو، تلاش غیر معمولی پایا گیا. سبق: اہمیت وسعت نہیں ہے۔ اگر n بڑا ہے، تو ہر فرق اہم ہے۔
کیس 2 - ایک سے زیادہ ٹیسٹنگ وہم۔ ایک ٹیم نے 22 نتائج کے متغیرات کا تجربہ کیا۔ ان میں سے ایک نے p = 0.04 دکھایا اور "ہمیں اثر ملا" کے طور پر اعلان کیا گیا۔ بونفرونی اصلاح کے ساتھ، حد کم ہو کر 0.05/22 = 0.0023 ہو گئی۔ 0.04 نے اس حد کو پاس نہیں کیا۔ 22 آزمائشوں میں سے صرف "بامعنی" نتیجہ اتفاق سے نکلا ہوگا۔ سبق: جب بہت زیادہ جانچ پڑتال ہو تو اصلاح ضروری ہے۔
کیس 3 - انڈر پاور اور فاتح کی لعنت۔ ایک چھوٹا پائلٹ مطالعہ (n = 15 فی گروپ) نے ایک اثر بہت بڑا (d = 0.9) اور اہم پایا۔ نقل کے ایک بڑے مطالعہ نے اثر کو d = 0.2 تک کم کر دیا۔ چھوٹے نمونے نے صرف حد سے تجاوز کرنے کی اجازت دی تھی۔ سبق: کم طاقت پر اہم اثر سائز پر بھروسہ نہیں کیا جا سکتا۔
عام غلطیاں
- اہمیت / وسعت کے ساتھ معنی خیزی کو الجھانا۔ اثر صرف اس لیے بڑا نہیں ہے کہ p چھوٹا ہے۔ اثر کے سائز کو الگ سے رپورٹ کریں۔
- H0 کے امکان کے لیے p-value کو غلط سمجھنا۔ p "کوئی اثر نہ ہونے کا امکان" نہیں ہے۔ تصوراتی طور پر مختلف ہے.
- p>0.05 کو "کوئی اثر نہیں" کے طور پر پڑھنا۔ ظاہر کرنے میں ناکامی غیر موجودگی کا ثبوت نہیں ہے؛ غیر یقینی صورتحال بیان کریں۔
- ملٹی ٹیسٹنگ کے لیے درست نہیں کرنا۔ بہت زیادہ ٹیسٹ غلط مثبت پیدا کرتے ہیں؛ بونفیرونی/ایف ڈی آر کا اطلاق کریں۔
- طاقت کو نظر انداز کرنا۔ چھوٹے نمونے میں اہم اثر بڑھا چڑھا کر پیش کیا جاتا ہے۔ تجزیہ کرنے سے پہلے طاقت کا حساب لگائیں۔
ٹپ: کسی نتیجے کو "اہم" کے طور پر لکھنے سے پہلے دو سوالات پوچھیں: "کیا اثر عملی طور پر اہم ہے (شدت)؟" اور "یہ نتیجہ ملنے سے پہلے میں نے کتنے ٹیسٹ لیے؟" دوسرا سوال ایمانداری کا لٹمس ٹیسٹ ہے۔
خلاصہ میں
ہائپوتھیسس ٹیسٹنگ اور پی ویلیو طاقتور لیکن غلط فہمی والے ٹولز ہیں۔ p-value اعداد و شمار کو دیکھنے کا امکان ہے جب null hypothesis سچ ہے؛ H0 کا امکان اثر کی شدت یا تلاش کی اہمیت نہیں ہے۔ اثر کے سائز اور اعتماد کے وقفے کے ساتھ ہمیشہ اہمیت کی اطلاع دیں؛ p>0.05 کو "کوئی اثر نہیں" کے طور پر نہ پڑھیں؛ اگر آپ نے بہت سے ٹیسٹ کیے ہیں تو متعدد موازنہ کی اصلاح کا اطلاق کریں؛ کم طاقت والے مطالعات سے مبالغہ آمیز اثرات کے خطرے سے آگاہ رہیں۔ AI ٹیسٹ کوڈ اور بلیو پرنٹ تیار کرتا ہے۔ یہ آپ کی ذمہ داری ہے کہ آپ بامعنی اور مادیت کے درمیان فرق کریں اور مفروضوں کو پرکھیں۔
درخواست کا کام
ڈیٹا سیٹ میں دو گروپوں کے درمیان ذرائع کا موازنہ کریں۔ AI سے مناسب ٹیسٹ (اس کے مفروضوں کے ساتھ) اور کوڈ کے لیے پوچھیں، اسے چلائیں اور مفروضوں کو چیک کریں۔ نتیجہ کو تین اجزاء کے ساتھ رپورٹ کریں: اثر کا سائز، 95% اعتماد کا وقفہ، p-value۔ پھر سوچیں کہ آپ ایک ہی ڈیٹا پر کتنے مختلف موازنہ کر سکتے ہیں۔ اگر آپ نے متعدد ٹیسٹ چلائے ہیں، تو Bonferroni یا FDR تصحیح کا اطلاق کریں اور اگر نتیجہ اب بھی برقرار ہے تو رپورٹ کریں۔ آخر میں، اپنے تجزیے کے لیے طاقت کا ایک درست اندازہ لکھیں۔
چیک لسٹ
- میں نے ٹیسٹ کو اس کے مفروضوں کے ساتھ منتخب کیا اور مفروضوں کو چیک کیا۔
- میں نے نتیجہ کو اثر سائز + اعتماد کا وقفہ + p-value کے بطور رپورٹ کیا۔
- میں نے "اہم" اور "اہم" کو الگ رکھا۔ مجھے نہیں لگتا تھا کہ p H0 کا امکان ہے۔
- میں نے "کوئی اثر نہیں" کے بجائے p>0.05 لکھا "ہم اسے نہیں دکھا سکے"۔
- اگر میں متعدد ٹیسٹ چلاتا ہوں تو میں نے متعدد موازنہ اصلاح کا اطلاق کیا۔
- میں نے نمونے لینے کی طاقت کا جائزہ لیا۔ میں کم طاقت پر اثر کے سائز کے بارے میں محتاط تھا۔