اختبار الفرضيات والقيمة الاحتمالية: الأهمية والقوة والمقارنات المتعددة

المكاسب:

• القدرة على تحديد الفرضية الصفرية والقيمة الاحتمالية وفاصل الثقة والقوة الإحصائية بشكل صحيح واستخدام الذكاء الاصطناعي في اختيار الاختبار وتفسيره.
• القدرة على التمييز بين ما يمثل وما لا يمثل قيمة p (وليس حجم التأثير، وليس احتمال الدقة) وفهم سبب ضرورة تصحيح المقارنة المتعددة
• القدرة على التعرف على التعليقات التي يدلي بها الذكاء الاصطناعي والتي تخلط بين المغزى والأهمية المادية والإبلاغ عنها بحجم التأثير وعدم اليقين

إن أداة الإحصاء الأكثر استخدامًا والأكثر إساءة فهمها هي اختبار الفرضيات. الفكرة الأساسية بسيطة: لدينا ادعاء (على سبيل المثال، "متوسط ​​هاتين المجموعتين مختلف") وعكسه، فرضية العدم (H0 - "لا يوجد فرق في الواقع"). يقيس الاختبار مدى توافق البيانات مع فرضية العدم. في هذه الوحدة، سنرى كيف يجعل الذكاء الاصطناعي (AI) اختيار الاختبار وتفسيره أسهل، ولكن لماذا تكون المزالق المحيطة بالقيمة p شائعة وخطيرة جدًا. لنبدأ من البداية: يعرف الذكاء الاصطناعي صيغة الاختبار التي يجب كتابتها؛ لكن مهمتك هي تفسير ما إذا كان افتراض الاختبار قد تم استيفاءه وما تعنيه النتيجة حقًا.

ما هي في الواقع قيمة p؟

القيمة p هي احتمال حدوث النتيجة التي لاحظتها، أو النتيجة الأكثر تطرفًا، عن طريق الصدفة عندما تكون فرضية العدم صحيحة (أي لا يوجد أي تأثير في الواقع). القيمة p الصغيرة (0.05 هي العتبة التقليدية) تعني "سيكون من المفاجئ رؤية مثل هذه البيانات إذا لم يكن هناك أي تأثير حقًا"؛ ويعتبر هذا دليلا ضد الفرضية الصفرية.

الآن دعونا نوضح ما ليست عليه القيمة p، والتي كثيرًا ما يربكها الذكاء الاصطناعي:

• القيمة p ليست احتمالية صحة الفرضية الصفرية. p=0.03 لا يعني "هناك احتمال بنسبة 3% لعدم وجود تأثير".
• لا تشير القيمة p إلى حجم التأثير. قد يؤدي التأثير الصغير جدًا إلى قيمة p صغيرة في عينة كبيرة.
• لا تثبت القيمة p أن النتيجة مهمة أو حقيقية. "جسيم" هو مصطلح إحصائي، و"جسيم" هو حكم.
• p>0.05 لا يعني "عدم وجود تأثير"؛ وهذا يعني "لم نتمكن من إظهار التأثير بهذه البيانات". وغياب الدليل ليس دليلا على الغياب.

تحذير: الخطأ الأكثر شيوعًا في تفسير الذكاء الاصطناعي هو تقديم كلمة "كبير" على أنها "تأثير كبير/قوي/كبير". الأهمية الإحصائية والأهمية العملية شيئان مختلفان؛ قم دائمًا بالإبلاغ عن الاثنين بشكل منفصل.

فاصل الثقة وحجم التأثير: معلومات أكثر ثراءً

بدلاً من قيمة p واحدة، يكون فاصل الثقة أكثر إفادة بكثير: فهو يعطي نطاقًا معقولاً من القيم لتقديرك. الجملة "التأثير 1,200، فاصل الثقة 95% [300، 2,100]" يُظهر كلاً من الاتجاه والحجم وعدم اليقين؛ "p<0.05" يقول فقط "بعيدًا عن الصفر". تستخدم الممارسة الإحصائية الحديثة القيمة الاحتمالية ليس فقط؛ توصي بإعداد التقارير باستخدام الثلاثي حجم التأثير + فاصل الثقة + القيمة p.

القوة الإحصائية والعينة

القوة الإحصائية هي احتمال اكتشاف تأثير موجود بالفعل (1 مطروحًا منه احتمال الخطأ من النوع الثاني، أي "فقدان التأثير الحقيقي"). إن الدراسة الضعيفة معرضة لمخاطرتين: (1) تتجاهل التأثيرات الحقيقية (سلبية كاذبة)؛ (2) النتائج القليلة التي يتبين أنها مهمة تحمل أبعادًا مضخمة - ما يسمى بلعنة الفائز لأن التوقعات المضخمة فقط هي التي يمكنها تجاوز العتبة. لذلك، من الممارسات الجيدة حساب القدرة/العينة قبل التحليل. يقوم الذكاء الاصطناعي بإنشاء الكود الخاص بهذا الحساب؛ يمكنك تحديد حجم التأثير المستهدف من الناحية النظرية.

مشكلة المقارنة المتعددة

عند إجراء الاختبار، فإن عتبة 0.05 تعني "5% خطر الحصول على نتائج إيجابية كاذبة". ولكن إذا أجريت 20 اختبارًا، فمن المتوقع أن يعطي اختبار واحد في المتوسط ​​قيمة p<0.05 بالصدفة، حتى عندما تكون جميعها غير فعالة فعليًا. وهذا ما يسمى مشكلة المقارنة المتعددة. يزداد احتمال النتائج الإيجابية الكاذبة بسرعة عند اختبار أعداد كبيرة من المتغيرات أو المجموعات الفرعية أو متغيرات النتائج. الحل هو تصحيح العتبة: طرق بونفيروني (تقسيم العتبة على عدد الاختبارات - صارمة)، أو طرق هولم أو بنجامين-هوخبيرج التي تتحكم في معدل الاكتشاف الخاطئ (FDR). يصبح هذا الخطر أكبر في عصر الذكاء الاصطناعي، حيث يمكن للذكاء الاصطناعي إنتاج عشرات الاختبارات في ثوانٍ - وهذا هو الموضوع المباشر للوحدة التالية (P-hacking).

جدول المقارنة: ما تقوله القيمة p وما لا تقوله

التعبير

هل هذا صحيح؟

الوصف

"p=0.02، احتمال عدم وجود تأثير هو 2%"

خطأ

p ليس احتمال H0

"P<0.05، التأثير كبير"

خطأ

p لا يشير إلى الحجم

"ع = 0.20، لا يوجد تأثير"

خطأ

عدم القدرة على الظهور ليس غيابًا

"P <0.05، هناك دليل ضد H0"

صحيح

الحذر وعلى النقطة

"التأثير 1.200 [300;2.100]، p=0.01"

الأفضل

الحجم + عدم اليقين + الأدلة

أربع مطالبات قابلة للنسخ

1. اختيار الاختبار المناسب:

دورك: مساعد الاختبار الإحصائي. أريد مقارنة متوسط ​​مجموعتين مستقلتين (متغير مستمر). أعطني: ما هو الاختبار المناسب (مع افتراضاته: الحالة الطبيعية، ومساواة التباين)، والبديل إذا لم يتم استيفاء الافتراض (على سبيل المثال، ويلش، مان ويتني)، ورمز R. سأقوم بتشغيل النتيجة والتحقق من الافتراضات.

2. الإبلاغ عن القيمة p بشكل صحيح:

قم بالإبلاغ عن مخرجات الاختبار أدناه، ولكن القواعد: - لا تقدم القيمة p كـ "احتمال H0" أو "حجم التأثير"، - تأكد من تضمين حجم التأثير وفاصل الثقة 95٪، - اكتب "كبير" و"كبير" بشكل منفصل، - إذا كانت p> 0.05، فلا تقل "لا يوجد تأثير"، قل "لم نتمكن من العرض". الإخراج: [لصق]

3. حساب الطاقة/العينة:

أخطط لإجراء تجربة: مجموعتان، حجم التأثير المتوقع (كوهين د) ~0.4، القوة 0.80، ألفا 0.05. اكتب رمز R الذي يحسب حجم العينة المطلوب (حزمة pwr) واشرح مخاطر الدراسة منخفضة الطاقة (لعنة الفائز).

4. تصحيح المقارنة المتعددة:

لقد أجريت 15 اختبارًا منفصلاً للفرضيات ولدي قيم p. اكتب رمز R الذي يطبق تصحيحات Bonferroni وBenjamin-Hochberg (FDR)، واشرح الفرق بين الطريقتين، ولخص في جملة واحدة لماذا لا يجب أن أثق في p<0.05.

موجه ضعيف / موجه قوي

حث ضعيف:

هل نتيجة هذا الاختبار ذات معنى؟ التعليق على النتيجة.

هذا الادعاء يحبس الذكاء الاصطناعي في الثنائية "ذات المعنى/غير ذات المعنى". على الأرجح ينتج جملة تخلط بين الحجم والأهمية، مثل "نعم، إنه ذو دلالة، التأثير قوي".

مطالبة قوية:

دورك: مساعد إحصائي يقظ. قم بتفسير النتيجة ولكن: (1) أعط حجم التأثير + فاصل الثقة 95% + قيمة p معًا، (2) افصل الأهمية عن الأهمية، (3) p>0.05 في "لا يمكن أن تظهر"، (4) اسأل عن عدد الاختبارات التي أجريتها؛ إذا كان هناك أكثر من واحد، فاقترح تصحيح المقارنة المتعددة، (5) ذكّر بضرورة التحقق من افتراضات الاختبار.

الفرق: المطالبة القوية تفرض إعداد تقارير غنية وتحمي من مصائد القيمة الاحتمالية.

ثلاث حالات صغيرة

الحالة 1 - "أهمية" غير هامة في عينة كبيرة. وجد أحد المحللين أن متوسط ​​الفرق بين المجموعتين "مهم للغاية" عند p<0.001 في البيانات التي شملت 500000 ملاحظة. لكن الفارق كان 0.3 نقطة فقط (من أصل 100) وكان بلا معنى عملياً. العينة الضخمة جعلت حتى الفارق الضئيل "كبيرا". عندما تم الإبلاغ عن حجم التأثير، وجد أن النتيجة غير ذات أهمية. الدرس المستفاد: الأهمية ليست الحجم؛ إذا كانت n كبيرة، فإن كل اختلاف مهم.

الحالة 2 - وهم الاختبار المتعدد. قام فريق واحد باختبار 22 متغيرًا للنتيجة؛ أظهر أحدهم قيمة p=0.04 وتم الإعلان عنه على أنه "وجدنا التأثير". مع تصحيح بونفيروني، انخفضت العتبة إلى 0.05/22 = 0.0023؛ 0.04 لم يتجاوز هذا الحد. النتيجة الوحيدة "ذات المغزى" كانت ستأتي بالصدفة من بين 22 تجربة. الدرس المستفاد: عند اختبار الكثير، من الضروري التصحيح.

الحالة 3 - القوة الضعيفة ولعنة الفائز. وجدت دراسة تجريبية صغيرة (ن = 15 لكل مجموعة) تأثيرًا كبيرًا جدًا (د = 0.9) وهامًا. خفضت دراسة النسخ المتماثل الكبيرة التأثير إلى d = 0.2. ولم تسمح العينة الصغيرة إلا بالمبالغة في التقدير لتجاوز العتبة. الدرس المستفاد: لا يمكن الوثوق بأحجام التأثير الكبيرة عند الطاقة المنخفضة.

الأخطاء الشائعة

• الخلط بين المعنى والأهمية/العظمة. التأثير ليس كبيرًا لمجرد أن p صغير؛ تقرير حجم التأثير بشكل منفصل.
• الخلط بين القيمة p واحتمالية H0. p ليس "احتمال عدم وجود تأثير"؛ يختلف من الناحية المفاهيمية.
• القراءة p > 0.05 على أنها "لا يوجد تأثير". عدم الحضور ليس دليلاً على الغياب؛ اذكر حالة عدم اليقين.
• عدم التصحيح للاختبارات المتعددة. تنتج العديد من الاختبارات نتائج إيجابية كاذبة؛ تطبيق بونفيروني/فرانكلين روزفلت.
• تجاهل السلطة. التأثير الكبير في العينة الصغيرة مبالغ فيه. حساب القوة قبل التحليل.

نصيحة: قبل شطب النتيجة باعتبارها "مهمة"، اطرح سؤالين: "هل التأثير مهم عمليًا (الحجم)؟" و"كم عدد الاختبارات التي أجريتها قبل أن أجد هذه النتيجة؟" السؤال الثاني هو اختبار الصدق.

في ملخص

يعد اختبار الفرضيات والقيمة الاحتمالية من الأدوات القوية ولكن يساء فهمها. القيمة p هي احتمال رؤية البيانات عندما تكون الفرضية الصفرية صحيحة؛ إن احتمال H0 ليس هو حجم التأثير أو أهمية النتيجة. قم دائمًا بالإبلاغ عن الأهمية جنبًا إلى جنب مع حجم التأثير وفاصل الثقة؛ لا تقرأ p>0.05 على أنها "لا يوجد تأثير"؛ تطبيق تصحيح المقارنة المتعددة إذا كنت قد أجريت العديد من الاختبارات؛ كن على دراية بمخاطر التأثيرات المبالغ فيها من الدراسات منخفضة الطاقة. يقوم الذكاء الاصطناعي بإنتاج كود الاختبار والمخطط؛ تقع على عاتقك مسؤولية التمييز بين المعنى والأهمية المادية والتحقق من الافتراضات.

مهمة التطبيق

قم بإجراء مقارنة بين المتوسطات بين مجموعتين في مجموعة بيانات. اطلب من الذكاء الاصطناعي الاختبار المناسب (مع افتراضاته) والرمز، وقم بتشغيله وتحقق من الافتراضات. قم بالإبلاغ عن النتيجة بثلاثة مكونات: حجم التأثير، وفاصل الثقة 95%، والقيمة p. ثم فكر في عدد المقارنات المختلفة التي يمكنك إجراؤها على نفس البيانات؛ إذا قمت بإجراء اختبارات متعددة، فقم بتطبيق تصحيح Bonferroni أو FDR وأبلغ إذا كانت النتيجة لا تزال قائمة. وأخيرًا، اكتب تقييمًا تقريبيًا لقوة تحليلك.

قائمة مرجعية

• [ ] قمت باختيار الاختبار بفروضه وتأكدت من الفروض.
• [ ] لقد أبلغت عن النتيجة كحجم التأثير + فاصل الثقة + القيمة p.
• [ ] لقد أبقيت "مهم" و"مهم" منفصلين؛ لم أكن أعتقد أن p هو احتمال H0.
• [ ] كتبت p>0.05 كـ "لم نتمكن من إظهاره" بدلاً من "لا يوجد تأثير".
• [ ] لقد قمت بتطبيق تصحيح المقارنة المتعددة إذا قمت بإجراء اختبارات متعددة.
• [ ] قمت بتقييم قوة أخذ العينات؛ لقد كنت حذرًا بشأن حجم التأثير عند الطاقة المنخفضة.