المكاسب:
- افهم أن اختراق p، وHARKing، والتقارير الانتقائية، وحديقة المسارات المتفرعة تؤدي إلى نتائج خاطئة وانظر كيف يمكن للذكاء الاصطناعي تسريع هذه الفخاخ
- القدرة على إنشاء دفاعات مثل التسجيل المسبق وخطة التحليل ونظام المقارنة المتعددة وتحليل الحساسية بدعم من الذكاء الاصطناعي
- القدرة على استيعاب تصميم الطلب الصادق الذي سيمكن الذكاء الاصطناعي من رفض طلبات من نوع "العثور على نتيجة ذات معنى" وأن المسؤولية النهائية تقع على عاتق الباحث.
في الوحدة السابقة رأينا ما هي القيمة p وما ليست كذلك. في هذه الوحدة سوف ننظر إلى موضوع أكثر قتامة، وهو الفخاخ المنهجية التي تهدد السلامة الإحصائية. معظمها ليس غشًا متعمدًا؛ وهذه آليات خبيثة يقع فيها حتى الباحثون ذوو النوايا الحسنة دون أن يدركوا ذلك. والذكاء الاصطناعي يجعل هذه المخاطر أسهل وأسرع، لأنه يجعل من الممكن إجراء عشرات التحليلات في ثوانٍ. الهدف من هذه الوحدة هو إنشاء النظام الذي سيحول الذكاء الاصطناعي من "آلة هادفة لإيجاد النتائج" إلى مساعد صادق.
المزالق الأساسية
القرصنة p (صيد القيمة p): وهي محاولة التحليل مرة أخرى بطرق مختلفة حتى يتم الحصول على نتيجة معنوية (p<0.05). إضافة وإزالة المتغيرات، واختيار العينات الفرعية، وتغيير تعريف القيم المتطرفة، ومحاولة تحويلات مختلفة، واستخدام متغيرات نتائج مختلفة، وإيقاف جمع البيانات عندما تصبح ذات معنى... كل محاولة تعطي "فرصة" جديدة؛ إذا حاولت بجد بما فيه الكفاية، فسوف يتبين أن إحداها ذات معنى، حتى لو لم يكن لها أي تأثير في الواقع. النتيجة: نتائج زائفة تم نشرها ولكنها غير قابلة للتكرار.
هاركينج (الافتراض بعد معرفة النتائج): وضع فرضية بعد رؤية النتائج وتقديمها على أنها "توقعتها هكذا من البداية". تنظر إلى البيانات وتجد العلاقة الأكثر لفتًا للانتباه، ثم تكتب الورقة كما لو كانت مصممة لاختبار تلك الفرضية. وهذا يضلل القارئ بجعل الاكتشاف يبدو وكأنه تأكيد.
التقارير الانتقائية (الانتقاء): الإبلاغ فقط عن التقارير "الجيدة" من عشرات التحليلات ودفن الباقي بصمت. يُعرف هذا أيضًا باسم "مشكلة درج الملفات": حيث تبقى نتائج لا معنى لها في الدرج، مما يجعل الأدبيات متحيزة بشكل منهجي.
حديقة المسارات المتشعبة: مصطلح أندرو جيلمان. حتى بدون إجراء عملية اختراق متعمدة واحدة، يتخذ الباحث العديد من الاختيارات المعقولة بناءً على البيانات (أي متغير، أي عتبة، أي مجموعة فرعية، أي تحويل). إن درجات الحرية الاستقصائية هذه عديدة جدًا لدرجة أنك تختار فعليًا الدرجة ذات المعنى من بين العديد من التحليلات - حتى بدون أي نية سيئة. والنتيجة هي مرة أخرى ارتفاع معدل الإيجابية الكاذبة.
تحذير: معظم هذه الأفخاخ ليست حيلًا متعمدة. إن مجموع الخطوات التي تبدو بريئة مثل "لقد جربت للتو بعض النماذج الإضافية"، "كان الأمر أنظف عندما أزلت القيمة المتطرفة"، "التأثير أكثر وضوحًا في هذه المجموعة الفرعية" يمكن أن يؤدي إلى نتيجة زائفة. الصدق هو مسألة أسلوب، وليس النية.
لماذا يقوم الذكاء الاصطناعي بتوسيع هذه الفخاخ؟
تجربة 3 نماذج يدويًا تستغرق وقتًا؛ تنتج YZ 50 نموذجًا مختلفًا و10 تحويلات مختلفة و8 مجموعات فرعية في دقائق. هذه القوة كارثية بدون خطة صادقة: طلب مثل "العثور على علاقة ذات معنى في هذه البيانات" أو "بناء نموذج يدعم هذه الفرضية" يحول الذكاء الاصطناعي مباشرة إلى محرك اختراق. يريد الذكاء الاصطناعي أيضًا أن يكون مفيدًا؛ يميل إلى إيجاد نتيجة "ذات معنى" ترضيك. ولهذا السبب فإن تصميمك الفوري هو خط الدفاع الأول عن الصدق.
الدفاعات: سير العمل العادل
1. التسجيل المسبق: يعني تسجيل فرضيتك ومتغيراتك ونموذجك واختباراتك كتابيًا (ربما على منصة مختومة بالوقت) قبل إجراء التحليل. وهكذا يتم فصل الاكتشاف عن التأكيد. يتم وضع علامة على أي شيء تقوم بتغييره بعد ذلك باسم "المستكشف".
2. خطة التحليل: حتى لو لم تتمكن من التسجيل المسبق، فاكتب خطة تحليل قبل الغوص في البيانات: الفرضية الأولية، متغير النتيجة الأولية، النموذج الرئيسي. التمييز بين "التحليل الرئيسي" و"التحليل الإضافي/الاستكشافي" منذ البداية والاحتفاظ به في التقرير.
3. أبلغ عن كل شيء: لا تخفي النماذج التي جربتها. في قسم "تحليل الحساسية" (فحص المتانة)، اعرض كيف تغير المواصفات المختلفة النتيجة. ولا تكون هذه النتيجة قوية إلا إذا صمدت في ظل العديد من الخيارات المعقولة.
4. نظام المقارنة المتعددة: إذا قمت بإجراء عدد كبير جدًا من الاختبارات، فقم بتصحيحها (الوحدة السادسة). أجب عن السؤال "كم عدد الاختبارات التي أجريتها؟" بصدق.
5. تحليل الحساسية: كرر النتائج الرئيسية التي توصلت إليها باستخدام عينة مختلفة ومجموعة تحكم مختلفة وتحويلات مختلفة. إذا تغيرت النتيجة فلا تخفيها بل أبلغ عنها.
مخطط المقارنة: الصدق مقابل الفخ
التطبيق
شكل فخ
صادق يعادل
اختيار النموذج
المحاولة حتى يصبح الأمر منطقيًا (p-hacking)
النموذج الرئيسي المخطط له مسبقًا
فرضية
المناسب بعد الحقيقة (HARKing)
المسجلة مسبقا، قبل البيانات
إعداد التقارير
لا تظهر الجميلات فقط
جميع المواصفات + الحساسية
مجموعة فرعية
اختيار الأكثر لفتا للنظر
محددة مسبقا، قابلة للتصحيح
جمع البيانات
توقف عندما يكون ذلك منطقيًا
عينة محددة سلفا
أربع مطالبات قابلة للنسخ
1. إطار المطالبة الصادق:
دورك: مساعد إحصائي صادق. هدفي ليس العثور على نتيجة ذات معنى، بل العثور على النتيجة الصحيحة. القواعد: - لا تعطني اقتراحات اكتب "تجربة النماذج حتى يصبح الأمر منطقيًا"، - أخبرني إذا كنت تقترح مواصفات متعددة يجب الإبلاغ عنها جميعًا، - حذرني من أي خطوات قد تؤدي إلى القرصنة. ساعدني في توضيح نموذجي الرئيسي أولاً، مع فصل الاكتشاف عن التأكيد.
2. مسودة خطة التحليل:
ساعدني في صياغة خطة تحليل أولية لدراسة: الفرضية الأولية، متغير النتيجة الأولية، مواصفات النموذج الرئيسي، المجموعات الفرعية المحددة مسبقًا، استراتيجية المقارنة المتعددة. ضع التحليلات "الاستكشافية" و"التأكيدية" في عناوين منفصلة. ذكرني بملء هذا دون النظر إلى البيانات.
3. تحليل الحساسية:
النتيجة الرئيسية التي توصلت إليها هي كتابة كود تحليل الحساسية (R) لهدفي هو معرفة مدى قوة النتيجة، وليس اختيار الأفضل؛ عرض كافة النتائج.
4. المراقبة الذاتية:
سأشرح عملية التحليل الخاصة بي؛ أعطني قائمة مرجعية للقرصنة الإلكترونية / HARKing / التقارير الانتقائية وحدد أيًا من خطواتي محفوفة بالمخاطر. اسألني مرة أخرى عن عدد النماذج/الاختبارات التي قمت بتجربتها وأي منها أخطط للإبلاغ عنه.
موجه ضعيف / موجه قوي
حث ضعيف:
ما هي المتغيرات التي تظهر العلاقات الهامة في هذه البيانات، ابحث عن النموذج الأفضل.
هذه المطالبة عبارة عن تعليمات مباشرة للاختراق: يقوم الذكاء الاصطناعي بتجربة العشرات من المجموعات ويقدم المجموعة "الأكثر منطقية". ومن المؤكد تقريبًا أن النتيجة هي نتيجة زائفة لا يمكن تكرارها.
مطالبة قوية:
دورك: مساعد صادق. النموذج الرئيسي الذي حددته مسبقًا هو: عناصر التحكم Y ~ X +. اكتب الكود الذي يتنبأ بهذا النموذج. لا تبحث عن نموذج آخر "أكثر أهمية". واقترح أيضًا تحليل الحساسية حتى أتمكن من رؤية مدى قوة النتيجة، ولكن أعلم أنني سأبلغ عن جميع النتائج، ولن أختار الأفضل. لا تدعني أشطب أي نتائج استكشافية على أنها "مؤكدة".
الفرق: الإرادة القوية تعمل على إصلاح النموذج الرئيسي، وتمنع البحث، وتتطلب الإبلاغ عن جميع النتائج.
ثلاث حالات صغيرة
الحالة 1 - صيد المجموعات الفرعية. ولم يجد أحد الباحثين أي تأثير في العينة الإجمالية؛ سأل الذكاء الاصطناعي "في أي مجموعة فرعية يكون هذا مهمًا؟" قام YZ بمسح مجموعات العمر والجنس والمنطقة ووجد "p = 0.03 في النساء الحضريات اللاتي تتراوح أعمارهن بين 35 و44 عامًا". استندت المقالة إلى هذه المجموعة الفرعية. ولم يجد تكراره أي تأثير: فقد كان ذلك نتيجة الصدفة من عشرات المجموعات الفرعية. الدرس: المجموعة الفرعية المحددة بعد البيانات هي HARKing، وليست مؤكدة.
الحالة 2 - صيد التحويل. العلاقة التي يتبين أنها لا معنى لها على مستوى الطالب؛ جربته في أشكال السجل والجذر التربيعي والمربع والمتأخر؛ لقد وجد p=0.048 في نموذج سجل السجل وأبلغ عن ذلك فقط. ولحسن الحظ، تجاوز أحد النماذج الخمسة التي تمت تجربتها العتبة. وكانت الطريقة الصحيحة هي: الاختيار المسبق للنموذج من الناحية النظرية وإظهار نتيجة جميع الأشكال في جدول الحساسية. الدرس المستفاد: التقارير الانتقائية تنتج أهمية زائفة.
الحالة 3 - كيف يعمل التأطير الصادق. تم تسجيل فريق واحد مسبقًا قبل التحليل: فرضية أساسية واحدة، ونموذج رئيسي واحد، ومجموعتان فرعيتان محددتان مسبقًا، وتصحيح بونفيروني. لم يكن التأثير الرئيسي كبيرًا، لكن الفريق أبلغ عنه بأمانة؛ أشار الفرد الاستكشافي إلى إحدى النتائج على أنها "بحاجة إلى الاختبار في المستقبل". وكانت الدراسة استنساخه وموثوق بها. الدرس المستفاد: التخطيط الصادق يجعل حتى النتائج "الفاشلة" جديرة بالاهتمام.
الأخطاء الشائعة
- إخبار الذكاء الاصطناعي بـ "العثور على نتائج ذات معنى". هذا هو القرصنة المباشرة. ضع الذكاء الاصطناعي في إطار صادق، واطلب الدقة، وليس النتائج.
- تقديم الاكتشاف كتأكيد (HARKing). ومن المضلل كتابة الفرضية التي تم وضعها بعد البيانات على أنها "توقعتها منذ البداية"؛ قم بتسمية النتيجة الاستكشافية.
- مجرد الإبلاغ عن نتائج جيدة. عرض كافة المواصفات التي تم اختبارها؛ إخفاء تحليل المشاعر يضر بالنزاهة.
- فحص المجموعة الفرعية/التحويل. إن اختيار أهم عشرات المجموعات الفرعية أو التحولات يؤدي إلى نتائج زائفة؛ تحديد وإصلاح مقدما.
- نسيان عدد الاختبارات التي قمت بها. تتبع العدد الإجمالي للمحاولات. لا يمكن تفسير القيمة الاحتمالية بأمانة دون معرفة هذا الرقم.
نصيحة: قبل تدوين النتيجة، اسأل نفسك: "كم عدد الطرق التي جربتها بصمت حتى وجدت هذه النتيجة، وهل أقوم بالإبلاغ عنها جميعًا؟" إذا بقيت بعض المقالات في الدرج، فإن تقريرك يبدو أقوى مما هو عليه بالفعل.
باختصار
القرصنة، والـ HARKing، والتقارير الانتقائية، وحديقة المسارات المتشعبة؛ والعديد منها عبارة عن مصائد تعمل عن غير قصد ولكنها تنتج نتائج زائفة وغير قابلة للتكرار. يعمل الذكاء الاصطناعي على تسريع هذه المخاطر لأنه يمكنه تجربة العشرات من التحليلات على الفور؛ تعمل طلبات "البحث عن نتائج ذات معنى" على تحويل الذكاء الاصطناعي إلى محرك اختراق. الدفاع؛ فصل الاكتشاف عن التأكيد من خلال خطة التسجيل المسبق والتحليل، والإبلاغ عن جميع المواصفات وتحليل الحساسية، وتصحيح المقارنات المتعددة، ووضع الذكاء الاصطناعي في إطار صادق يتطلب "النتيجة الصحيحة". المسؤولية النهائية تقع دائما على عاتق الباحث.
مهمة التطبيق
اختر سؤال بحث واكتب خطة تحليل مختصرة قبل النظر إلى البيانات: الفرضية الأولية، النموذج الرئيسي، متغير النتيجة الأولية، المجموعات الفرعية المحددة مسبقًا، استراتيجية المقارنة المتعددة. ثم قم بتقدير النموذج الرئيسي. ثم قم بإجراء تحليل الحساسية (عناصر تحكم مختلفة، متضمنة/مستبعدة، نموذج وظيفة مختلف) وإظهار جميع النتائج في جدول واحد. في فقرة واحدة، قم بتقييم الخطوات التي تشكل خطر القرصنة الإلكترونية وكيف يحد إطار العمل الصادق الخاص بك منها.
قائمة مرجعية
- [ ] لقد كتبت خطة التحليل/النموذج الرئيسي قبل الغوص في البيانات.
- [ ] قمت بتسمية التحليلات الاستكشافية والتأكيدية بشكل منفصل؛ لم أكن أستمع.
- [ ] لقد أبلغت عن كافة المواصفات التي قمت بتجربتها؛ لم أختر الجميلة فحسب
- [ ] لقد حددت المجموعات الفرعية والتحويلات مسبقًا، ولم أقم بمسحها بعد البيانات.
- [ ] لقد قمت بتتبع عدد الاختبارات التي أجريتها وقمت بتطبيق التصحيح اللازم.
- [ ] لقد استخدمت الذكاء الاصطناعي في سياق "العثور على الحقيقة" بدلاً من "العثور على معنى لها"؛ لقد تحملت المسؤولية.