المكاسب:
- فهو يتعرف على مصادر البيانات والتصميم والاستخدام للتحيز الخوارزمي ويختبر المخرجات على أساس المجموعة.
- يشرح كيف تؤدي حلقة التغذية الراجعة وخطأ التمثيل إلى تضخيم عدم المساواة وتأسيس التحكم في التأثير.
- فهو يضمن المساءلة من خلال ضمان قابلية التفسير والاستئناف في كل قرار آلي.
يجب على الجمهور أن يطبق سلطته على الجميع بالتساوي: معاملة مماثلة لمواطنين في مواقف مماثلة، واختلاف متناسب مع المواقف المختلفة. ومبدأ المساواة هذا التزام دستوري. يمكن للذكاء الاصطناعي تحسين هذا المجال وتعطيله بهدوء. ويمكن أن تتحسن لأن القاعدة المطبقة بشكل متسق يمكن أن تقلل من التعسف والتحيز البشري. يمكن أن يكون مفسدًا لأن نماذج الذكاء الاصطناعي تتعلم من البيانات السابقة، والبيانات السابقة تحمل تمييزًا من الماضي. إذا تم تدريب النظام على البيانات التي تسببت تاريخيا في حرمان مجموعة معينة، فإنه يحمل هذا العيب إلى المستقبل ــ وبشكل أكثر صعوبة في اكتشافه، تحت ستار "الخوارزمية الموضوعية". في هذه الوحدة، ستتعلم كيفية التعرف على التحيز الخوارزمي (التحيز المنهجي لمخرجات النموذج ضد مجموعات معينة) عند استخدام الذكاء الاصطناعي في القطاع العام، وكيفية الحد منه، والأهم من ذلك، كيفية ضمان المساءلة الخوارزمية (الأساس المنطقي للقرار الآلي قابل للتفسير وقابل للتدقيق والطعن فيه).
من أين يأتي التحيز؟
هناك عدة مصادر للتحيز الخوارزمي، وجميعها محفوفة بالمخاطر في الأماكن العامة:
- التحيز التاريخي: تحتوي بيانات التدريب على عدم المساواة السابقة. على سبيل المثال، إذا كانت منطقة ما لديها خدمة أقل في الماضي، فقد تظهر "بيانات الطلب" أن تلك المنطقة لديها احتياجات منخفضة - في حين أن الطلب كان منخفضًا في الواقع بسبب عدم وجود خدمة.
- تحيز التمثيل: بعض المجموعات ممثلة تمثيلاً ناقصًا في البيانات (أولئك الذين ليس لديهم إمكانية الوصول الرقمي، ومجموعات الأقليات اللغوية) والنموذج يعمل بشكل سيئ بالنسبة لهم.
- تحيز الوكيل: حتى لو لم ينظر النموذج بشكل مباشر إلى معيار محظور (العرق والدين)، فإنه يمكن أن ينتج نفس التمييز من خلال النظر إلى الوكيل المرتبط به (الحي، الاسم، الرمز البريدي).
- انحياز القياس: ما نقيسه ليس ما نريد قياسه بالفعل. "عدد الشكاوى" يقيس القدرة على تقديم شكوى وليس الحاجة إليها.
تحذير: من المضلل القول "لقد قمت بإزالة البيانات الحساسة (الجنس والعرق) من النموذج، والآن أصبح الأمر عادلاً". قد يستمر التمييز من خلال المتغيرات الوكيلة. ولا تتحقق العدالة عن طريق حذف المدخلات، بل عن طريق اختبار المخرجات بين المجموعات.
اختبار العدالة: انظر الإخراج
يمكن فهم ما إذا كان النظام عادلاً أم لا من خلال النظر إلى نتائجه، وليس إلى نواياه. الطريقة الأساسية: تقسيم القرار إلى مجموعات والمقارنة. هل تختلف المخرجات مثل معدل القبول/الرفض ومعدل الخطأ ووقت الانتظار بشكل كبير بين المجموعات المختلفة (الجنس والعمر والمنطقة والدخل)؟ وإذا كان هناك اختلاف فهل هذا الاختلاف مبني على سبب مشروع أم أنه تمييز؟ وبما أن هذا التحليل قد يتطلب بيانات شخصية، فيجب تجميعه وتنفيذه وفقًا لـ KVKK.
نصيحة: قبل طرح نظام قرار جديد مدعوم بالذكاء الاصطناعي، قم بتقسيم قراراته حسب المجموعات الديموغرافية وقم بإعداد "تقرير العدالة". إذا وجدت فرقا، "هل يمكن تفسير هذا الاختلاف؟" خذ السؤال إلى لجنة من الناس.
القابلية للتفسير والاستئناف: قلب المساءلة
وفي القطاع العام لا يمكن حرمان أي مواطن من حقوقه بإجابة "النظام قرر ذلك". لكل قرار آلي أو مدعوم بالذكاء الاصطناعي، يجب ضمان ثلاثة أشياء:
- قابلية الشرح: ما الذي استند إليه القرار، وما هي العوامل التي كانت فعالة، يجب أن يتم شرحه بلغة واضحة.
- طريقة الاستئناف: يجب أن يكون المواطن قادرًا على الاعتراض على القرار ومطالبة الإنسان بمراجعته.
- مسار التدقيق: يجب تسجيل البيانات والنموذج/الإصدار والشخص المسؤول الذي تم اتخاذ القرار معه.
ثلاث حالات صغيرة
الحالة 1 - تم التقاط البديل البديل. أحد نماذج تحديد أولويات المساعدات لم يستخدم بيانات حساسة ولكنه نظر إلى "الرمز البريدي". في اختبار العدالة، تبين أن بعض الأحياء تحظى بأولوية منخفضة بشكل منهجي - مرتبطة بالرمز البريدي والدخل والكثافة العرقية. تمت إزالة المتغير وربط الأولوية مباشرة بمؤشرات الحاجة.
الحالة 2 - فجوة التمثيل. كان برنامج الدردشة الآلي أكثر عرضة بنسبة 41% لتضليل أسئلة المواطنين الذين يتحدثون لغة أصلية غير التركية؛ تحتوي بيانات التدريب على القليل من هذه المجموعة. وعندما تمت إضافة الدعم متعدد اللغات وعتبة التسليم البشري، تم سد الفجوة.
الحالة 3 - الرفض غير المبرر. رفضت المؤسسة الطلب تلقائيًا؛ المواطن "لماذا؟" وعندما سئل الضابط لم يستطع أن يشرح لأن سبب النموذج لم يكن مفهوما. وأظهرت الحادثة أن النماذج ذات القابلية الضعيفة للتفسير لا يمكن استخدامها لاتخاذ قرارات تحمل الحقوق؛ لقد تحول النظام إلى نموذج يولد التبرير ويتطلب موافقة الإنسان.
أربعة قوالب قابلة للنسخ
1) مصدر مسح التحيز:
دورك: خبير العدالة الخوارزمية. تحقق من عملية اتخاذ القرار المدعومة بالذكاء الاصطناعي أدناه. قائمة المصادر المحتملة للتحيز: (1) التحيز التاريخي، (2) تحيز التمثيل (المجموعة الممثلة تمثيلا ناقصا)، (3) المتغيرات البديلة (العمود المرتبط بالمعيار المحظور)، (4) تحيز القياس. أعط مثالاً ملموسًا لكل منها وأخبرني كيف أختبرها. العملية: [عملية اتخاذ القرار والبيانات المستخدمة]
2) خطة اختبار العدالة:
قم بإنشاء خطة اختبار الإنصاف لمخرجات القرار التالية: ما هي المجموعات (العمر، الجنس، المنطقة، الدخل) التي يجب أن أقوم بتفصيلها، ما هي المقاييس (معدل القبول، معدل الخطأ، وقت الانتظار) التي يجب أن أقارنها، كيف يمكنني أن أقرر ما إذا كان الاختلاف مشروعًا أم تمييزيًا؟ أضف تحذير KVKK. القرار: [ما القرار]
3) بيان القرار (للمواطن):
اكتب مسودة شرح مفهومة للمواطن للقرار التالي: ما هي العوامل المؤثرة، بلغة واضحة. أضف حق الاستئناف في النهاية وإمكانية إجراء مراجعة بشرية [مع وقت للتأكيد]. استخدام عبارات غامضة مثل "النظام قرر ذلك". القرار: [الملخص والعوامل المؤثرة]
4) التحقق من المساءلة قبل النشر:
قم بإعداد قائمة مرجعية للمساءلة قبل طرح نظام القرار المدعوم بالذكاء الاصطناعي: هل يمكن تفسيره، وهل هناك طريقة للاستئناف، وهل يتم الحفاظ على مسار التدقيق (البيانات/الإصدار النموذجي/المسؤول)، وهل تم إجراء اختبار العدالة، وأين نقطة الموافقة البشرية. ضع علامة على العناصر المفقودة كأعلام حمراء. النظام: [وصفة]
موجه ضعيف / موجه قوي
ضعيف: "هل نموذج القرار هذا عادل؟"
سترونج: "دورك هو خبير في الإنصاف الخوارزمي. بالنسبة لنموذج تحديد أولويات المساعدات هذا، قم أولاً بالبحث عن مصادر التحيز (التاريخية والتمثيلية والمتغير البديل والقياس) وإعطاء أمثلة ملموسة لكل منها. ثم توصل إلى خطة اختبار الإنصاف: تقسيم حسب المجموعات، وأي مقاييس، وكيفية تحديد شرعية الاختلاف؛ أضف تحذير KVKK. وأخيرًا، قبل طرح النظام، قم بإعطاء قائمة مرجعية لقابلية الشرح ومسار الاستئناف ومسار التدقيق، ووضع علامة حمراء على النواقص."
الفرق: إن الموجه القوي يبحث عن التحيز من مصدره، ويتم اختبار النتائج من قبل المجموعات، ويجعل المساءلة واسعة النطاق.
أبعاد العدالة وضوابطها
الحجم
خطر
التحكم
البيانات التاريخية
الماضي يحمل عدم المساواة
اختبار الإخراج من قبل المجموعات
التمثيل
يعمل بشكل سيء لبعض المجموعات
معدل الخطأ على أساس المجموعة
متغير بديل
التمييز الخفي
العلاقة بين المعايير الحساسة والمتغيرة
قابلية الشرح
قرار غير مبرر
توليد شرح بسيط
اعتراض
مصادرة
مسار المراجعة البشرية
حلقة ردود الفعل وخطأ التمثيل
لا يحدث الشكل الأكثر خبثاً من التمييز الخوارزمي في قرار خاطئ واحد، بل في حلقة ردود الفعل التي تعزز نفسها بمرور الوقت (تؤثر مخرجات النموذج على بيانات التدريب اللاحقة، مما يعزز التحيز الحالي). على سبيل المثال، إذا قام نموذج التفتيش بوضع علامة على حي معين على أنه "خطر"، فكلما زاد عدد عمليات التفتيش هناك، تم إنشاء المزيد من السجلات، ويرى النموذج أن هذا الحي أكثر خطورة - على الرغم من أن الفرق قد زاد في الموقع الذي تم النظر فيه، وليس في الخطر الفعلي. وما يمهد الطريق لذلك غالبا ما يكون خطأ في التمثيل (بيانات التدريب تعكس بعض المجموعات بشكل غير كامل أو مشوه). وفي القطاع العام، يمكن لهذه الدورات أن تضع الفئات المحرومة تحت مراقبة وعقوبات متزايدة الشدة. إن طريقة حماية نفسك هي مراقبة تأثير النموذج، وليس مخرجاته فقط: مراقبة توزيع القرارات على أساس المجموعة بشكل منتظم وعدم التنفيذ الأعمى لتوصيات النموذج.
حالة صغيرة - الشك في تضخيم الذات. وقد وضع نموذج للكشف عن الاحتيال في مجال الرعاية الاجتماعية علامة على منطقة كانت قد خضعت لتفتيش مكثف في الماضي باعتبارها منطقة عالية المخاطر. وعندما استخرج الفريق كثافة التنفيذ من البيانات وقاس "معدل الاكتشاف الحقيقي نسبة إلى عدد السكان"، وجدوا أن الاختلافات بين المناطق اختفت إلى حد كبير؛ وقد أخطأ النموذج في اعتبار عدم المساواة خطراً حقيقياً.
قالب التحكم في التأثير القائم على المجموعة:
المهمة: فحص بيانات القرار التالية حسب المجموعات (لا توجد بيانات شخصية، ملخص فئوي). البيانات: [المجموعة | القرار الشامل | معدل القرار السلبي | كثافة التفتيش] المخرجات: 1) هل يُظهر معدل القرار السلبي فرقًا كبيرًا بين المجموعات؟ 2) هل يمكن أن يكون الفرق بسبب المخاطر الفعلية أو شدة التحكم/التمثيل؟ 3) هل هناك أي علامة على وجود حلقة ردود الفعل؟ 4) توصيات للتحكم البشري. القاعدة: إثبات دعوى السببية؛ اذكر التفسيرات المحتملة وطرق الاختبار.
تنبيه: الحجة القائلة بأن "النموذج محايد لأنه يطبق نفس القاعدة على الجميع" هي حجة مضللة. والحقيقة أن نفس القاعدة، عند تطبيقها على البيانات المنحرفة، تعمل على الحفاظ على عدم المساواة وتضخمه. فالعدالة تقاس بالمساواة في النتيجة، وليس بالقاعدة.
الأخطاء الشائعة
- حذف البيانات الحساسة والتفكير "إنه أمر عادل". وتعمل المتغيرات البديلة على إدامة التمييز؛ اختبار الإخراج.
- قياس العدالة بالنية. تظهر العدالة في النهاية؛ فرز القرارات إلى مجموعات ومقارنتها.
- نسيان المجموعة الممثلة تمثيلا ناقصا. وقد يعمل النموذج بشكل سيئ وبهدوء بالنسبة لمجموعة من الأقليات؛ راجع الخطأ القائم على المجموعة.
- استخدام النموذج غير المفسر في قرارات إعطاء الحقوق. إن النظام الذي لا يستطيع إنتاج التبرير لا يمكنه اتخاذ قرارات عامة.
- عدم تقديم أي وسيلة للاعتراض. يجب أن يخضع كل قرار آلي للمراجعة البشرية.
- عدم الاحتفاظ بمسار التدقيق. يجب تسجيل البيانات/النموذج/الشخص المسؤول الذي تم اتخاذ القرار معه.
باختصار
وفي القطاع العام، يمكن للذكاء الاصطناعي أن يزيد من الاتساق، ولكنه قادر أيضاً على التخلص من تمييز الماضي بهدوء. ويأتي التحيز من البيانات التاريخية، وفجوة التمثيل، والمتغيرات البديلة، والقياس غير الدقيق؛ حذف البيانات الحساسة لن يحل المشكلة. يتم تحقيق العدالة من خلال اختبار النتائج عبر المجموعات. ولا يجوز حرمان أي مواطن من حقه في التصويت بسبب "النظام قال ذلك": فكل قرار يجب أن يكون قابلاً للتفسير، وقابلاً للطعن، وقابلاً للتدقيق. إن المؤسسة هي التي تحاسب، وليس الخوارزمية.
مهمة التطبيق
اختر عملية اتخاذ قرار مدعومة بالذكاء الاصطناعي أو آلية في وحدتك. قم بإدراج التحيزات المحتملة وابحث عن خطر متغير بديل واحد على الأقل باستخدام قالب "مصدر فحص التحيز". حدد تقسيمات المجموعة التي يجب النظر إليها من خلال "خطة اختبار العدالة". للحصول على قرار نموذجي، قم بإنتاج تفسير يواجه المواطن باستخدام قالب "تفسير القرار".
قائمة مرجعية
- [ ] قمت بالبحث عن مصادر التحيز (تاريخية، تمثيلية، بديلة، قياس).
- [ ] لم أقم بحذف البيانات الحساسة فحسب؛ لقد اختبرت الإخراج حسب المجموعات.
- [ ] لقد قمت بالتحكم في معدل الخطأ للمجموعات الممثلة تمثيلا ناقصا.
- [ ] لقد قدمت مبررًا بسيطًا وقابلاً للتفسير لكل قرار.
- [ ] لقد قمت بتحديد مسار الاعتراض والمراجعة البشرية.
- [ ] يتم الحفاظ على مسار التدقيق (البيانات/إصدار النموذج/المسؤول).