المكاسب:
- القدرة على تفسير مفاهيم الحساسية والنوعية والسلبية الكاذبة والإيجابية الكاذبة في سياق الأشعة وقراءة مقاييس النموذج بشكل نقدي.
- القدرة على التعرف على تحيز الأتمتة (الاعتماد المفرط على الذكاء الاصطناعي)، وعلى العكس من ذلك، إجهاد الإنذار، وحماية نظام القراءة من هذين الفخين
- فهم أنه يجب على أخصائي الأشعة قراءة المنطقة التي لم يتم تمييزها بالذكاء الاصطناعي، وأن نتيجة الذكاء الاصطناعي السلبية لا تضمن التشخيص.
الرقمان الأكثر أهمية بالنسبة للذكاء الاصطناعي في مجال الأشعة هما عدد النتائج التي يلتقطها وعدد الإنذارات الكاذبة التي يثيرها. إذا أخبرك المصنع بأن "نموذجنا دقيق بنسبة 96%"، فهذا وحده لا يقول شيئًا تقريبًا. لأنه في حالة اكتشاف نادر (على سبيل المثال، 10 أمراض في 1000 اختبار)، فحتى النموذج الذي لا يشير إلى أي شيء قد يبدو "دقيقًا بنسبة 99%" - فهو يتعرف بشكل صحيح على 990 مريضًا سليمًا ويخطئ في 10 مرضى فقط. في هذه الوحدة، سنتعلم كيفية القراءة النقدية لمقاييس الأشعة المهمة - الحساسية والنوعية والسلبية الكاذبة والإيجابية الكاذبة - مثل خبير، والتعرف على فخين بشريين خطيرين - الانحياز الآلي وتعب الإنذار.
المبدأ الأساسي: تتم قراءة المنطقة التي لم يتم تمييزها بالذكاء الاصطناعي من قبل أخصائي الأشعة. إن نتيجة الذكاء الاصطناعي السلبية ليست ضمانة للتشخيص؛ قد يكون النموذج قد فاته النتيجة (سلبية كاذبة). إن سبب وجود المراقبة البشرية هو التقاط اللحظات الدقيقة التي يكون فيها النموذج خاطئًا بشكل آمن.
قراءة المقاييس مثل الخبراء
دعونا نوضح أربعة مفاهيم أساسية. لنفترض أننا اختبرنا نموذجًا على 1000 اختبار وكان 100 منهم مصابين بالمرض بالفعل.
- إيجابي حقيقي (TP): النموذج يميز المريض بأنه مريض حقًا.
- سلبي كاذب (FN): لم يتم وضع علامة على النموذج ولكن المريض مريض - تفوت. الأخطر في الأشعة.
- إيجابية كاذبة (FP): تم وضع علامة على النموذج ولكن المريض يتمتع بصحة جيدة - إنذار كاذب.
- صحيح سلبي (TN): لم يتم وضع علامة على النموذج، وصحية حقا.
ينشأ مقياسان أساسيان من هذه:
- الحساسية = TP / (TP + FN): كم عدد المرضى الحقيقيين الذين اكتشفناهم؟ الحساسية العالية تعني اختطاف منخفض.
- النوعية = TN / (TN + FP): كم عدد الأشخاص الأصحاء الذين حسبناهم أصحاء؟ الخصوصية العالية تعني عددًا أقل من الإنذارات الكاذبة.
متري
صيغة
عندما يكون مرتفعا
الأهمية الإشعاعية
الحساسية
تب/(تب + فن)
عدد قليل من السلبيات الكاذبة
أمر بالغ الأهمية لتجنب المفقودين (الفحص والفرز)
خصوصية
تن/(تن + فب)
عدد قليل من الإيجابيات الكاذبة
يقلل من الفحص غير الضروري
معدل سلبي كاذب
الجبهة الوطنية/(TP + الجبهة الوطنية)
سيئة
الأذى الصامت؛ يجب على أخصائي الأشعة التقاط
حمولة إيجابية كاذبة
عدد FPs
يزيد الحمل
التعب التنبيه، أذكر
"دقة"
(TP+TN)/المجموع
مضللة
يبدو مرتفعا في مرض نادر، يخدع
يحتوي النموذج على عتبة (أعلى من النتيجة التي تعتبر "إيجابية")، وهذه العتبة تغير الحساسية والنوعية في اتجاهين متعاكسين: إذا خفضت العتبة، فستلتقط المزيد (الحساسية ↑) ولكنك تثير المزيد من الإنذارات الكاذبة (الخصوصية ↓). هذا ليس إعدادًا هندسيًا، بل قرارًا سريريًا: التكلفة الباهظة للفقدان، أم عبء الإنذار الكاذب؟ يتم إعطاء الأولوية للحساسية بشكل عام في الفحص والفرز.
تنبيه: لا تثق أبدًا في رقم واحد مثل "دقة 95%". وفي النتائج النادرة، تكون الدقة مضللة. لا يمكن معرفة الأداء الحقيقي للنموذج دون سؤال الحساسية والنوعية والمعدل السلبي الكاذب والسكان الذين تم قياسه.
اثنين من الفخاخ البشرية
تحيز الأتمتة: عندما يبالغ الأشخاص في الاعتماد على مخرجات النظام الآلي ويخففون من حكمهم المستقل. إذا قام أخصائي الأشعة بتخطي الصورة بشكل سطحي بالقول "قال الذكاء الاصطناعي إنها سلبية، لذا فهي نظيفة"، فسيتم تخطي النتيجة التي أخطأها النموذج تمامًا. عندما تجتمع النتائج السلبية الكاذبة مع التحيز الآلي، يتم التخلص من سبب وجود التفتيش البشري.
إرهاق التنبيه: نتيجة لإنتاج النموذج لعدد كبير من النتائج الإيجابية الكاذبة، يفقد أخصائي الأشعة الثقة في الأعلام ويبدأ في التخلص منها جميعًا بشكل انعكاسي. يمكن أيضًا حذف النتيجة الحقيقية بعد الإنذار الكاذب العاشر. هذان الفخان يسيران في اتجاهين متعاكسين، لكن نتائجهما واحدة: فقدان اكتشاف حقيقي.
الترياق لهذين الفخدين هو نفسه: بغض النظر عما يقوله مخرجات الذكاء الاصطناعي، يقوم أخصائي الأشعة بقراءته المنهجية الخاصة. سواء قام الذكاء الاصطناعي بتحديدها أم لا، يتم مسح الصورة بأكملها ضوئيًا. الذكاء الاصطناعي هو "العين الثانية"؛ العين الأولى هي دائما أخصائي الأشعة.
ثلاث حالات صغيرة
الحالة 1 - سلبية كاذبة + تحيز الأتمتة. يخطئ التصوير الشعاعي للصدر CAD (سلبي كاذب) في وجود عقيدات صغيرة في المنطقة اليسرى العليا. في يوم حافل، يسارع أخصائي الأشعة إلى إجراء التصوير الشعاعي معتقدًا أن "CAD واضح" (التحيز الآلي). يتم ملاحظة العقيدات بعد 8 أشهر ككتلة بحجم 2 سم. تم الجمع بين خطأين: النموذج مفقود، ولم يتحقق الإنسان منه. الدرس المستفاد: على الرغم من CAD السلبي، فإن القراءة المنهجية ضرورية.
الحالة 2 - إرهاق الإنذار. يقوم نموذج استرواح الصدر بإلقاء ما متوسطه 8 أعلام يوميًا لمدة أسبوعين، 1-2 منها فقط حقيقية (حوالي 80% نتائج إيجابية كاذبة). أخصائي الأشعة يفقد الثقة في الأعلام. في الأسبوع الثالث، يتم أيضًا تمرير علم استرواح الصدر القمي الحقيقي بشكل انعكاسي على أنه "لا"؛ يزداد المريض سوءًا بعد يوم واحد. الدرس المستفاد: يجب مراقبة النماذج ذات المعدل الإيجابي الكاذب المرتفع، ومراجعة العتبة/النموذج، وتأكيد كل علامة على أي حال.
الحالة 3 - التوازن الصحيح. في مركز السكتة الدماغية، يعمل نموذج الفرز المقطعي المحوسب للدماغ بحساسية عالية؛ تكون النتائج الإيجابية الكاذبة عالية، لكن طبيب الأشعة يؤكد كل إشارة خلال 60 ثانية ويكشف النزيف الحقيقي خلال دقائق. يقوم الفريق بمراقبة المعدل الإيجابي الكاذب أسبوعيًا، ومراجعة الحد الأدنى مع الشركة المصنعة عندما يتجاوز 70%. هنا، تمت إدارة المقاييس بوعي؛ لم يحدث أي تحيز للأتمتة أو إرهاق الإنذار.
موجه ضعيف / موجه قوي
حث ضعيف:
هذا النموذج دقيق بنسبة 97%، فهل يمكن الاعتماد عليه؟
مقياس واحد مضلل؛ لا يمكن الإجابة عليها دون طرح أسئلة حول السكان والحساسية والنوعية والسلبيات الكاذبة.
مطالبة قوية:
دورك: ساعدني في قراءة مقاييس أداء نموذج الذكاء الاصطناعي بشكل نقدي. اتخاذ القرار؛ اشرح ما هي الأسئلة التي يجب أن أطرحها وماذا تعني الإجابات. سأعطيك ادعاءات النموذج. خذ بعين الاعتبار: (1) المقاييس المقدمة والمفقودة (الحساسية، والنوعية، والمعدل السلبي الكاذب، والسكان، والجهاز)، (2) ما إذا كانت "الدقة" وحدها مضللة، (3) ما إذا كان من المناسب استخدام هذا النموذج للفرز/الفحص أو التشخيص. القرار النهائي متروك لأخصائي الأشعة/المؤسسة. المطالبة: "تم اختبار النموذج على 1200 مريض بدقة تصل إلى 97%."
الطلب القوي يدعو إلى التشكيك في المقاييس المفقودة ويكسر الاعتماد على الأرقام الفردية.
قوالب سريعة قابلة للنسخ
نموذج القراءة النقدية المترية دورك: المساعدة. سأعطيك مطالبة أداء النموذج. قم بإدراج المقاييس المفقودة (الحساسية، والنوعية، والمعدل السلبي الكاذب، وعدد الاختبار، والجهاز/البروتوكول) وحيثما يكون الرقم الفردي (الدقة) مضللاً. ناقش أي مهمة (الفرز/الفحص/المساعدة التشخيصية) النموذج مناسب للاستخدام. القرار في المؤسسة. المطالبة: [اكتب]
وصف نموذج توازن العتبة سوف يمنحك سيناريو لرفع/خفض عتبة النموذج. قم بوصف تأثير كل سيناريو على الحساسية والنوعية والسلبية الكاذبة والإيجابية الكاذبة واكتب نتائجه السريرية (ملكة جمال مقابل الاستدعاء غير الضروري). القرار سريري / مؤسسي. السيناريو: [اكتب]
نموذج التدقيق الذاتي لتحيز الأتمتة، أنتج لي قائمة مرجعية من شأنها حماية نظام القراءة الخاص بي من تحيز الأتمتة: ما الخطوات التي يجب علي اتخاذها حتى مع مخرجات الذكاء الاصطناعي السلبية، وكيفية الحفاظ على المسح المنهجي، وكيفية الحفاظ على الذكاء الاصطناعي "كمساعد" بدلاً من "أداة توصيل".
سوف يمنحك ALERT FATIGUE MONITORING TEMPLATEI أعدادًا أسبوعية للعلم وأرقامًا إيجابية فعلية. احسب المعدل الإيجابي الكاذب، وقم بتقييم خطر إرهاق التنبيه، واقترح عند أي عتبة يجب أن أتخذ إجراءً لمراجعة العتبة/النموذج. ذكرني بالمبدأ القائل بأنه لا يزال يتعين تأكيد كل علم. البيانات: [اكتب]
الأخطاء الشائعة
- الاعتماد على رقم "الحقيقة" الوحيد. الاكتشاف النادر مضلل أيضًا. يجب أن يتم طرح الحساسية والنوعية معًا.
- التعامل مع مخرجات الذكاء الاصطناعي السلبية كضمان تشخيصي. ربما فاته النموذج. القراءة المنهجية أمر لا بد منه.
- الوقوع في تحيز الأتمتة. إن الإفراط في الاعتماد على الذكاء الاصطناعي يقوض الحكم المستقل.
- تجاهل التعب التنبيه. وينبغي رصد النتائج الإيجابية الكاذبة العالية؛ لا يزال يتعين تأكيد كل علم.
- الخلط بين العتبة و"الإعداد الفني". العتبة هي التوازن السريري. يقوم أخصائي الأشعة/المؤسسة بتقييم تكلفة الأخطاء والإنذارات الكاذبة.
نصيحة: ضع قاعدة لنفسك: "بغض النظر عما يقوله الذكاء الاصطناعي، فأنا أقرأ الصورة بأكملها". تعمل هذه القاعدة الفردية في الوقت نفسه على الحد من تحيز الأتمتة (عدم الاسترخاء على السلبيات) وإرهاق الإنذار (عدم إزالة الإيجابيات بشكل انعكاسي).
في ملخص
إن تقييم نموذج الأشعة لا يعني النظر إلى رقم "دقة" واحد. ينبغي قراءة الحساسية (لا توجد أخطاء)، والنوعية (لا توجد إنذارات كاذبة)، والمعدل السلبي الكاذب، ومجموعة الاختبار معًا؛ اختيار العتبة هو التوازن السريري. الفخان البشريان - الثقة المفرطة في الذكاء الاصطناعي (التحيز للأتمتة) والتعود على الإنذارات الكاذبة وإزالة العلم (إرهاق الإنذار) - يسيران في اتجاهين متعاكسين ولكنهما ينتهيان بنفس النتيجة، مع فقدان نتيجة حقيقية. لا يوجد سوى ترياق واحد: بغض النظر عما يقوله الذكاء الاصطناعي، يقوم أخصائي الأشعة بقراءته المنهجية الخاصة. الذكاء الاصطناعي السلبي لا يشكل ضمانة، ولكنه على الأكثر إشارة مفيدة؛ يجب أيضًا قراءة المنطقة غير المميزة.
مهمة التطبيق
خذ النص الترويجي للنموذج الذي لديك (أو العينة). باستخدام قالب "القراءة النقدية للمقاييس"، قم بتقييم المقاييس المتوفرة والمفقودة والمهمة المناسبة لاستخدام النموذج. ثم قم بتصميم مخطط بسيط لتتبع عدد المرات التي تحقق فيها علم الفرز على مدار الأسبوع؛ قم بتدوين الإجراء الذي ستتخذه إذا تجاوز المعدل الإيجابي الكاذب الحد الذي حددته (على سبيل المثال، 70%). أخيرًا، قم بتكييف قائمة "Automation Bias Self-Audit" مع روتين القراءة الخاص بك.
قائمة مرجعية
- [ ] لم أعتمد على رقم "الدقة" الوحيد؛ سألت عن الحساسية والنوعية.
- [ ] لقد تعلمت المعدل السلبي الكاذب ومجموعة الاختبار.
- [ ] على الرغم من نتائج الذكاء الاصطناعي السلبية، قمت بالقراءة المنهجية.
- [ ] لم أكن واثقًا بشكل مفرط من الذكاء الاصطناعي (مقابل تحيز الأتمتة).
- [ ] شاهدت النتائج الإيجابية الكاذبة؛ لقد أكدت كل علم (ضد تعب التنبيه).
- [ ] أخذت في الاعتبار أن اختيار العتبة هو التوازن السريري.
- [ ] لقد اتبعت قاعدة "أقرأ الصورة بأكملها بغض النظر عما يقوله الذكاء الاصطناعي".