التدقيق النقدي للسلامة، وموافقة الخبراء، والاستخدام المسؤول

المكاسب:

• فهم الطبيعة الأمنية الحرجة لـ blockchain والأسباب التي تجعل الذكاء الاصطناعي غير قادر على اكتشاف الخطأ الأصلي، وتقديم ضمانات كاذبة، وقد أصبح قديمًا، وفشل في تحمل المسؤولية.
• القدرة على منع خطأ واحد من التسرب إلى النظام المباشر من خلال التحقق الطبقي الذي يضع بوابة تحقق بشرية في كل مرحلة
• الموافقة النهائية الأمنية الحاسمة تعود للخبير المختص والقدرة على اعتماد مبادئ المسؤولية الإنسانية والغرض الدفاعي والسرية والشفافية والأمانة.

هذه هي الوحدة الأكثر أهمية في هذه الوحدة. لقد رأينا حتى الآن كيف يعمل الذكاء الاصطناعي على تسريع كل شيء بدءًا من كتابة العقود الذكية وحتى التحليل على السلسلة، ومن الاقتصادات الرمزية إلى اكتشاف الاحتيال. في هذه الوحدة، نعود إلى الوراء وننظر إلى جوهر الموضوع: لماذا لا يمكن أن تحل مخرجات الذكاء الاصطناعي محل موافقة الخبراء المختصين في الأعمال الحيوية المتعلقة بالسلامة. وباعتبارك خبيرًا، ما هو إطار استخدام الذكاء الاصطناعي بشكل مسؤول؟ تعد هندسة Blockchain مجالًا أمنيًا بالغ الأهمية حيث تترجم الأخطاء بشكل مباشر ولا رجعة فيه إلى أموال؛ وتتعامل هذه الوحدة مع متطلبات ذلك الواقع.

ماذا تعني عبارة "الأمان الحرج" ولماذا تختلف؟

تعد المنطقة ذات أهمية بالغة للسلامة إذا كانت نتيجة الخطأ خطيرة ولا رجعة فيها: خسارة في الأرواح في هندسة الجسور، وسوء الممارسة الطبية، وخسارة فورية ودائمة لملايين الدولارات في blockchain. يختلف المعيار المقبول في هذه المجالات تمامًا عن البرامج العادية:

• إن عبارة "ربما ينجح الأمر" ليست كافية؛ يجب إثباته.
• "سنصلح الأمر لاحقًا" غير صالح؛ اللارجعة لا يغفر.
• والموافقة النهائية تقع على عاتق الخبير المختص الذي يتحمل المسؤولية المهنية والقانونية.

الذكاء الاصطناعي هو مساعد؛ لا يستطيع تحمل المسؤولية، ولا يمكن مساءلته، ولا يمكنه الوقوف وراء النتائج. إذا أغفل تقرير التدقيق وجود ثغرة أمنية، فإن المسؤولية تقع على عاتق الخبير الذي قام بالتوقيع، وليس الذكاء الاصطناعي. "قال الذكاء الاصطناعي ذلك" ليس دفاعًا عن الهندسة.

لماذا لا يستطيع الذكاء الاصطناعي أن يحل محل الخبير: أربعة أسباب رئيسية

1. لا يستطيع الذكاء الاصطناعي رؤية الخطأ الأصلي والسياقي. يتعرف الذكاء الاصطناعي على الأنماط في بيانات التدريب. تعتبر ثغرة أمنية جديدة، أو خطأ في منطق عمل خاص بالبروتوكول، أو تفاعل فريد بين المكونات، بمثابة النقطة العمياء للذكاء الاصطناعي. أغلى هجمات Web3 تأتي من نقاط الضعف الفريدة هذه على وجه التحديد.

2. الذكاء الاصطناعي يعطي تأكيدات كاذبة. يمكن للذكاء الاصطناعي أن يقول بطلاقة وثقة "هذا الرمز يبدو آمنًا" - مع أنه مخطئ. "الهلوسة بالسلامة" هذه هي أخطر نتيجة في منطقة حساسة للسلامة. لأنه يخلق شعورا زائفا بالأمان.

3. الذكاء الاصطناعي قديم. تتوقف معرفة الذكاء الاصطناعي عند الموعد النهائي للتعليم. أحدث الهجمات، وأحدث إصدارات المكتبات، وأحدث أفضل الممارسات تتجاوز أفقها. الأمن هو سباق دائم التغير؛ قد تكون معلومات الأمس غير كافية اليوم.

4. الذكاء الاصطناعي لا يمكنه تحمل المسؤولية. ربما هذا هو السبب الأساسي. إن الموافقة الهندسية ليست مجرد التزام فني، ولكنها أيضًا التزام قانوني وأخلاقي. لا يمكن للآلة أن تقوم بهذا الالتزام.

تحذير: في المخرجات ذات الأهمية الأمنية، يكون السؤال هو "ماذا قال الذكاء الاصطناعي؟" ولكن "من هو الشخص المختص الذي يتحقق ويصدق ويقف وراء هذا الإخراج؟" ينبغي أن يكون. لا يمكن اعتبار موافقة غير الخبراء – لا من قبل الذكاء الاصطناعي ولا من خلال الأداة – ضمانًا.

التحقق الطبقي: منع الأخطاء المفردة من التسرب المباشر

يضع سير العمل المسؤول بوابة تحقق بشرية في كل مرحلة. لا يمكنك المرور من باب دون المرور من آخر:

المرحلة

مساهمة الذكاء الاصطناعي

بوابة التحقق البشري

تهجئة

مشروع الكود

بناء + اختبار + مراجعة

مسح

ضعف المرشح

التحليل الثابت + تأكيد المدقق

التدقيق

نصيحة، مسودة التقرير

توقيع مدقق الحسابات المختص

اختبار

مسودة البرنامج النصي

Testnet + التشويش + المحاكاة

التوزيع

قائمة مرجعية

تأكيد التوقيع المتعدد + الخروج التدريجي

المراقبة

علامة الشذوذ

خطة الاستجابة البشرية

يمنع هذا الهيكل متعدد الطبقات تسرب خطأ ذكاء اصطناعي واحد إلى الشبكة الرئيسية. كل باب له شرط نجاح واضح: هل نجح الاختبار، هل قام المدقق بالتوقيع، هل صمدت المحاكاة؟

نهج ضعيف / نهج قوي

منهج ضعيف:

أنشأ الذكاء الاصطناعي الكود، ويبدو نظيفًا، فلنضعه على الشبكة الرئيسية.

وهذه وصفة لكارثة في منطقة لا رجعة فيها.

نهج قوي:

1. أنتج الذكاء الاصطناعي المسودة ← قمنا بتجميعها واختبارها.2. التحليل الثابت + مسح الذكاء الاصطناعي → أكد المدقق.3. التدقيق الأمني ​​المستقل → التقرير الموقع.4. Testnet + التشويش + المحاكاة → تحملت السيناريوهات.5. خروج متعدد التوقيع ومتتالي للشبكة الرئيسية + المراقبة. في كل منفذ: لا يوجد تقدم حتى يتم استيفاء شرط الانتقال.

أربعة قوالب قابلة للنسخ

1) التحكم في بوابة التحقق:

أنشئ قائمة مرجعية للتحقق من صحة هذه المخرجات ذات الأهمية الأمنية: ما هي الخطوات المستقلة (التجميع، التحليل الثابت، التدقيق، الاختبار، المحاكاة) التي يجب التحقق من صحتها؟ اكتب شرط الانتقال لكل خطوة. اذكر المخاطر التي ستنشأ إذا تم تخطي خطوة واحدة.

2) وضع العلامات على مستوى الثقة في مخرجات الذكاء الاصطناعي:

قم بمراجعة المخرجات التي تم إنشاؤها بواسطة الذكاء الاصطناعي أدناه ووضع علامة على كل تأكيد: "تم التحقق / يجب التحقق / منطقة ضعف الذكاء الاصطناعي". تسليط الضوء على النقاط التي تتطلب الخبرة البشرية، وخاصة تلك التي تنطوي على منطق العمل والمخاطر الفريدة.

3) مذكرة نقل الخبراء:

لتسليم هذه النتيجة إلى خبير مختص، قم بإعداد ملخص: ماذا فعل الذكاء الاصطناعي، وما هي الافتراضات، وأين هو غير متأكد، وأين يحتاج الخبير إلى التأكيد على وجه التحديد؟ وضح أن المسؤولية تقع على عاتق الخبير.

4) إعداد الاستجابة للحوادث:

قم بإعداد مخطط تفصيلي للاستجابة لحالات الطوارئ/الحوادث لهذا البروتوكول: ما هي الخطوات (سلطة الاعتراض، الاتصال، حماية الأموال) التي سيتم تضمينها إذا تم استغلال ثغرة أمنية في مخلوق؟ هذه مسودة؛ يجب على الفريق والخبير المعايرة.

ثلاث حالات صغيرة (بالأرقام)

الحالة 1 - القفز على الباب جلب كارثة. نظرًا لضغط الوقت، تخطى الفريق عملية التدقيق المستقلة واعتمد على اختبارات الذكاء الاصطناعي + الخاصة وانتقل إلى الشبكة الرئيسية. وبعد 11 يومًا، تمت إزالة ما يقرب من 4 ملايين دولار من ثغرة أمنية في منطق الأعمال. من المحتمل أن تكتشف بوابة التفتيش هذا. الدرس المستفاد: لا تتجاوز الباب في منطقة أمنية حرجة.

الحالة 2 - تم حفظ المصادقة ذات الطبقات. قام فريق آخر بتشغيل كل بوابة: مخطط الذكاء الاصطناعي ← التحليل الثابت ← التدقيق ← شبكة الاختبار ← المحاكاة. أثناء مرحلة التدقيق، تم اكتشاف خطر إعادة الدخول في عملية المحاكاة. تم إغلاق كلاهما قبل الشبكة الرئيسية. الدرس المستفاد: تمنع الطبقات الأخطاء المفردة من التسرب.

الحالة 3 - "الهلوسة الآمنة". سأل أحد المطورين الذكاء الاصطناعي عن الكود؛ وقالت منظمة العفو الدولية: "يبدو أنه لا توجد أية مشكلات أمنية مهمة". أرسله الفريق للتفتيش على أية حال، وظهرت نتيجتان رفيعتا المستوى. لو كنا نثق في الذكاء الاصطناعي، لكان كلاهما قد عاد إلى الحياة. الدرس المستفاد: إن تعبير الذكاء الاصطناعي عن الثقة ليس تأكيدًا.

مبادئ الاستخدام المسؤول

يمكننا اختصار جوهر هذه الوحدة إلى ستة مبادئ:

1. المسؤولية الإنسانية: تقع الموافقة النهائية المتعلقة بالسلامة على عاتق الخبير المختص؛ لا يمكن مساءلة الذكاء الاصطناعي.
2. المصادقة ذات الطبقات: بوابة بشرية وحالة مرور في كل مرحلة.
3. الاستخدام الدفاعي: لحماية المعلومات والسيطرة عليها؛ عدم استغلال/فخ.
4. السرية: لا يتم إعطاء كود العميل وبياناته لفتح الأدوات دون إذن.
5. الشفافية: تم ذكر استخدام الذكاء الاصطناعي بأمانة في التقرير؛ لا يتم إعطاء أي مبالغة أو تأكيد كاذب.
6. الصدق: عدم تضليل المستثمرين والمستخدمين؛ المخاطر ليست مخفية، والنصيحة ليست مقنعة.

نصيحة: اسأل نفسك سؤالاً واحدًا لكل قرار أمني بالغ الأهمية: "إذا كان هذا خطأً وفقد المال، فهل كان هناك تحقق بشري كفؤ للوقوف وراءه وتحمل المسؤولية؟" إذا كانت الإجابة "لا، قال الذكاء الاصطناعي ذلك"، فإن العملية غير مكتملة.

الأخطاء الشائعة

• تجاوز بوابة التدقيق المستقلة. إنه لا يرحم في المنطقة التي لا رجعة فيها.
• الخلط بين تعبير الذكاء الاصطناعي عن الثقة باعتباره تأكيدًا. "الهلوسة الآمنة" هي الأخطر.
• محاولة إلقاء المسؤولية على الذكاء الاصطناعي. والمسؤولية تقع على عاتق الخبير الذي وقع.
• على افتراض التوقيت المناسب. لا تعرف منظمة العفو الدولية ما بعد الموعد النهائي للتدريب.
• تقصير الأبواب بسبب ضغط الوقت. مصدر الخطأ الأكثر تكلفة.
• المغادرة دون خطة للاستجابة للحوادث. عندما يحدث تسرب، يبقى المرء غير مستعد.

باختصار

• تعد تقنية Blockchain أمرًا بالغ الأهمية للأمان؛ الأخطاء لا رجعة فيها وتتحول مباشرة إلى أموال.
• لا يستطيع الذكاء الاصطناعي رؤية الخطأ الأصلي، ويقدم تأكيدات كاذبة، وقد أصبح قديمًا ولا يمكنه تحمل المسؤولية.
• ولهذا السبب فإن الموافقة النهائية المتعلقة بالسلامة الحرجة تقع دائمًا على عاتق الخبير المختص.
• يمنع التحقق الطبقي خطأً واحدًا من التسرب إلى البيئة الحية عن طريق وضع بوابة بشرية في كل مرحلة.
• الاستخدام المسؤول: المسؤولية الإنسانية، والغرض الدفاعي، والسرية، والشفافية، والنزاهة.

مهمة التطبيق

تخيل مشروع عقد ذكي (أو خذ مثالاً حقيقيًا). اكتب خطة تحقق متعددة الطبقات للرحلة بأكملها من الفكرة إلى الشبكة الرئيسية: ماذا يفعل الذكاء الاصطناعي في كل مرحلة، ما هي البوابة البشرية الموجودة، ما هي حالة الانتقال؟ ثم أضف سيناريو "ضغط الوقت": ما هو الباب الذي سيكون تجاوزه أكثر خطورة ولماذا؟ قم أيضًا بتضمين مخطط الاستجابة للحوادث.

قائمة مرجعية

• [ ] قبلت أن الموافقة الأمنية الحاسمة النهائية تقع على عاتق الخبير.
• [ ] أضع بوابة تحقق بشرية في كل مرحلة.
• [ ] لم أعتبر تعبير الذكاء الاصطناعي عن الثقة بمثابة تأكيد.
• [ ] لم أتجاوز باب التدقيق المستقل.
• [ ] لم أفترض الموضوعية؛ لقد تأكدت من أحدث المعلومات مع الإنسان.
• [ ] لم أضع المسؤولية على الذكاء الاصطناعي.
• [ ] لقد قمت بإعداد خطة الاستجابة للحوادث.