توهم و حدود اعتبار

سود:

• می تواند توضیح دهد که توهم چیست و چرا رخ می دهد
• می تواند تعیین کند که چه زمانی خروجی هوش مصنوعی نیاز به تأیید اعتبار دارد
• می تواند از تکنیک های عملی که قابلیت اطمینان را افزایش می دهد استفاده کند

شاید مهم ترین موضوع سواد هوش مصنوعی در این واحد باشد: ساخت مدل، یعنی توهم. درک این اصطلاح اساسی ترین احتیاط ایمنی برای افرادی است که از هوش مصنوعی استفاده می کنند. زیرا کاربری که توهم را تشخیص نمی دهد ممکن است اطلاعات نادرست را درست اشتباه کند و آن را به یک تصمیم تجاری، ارتباط با مشتری یا یک سند رسمی منتقل کند. در این بخش، شما یاد خواهید گرفت که توهم چیست، چرا اجتناب ناپذیر است و چگونه در برابر آن محافظت کنید.

توهم چیست؟

توهم زمانی است که یک مدل زبان اطلاعاتی را تولید می کند که در واقع به زبانی روان و مطمئن وجود ندارد، درست مثل اینکه درست باشد. مدل قصد دروغ گفتن ندارد. در تولید تنها "محتمل ترین ادامه"، متنی را ایجاد می کند که محتمل به نظر می رسد اما در واقع نادرست است.

مثال: اگر به یک مدل بگویید «یک منبع آکادمیک را در مورد موضوع توصیه کنید همه چیز در قالب درست و قانع‌کننده ظاهر می‌شود؛ اما منبع کاملاً تخیلی است. این یک مثال کلاسیک از توهم است.

چرا این اتفاق می افتد؟ (بخش دو را به خاطر بسپار)

منبع توهم در اصل کار مدل نهفته است. مدل یک "دایره المعارف حقایق" نیست. این یک "ماشین احتمال" است. وظیفه آن ارائه ساده ترین ادامه ممکن برای سوال شما است. این در مورد آوردن دقیق ترین اطلاعات نیست. مدل:

• او آنچه را که نمی داند نمی داند; هنگامی که با یک جای خالی روبرو می شود، به جای گفتن "نمی دانم"، تمایل دارد پاسخ احتمالی را پر کند.
• هیچ مکانیزمی برای کنترل واقعیت ندارد. بررسی نمی کند که آیا متنی که تولید می کند با جهان مطابقت دارد یا خیر.
• تسلط و دقت برای او دو چیز متفاوت است. فقط به این دلیل که روان است به این معنی نیست که درست است.

احتیاط: توهم یک "عیب" نیست. این ویژگی ذاتی فناوری است. مدل های جدید این را کاهش می دهند اما نمی توانند آن را به طور کامل حذف کنند. بنابراین، به جای انتظار برای "مدل غیر توهم"، باید یاد گرفت که با توهم زندگی کند.

خطر توهم در کجا زیاد است؟

هر نتیجه ای به یک اندازه مخاطره آمیز نیست. این خطر زمانی افزایش می یابد که:

ریسک بالا

کم خطر

ارقام دقیق، تاریخ، آمار

تولید ایده های کلی، طوفان فکری

درخواست منابع، نقل قول ها، منابع

لحن متن را تغییر دهید

طاقچه، موضوعات تخصصی

موضوعات رایج و عمومی

رویدادهای جاری و افراد

متن خود را خلاصه کنید

اطلاعات داخلی مختص شرکت شما

تصحیح گرامر

سه کیف کوچک

مورد 1 - یک چهره جعلی وارد ارائه شد. یکی از کارمندان برای گزارش صنعت از هوش مصنوعی خواسته است که "نرخ رشد تجارت الکترونیک 2023 و منبع در ترکیه" را ارائه کند. مدل یک درصد قانع کننده (48٪) و یک نام موسسه را نشان داد. کارمند آن را بدون تأیید آن در ارائه قرار داد. وقتی در جلسه مشخص شد که این رقم ساختگی است، هم ارائه و هم به اعتبار شرکت لطمه وارد شد. اگر همین کارمند رقم را از منبع رسمی دریافت کرده بود مشکلی نبود.

مورد 2 - قانون وجود ندارد. یک دستیار از هوش مصنوعی "ماده قانونی مربوطه" را برای دادخواست درخواست کرد. مدل یک شماره مورد و متن واقعی به نظر می‌رسد. اما آن مورد آنجا نبود. خوشبختانه بخش حقوقی قبل از تحویل متوجه آن شد. درس: استنادهای قانونی همیشه از منبع اصلی تأیید می شوند.

مورد 3 - روش صحیح، نتیجه مطمئن. یکی دیگر از کارمندان در همان تیم به سادگی از هوش مصنوعی این گزارش را خواست تا همه اعداد را از داده‌های رسمی وارد کند و به او دستور دهد "هیچ رقمی را که در این متن نیست اضافه کند." نتیجه هم سریع و هم دقیق بود. تفاوت: هوش مصنوعی پیش نویس، حقایق تغذیه شده توسط انسان را نوشت.

اعلان ضعیف / اعلان قوی

اعلان ضعیف: 3 منبع مهم دانشگاهی در این زمینه را با نویسنده و سال ارائه دهید.

نتیجه: مدل می تواند به طور ایمن با منابع موجود سازگار شود.

اعلان قدرتمند: بر اساس متنی که در زیر چسبانده ام، خلاصه بنویسید. فقط از اطلاعات این متن استفاده کنید. هیچ نام، شماره یا منبعی را که در متن نیست اضافه نکنید. اگر مطمئن نیستید، بنویسید "در متن مشخص نشده است".<text>[اینجا بچسبانید]</text>

نتیجه: از آنجایی که مدل منبع را از شما دریافت می کند، فضای اتصال باریک تر می شود.

تکنیک های عملی که قابلیت اطمینان را افزایش می دهد

هر ادعای قابل تأیید را در پاسخ خود (شماره، تاریخ، نام، منبع) علامت بزنید و آنها را در یک لیست جداگانه "باید بررسی کنید" قرار دهید.

به این سوال پاسخ دهید. اگر مطمئن نیستید، حدس نزنید. بگویید "من مطمئن نیستم" و توضیح دهید که نمی دانید چیست. موضوع: [موضوع]

به یک سوال به دو صورت متفاوت پاسخ دهید و تضاد بین دو پاسخ را مشخص کنید. پس بگذارید ببینم کدام نکات مشکوک هستند. سوال: [سوال]

من متن زیر را تایید می کنم. ادعاهای مخاطره آمیزی را که باید بررسی کنم به ترتیب اهمیت فهرست کنید و پیشنهاد دهید کجا می توانم هر کدام را تأیید کنم. متن: [اینجا بچسبانید]

علاوه بر این، این عادات را بپذیرید:

1. شما منبع رو بفرمایید سند مربوطه را در متن بچسبانید و بگویید «فقط بر اساس این پاسخ دهید».
2. همیشه حقایق قابل تایید را بررسی کنید. اعداد، تاریخ ها، نام ها، نقل قول ها و منابع را از یک منبع مستقل و قابل اعتماد بررسی کنید.
3. از او بخواهید نشان دهد که در مورد مدل مطمئن نیست. این خطر را کاهش می دهد اما آن را به طور کامل از بین نمی برد.
4. برای مشاغل پرخطر، از یک متخصص بخواهید که خروجی را بررسی کند. خروجی های حقوقی، مالی و سلامت باید از فیلتر متخصصان انسانی عبور کند.
5. از هوش مصنوعی به عنوان «نقطه شروع» استفاده کنید، نه به عنوان «کلمه پایانی». پیش نویس از اوست. تایید و تصمیم با شماست.

احتیاط: منطق "مدل دو بار گفته، پس درست است" اشتباه است. می تواند همان اشتباه را با اطمینان تکرار کند. تکرار دلیل بر دقت نیست.

اشتباهات رایج

اشتباهات رایج

• استفاده از منابع بدون تایید آنها. این می تواند کتاب های مدل، مقالات، مقالات قانون و پیوند ایجاد کند. هر مرجعی باید تایید شود.
• اشتباه گرفتن لحن مطمئن با دقت. خطرناک ترین چیز در مورد توهم دقیقا این است که اعتماد به نفس به نظر می رسد.
• فقط گفتن مدل "شما تایید می کنید" کافی است. خود اعتبار سنجی مدل اعتبار سنجی مستقلی نیست.
• استفاده از خروجی پرخطر بدون نشان دادن آن به متخصص. کنترل انسان در پول، قانون و سلامت ضروری است.

به طور خلاصه

• توهم زمانی است که مدل اطلاعات غیر موجود را به شیوه ای روان و مطمئن تولید می کند که گویی درست است.
• علت یک نقص نیست، بلکه ماهیت احتمال پیش بینی مدل است. نمی توان به طور کامل حذف کرد.
• این خطر به ویژه زمانی که به ارقام دقیق، منابع، اطلاعات به‌روز و مسائل مهم مربوط می‌شود، زیاد است.
• برای محافظت از خود: منبع را ذکر کنید، حقایق را تأیید کنید، بگویید "اگر مطمئن نیستید، به من بگویید"، خروجی پرخطر را توسط یک متخصص بررسی کنید.
• از هوش مصنوعی به عنوان نقطه شروع استفاده کنید. تایید نهایی و مسئولیت همیشه با شما باقی می ماند.

وظیفه برنامه

به ابزار هوش مصنوعی خود بگویید در مورد موضوعی که نیاز به تخصص دارد «3 منبع آکادمیک پیشنهاد کند» و سعی کنید منابع پیشنهادی خود را در اینترنت تأیید کنید. توجه داشته باشید که چه تعداد واقعی هستند. سپس همین کار را با روش «شما منبع می دهید» تکرار کنید و تفاوت را مشاهده کنید.

چک لیست

• [ ] می توانم توضیح دهم که توهم چیست و چرا رخ می دهد.
• [ ] من می توانم بین وظایف با خطر توهم بالا و پایین تمایز قائل شوم.
• [ ] می توانم با دادن منبع به مدل، خطر ساخت را کاهش دهم.
• [ ] من به طور مستقل اعداد، تاریخ ها، نام ها و منابع را تأیید می کنم.
• [ ] من لحن مطمئن را دلیلی بر دقت نمی دانم.