سود:
- توانایی ردیابی تحقیقات با ثبت تصمیمات روش شناختی، درخواست ها و اطلاعات مدل
- امکان جداسازی داده های خام از داده های پردازش شده و مستندسازی تمام مراحل تبدیل
- امکان بیان شفاف نقش هوش مصنوعی در بخش روش و اعمال تست "آیا قابل تکرار است"
اساسی ترین ویژگی علم این است که یک یافته بر اساس حرف یک شخص نیست، بلکه بر اساس فرآیندی است که توسط دیگران قابل تأیید است. تکرارپذیری توانایی محقق دیگری با استفاده از داده ها و روش مطالعه برای رسیدن به نتیجه مشابه با انجام مراحل مشابه است. مفهوم مشابهی شفافیت است: محقق به وضوح آنچه را که انجام داده و چرا تصمیم گرفته است، مستند می کند. در عصر هوش مصنوعی، این دو مفهوم آسانتر و حیاتیتر شدهاند. آسان، زیرا هوش مصنوعی به فرآیندهای مستندسازی کمک می کند. بسیار مهم است، زیرا اگر هیچ ردی از تصمیمات هوش مصنوعی باقی نگذارید، هیچ کس - حتی شما - نمی تواند کار شما را بازتولید کند. در این واحد یاد خواهید گرفت که چگونه تحقیقات خود را تکرارپذیر و شفاف کنید.
قلب مشکل این است: وقتی با هوش مصنوعی کار میکنید، تصمیمهای کوچک زیادی میگیرید – از کدام درخواست استفاده کردهاید، کدام مدل، کدام تنظیمات، کدام خروجی را پذیرفتهاید و کدام را رد کردهاید. اگر این تصمیمات مستند نباشند، ممکن است زمانی که همان فرمان را در روزی متفاوت اجرا میکنید، خروجی متفاوتی دریافت کنید (مدلهای زبان هر بار دقیقاً پاسخ یکسانی را ارائه نمیدهند). وقتی یک داور یا همکار می پرسد "چگونه به این تحلیل موضوع رسیدید"، "هوش مصنوعی چنین گفته است" یک پاسخ علمی نیست. شفافیت دقیقاً در مورد باز کردن این "جعبه سیاه" و قابل ردیابی فرآیند است.
گام به گام: ایجاد یک تحقیق قابل ردیابی
1. یک دفتر خاطرات تصمیم گیری داشته باشید. هر تصمیم مهم روش شناختی - چرا این نمونه، چرا این کد، چرا این پیشنهاد هوش مصنوعی را پذیرفتید - را در یک مجله با تاریخ بنویسید. هوش مصنوعی به سازماندهی این گزارش کمک می کند.
2. دستورات و اطلاعات مدل را ذخیره کنید. از هر درخواستی که استفاده میکنید، روی کدام مدل هوش مصنوعی و در چه تاریخی آن را اجرا کردهاید، ثبت کنید. این "فهرست مواد" برای کار شما است.
3. داده های خام را از داده های پردازش شده جدا کنید. داده های اصلی را بدون تغییر نگه دارید. تمام تبدیل ها (تمیز کردن، رمزگذاری) را به طور جداگانه با مراحل مستند انجام دهید. بنابراین همه می توانند از ابتدا تماشا کنند.
4. نقش هوش مصنوعی را به وضوح بنویسید. در قسمت روش صادقانه بیان کنید که در کدام وظایف و چگونه از هوش مصنوعی استفاده کرده اید. اکنون اکثر مجلات و مؤسسات به این نیاز دارند.
5. در صورت امکان داده ها و کد را به اشتراک بگذارید. وقتی اخلاق و حریم خصوصی اجازه می دهد، به اشتراک گذاری داده های ناشناس و کدهای تجزیه و تحلیل در مخازن باز اوج شفافیت است.
نکته: یک تست ساده: "آیا می توانم این تحقیق را خودم تا 6 ماه دیگر انجام دهم؟" اگر درخواستها، تصمیمها و مراحل خود را مستند نکردهاید، پاسخ به احتمال زیاد «نه» است. آن را برای خودتان قابل تولید کنید؛ سپس برای شخص دیگری نیز اتفاق می افتد.
سه کیف کوچک
مورد 1 - تجزیه و تحلیل بدون ردیابی سقوط کرد. یکی از محققان با هوش مصنوعی تجزیه و تحلیل موضوعی را انجام داد، اما ثبت نکرد که از کدام درخواست استفاده کرده است. وقتی داور پرسید "چطور به این مضامین رسیدی؟" او نتوانست روند را نشان دهد. او مجبور شد دوباره تحلیل را دوباره تکرار کند و این بار یک دفترچه خاطرات داشته باشد. او دو هفته از دست داد.
مورد 2 - گزارش تصمیم به بحث پایان می دهد. اختلاف نظر در یک تیم به وجود آمد که "چرا ما این کدها را ترکیب کردیم؟" اما گزارش تصمیم گیری حاوی تاریخ و توجیه هر تصمیم ادغام بود. زمانی که هوش مصنوعی گزارش را خلاصه کرد و آن را به صورت زمانی نمایش داد، این استدلال در عرض چند دقیقه حل شد.
مورد 3 - افشای شفاف اعتماد ایجاد کرد. در یک مقاله، نویسندگان به صراحت نوشتند که ما از هوش مصنوعی «برای ویرایش رونوشت و پیشنهاد کد اولیه، با دو محقق که به صورت دستی همه کدها را تأیید میکنند» استفاده کردیم. بازبینان این شفافیت را مثبت یافتند. مشخص شد که بسیار قابل اعتمادتر از استفاده از یک AI پوشیده شده است.
چهار قالب قابل کپی
1) الگوی گزارش تصمیم:
یک جدول ثبت تصمیم روش شناختی ایجاد کنید. ستون ها: تاریخ، تصمیم، منطق، جایگزین ها، نقش هوش مصنوعی (در صورت وجود)، که آن را تایید کرده است. یادداشت های تصمیم من را در زیر در این جدول وارد کنید و دلایل گمشده را به عنوان "باید تکمیل شود" علامت بزنید. یادداشت ها: [اینجا]
2) پیش نویس بیانیه استفاده از هوش مصنوعی:
یک پاراگراف پیش نویس کنید که به طور شفاف استفاده من از هوش مصنوعی را برای قرار دادن در بخش روش ها توضیح دهد. من از آن در این وظایف استفاده کردم: [لیست]. من از آن در وظایف زیر استفاده نکردم: [list]. من تمام خروجی ها را به صورت دستی تأیید کردم. مدل و تاریخ: [x]. از زبان صادقانه، کم بیان و آکادمیک استفاده کنید.
3) بازرسی تکرارپذیری:
من روند تحقیق خود را شرح می دهم: [خلاصه]. آیا محقق دیگری می تواند این را بازتولید کند؟ مراحل غیرمستند، نامشخص یا غیرقابل ردیابی را فهرست کنید: کدام داده، کدام تبدیل، کدام دستور، کدام تصمیم وجود ندارد؟ به من بگویید برای هر فضا چه چیزی ضبط کنم.
4) نقشه منشأ داده ها:
تمام مراحل تبدیل از داده های خام تا یافته نهایی من را به صورت یک جریان فهرست کنید: داده های خام → تمیز کردن → کدگذاری → تجزیه و تحلیل → یافتن. نشان دهید که در هر مرحله چه کاری، با چه ابزاری و با چه تصمیمی انجام شده است. مرحله غیرقابل ردیابی را علامت بزنید. فرآیند: [اینجا]
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
روش این تحلیل را در یک پاراگراف بنویسید.
هوش مصنوعی یک پاراگراف روش عمومی را بدون مستندسازی فرآیند تولید می کند. نحوه تصمیم گیری و محل استفاده از هوش مصنوعی همچنان نامشخص است. این قابل ساخت نیست.
اعلان قدرتمند:
یک توضیح تولیدی برای بخش روش بنویسید. از اطلاعات زیر استفاده کنید: منبع داده [x]، نمونه [y]، مراحل تجزیه و تحلیل [z]، مدل هوش مصنوعی که استفاده کردم و تاریخ آن [t]، نقش دقیق AI [r]، فرآیند تأیید انسانی [d]. آنقدر دقیق بنویسید که شخص دیگری بتواند این مراحل را دنبال کند و آنها را بازتولید کند. هر اطلاعاتی را که فراموش کردم از من بخواهید.
تفاوت: رویکرد دوم فرآیند را ملموس، قابل ردیابی و واقعاً تکرارپذیر می کند.
لایه های شفافیت
لایه
آنچه مستند است
چرا مهم است؟
دفتر خاطرات تصمیم گیری
تصمیمات روش شناختی + منطق
از قوه قضائیه دفاع می کند
ثبت نام سریع
درخواست استفاده، مدل، تاریخ
هوش مصنوعی را قابل کنترل می کند
مبدا داده ها
تبدیل های خام → پردازش شده
مراحل را باز می کند
بیانیه هوش مصنوعی
نقش و محدودیت هوش مصنوعی
صداقت
اشتراک گذاری
داده های ناشناس + کد
شفافیت نهایی
اشتباهات رایج
- عدم ذخیره دستورات اگر دستورالعملی را که استفاده کرده اید حفظ نکنید، نمی توانید روند را نشان دهید.
- به این معنی است که "هوش مصنوعی چنین گفته است." توجیه علمی فرآیند و قضاوت است نه کلام مدل.
- بازنویسی داده های خام اصل را نگه دارید؛ تبدیل ها را جداگانه و مستند کنید.
- پنهان کردن استفاده از هوش مصنوعی بیانیه شفاف باعث ایجاد اعتماد می شود. پنهان شدن باعث از بین رفتن آبرو می شود.
- حتی برای خودت هم غیر قابل تولید گذاشتن. کاری که بعد از 6 ماه نتوانید دوباره آن را انجام دهید علم نیست.
به طور خلاصه
تکرارپذیری و شفافیت یک مطالعه را از حرف یک فرد به علمی تبدیل می کند که هر کسی می تواند آن را آزمایش کند. این در هنگام کار با هوش مصنوعی بسیار مهمتر است، زیرا اگر تصمیمات مدل رعایت نشود، فرآیند تبدیل به یک جعبه سیاه می شود. گزارش تصمیمگیری داشته باشید، درخواستها و اطلاعات مدل را ثبت کنید، دادههای خام را از پردازش شده جدا کنید، صادقانه نقش هوش مصنوعی را اعلام کنید، و زمانی که اخلاق اجازه میدهد، دادهها و کد را به اشتراک بگذارید. مطالعه ای که در آزمون «آیا می توانم بعد از 6 ماه خود را تکثیر کنم» قبول شود برای دیگران نیز قابل اعتماد است.
وظیفه کاربردی
برای تحلیل کوچکی که انجام میدهید یا برنامهریزی میکنید، حداقل 5 تصمیم روششناختی را با توجیه با «الگوی مجله تصمیمگیری» ثبت کنید. دستورهایی که استفاده میکنید، مدلسازی و تاریخ را در یک فایل جداگانه نگه دارید. سپس از الگوی «ممیزی تکرارپذیری» استفاده کنید تا هوش مصنوعی شکافهای غیرمستند را در فرآیند شما پیدا کند و هر شکاف را ببندد. در نهایت، یک طرح کلی از "عبارت استفاده از هوش مصنوعی" و یک پاراگراف شفاف برای قرار دادن در بخش روش ها بنویسید.
چک لیست
- [ ] من دلایل هر تصمیم مهم روش شناختی را در مجله نوشتم.
- [ ] من دستورهایی را که استفاده کردم، مدل و تاریخ را ضبط کردم.
- [ ] من داده های خام را بدون تغییر نگه داشتم و تحولات را مستند کردم.
- [ ] نقش هوش مصنوعی را صادقانه در قسمت روش اعلام کردم.
- [ ] من تست "آیا می توانم بعد از 6 ماه تولید مثل کنم" را اعمال کردم.