سود:
- امکان گزارش یافته های تجربی به مخاطبان هدف (دانشگاهی، سیاستی، مدیریتی) با پشتیبانی هوش مصنوعی، به زبانی صادقانه و بدون ابهام
- توانایی نوشتن کامل نتیجه گیری، محدودیت ها و اظهارات اخلاقی (محرمانه بودن داده ها، تضاد منافع، افشای استفاده از هوش مصنوعی) و اجتناب از ارائه گمراه کننده
- توانایی هوش مصنوعی در تشخیص پیشنویس گزارشهایی که زبان اغراقآمیز، یکطرفه یا علی را تولید میکنند و مسئولیت متن نهایی و ادعاها را بر عهده محقق میگذارد.
امتحان ماژول
1. محققی می پرسد که ضریب همبستگی بین بیکاری و تورم در ترکیه بین سال های 2015 تا 2020 چقدر است؟ بدون دادن هیچ داده ای به هوش مصنوعی. او می پرسد و عدد 0.62 را مستقیماً در مقاله خود می نویسد. اشتباه اساسی در این رویکرد چیست؟
- الف) انتظار آمار مشخص از هوش مصنوعی بدون ارائه داده های تایید شده؛ ✔ استفاده از شماره ای که ممکن است بدون تایید آن ساخته شده باشد
- ب) هرگز نباید از ضریب همبستگی در مقاله استفاده کرد.
- ج) همبستگی بین بیکاری و تورم قابل محاسبه نیست
- د) هوش مصنوعی تنها پس از سال 2020 می تواند به داده ها دسترسی داشته باشد
توضیح: مدل زبان هوش مصنوعی بدون دسترسی به مجموعه داده نمی تواند آمار تولید کند. شماره ای که او می دهد به احتمال زیاد یک توهم (ساختگی) است. ضرایب، نسبت ها و نتایج آزمون باید از داده های تایید شده خود محقق محاسبه شود، نه از حافظه مدل گرفته شود.
2. منظور از داده های از دست رفته "نداشتن تصادفی" (MNAR) چیست و چرا مهم است؟
- الف) نقص به دلیل خود ارزش مشاهده نشده است; به همین دلیل است که انتساب ساده می تواند سوگیری ایجاد کند ✔
- ب) داده ها کاملاً تصادفی ناپدید می شوند و هیچ گونه سوگیری ایجاد نمی کنند.
- ج) داده های از دست رفته همیشه باید با حذف ردیف حل شود.
- د) داده های از دست رفته به هیچ وجه بر تجزیه و تحلیل تأثیر نمی گذارد.
توضیح: در مورد MNAR (از دست رفته، تصادفی نیست)، خود فقدان به بزرگی مقدار مشاهده نشده بستگی دارد (مثلاً افراد با درآمد بالا درآمد خود را گزارش نمی کنند). در این مورد، حذف ساده یا تخصیص متوسط نتایج مغرضانه ای به دست می دهد. مکانیسم کمبود باید مدل شود. روش تخصیص پیشنهاد شده توسط هوش مصنوعی نباید کورکورانه بدون دانستن این مکانیسم اعمال شود.
3. یک تحلیلگر از هوش مصنوعی میخواهد که نمودار میلهای بسازد و هوش مصنوعی به جای صفر، محور y را از 40 شروع میکند. تفاوت واقعی 2٪ بین دو گروه در نمودار بسیار زیاد به نظر می رسد. رویکرد درست چیست؟
- الف) شروع محور از ابتدا یا تغییر نوع نمودار. ✔ برای نشان دادن اندازه واقعی تفاوت بدون گمراه کردن
- ب) استفاده از نمودار همانطور که هست زیرا هوش مصنوعی بهترین انتخاب را انجام می دهد
- ج) محور را از 45 شروع کنید تا تفاوت بیشتر شود
- د) هرگز به جای نمودار میله ای از تصاویر بصری استفاده نکنید
توضیح: در نمودار میله ای، محور چین خورده (محور y که از صفر شروع نمی شود) با اغراق در تفاوت های کوچک باعث گمراهی می شود. در تجسم صادقانه، محور نمودارهای میله ای باید از صفر شروع شود یا تفاوت باید آگاهانه به وضوح بیان شود. این وظیفه تحلیلگر است که تصویر را تأیید کند و در صورت لزوم آن را تصحیح کند.
4. این واقعیت که یک ضریب در رگرسیون خطی «معنادار» است (05/0p<) چگونه اغلب در تفسیر هوش مصنوعی به اشتباه ارائه می شود؟
- الف) ارائه اغراق آمیز اهمیت به دلیل بزرگ و مهم بودن تأثیر یا اثبات علیت ✔
- ب) اهمیت همیشه نشان می دهد که اثر کم است
- ج) p<0.05 ثابت می کند که ضریب کاملاً صحیح است
- د) هرگز نباید ضرایب معنی دار گزارش شود.
توضیح: اهمیت آماری مربوط به قدرت شواهدی است که نشان می دهد اثر متفاوت از صفر است. این بدان معنا نیست که اثر بزرگ، مهم یا سببی است. هوش مصنوعی اغلب کلمه "مهم" را به عنوان "تاثیر قابل توجه/قوی" معرفی می کند. محقق همچنین باید اندازه اثر، فاصله اطمینان و زمینه را ارزیابی کند.
5. اصطلاح "p-hacking" به چه چیزی اشاره دارد و چرا هوش مصنوعی می تواند آن را آسان تر کند؟
- الف) تلاش برای تحلیل های متعدد تا زمانی که منطقی باشد. هوش مصنوعی این کار را خیلی سریع انجام می دهد و خطر را افزایش می دهد ✔
- ب) تجزیه و تحلیل داده ها یکبار و با یک برنامه از پیش تعیین شده
- ج) گسترش نمونه برای افزایش مقدار p
- د) گزارش فقط آمار توصیفی
توضیح: p-hacking سعی میکند متغیرها، نمونههای فرعی، تبدیلها یا مدلهای مختلف را تا زمانی که یک نتیجه معنادار ظاهر شود، امتحان کند. این امر یافته های جعلی بر اساس شانس تولید می کند. از آنجایی که هوش مصنوعی میتواند دهها نوع مدل را در چند ثانیه امتحان کند، میتواند هک p را بدون یک برنامه صادقانه سرعت بخشد. دفاع؛ پیش ثبت نام، طرح تحلیل ثابت و اصلاح مقایسه چندگانه.
6. چرا یافتن یک رگرسیون R-squared بالا بین دو سری زمانی غیر ثابت (ریشه واحد) ممکن است گمراه کننده باشد؟
- الف) رگرسیون کاذب ممکن است به دلیل روند رایج رخ دهد. ✔ خروجی R-squared بالا بدون رابطه واقعی
- ب) یک R-squared بالا همیشه یک رابطه علی قوی را ثابت می کند.
- ج) سری های غیر ثابت را به هیچ وجه نمی توان وارد رگرسیون کرد.
- د) R-squared را نمی توان در سری های زمانی محاسبه کرد
توضیح: اگر رابطه هم انباشتگی مشترکی بین سری های غیر ایستا وجود نداشته باشد، رگرسیون کاذب ممکن است تنها به دلیل روند مشترک، ضریب R-square بالا و معنی دار ایجاد کند. در حالی که هیچ رابطه واقعی وجود ندارد. بنابراین ابتدا باید آزمایشات ثابت و ریشه واحد انجام شود و در صورت لزوم تفاوت ها گرفته شود یا هم انباشتگی آزمایش شود.
7. چه فرض اساسی بر اساس اعتبار طرح تفاوت در تفاوت ها است؟
- الف) فرض روندهای موازی: اگر مداخله ای وجود نداشت، گروه ها همان جهت را دنبال می کردند
- ب) گروه های درمان و کنترل در ابتدا دقیقاً یکسان هستند
- ج) توزیع نرمال نمونه
- د) متغیرها حاوی هیچ داده گمشده نیستند
توضیح: DiD فرض میکند که در غیاب مداخله، متغیر پیامد برای گروههای درمان و کنترل به موازات زمان طی میکرد (فرض روندهای موازی). اگر این فرض برآورده نشود، برآورد مغرضانه است. هوش مصنوعی می تواند کد DiD را تولید کند، اما وظیفه محقق دفاع و آزمایش روندهای موازی است.
8. کدام یک از موارد زیر یک عمل اجباری برای تجزیه و تحلیل قابل تکرار است؟
- الف) تثبیت بذر در مراحل تصادفی، ثبت نسخه های بسته و کد ✔
- ب) نتایج را به صورت دستی در صفحه گسترده کپی کنید و کد را حذف کنید
- ج) دیدن نتایج متفاوت در هر اجرا طبیعی است.
- د) تنها نگه داشتن گرافیک نهایی، عدم اشتراک گذاری داده ها و کدها
توضیحات: تکرارپذیری با همان داده ها و کدها می توان دوباره همان نتیجه را به دست آورد. تثبیت seed در مراحل تصادفی، ذخیره نسخههای بسته و اجرای کد درون سند (برنامهنویسی با سواد) سنگ بنای این کار است. کپی کردن نتایج به صورت دستی یا مراحل غیرقابل ثبت بر اساس کلیک، تکرارپذیری را مختل می کند.
9. ناهمگونی رگرسیون خطی را مخدوش می کند و راه حل رایج آن چیست؟
- الف) خطاهای استاندارد را تحریف می کند. راه حل، خطاهای استاندارد قوی یا تبدیل مناسب است ✔
- ب) برآورد ضرایب را کاملاً باطل می کند و راه حلی ندارد
- ج) همیشه R-squared را به صفر کاهش می دهد
- د) فقط در صورتی رخ می دهد که نمونه بسیار کوچک باشد و بتوان آن را نادیده گرفت
توضیح: ناهمسانی تخمین ضرایب را بدون تعصب باقی می گذارد اما خطاهای استاندارد را اشتباه محاسبه می کند. این باعث می شود که مقادیر p و فواصل اطمینان غیر قابل اعتماد باشند. یک راه حل رایج استفاده از خطاهای استاندارد قوی/HC یا تبدیل مناسب است. باید تأیید شود که راه حل پیشنهادی توسط هوش مصنوعی به جای پنهان کردن آن، در واقع مشکل را برطرف می کند.
10. یک محقق ریزداده حاوی اطلاعات شناسایی و درآمد در سطح بیمار را در یک ابزار چت عمومی هوش مصنوعی آپلود می کند و می گوید "regression را انجام دهید". مشکل اصلی این رفتار چیست؟
- الف) آپلود دادههای شخصی/مجوز در یک ابزار خارجی به منزله نقض محرمانه بودن و قرارداد است.
- ب) به هیچ وجه نمی توان رگرسیون را با هوش مصنوعی انجام داد
- ج) داده های خرد به هیچ وجه برای رگرسیون مناسب نیستند
- د) هوش مصنوعی همیشه رگرسیون را اشتباه محاسبه می کند
توضیح: دادههای شخصی/ویژه مانند هویت و درآمد تحت KVKK/GDPR و اکثر قراردادهای استفاده از داده محافظت میشوند. آپلود آنها در یک دستگاه خارجی که می تواند داده ها را ذخیره کند تخلف است. راه درست؛ ناشناس کردن داده ها، استفاده از ابزارهای امن محلی/سازمانی، یا به سادگی درخواست کد از هوش مصنوعی و اجرای کد در محیط خود.
11. وقتی چند خطی زیاد است چه چیزی مشاهده می شود؟
- الف) ضرایب ناپایدار و خطاهای استاندارد متورم می شوند. ضرایب فردی ممکن است بی معنی باشد ✔
- ب) R-squared همیشه به صفر کاهش می یابد
- ج) برآورد ضرایب همیشه دقیق تر می شود
- د) مقیاس متغیر وابسته تغییر می کند
توضیح: در چند خطی بالا، متغیرهای مستقل به شدت با یکدیگر همبستگی دارند. تخمین ضرایب ناپایدار می شود، خطاهای استاندارد متورم می شوند و ضرایب فردی ممکن است ناچیز باشند، در حالی که مدل کلی ممکن است قابل توجه باشد. با معیارهایی مانند VIF تشخیص داده می شود. هوش مصنوعی ممکن است حذف متغیرها را پیشنهاد کند، اما این به عهده محقق است که تصمیم بگیرد کدام متغیر باید نظری باقی بماند.
12. قدرت آماری چیست و خطر مطالعه کم توان چیست؟
- الف) امکان تشخیص اثر موجود. توان کم اثرات واقعی را از دست می دهد و یافته ها را غیر قابل اعتماد می کند ✔
- ب) احتمال کاهش p-value. قدرت کمتر همیشه نتایج قابل اعتمادتری می دهد
- ج) یک مقدار ثابت مستقل از حجم نمونه
- د) مفهومی که تنها زمانی معتبر است که از هوش مصنوعی استفاده شود
توضیح: توان احتمال تشخیص اثری است که واقعاً وجود دارد (1 منهای خطای نوع II). مطالعات کم توان ممکن است اثرات واقعی را از دست بدهند. بهعلاوه، چند نتیجه مهم ممکن است دارای اندازه اثر اغراقآمیز («نفرین برنده») باشد و نرخ مثبت کاذب افزایش مییابد. بنابراین، محاسبه توان/نمونه قبل از تجزیه و تحلیل مهم است.
13. چرا از نظر اخلاقی افشای استفاده از هوش مصنوعی در یک مقاله ضروری است؟
- الف) برای شفافیت و پاسخگویی؛ ✔ خوانندگان و داوران می توانند روند را ارزیابی کنند و مسئولیت بر عهده نویسنده است
- ب) استفاده از هوش مصنوعی به طور خودکار نتایج را باطل می کند
- ج) فقط برای مقاصد تبلیغاتی توسط مجلات درخواست شده است
- د) انتقال حق چاپ توضیحات به هوش مصنوعی
افشا: شفافیت ضروری است تا خواننده و بازبین بتوانند نحوه تولید نتایج را ارزیابی کنند. اکنون بسیاری از مجلات و مؤسسات نیازمند افشای استفاده از هوش مصنوعی هستند. علاوه بر این، از آنجایی که هوش مصنوعی میتواند خطا/توهم ایجاد کند، این موضوع صادقانه است که بگوییم مسئولیت با نویسنده باقی میماند و کدام مراحل ممیزی شدهاند.
14. "محدودیت طرد" در روش متغیر ابزار (IV) به چه چیزی نیاز دارد؟
- الف) ابزار فقط از طریق متغیر داخلی بر روی نتیجه تأثیر می گذارد، هیچ راه مستقیم دیگری وجود ندارد ✔
- ب) ابزار با متغیر نتیجه ارتباطی ندارد.
- ج) ابزار با متغیر درونزا ارتباطی ندارد.
- د) میانگین همیشه یک متغیر باینری (0/1) است
توضیح: محدودیت طرد مستلزم آن است که ابزار فقط از طریق متغیر توضیحی درون زا بر متغیر نتیجه تأثیر بگذارد و نه از طریق سایر ابزارهای مستقیم یا عوامل مشاهده نشده. این فرض را نمی توان به طور کامل از روی داده ها آزمایش کرد. بر اساس مبانی نظری و نهادی از آن دفاع می شود. هوش مصنوعی ممکن است کد IV را بنویسد، اما وظیفه محقق دفاع از اعتبار ابزار است.
15. مشکل "باغ مسیرهای دوشاخه" در تحلیل های انعطاف پذیر بدون پیش ثبت نام به چه معناست؟
- الف) بسیاری از انتخاب های تحلیل منطقی که بر اساس داده ها انجام می شود، نرخ مثبت کاذب را حتی به طور ناخواسته افزایش می دهد.
- ب) روش های تحلیل باید تک و اجباری باشد
- ج) مشکلی که تنها زمانی رخ می دهد که تقلب عمدی رخ دهد.
- د) موقعیتی که با رشد نمونه خود به خود ناپدید می شود
توضیح: پس از مشاهده داده ها، محقق می تواند انتخاب های معقول زیادی در مورد اینکه کدام متغیر، زیر گروه، تبدیل یا آستانه استفاده کند، داشته باشد. حتی اگر هیچ «هک عمدی p» وجود نداشته باشد، این انعطافپذیری نرخ مثبت کاذب را افزایش میدهد، زیرا یکی از مهمترین آنها به طور موثر از بین تعداد زیادی تحلیل انتخاب میشود. پیش ثبت نام و یک طرح تحلیل ثابت این انعطاف را محدود می کند.