بررسی ادبیات و دسترسی به اطلاعات مبتنی بر شواهد

سود:

• توانایی استفاده از هوش مصنوعی در نقشه برداری ادبیات، اسکن مفهومی و اولویت بندی خواندن برای مدیریت ریسک منابع ساختگی (توهم)
• امکان ایجاد یک جریان تأیید که هر ادعای استناد، یافته و اندازه اثر را از منبع اصلی تأیید می کند
• توانایی تشخیص سطح شواهد (متاآنالیز، RCT، مورد) و سنجش خلاصه هوش مصنوعی در برابر سلسله مراتب شواهد

روانشناسی یک حرفه مبتنی بر شواهد است: شواهد تحقیقاتی به ما می گویند که آیا یک مداخله کار می کند، نه اینکه "فقط به نظر من می رسد". زمانی که یک متخصص می خواهد در جریان بماند، پایان نامه بنویسد، یا رویکرد مناسبی را برای یک مورد انتخاب کند، به ادبیات روی می آورد. اما ادبیات بسیار بزرگ است. سالانه ده ها هزار مقاله منتشر می شود. هوش مصنوعی (AI) در اینجا شتاب دهنده فوق العاده ای است: مفهومی را تعریف می کند، میدان را ترسیم می کند، پیشنهاد می کند کدام مقاله را ابتدا بخوانید، یک متن پیچیده را ساده می کند. اما خطرناک ترین ویژگی هوش مصنوعی در ادبیات اینجا نهفته است: منابع ناموجود را جعل می کند. در این بخش، یاد خواهید گرفت که چگونه هوش مصنوعی را به یک شتاب دهنده در تجارت ادبیات تبدیل کنید، چگونه بدون افتادن در دام منابع ساختگی (توهم) کار کنید.

هوش مصنوعی در ادبیات چه می کند، چه چیزی را تشکیل می دهد؟

وظایف ادبیات که در آن هوش مصنوعی قوی است: توضیح یک مفهوم به زبان ساده. خلاصه کردن بحث های اصلی در یک زمینه؛ برای خواندن یک متن؛ پیشنهاد کلمات کلیدی و استراتژی جستجو؛ خلاصه کردن یک مقاله (زمانی که متن را ارائه می دهید). مقایسه دیدگاه های مختلف در این موارد، هوش مصنوعی ساعات مطالعه را به دقیقه کاهش می دهد.

چیزهایی که هوش مصنوعی می سازد: نقل قول ها (منابعی که کامل به نظر می رسند اما وجود ندارند، از جمله نویسنده، سال، مجله، شماره DOI). آمار (اعداد واقعی مانند اندازه اثر، اندازه نمونه، p-value)؛ یافته‌ها (یک مطالعه ادعا می‌کند که آن را "پیدا کرده است" در حالی که در واقع آن را پیدا نکرده است). دلیلش این است که هوش مصنوعی یک موتور جستجو نیست، بلکه یک «حدس‌کننده کلمه محتمل» است: محتمل‌ترین قالب استناد را بدون بررسی صحت آن تولید می‌کند.

توجه: هر گونه استنادی که توسط هوش مصنوعی ارائه می شود بدون تأیید آن از منبع اصلی (خود مقاله) معتبر نیست. حتی یک DOI به ظاهر کامل می تواند جعلی باشد. همیشه گفتن "نتونستم پیداش کنم" بهتر از "منبع اشتباهی قرار دادم" است.

سلسله مراتب شواهد: همه یافته ها برابر نیستند

وقتی هوش مصنوعی یک یافته را خلاصه می کند، قدرت شواهد آن را به شما نمی گوید. با این حال، یک سلسله مراتب شواهد وجود دارد. هنگام سنجیدن یک ادعا، ضروری است که بدانیم بر چه نوع شواهدی استوار است.

سطح شواهد

منظورت چیه؟

قدرت

متاآنالیز / مرور سیستماتیک

ترکیب آماری مطالعات متعدد

بالاترین

کارآزمایی تصادفی کنترل شده (RCT)

آزمایشی که در آن شرکت کنندگان به گروه های تصادفی تقسیم می شوند

بالا

مطالعه طولی / مقطعی

مشاهده ای، غیر تجربی

متوسط

سری پرونده / گزارش مورد

شرح یک یا چند مورد

پایین

نظر کارشناس / نگارش نظری

بیشتر تفسیر تا شواهد

پایین ترین

وقتی هوش مصنوعی به شما می گوید "تحقیق نشان می دهد ..." اولین سوال شما باید این باشد: کدام نوع تحقیق؟ یافته‌های یک متاآنالیز وزنی برابر با یافته‌های یک گزارش موردی واحد ندارد.

گام به گام: جریان ادبیات ایمن مبتنی بر هوش مصنوعی

1. از هوش مصنوعی بخواهید مفهوم را توضیح دهد. برای اینکه سریع به اصل مطلب برسید، از هوش مصنوعی یک خلاصه ساده و مفاهیم کلیدی بخواهید. (این یک شروع است، نه یک منبع.)
2. استراتژی جستجو را تنظیم کنید از هوش مصنوعی بخواهید کلمات کلیدی، مترادف ها و رشته جستجو را پیشنهاد کند. از آن در پایگاه های داده واقعی (موتورهای جستجوی دانشگاهی، آرشیو مجلات) استفاده کنید.
3. منابع واقعی را خودتان پیدا کنید. مقالات را از پایگاه‌های اطلاعاتی بررسی شده دریافت کنید. از عناوین پیشنهادی هوش مصنوعی به عنوان سرنخ های جستجو استفاده کنید، نه به عنوان نقل قول.
4. خلاصه کردن متن به هوش مصنوعی متن مقاله واقعی را که پیدا کردید به هوش مصنوعی بدهید و یک خلاصه/مقایسه بخواهید. هوش مصنوعی دیگر چیزها را نمی سازد، زیرا دارای متن واقعی است.
5. هر عدد و یافته را تایید کنید. هوش مصنوعی اندازه یک اثر را در چکیده با مقدار واقعی در متن مقایسه می کند.
6. سطح شواهد را برچسب بزنید. نوع شواهد را در کنار هر یافته بنویسید.

نکته: از هوش مصنوعی در ادبیات در دو حالت مختلف استفاده کنید: "پیشنهاد کننده بدون منبع" (نمایش مفهوم، ایده جستجو) و "خلاصه کننده منبع" (هنگامی که متن را ارائه می دهید). مورد دوم ایمن است زیرا هوش مصنوعی از روی متنی که شما ارائه می دهید کار می کند، نه از حافظه خود.

سه کیف کوچک

مورد 1 - اپیدمی اسناد جعلی. یک دانشجوی فارغ التحصیل درخواست استناد هوش مصنوعی برای فصل 15 منبعی در مورد اختلالات اضطرابی می کند. هوش مصنوعی همه چیز را در قالب APA ارائه می دهد. وقتی دانش آموز بررسی می کند، می بیند که 6 منبع از 15 منبع در واقع وجود ندارد (40%) و 3 منبع به ژورنال اشتباهی اختصاص داده شده است. بنابراین نیمی از لیست غیرقابل استفاده است. درس: انتساب از پایگاه داده واقعی می آید، نه هوش مصنوعی.

مورد 2 - استفاده صحیح. یک پزشک متن PDF 4 متاآنالیز واقعی را یکی یکی به هوش مصنوعی می دهد و می گوید: "تعداد نمونه، اندازه اثر اصلی و محدودیت هر یک را جدول کنید." هوش مصنوعی 4 مقاله 30 صفحه ای را در 10 دقیقه در جدول مقایسه ای کاهش می دهد. پزشک هر عدد را با متن تایید می کند. همه آنها درست هستند زیرا هوش مصنوعی از متن داده شده کار می کند، نه از حافظه خود.

مورد 3 - سطح تله شواهد. یک متخصص از هوش مصنوعی می پرسد: "آیا درمان X موثر است؟" او می پرسد. هوش مصنوعی می‌گوید «بله، مطالعات از آن پشتیبانی می‌کند» و چهار «مطالعه» را برمی‌شمارد. وقتی کارشناس آن را بررسی می‌کند، می‌بیند که سه مورد از آنها گزارش یک مورد و یکی پست وبلاگ است. حتی یک RCT وجود ندارد. اگرچه ممکن است این ادعا به طور رسمی "اثبات شده" به نظر برسد، اما قدرت اثباتی آن بسیار ضعیف است.

درخواست ها و الگوهای قابل کپی

من تازه شروع کردم به این موضوع. بدون ایجاد منابع من، فقط یک مقدمه مفهومی به من بدهید: مفاهیم اساسی، بحث های اصلی این حوزه، و فهرستی از کلمات کلیدی + مترادف هایی که می توانم در هنگام جستجو استفاده کنم. اسناد؛ در صورت نیاز به ذکر منبع، بگویید «خودت منبع را پیدا کن». موضوع: [موضوع]

من متن یک مقاله واقعی را در زیر می چسبانم. فقط از این متن کار کنید، اطلاعات خارجی اضافه نکنید. موارد زیر را استخراج کنید: سوال تحقیق، روش، نمونه (n)، اندازه یافته و اثر اصلی، محدودیت ها، سطح شواهد. متن: [متن مقاله]

در زیر متن 3 مقاله آورده شده است. آنها را در یک جدول مقایسه ای با ستون های زیر قرار دهید: نویسنده-سال، نمونه، روش، یافته اصلی، سطح شواهد، محدودیت. فقط از روی متون داده شده کار کنید، منبع اضافه نکنید. متون: [متن]

هر ادعای عددی (n، p، اندازه اثر، درصد) را در این متن در یک خط جداگانه فهرست کنید تا بتوانم آن را با مقاله اصلی تأیید کنم. هیچ عددی را که نمی توانید خودتان تأیید کنید اضافه نکنید. متن: [خلاصه]

اعلان ضعیف / اعلان قوی

اعلان ضعیف: 10 منبع آکادمیک در مورد اثربخشی درمان شناختی رفتاری در افسردگی ارائه دهید.

این اعلان از هوش مصنوعی دعوت می کند تا اسناد را از حافظه بسازد. بخش قابل توجهی از خروجی جعلی خواهد بود.

اعلان قدرتمند: "کلمات کلیدی، مترادف ها و رشته های جستجو را برای جستجو در پایگاه داده در مورد درمان شناختی رفتاری و افسردگی پیشنهاد کنید. منابع/استنادها را ارائه نکنید؛ من مقالات را از پایگاه داده واقعی پیدا می کنم، سپس متون آنها را در اختیار شما قرار می دهم."

این اعلان هوش مصنوعی را در نقش امن (استراتژیست جستجو) قرار می دهد. منابع از منبع واقعی آمده است.

اشتباهات رایج

• مستقیماً با استفاده از انتساب داده شده توسط هوش مصنوعی. منابع به ظاهر کامل اغلب ساخته می شوند. هرگز بدون تایید استفاده نمی شود.
• اعتماد کورکورانه به DOI/لینک. هوش مصنوعی همچنین می تواند DOI واقع بینانه اما ناموجود تولید کند. تا زمانی که آن را باز نکرده و بررسی نکنید معتبر تلقی نمی شود.
• نادیده گرفتن سطح شواهد نپرسیدن اینکه آیا یک وبلاگ یا یک متاآنالیز پشت جمله "مطالعات می گویند" وجود دارد یا خیر.
• جایگزینی خلاصه هوش مصنوعی برای مقاله. این یک نقشه خلاصه است. تصمیم گیری انتقادی فقط بر اساس خلاصه به معنای قضاوت بدون خواندن متن است.
• استفاده در حالت تک همیشه از هوش مصنوعی در حالت "منبع از حافظه" استفاده کنید. در حالی که حالت امن حالت "خلاصه از متن داده شده" است.

به طور خلاصه

در تجارت ادبیات، هوش مصنوعی یک شتاب دهنده قدرتمند برای شفاف سازی مفهوم، استراتژی جستجو و خلاصه سازی است (زمانی که متن را ارائه می دهید). اما او ارجاعات، آمار و یافته هایی را از حافظه خود جعل می کند (توهم). هر نقل قول و شماره را از منبع اصلی تأیید کنید. منبعی را در نظر بگیرید که نمی توانید آن را نامعتبر بیابید. سطح شواهد (از متاآنالیز تا گزارش موردی) را برای هر یافته برچسب بزنید. از هوش مصنوعی در دو حالت متمایز استفاده کنید: "غیرمنبعی پیشنهادی" و "خلاصه کننده منبع"، با اولویت دومی.

وظیفه کاربردی

موضوعی را انتخاب کنید. ابتدا از هوش مصنوعی 5 نقل قول در مورد آن موضوع (حالت منبع) بخواهید. سپس این 5 نقل قول را یکی یکی در یک موتور جستجوی آکادمیک واقعی جستجو کنید و توجه داشته باشید که تعداد آنها واقعا وجود دارد. سپس 2 مقاله واقعی در یک موضوع را پیدا کنید، متون آنها را به هوش مصنوعی تغذیه کنید و از آن بخواهید یک جدول مقایسه ای ایجاد کند. دو تجربه را با هم مقایسه کنید: کدام یک خروجی قابل اعتماد ارائه کرد؟

چک لیست

• [ ] من از هیچ یک از مراجع ارائه شده توسط هوش مصنوعی بدون تایید آنها استفاده نکردم.
• [ ] من مقالات را از یک پایگاه داده واقعی و بررسی شده به دست آوردم.
• [ ] برای خلاصه، متن واقعی مقاله را به هوش مصنوعی دادم (نه از حافظه).
• [ ] من هر ادعای عددی را با متن اصلی مقایسه کردم.
• [ ] من سطح شواهد را برای هر یافته برچسب زدم.
• [ ] منبعی را که نتوانستم پیدا کنم باطل کردم.