Единица 3 / 12

Преглед на литература и пристап до информации засновани на докази

Добивки:

  • Способност да се користи вештачка интелигенција при мапирање на литература, скенирање на концепти и приоритизација на читање за управување со ризикот од фабрикувани извори (халуцинации)
  • Способност да се воспостави проток на верификација што го потврдува секое тврдење за цитирање, наоѓање и ефект за големина од примарниот извор
  • Способност да се разликува нивото на докази (мета-анализа, RCT, случај) и да се мери резимето на ВИ во однос на хиерархијата на докази

Психологијата е професија заснована на докази: доказите од истражувањето ни кажуваат дали интервенцијата функционира, а не „само ми изгледа така“. Кога експерт сака да остане актуелен, да напише теза или да го избере вистинскиот пристап за случајот, тој се свртува кон литературата. Но, литературата е огромна; Секоја година се објавуваат десетици илјади статии. Вештачката интелигенција (ВИ) е огромен забрзувач овде: дефинира концепт, го мапира полето, сугерира кој напис прво треба да го прочитате, поедноставува сложен текст. Но, тука лежи најопасната карактеристика на вештачката интелигенција во литературата: таа фабрикува непостоечки извори. Во оваа единица, ќе научите како да ја направите вештачката интелигенција акцелератор во бизнисот со литература, како да работите без да паднете во замката на измислени извори (халуцинации).

Што прави вештачката интелигенција во литературата, што сочинува?

Литературни задачи каде што вештачката интелигенција е силна: објаснување концепт на едноставен јазик; да ги сумира главните дебати на едно поле; да се направи текст читлив; предложи клучни зборови и стратегија за пребарување; резимирајте статија (кога ќе го дадете текстот); споредувајќи различни гледишта. Во овие, вештачката интелигенција ги намалува часовите на читање на минути.

Работи кои вештачката интелигенција ги сочинува: цитати (извори кои изгледаат совршено, но не постојат, вклучувајќи автор, година, списание, број на DOI); статистика (реални бројки како што се големината на ефектот, големината на примерокот, p-вредноста); наоди (една студија тврди дека „го открила тоа“ додека всушност не е така). Тоа е затоа што вештачката интелигенција не е пребарувач, туку „веројатен погодувач на зборови“: таа го генерира најверојатниот формат на цитати, без да ја провери неговата точност.

Внимание: Секој цитат даден од вештачката интелигенција не е валиден без да го потврдите од примарниот извор (самиот напис). Дури и навидум совршената DOI може да биде лажна. Секогаш е подобро да се каже „не можев да го најдам“ отколку „дадов погрешен извор“.

Хиерархија на докази: не сите наоди се еднакви

Кога вештачката интелигенција резимира наод, таа не ви ја кажува нејзината доказна сила. Сепак, постои хиерархија на докази. Кога се мери барањето, од суштинско значење е да се знае на кој тип на докази се заснова.

Ниво на докази

Што сакаш да кажеш?

моќ

Мета-анализа / систематски преглед

Статистичка комбинација на повеќе студии

највисоко

Рандомизирано контролирано испитување (RCT)

Експеримент во кој учесниците се поделени во случајни групи

високо

Надолжна/пресечна студија

Набљудувачки, неекспериментален

средно

Серија на случаи / извештај за случај

Опис на еден или повеќе случаи

низок

Стручно мислење / теоретско пишување

Повеќе толкување отколку докази

најниска

Кога вештачката интелигенција ќе ви каже „истражувањето покажува…“, вашето прво прашање треба да биде: Кој тип на истражување? Наодот на мета-анализа нема иста тежина како наодот на еден извештај за случај.

Чекор по чекор: безбеден проток на литература напојуван со вештачка интелигенција

  1. Вештачката интелигенција нека го објасни концептот. За брзо да дојдете до поентата, побарајте од вештачката интелигенција едноставно резиме и клучни концепти. (Ова е почеток, а не извор.)
  2. Поставете стратегија за пребарување. Побарајте од вештачката интелигенција да предложи клучни зборови, синоними и низа за пребарување; користете го на вистински бази на податоци (академски пребарувачи, архиви на списанија).
  3. Најдете вистински извори сами. Добијте статии од рецензирани бази на податоци. Користете наслови предложени од вештачката интелигенција како индиции за пребарување, а не како цитати.
  4. Сумирајте текст во вештачка интелигенција. Дајте ѝ го текстот на вистинската статија што ја најдовте на вештачката интелигенција и побарајте резиме/споредба. Вештачката интелигенција повеќе не создава работи, бидејќи има вистински текст.
  5. Потврдете го секој број и наод. AI споредува големината на ефектот во апстракт со вистинската вредност во текстот.
  6. Означете го нивото на докази. До секој наод напишете го видот на доказите.
Совет: Користете вештачка интелигенција во литературата во два различни начини: „сугестија без извор“ (излагање на концепт, идеја за пребарување) и „резиме со извори“ (кога го давате текстот). Последново е безбедно бидејќи вештачката интелигенција работи од текстот што го давате, а не од сопствената меморија.

три мини футроли

Случај 1 - Епидемија на лажна атрибуција. Дипломиран студент бара цитат за вештачка интелигенција за поглавје од 15 извори за анксиозни нарушувања. AI го дава сето тоа во формат APA. Кога студентот проверува, гледа дека 6 од 15 извори всушност не постојат (40%) и 3 се доделени на погрешно списание. Значи половина од списокот е неупотреблив. Лекција: атрибуцијата доаѓа од вистинската база на податоци, а не од вештачката интелигенција.

Случај 2 - Правилна употреба. Клиничарот го дава PDF текстот од 4 реални мета-анализи на ВИ една по една и вели „наведете го бројот на примерокот, големината на главниот ефект и ограничувањето на секоја од нив“. Вештачката интелигенција намалува 4 статии од 30 страници во компаративна табела за 10 минути. Клиничарот го потврдува секој број по текст; Сите тие се покажаа како точни бидејќи вештачката интелигенција работеше од дадениот текст, а не од сопствената меморија.

Случај 3 - Ниво на доказна стапица. Експерт ја прашува вештачката интелигенција: „Дали терапијата X функционира? прашува тој. Вештачката интелигенција вели „да, студиите го поддржуваат тоа“ и брои четири „студии“. Кога вештакот го испитува, гледа дека три од нив се единствен извештај за случајот, а еден е блог пост; Нема ниту еден RCT. Иако тврдењето може да изгледа формално „докажано“, неговата доказна моќ е многу слаба.

Потсетници и шаблони што може да се копираат

Само што почнувам со оваа тема. БЕЗ ДА МИ СОЗДАВАТЕ ИЗВОРИ, само дајте ми концептуален вовед: основни концепти, големи дискусии од областа и листа на клучни зборови + синоними што можам да ги користам при пребарување. Наведи извор; Ако е потребна атрибуција, кажете „само најди го изворот“. Предмет: [предмет]

Подолу го ставам текстот на вистинска статија. Работете само од овој текст, не додавајте надворешни информации. Извлечете го следново: прашање за истражување, метод, примерок (n), главен наод и големина на ефектот, ограничувања, ниво на докази. Текст: [текст на статијата]

Подолу е текстот на 3 статии. Ставете ги во компаративна табела со следните колони: автор-година, примерок, метод, главен наод, ниво на докази, ограничување. Работете само од дадените текстови, не додавајте извори. Текстови: [текстови]

Наведете го секое нумеричко тврдење (n, p, големина на ефектот, процент) во овој текст на посебна линија за да можам да го потврдам со оригиналната статија. Не додавајте броеви што не можете сами да ги потврдите. Текст: [резиме]

Слаб промпт / Силен промпт

Слаба навестување: „Дајте 10 академски извори за ефективноста на когнитивната бихејвиорална терапија кај депресијата“.

Овој потсетник ја поканува вештачката интелигенција да направи атрибуција од меморијата; Значителен дел од излезот ќе биде лажен.

Моќен поттик: „Предложете клучни зборови, синоними и низи за пребарување за да ја пребарувате базата на податоци за когнитивна бихејвиорална терапија и депресија. Не давајте извори/цитати; ќе ги најдам написите од вистинската база на податоци, а потоа ќе ви ги дадам нивните текстови“.

Овој потсетник ја става вештачката интелигенција во безбедна улога (стратег за пребарување); Референците доаѓаат од вистинскиот извор.

Вообичаени грешки

  • Директно користејќи ја атрибуцијата дадена од вештачката интелигенција. Често се фабрикувани навидум совршени извори; Никогаш не се користи без потврда.
  • Слепо верувајќи на DOI/врската. Вештачката интелигенција исто така може да произведе реална, но непостоечка DOI; Нема да се смета за валидно додека не го отворите и проверите.
  • Игнорирање на нивото на докази. Не прашувајќи дали има блог или мета-анализа зад реченицата „кажуваат студиите“.
  • Замена на резимето на вештачката интелигенција за статијата. Тоа е збирна карта; Да се ​​заснова критичката одлука само на резимето значи да се донесе суд без да се чита текстот.
  • Користење во единечен режим. Секогаш користите вештачка интелигенција во режимот „ресурс од меморија“; додека безбедниот е режимот „резиме од дадениот текст“.

Сумирано

Во бизнисот со литература, вештачката интелигенција е моќен забрзувач за појаснување на концептот, стратегија за пребарување и сумирање (кога го давате текстот). Но, тој фабрикува референци, статистики и наоди од сопствената меморија (халуцинација). Потврдете го секој цитат и број од примарниот извор; Размислете за изворот што не можете да го најдете неважечки. Обележете го нивото на докази (од мета-анализа до извештај за случај) за секој наод. Користете вештачка интелигенција во два различни режими: „сугестивен без извори“ и „резиме со извор“, со предност за второто.

Задача за апликација

Изберете тема. Прво прашајте ја вештачката интелигенција за 5 цитати на таа тема (режим на извор). Потоа пребарувајте ги овие 5 цитати еден по еден во вистински академски пребарувач и забележете колку всушност постојат. Потоа пронајдете 2 вистински написи на иста тема, внесете ги нивните текстови со вештачката интелигенција и нека ви направи компаративна табела. Споредете две искуства: кое даде сигурен резултат?

листа за проверка

  • [ ] Не користев ниту една од референците дадени од АИ без да ги потврдам.
  • [ ] Написите ги добив од вистинска, рецензирана база на податоци.
  • [ ] За резимето, на вештачката интелигенција и го дадов вистинскиот текст на статијата (не од меморијата).
  • [ ] Го споредив секое нумеричко тврдење со оригиналниот текст.
  • [ ] Го означив нивото на докази за секој наод.
  • [ ] Го поништив изворот што не можев да го најдам.