Јединица 3 / 12

Преглед литературе и приступ информацијама заснованим на доказима

Добици:

  • Способност коришћења вештачке интелигенције у мапирању литературе, скенирању концепта и одређивању приоритета читања за управљање ризиком од измишљених извора (халуцинације)
  • Способност успостављања тока верификације који потврђује сваки цитат, налаз и тврдњу о величини ефекта из примарног извора
  • Способност разликовања нивоа доказа (мета-анализа, РЦТ, случај) и одмеравања АИ резимеа у односу на хијерархију доказа

Психологија је професија заснована на доказима: докази истраживања нам говоре да ли интервенција функционише, а не „мени се само чини“. Када стручњак жели да остане у току, да напише тезу или да изабере прави приступ за случај, он се окреће књижевности. Али литература је огромна; Десетине хиљада чланака се објављују сваке године. Вештачка интелигенција (АИ) је овде огроман акцелератор: дефинише концепт, мапира поље, предлаже који чланак треба да прочитате први, поједностављује сложени текст. Али ту лежи најопаснија карактеристика АИ у литератури: она измишља непостојеће изворе. У овој јединици научићете како да од вештачке интелигенције учините акцелератор у књижевном послу, како да радите а да не упаднете у замку измишљених извора (халуцинације).

Шта АИ ради у литератури, шта чини?

Задаци из књижевности где је вештачка интелигенција јака: објашњавање концепта једноставним језиком; сумирати главне дебате у некој области; учинити текст читљивим; предложити кључне речи и стратегију претраживања; резимирајте чланак (када дате текст); упоређујући различите погледе. У њима, АИ смањује сате читања на минуте.

Ствари које АИ чини: цитати (извори који изгледају савршено, али не постоје, укључујући аутора, годину, часопис, ДОИ број); статистика (бројеви који изгледају стварно као што су величина ефекта, величина узорка, п-вредност); налази (студија тврди да је то „пронашла” иако у ствари није). То је зато што АИ није претраживач, већ „вероватни погађач речи“: генерише формат цитата који изгледа највероватније, без провере његове тачности.

Пажња: Било који цитат који је дала АИ није валидан ако га не потврдите из примарног извора (сам чланак). Чак и наизглед савршен ДОИ може бити лажан. Увек је боље рећи „Нисам могао да пронађем“ него „Ставио сам погрешан извор“.

Хијерархија доказа: нису сви налази једнаки

Када АИ сумира налаз, он вам не говори о његовој доказној снази. Међутим, постоји хијерархија доказа. Приликом одмеравања тврдње, неопходно је знати на којој врсти доказа се заснива.

Ниво доказа

Како то мислиш?

моћ

Мета-анализа / систематски преглед

Статистичка комбинација више студија

највиши

Насумично контролисано испитивање (РЦТ)

Експеримент у коме су учесници подељени у насумичне групе

висока

Студија лонгитудиналног/попречног пресека

Посматрачки, неекспериментални

средње

Серија случајева / извештај случаја

Опис једног или више случајева

ниско

Стручно мишљење / теоријско писање

Више тумачења него доказа

најниже

Када вам вештачка интелигенција каже „истраживања показују…“, ваше прво питање би требало да буде: Која врста истраживања? Налаз мета-анализе нема исту тежину као налаз из извештаја о једном случају.

Корак по корак: сигуран ток литературе са АИ-ом

  1. Нека АИ објасни концепт. Да бисте брзо дошли до ствари, затражите од АИ једноставан резиме и кључне концепте. (Ово је почетак, а не извор.)
  2. Подесите стратегију претраге. Замолите АИ да предложи кључне речи, синониме и стринг за претрагу; користите га на стварним базама података (академски претраживачи, архиве часописа).
  3. Сами пронађите праве изворе. Набавите чланке из рецензираних база података. Користите наслове које је предложила вештачка интелигенција као трагове за претрагу, а не као цитате.
  4. Сумирајте текст у АИ. Дајте текст стварног чланка који сте пронашли АИ и затражите резиме/поређење. АИ више не измишља ствари, јер има прави текст.
  5. Потврдите сваки број и налаз. АИ упоређује величину ефекта у сажетку са стварном вредношћу у тексту.
  6. Означите ниво доказа. Напишите врсту доказа поред сваког налаза.
Савет: Користите вештачку интелигенцију у литератури на два различита начина: „сугестивно без извора“ (излагање концепта, идеја за претрагу) и „сажетак извора“ (када дате текст). Ово последње је безбедно јер вештачка интелигенција ради из текста који доставите, а не из сопствене меморије.

три мини кофера

Случај 1 — Епидемија лажног приписивања. Дипломирани студент тражи цитирање АИ за поглавље од 15 извора о анксиозним поремећајима. АИ даје све у АПА формату. Када студент провери, види да 6 од 15 извора заправо не постоји (40%), а 3 су додељена погрешном часопису. Дакле, половина листе је неупотребљива. Поука: атрибуција долази из праве базе података, а не из вештачке интелигенције.

Случај 2 — Правилна употреба. Клиничар даје ПДФ текст 4 стварне мета-анализе АИ једну по једну и каже „табела број узорка, величина главног ефекта и ограничења сваке од њих“. АИ смањује 4 чланка од 30 страница у упоредну табелу за 10 минута. Клиничар потврђује сваки број текстом; Испоставило се да су сви тачни јер је АИ радила из датог текста, а не из сопствене меморије.

Случај 3 — Замка нивоа доказа. Стручњак пита АИ: „Да ли терапија Кс функционише?“ пита он. АИ каже „да, студије то подржавају“ и броји четири „студије“. Када вештак то прегледа, види да су три од њих један извештај о случају, а један је блог пост; Не постоји чак ни један РЦТ. Иако тврдња може изгледати формално „доказана“, њена доказна снага је веома слаба.

Упутства и шаблони који се могу копирати

Тек сам почео са овом темом. БЕЗ КРАЈАЊА ИЗВОРА ЗА МЕНЕ, само ми дајте концептуални увод: основне концепте, главне расправе о овој области и листу кључних речи + синонима које могу да користим приликом претраживања. Приписивање; Ако је приписивање потребно, реците „пронађите сами извор“. Предмет: [предмет]

Налепим текст стварног чланка испод. Радите само из овог текста, немојте додавати спољне информације. Издвојите следеће: истраживачко питање, метод, узорак (н), главни налаз и величину ефекта, ограничења, ниво доказа. Текст: [текст чланка]

Испод је текст 3 чланка. Ставите их у упоредну табелу са следећим колонама: година аутора, узорак, метод, главни налаз, ниво доказа, ограничење. Радите само из задатих текстова, не додајте изворе. Текстови: [текстови]

Наведите сваку нумеричку тврдњу (н, п, величину ефекта, проценат) у овом тексту на посебном реду како бих то могао да потврдим оригиналним чланком. Немојте додавати бројеве које не можете сами да верификујете. Текст: [сажетак]

Слаби промпт / Јаки промпт

Слабо обавештење: „Наведите 10 академских извора о ефикасности когнитивне бихејвиоралне терапије код депресије.“

Овај упит позива АИ да измисли атрибуцију из меморије; Значајан део излаза ће бити лажан.

Снажан упит: „Предложите кључне речи, синониме и низове за претрагу да претражите базу података о когнитивно-бихејвиористичкој терапији и депресији. Немојте давати изворе/цитате; ја ћу пронаћи чланке из стварне базе података, а затим вам дати њихове текстове.“

Овај упит ставља АИ у сигурну улогу (стратег за претрагу); Референце потичу из правог извора.

Уобичајене грешке

  • Директно користећи атрибуцију коју даје АИ. Наизглед савршени извори се често измишљају; Никада се не користи без потврде.
  • Слепо веровати ДОИ/линку. АИ такође може произвести реалистичан, али непостојећи ДОИ; Неће се сматрати важећим док га не отворите и проверите.
  • Игнорисање нивоа доказа. Не питајући да ли иза реченице „студија кажу” стоји блог или мета-анализа.
  • Замена чланка АИ резимеом. То је сажета карта; Засновати критичку одлуку само на резимеу значи донети суд без читања текста.
  • Коришћење у једном режиму. Увек користите АИ у режиму „ресурс из меморије“; док је безбедан режим „сажимање из датог текста“.

Укратко

У области књижевности, АИ је моћан акцелератор за појашњење концепта, стратегију претраживања и сумирање (када дате текст). Али он измишља референце, статистике и налазе из сопственог сећања (халуцинације). Проверите сваки цитат и број из примарног извора; Узмите у обзир извор који не можете да пронађете неважећим. Означите ниво доказа (од мета-анализе до извештаја о случају) за сваки налаз. Користите вештачку интелигенцију у два различита режима: „сугестивно без извора“ и „сажетак са извором“, са преференцијама за последње.

Задатак апликације

Изаберите тему. Прво затражите од АИ 5 цитата на ту тему (режим извора). Затим претражите ових 5 цитата један по један у правом академском претраживачу и забележите колико их заиста постоји. Затим пронађите 2 стварна чланка на исту тему, доставите њихове текстове АИ-у и нека направи упоредну табелу. Упоредите два искуства: које је дало поуздан резултат?

контролна листа

  • [ ] Нисам користио ниједну од референци које је дала АИ а да их нисам потврдио.
  • [ ] Чланке сам добио из праве, рецензиране базе података.
  • [ ] За резиме, дао сам АИ стварни текст чланка (не по сећању).
  • [ ] Упоредио сам сваку нумеричку тврдњу са оригиналним текстом.
  • [ ] Означио сам ниво доказа за сваки налаз.
  • [ ] Поништио сам извор који нисам могао да пронађем.