Mga nadagdag:
- Kakayahang gumamit ng artipisyal na katalinuhan sa pagmamapa ng panitikan, pag-scan ng konsepto at pag-prioritize sa pagbasa upang pamahalaan ang panganib ng mga gawa-gawang mapagkukunan (mga guni-guni)
- Kakayahang magtatag ng isang daloy ng pag-verify na nagkukumpirma sa bawat paghahabol, paghahanap, at laki ng epekto ng claim mula sa pangunahing pinagmulan
- Kakayahang makilala ang antas ng ebidensya (meta-analysis, RCT, case) at timbangin ang buod ng AI laban sa hierarchy ng ebidensya
Ang sikolohiya ay isang propesyon na nakabatay sa ebidensya: ang ebidensya ng pananaliksik ay nagsasabi sa atin kung gumagana ang isang interbensyon, hindi "parang sa akin lang." Kapag ang isang dalubhasa ay gustong manatiling napapanahon, magsulat ng isang thesis, o pumili ng tamang diskarte para sa isang kaso, siya ay bumaling sa panitikan. Ngunit ang panitikan ay napakalaki; Sampu-sampung libong mga artikulo ang nai-publish bawat taon. Ang artificial intelligence (AI) ay isang napakalaking accelerator dito: ito ay tumutukoy sa isang konsepto, nagmamapa ng field, nagmumungkahi kung aling artikulo ang dapat mong basahin muna, pinapasimple ang isang kumplikadong teksto. Ngunit dito nakasalalay ang pinaka-mapanganib na tampok ng AI sa panitikan: ito ay gumagawa ng mga hindi umiiral na mapagkukunan. Sa unit na ito, matututunan mo kung paano gawing accelerator ang AI sa negosyo ng panitikan, kung paano magtrabaho nang hindi nahuhulog sa bitag ng mga gawa-gawang pinagmumulan (hallucinations).
Ano ang ginagawa ng AI sa panitikan, ano ang binubuo nito?
Mga gawain sa panitikan kung saan malakas ang AI: pagpapaliwanag ng isang konsepto sa simpleng wika; ibuod ang mga pangunahing debate sa isang larangan; upang gawing nababasa ang isang teksto; magmungkahi ng mga keyword at diskarte sa paghahanap; ibuod ang isang artikulo (kapag ibinigay mo ang teksto); paghahambing ng iba't ibang pananaw. Sa mga ito, binabawasan ng AI ang mga oras ng pagbabasa sa mga minuto.
Mga bagay na binubuo ng AI: mga pagsipi (mga mapagkukunan na mukhang perpekto ngunit hindi umiiral, kabilang ang may-akda, taon, journal, numero ng DOI); mga istatistika (tunay na mga numero tulad ng laki ng epekto, laki ng sample, p-value); mga natuklasan (ang isang pag-aaral ay nag-aangkin na "nahanap iyon" ngunit sa katunayan ay hindi pa). Ito ay dahil ang AI ay hindi isang search engine, ngunit isang "malamang na manghuhula ng salita": bumubuo ito ng pinaka-malamang na mukhang format ng pagsipi, nang hindi sinusuri ang katumpakan nito.
Pansin: Ang anumang pagsipi na ibinigay ng AI ay hindi wasto nang hindi mo ito nabe-verify mula sa pangunahing pinagmulan (ang artikulo mismo). Kahit na ang isang tila perpektong DOI ay maaaring maging peke. Laging mas mahusay na sabihin ang "Hindi ko mahanap" kaysa sa "Inilagay ko ang maling pinagmulan."
Hierarchy ng ebidensya: hindi lahat ng natuklasan ay pantay
Kapag ang AI ay nagbubuod ng isang paghahanap, hindi nito sinasabi sa iyo ang evidentiary strength nito. Gayunpaman, mayroong isang hierarchy ng ebidensya. Kapag tinitimbang ang isang paghahabol, mahalagang malaman kung anong uri ng ebidensya ito batay sa.
Antas ng ebidensya
Anong ibig mong sabihin?
kapangyarihan
Meta-analysis / sistematikong pagsusuri
Statistical na kumbinasyon ng maraming pag-aaral
pinakamataas
Randomized na kinokontrol na pagsubok (RCT)
Eksperimento kung saan ang mga kalahok ay nahahati sa mga random na grupo
mataas
Longitudinal/cross-sectional na pag-aaral
Obserbasyonal, hindi pang-eksperimento
daluyan
Serye ng kaso / ulat ng kaso
Paglalarawan ng isa o ilang mga kaso
mababa
Opinyon ng eksperto / teoretikal na pagsulat
Mas maraming interpretasyon kaysa ebidensya
pinakamababa
Kapag sinabi sa iyo ng AI na "mga palabas sa pananaliksik..." ang iyong unang tanong ay dapat: Anong uri ng pananaliksik? Ang paghahanap ng isang meta-analysis ay hindi nagdadala ng parehong bigat ng paghahanap ng isang ulat ng kaso.
Hakbang-hakbang: secure na daloy ng literatura na pinapagana ng AI
- Ipapaliwanag sa AI ang konsepto. Upang mabilis na makarating sa punto, humingi sa AI ng isang simpleng buod at mahahalagang konsepto. (Ito ay isang starter, hindi isang source.)
- I-set up ang diskarte sa paghahanap. Hilingin sa AI na magmungkahi ng mga keyword, kasingkahulugan, at string ng paghahanap; gamitin ito sa mga totoong database (mga pang-akademikong search engine, mga archive ng journal).
- Maghanap ng mga tunay na mapagkukunan sa iyong sarili. Kumuha ng mga artikulo mula sa mga database ng peer-reviewed. Gumamit ng mga pamagat na iminungkahi ng AI bilang mga pahiwatig sa paghahanap, hindi bilang mga pagsipi.
- Ibuod ang teksto sa AI. Ibigay ang teksto ng aktwal na artikulo na iyong natagpuan sa AI at humingi ng buod/paghahambing. Ang AI ay hindi na gumagawa ng mga bagay-bagay, dahil mayroon itong totoong teksto.
- Kumpirmahin ang bawat numero at paghahanap. Ang AI ay naghahambing ng laki ng epekto sa abstract sa aktwal na halaga sa teksto.
- Lagyan ng label ang antas ng ebidensya. Isulat ang uri ng ebidensya sa tabi ng bawat natuklasan.
Tip: Gumamit ng AI sa literatura sa dalawang magkaibang mode: "walang pinagmumulan na nagpapahiwatig" (concept exposition, search idea) at "sourced summarizer" (kapag ibinigay mo ang text). Ang huli ay ligtas dahil ang AI ay gumagana mula sa tekstong ibinigay mo, hindi mula sa sarili nitong memorya.
tatlong mini case
Kaso 1 — Ang pekeng epidemya ng pagpapatungkol. Humihiling ang isang nagtapos na estudyante ng AI citation para sa isang 15-source na kabanata sa mga anxiety disorder. Ibinibigay ng AI ang lahat sa format na APA. Kapag nagsuri ang mag-aaral, nakita niya na 6 sa 15 na mapagkukunan ay hindi talaga umiiral (40%) at 3 ay itinalaga sa maling journal. Kaya kalahati ng listahan ay hindi magagamit. Aralin: ang pagpapatungkol ay nagmula sa totoong database, hindi sa AI.
Kaso 2 — Tamang paggamit. Ibinibigay ng isang clinician ang PDF text ng 4 na totoong meta-analyses sa AI at nagsasabing "itala ang sample number, laki ng pangunahing epekto at limitasyon ng bawat isa." Binabawasan ng AI ang 4 na 30-pahinang artikulo sa isang comparative table sa loob ng 10 minuto. Kinukumpirma ng clinician ang bawat numero sa pamamagitan ng text; Ang lahat ng ito ay naging tama dahil ang AI ay nagtrabaho mula sa ibinigay na teksto, hindi mula sa sarili nitong memorya.
Kaso 3 — Antas ng bitag ng ebidensya. Tinanong ng isang eksperto ang AI, "Gumagana ba ang therapy X?" tanong niya. Sinasabi ng AI na "oo, sinusuportahan ito ng mga pag-aaral" at binibilang ang apat na "pag-aaral." Kapag sinusuri ito ng eksperto, nakita niya na ang tatlo sa kanila ay isang ulat ng kaso at ang isa ay isang post sa blog; Wala kahit isang RCT. Bagama't ang pag-aangkin ay maaaring mukhang pormal na "napatunayan", ang ebidensiyang kapangyarihan nito ay napakahina.
Nakokopya na mga prompt at template
Nagsisimula pa lang ako sa paksang ito. WITHOUT ME CREATE ME SOURCES, bigyan mo lang ako ng conceptual introduction: basic concepts, major discussions of the field, and a list of keywords + synonyms I can use when searching. Pagpapatungkol; Kung kinakailangan ang pagpapatungkol, sabihin ang "hanapin mo ang pinagmulan." Paksa: [paksa]
Idinidikit ko ang teksto ng isang aktwal na artikulo sa ibaba. Magtrabaho lamang mula sa tekstong ito, huwag magdagdag ng impormasyon sa labas. Kunin ang sumusunod: tanong sa pananaliksik, pamamaraan, sample (n), pangunahing paghahanap at laki ng epekto, mga limitasyon, antas ng ebidensya. Teksto: [text ng artikulo]
Nasa ibaba ang teksto ng 3 artikulo. Ilagay ang mga ito sa isang comparative table na may mga sumusunod na column: author-year, sample, method, main finding, level of evidence, limitation. Magtrabaho lamang mula sa ibinigay na mga teksto, huwag magdagdag ng mga mapagkukunan. Mga Teksto: [mga teksto]
Ilista ang bawat numerical na claim (n, p, laki ng epekto, porsyento) sa tekstong ito sa isang hiwalay na linya upang makumpirma ko ito sa orihinal na artikulo. Huwag magdagdag ng anumang numero na hindi mo mabe-verify sa iyong sarili. Teksto: [buod]
Mahinang prompt / Malakas na prompt
Mahinang prompt: "Magbigay ng 10 akademikong mapagkukunan tungkol sa pagiging epektibo ng cognitive behavioral therapy sa depression."
Iniimbitahan ng prompt na ito ang AI na gumawa ng attribution mula sa memorya; Ang isang makabuluhang bahagi ng output ay hindi totoo.
Napakahusay na prompt: "Magmungkahi ng mga keyword, kasingkahulugan, at mga string ng paghahanap upang maghanap sa database ng cognitive behavioral therapy at depression. Huwag magbigay ng mga source/citation; Hahanapin ko ang mga artikulo mula sa aktwal na database, pagkatapos ay ibibigay sa iyo ang kanilang mga teksto."
Inilalagay ng prompt na ito ang AI sa ligtas na tungkulin (search strategist); Ang mga sanggunian ay nagmula sa tunay na pinagmulan.
Mga karaniwang pagkakamali
- Direktang ginagamit ang attribution na ibinigay ng AI. Ang tila perpektong mga mapagkukunan ay madalas na gawa-gawa; Hindi ito kailanman ginagamit nang walang kumpirmasyon.
- Blindly trusting the DOI/link. Ang AI ay maaari ding gumawa ng makatotohanan ngunit hindi umiiral na DOI; Hindi ito ituturing na wasto hangga't hindi mo ito bubuksan at suriin.
- Hindi pinapansin ang antas ng ebidensya. Hindi nagtatanong kung may blog o meta-analysis sa likod ng pangungusap na "sabi ng mga pag-aaral".
- Pinapalitan ang buod ng AI para sa artikulo. Ito ay isang buod na mapa; Ang pagbabatayan lamang ng kritikal na desisyon sa buod ay nangangahulugan ng paggawa ng paghatol nang hindi binabasa ang teksto.
- Gamit sa single mode. Palaging gumagamit ng AI sa "resource from memory" mode; samantalang ang ligtas ay ang "summarize from the given text" mode.
Sa buod
Sa negosyo ng panitikan, ang AI ay isang malakas na accelerator para sa paglilinaw ng konsepto, diskarte sa paghahanap, at pagbubuod (kapag ibinigay mo ang teksto). Ngunit siya ay gumagawa ng mga sanggunian, istatistika at natuklasan mula sa kanyang sariling memorya (hallucination). I-verify ang bawat pagsipi at numero mula sa pangunahing pinagmulan; Isaalang-alang ang pinagmulan na hindi mo mahahanap na hindi wasto. Lagyan ng label ang antas ng ebidensya (mula sa meta-analysis hanggang sa ulat ng kaso) para sa bawat paghahanap. Gumamit ng AI sa dalawang natatanging mode: "unsourced suggestive" at "sourced summarizer," na may kagustuhan para sa huli.
Gawain ng aplikasyon
Pumili ng paksa. Humingi muna sa AI ng 5 pagsipi sa paksang iyon (sourced mode). Pagkatapos ay hanapin ang 5 pagsipi na ito nang paisa-isa sa isang tunay na akademikong search engine at tandaan kung ilan ang aktwal na umiiral. Pagkatapos ay maghanap ng 2 totoong artikulo sa parehong paksa, i-feed ang kanilang mga text sa AI, at hayaan itong gumawa ng comparative table. Paghambingin ang dalawang karanasan: alin ang nagbigay ng maaasahang output?
checklist
- [ ] Hindi ko ginamit ang alinman sa mga sanggunian na ibinigay ng AI nang hindi kinukumpirma ang mga ito.
- [ ] Nakuha ko ang mga artikulo mula sa isang tunay, peer-reviewed database.
- [ ] Para sa buod, ibinigay ko sa AI ang aktwal na teksto ng artikulo (hindi mula sa memorya).
- [ ] Inihambing ko ang bawat numerical claim sa orihinal na teksto.
- [ ] Nilagyan ko ng label ang antas ng ebidensya para sa bawat paghahanap.
- [ ] Invalidate ko ang source na hindi ko mahanap.