zisky:
- Schopnosť používať umelú inteligenciu pri mapovaní literatúry, skenovaní konceptov a určovaní priorít čítania na riadenie rizika vymyslených zdrojov (halucinácie)
- Schopnosť vytvoriť overovací tok, ktorý potvrdí každú citáciu, nález a veľkosť účinku z primárneho zdroja
- Schopnosť rozlíšiť úroveň dôkazov (metaanalýza, RCT, prípad) a porovnať súhrn AI s hierarchiou dôkazov
Psychológia je profesia založená na dôkazoch: výskumné dôkazy nám hovoria, či zásah funguje, nie „len sa mi to zdá“. Keď chce odborník zostať aktuálny, napísať diplomovú prácu alebo zvoliť správny prístup k prípadu, obracia sa na literatúru. Ale literatúra je obrovská; Každý rok vychádzajú desiatky tisíc článkov. Umelá inteligencia (AI) je tu obrovským akcelerátorom: definuje pojem, mapuje pole, navrhuje, ktorý článok by ste si mali prečítať ako prvý, zjednodušuje zložitý text. Tu však leží najnebezpečnejšia črta AI v literatúre: vyrába neexistujúce zdroje. V tejto lekcii sa naučíte, ako urobiť z AI akcelerátor v literatúre, ako pracovať bez toho, aby ste sa dostali do pasce vymyslených zdrojov (halucinácií).
Čo robí AI v literatúre, čo tvorí?
Literárne úlohy, kde je AI silná: vysvetlenie konceptu v jednoduchom jazyku; zhrnúť hlavné diskusie v danej oblasti; aby bol text čitateľný; navrhnúť kľúčové slová a stratégiu vyhľadávania; zhrnúť článok (keď zadáte text); porovnávanie rôznych pohľadov. V týchto prípadoch AI skráti hodiny čítania na minúty.
Veci, ktoré AI tvorí: citácie (zdroje, ktoré vyzerajú perfektne, ale neexistujú, vrátane autora, roku, časopisu, čísla DOI); štatistiky (skutočne vyzerajúce čísla ako veľkosť účinku, veľkosť vzorky, p-hodnota); zistenia (štúdia tvrdí, že „to našla“, hoci v skutočnosti nenašla). Je to preto, že AI nie je vyhľadávač, ale „pravdepodobný hádač slov“: generuje najpravdepodobnejšie vyzerajúci formát citácie bez toho, aby kontrolovala jeho presnosť.
Upozornenie: Akákoľvek citácia poskytnutá AI nie je platná bez toho, aby ste ju overili z primárneho zdroja (samotného článku). Aj zdanlivo dokonalé DOI môže byť falošné. Vždy je lepšie povedať „nenašiel som to“ ako „uviedol som nesprávny zdroj“.
Hierarchia dôkazov: nie všetky zistenia sú rovnaké
Keď AI sumarizuje nález, nepovie vám jeho dôkaznú silu. Existuje však hierarchia dôkazov. Pri posudzovaní nároku je nevyhnutné vedieť, na akom type dôkazu sa zakladá.
Úroveň dôkazov
čo tým myslíš?
moc
Metaanalýza / systematický prehľad
Štatistická kombinácia viacerých štúdií
najvyššie
Randomizovaná kontrolovaná štúdia (RCT)
Experiment, v ktorom sú účastníci rozdelení do náhodných skupín
vysoká
Pozdĺžna/prierezová štúdia
Pozorovacie, neexperimentálne
stredná
Séria prípadov / kazuistika
Popis jedného alebo viacerých prípadov
nízka
Odborný posudok / teoretické písanie
Viac výkladov ako dôkazov
najnižšie
Keď vám AI povie „výskum ukazuje...“, vaša prvá otázka by mala znieť: Aký typ výskumu? Nález metaanalýzy nemá rovnakú váhu ako nález jednej kazuistiky.
Krok za krokom: zabezpečený tok literatúry poháňaný AI
- Nechajte AI vysvetliť koncept. Aby ste sa rýchlo dostali k veci, požiadajte AI o jednoduché zhrnutie a kľúčové koncepty. (Toto je štartér, nie zdroj.)
- Nastavte stratégiu vyhľadávania. Požiadajte AI, aby navrhla kľúčové slová, synonymá a hľadaný reťazec; použiť ho na skutočných databázach (akademické vyhľadávače, archívy časopisov).
- Nájdite skutočné zdroje sami. Získajte články z recenzovaných databáz. Názvy navrhované AI používajte ako vodítko pri hľadaní, nie ako citácie.
- Zhrňte text do AI. Dajte text skutočného článku, ktorý ste našli, AI a požiadajte o zhrnutie/porovnanie. AI už nevytvára veci, pretože má skutočný text.
- Potvrďte každé číslo a nález. AI porovnáva veľkosť účinku v abstrakte so skutočnou hodnotou v texte.
- Označte úroveň dôkazov. Vedľa každého nálezu napíšte typ dôkazu.
Tip: Použite AI v literatúre v dvoch rôznych režimoch: „sugestívne bez zdroja“ (výklad konceptu, myšlienka vyhľadávania) a „zhrnutie zo zdrojov“ (keď zadáte text). Ten je bezpečný, pretože AI funguje z textu, ktorý poskytnete, nie zo svojej vlastnej pamäte.
tri mini prípady
Prípad 1 – Epidémia falošného pripisovania. Postgraduálny študent požaduje citáciu AI pre 15-zdrojovú kapitolu o úzkostných poruchách. AI to všetko dáva vo formáte APA. Študent pri kontrole vidí, že 6 z 15 zdrojov v skutočnosti neexistuje (40 %) a 3 sú priradené k nesprávnemu denníku. Polovica zoznamu je teda nepoužiteľná. Poučenie: Pripisovanie pochádza zo skutočnej databázy, nie z AI.
Prípad 2 – Správne použitie. Lekár poskytne AI text 4 skutočných metaanalýz vo formáte PDF jednu po druhej a povie „tabuľka počtu vzoriek, veľkosti hlavného účinku a obmedzenia každej z nich“. AI zredukuje 4 30-stranové články do porovnávacej tabuľky za 10 minút. Lekár potvrdí každé číslo textom; Všetky sa ukázali ako správne, pretože AI pracovala z daného textu, nie zo svojej vlastnej pamäte.
Prípad 3 – Úroveň dôkazov. Expert sa pýta AI: "Funguje terapia X?" pýta sa. AI hovorí „áno, štúdie to podporujú“ a počíta štyri „štúdie“. Keď to expert skúma, vidí, že tri z nich sú jedna kazuistika a jedna je blogový príspevok; Neexistuje ani jedna RCT. Hoci sa tvrdenie môže zdať formálne „dokázané“, jeho dôkazná sila je veľmi slabá.
Kopírovateľné výzvy a šablóny
S touto témou len začínam. BEZ VYTVÁRANIA ZDROJOV, poskytnite mi len koncepčný úvod: základné pojmy, hlavné diskusie v tejto oblasti a zoznam kľúčových slov + synoným, ktoré môžem použiť pri vyhľadávaní. pripisovanie; Ak sa vyžaduje uvedenie zdroja, povedzte „nájdite zdroj sami“. Predmet: [predmet]
Nižšie vkladám text skutočného článku. Pracujte iba z tohto textu, nepridávajte externé informácie. Extrahujte nasledovné: výskumná otázka, metóda, vzorka (n), hlavné zistenie a veľkosť účinku, obmedzenia, úroveň dôkazov. Text: [text článku]
Nižšie je uvedený text 3 článkov. Umiestnite ich do porovnávacej tabuľky s nasledujúcimi stĺpcami: autor-rok, vzorka, metóda, hlavné zistenie, úroveň dôkazov, obmedzenie. Pracujte len z uvedených textov, zdroje nepridávajte. Texty: [texty]
Uveďte každý číselný nárok (n, p, veľkosť účinku, percento) v tomto texte na samostatnom riadku, aby som ho mohol potvrdiť pôvodným článkom. Nepridávajte žiadne čísla, ktoré nemôžete sami overiť.Text: [zhrnutie]
Slabá výzva / Silná výzva
Slabá výzva: "Uveďte 10 akademických zdrojov o účinnosti kognitívno-behaviorálnej terapie pri depresii."
Táto výzva vyzve AI, aby vytvorila priradenie z pamäte; Významná časť výstupu bude falošná.
Výkonná výzva: „Navrhnite kľúčové slová, synonymá a vyhľadávacie reťazce na vyhľadávanie v databáze o kognitívno-behaviorálnej terapii a depresii. Neuvádzajte zdroje/citácie; nájdem články zo skutočnej databázy a potom vám dám ich texty.“
Táto výzva stavia AI do bezpečnej úlohy (stratég vyhľadávania); Referencie pochádzajú zo skutočného zdroja.
Časté chyby
- Priamo pomocou priradenia daného AI. Zdanlivo dokonalé pramene sú často vymyslené; Nikdy sa nepoužíva bez potvrdenia.
- Slepo dôverovať DOI/odkazu. AI môže tiež produkovať realistické, ale neexistujúce DOI; Nebude sa považovať za platné, kým ho neotvoríte a neskontrolujete.
- Ignorovanie úrovne dôkazov. Nepýtať sa, či sa za vetou „tvrdia štúdie“ skrýva blog alebo metaanalýza.
- Nahradenie článku súhrnom AI. Je to súhrnná mapa; Založiť kritické rozhodnutie len na súhrne znamená urobiť úsudok bez čítania textu.
- Použitie v jednom režime. Vždy používať AI v režime „zdroj z pamäte“; pričom bezpečný je režim „zhrnúť z daného textu“.
V súhrne
V literatúre je AI výkonným urýchľovačom na objasnenie konceptov, stratégiu vyhľadávania a sumarizáciu (keď poskytnete text). Ale odkazy, štatistiky a zistenia si vymýšľa z vlastnej pamäte (halucinácie). Overte každú citáciu a číslo z primárneho zdroja; Zvážte zdroj, ktorý nemôžete nájsť ako neplatný. Označte úroveň dôkazov (od metaanalýzy po kazuistiku) pre každý nález. Použite AI v dvoch odlišných režimoch: „nezdrojovaný sugestívny“ a „zdrojový sumár“, pričom uprednostňujete druhý.
Aplikačná úloha
Vyberte tému. Najprv požiadajte AI o 5 citácií na túto tému (režim zdrojov). Potom vyhľadajte týchto 5 citácií jednu po druhej v skutočnom akademickom vyhľadávači a všimnite si, koľko ich skutočne existuje. Potom nájdite 2 skutočné články na rovnakú tému, pošlite ich texty AI a nechajte ju vytvoriť porovnávaciu tabuľku. Porovnajte dve skúsenosti: ktorá poskytla spoľahlivý výstup?
kontrolný zoznam
- [ ] Nepoužil som žiadnu z referencií poskytnutých AI bez toho, aby som ich potvrdil.
- [ ] Články som získal zo skutočnej, recenzovanej databázy.
- [ ] Pre zhrnutie som dal AI aktuálny text článku (nie z pamäte).
- [ ] Každý číselný nárok som porovnal s pôvodným textom.
- [ ] Označil som úroveň dôkazov pre každý nález.
- [ ] Zneplatnil som zdroj, ktorý som nemohol nájsť.