Enhed 3 / 12

Litteraturgennemgang og adgang til evidensbaseret information

Gevinster:

  • Evne til at bruge kunstig intelligens i litteraturkortlægning, konceptscanning og læseprioritering for at håndtere risikoen for opdigtede kilder (hallucinationer)
  • Evne til at etablere et verifikationsflow, der bekræfter hvert citat, fund og effektstørrelsespåstand fra den primære kilde
  • Evne til at skelne bevisniveauet (metaanalyse, RCT, case) og veje AI-resuméet mod bevishierarkiet

Psykologi er en evidensbaseret profession: Forskningsbevis fortæller os, om en intervention virker, ikke "det virker bare som det for mig." Når en ekspert vil holde sig aktuel, skrive en afhandling eller vælge den rigtige tilgang til en case, henvender han sig til litteraturen. Men litteraturen er enorm; Titusindvis af artikler udgives hvert år. Kunstig intelligens (AI) er en enorm accelerator her: den definerer et koncept, kortlægger feltet, foreslår, hvilken artikel du skal læse først, forenkler en kompleks tekst. Men heri ligger den farligste egenskab ved AI i litteraturen: den fremstiller ikke-eksisterende kilder. I denne enhed lærer du, hvordan du gør AI til en accelerator i litteraturbranchen, hvordan du arbejder uden at falde i fælden med opdigtede kilder (hallucinationer).

Hvad gør AI i litteraturen, hvad består den af?

Litteraturopgaver, hvor AI er stærk: at forklare et koncept i almindeligt sprog; opsummere større debatter inden for et felt; at gøre en tekst læsbar; foreslå søgeord og søgestrategi; opsummere en artikel (når du leverer teksten); sammenligne forskellige synspunkter. I disse reducerer AI timers læsning til minutter.

Ting AI udgør: citater (kilder, der ser perfekte ud, men som ikke eksisterer, inklusive forfatter, årstal, tidsskrift, DOI-nummer); statistik (rigtigt udseende tal som effektstørrelse, stikprøvestørrelse, p-værdi); resultater (en undersøgelse hævder at have "fundet det", mens det faktisk ikke har). Dette skyldes, at AI ikke er en søgemaskine, men en "sandsynlig ordgætter": den genererer det mest sandsynlige citationsformat uden at kontrollere dets nøjagtighed.

Bemærk: Ethvert citat givet af AI er ikke gyldigt, uden at du har bekræftet det fra den primære kilde (selve artiklen). Selv en tilsyneladende perfekt DOI kan være falsk. Det er altid bedre at sige "Jeg kunne ikke finde det" end "Jeg har angivet den forkerte kilde."

Bevishierarki: ikke alle resultater er lige

Når AI opsummerer en konstatering, fortæller den dig ikke dens bevisstyrke. Der er dog et hierarki af beviser. Når en påstand afvejes, er det vigtigt at vide, hvilken type bevis den er baseret på.

Bevisniveau

Hvad mener du?

magt

Meta-analyse / systematisk gennemgang

Statistisk kombination af flere undersøgelser

højest

Randomiseret kontrolleret forsøg (RCT)

Eksperiment, hvor deltagerne inddeles i tilfældige grupper

høj

Longitudinelle/tværsnitsundersøgelse

Observationel, ikke-eksperimentel

medium

Sagsserie / sagsfremstilling

Beskrivelse af en enkelt eller flere sager

lav

Ekspertudtalelse / teoretisk skrivning

Mere fortolkning end bevis

laveste

Når AI fortæller dig "forskning viser ..." bør dit første spørgsmål være: Hvilken type forskning? Fundet af en metaanalyse har ikke samme vægt som resultatet af en enkelt case-rapport.

Trin for trin: AI-drevet sikker litteraturflow

  1. Få AI til at forklare konceptet. For hurtigt at komme til sagen, spørg AI om en enkel oversigt og nøglebegreber. (Dette er en starter, ikke en kilde.)
  2. Opsæt søgestrategi. Bed AI om at foreslå søgeord, synonymer og søgestreng; bruge det på rigtige databaser (akademiske søgemaskiner, tidsskriftsarkiver).
  3. Find selv rigtige kilder. Få artikler fra peer-reviewed databaser. Brug AI-foreslåede titler som søgespor, ikke som citater.
  4. Opsummer tekst til AI. Giv teksten til den faktiske artikel, du fandt, til AI og bed om en sammenfatning/sammenligning. AI består ikke længere af ting, fordi den har ægte tekst.
  5. Bekræft hvert tal og hvert fund. AI sammenligner en effektstørrelse i det abstrakte med den faktiske værdi i teksten.
  6. Label the level of evidence. Write the type of evidence next to each finding.
Tip: Brug AI i litteraturen på to forskellige måder: "kildeløs suggestiv" (begrebsudlægning, søgeidé) og "sourced summarizer" (når du giver teksten). The latter is safe because the AI ​​works from the text you provide, not from its own memory.

tre minisager

Case 1 — The fake attribution epidemic. A graduate student requests AI citation for a 15-source chapter on anxiety disorders. AI gives it all in APA format. When the student checks, he sees that 6 out of 15 sources do not actually exist (40%) and 3 are assigned to the wrong journal. So half the list is unusable. Lesson: attribution comes from the real database, not the AI.

Tilfælde 2 — Korrekt brug. En kliniker giver PDF-teksten af ​​4 rigtige metaanalyser til AI én efter én og siger "tabel prøvenummer, hovedeffektstørrelse og begrænsning af hver enkelt." AI reduces 4 30-page articles into a comparative table in 10 minutes. The clinician confirms each number by text; All of them turn out to be correct because the AI ​​worked from the given text, not from its own memory.

Case 3 — Level of evidence trap. En ekspert spørger AI: "Virker terapi X?" spørger han. AI siger "ja, undersøgelser understøtter det" og tæller fire "undersøgelser." Da eksperten undersøger det, ser han, at tre af dem er en enkelt case-rapport og en er et blogindlæg; There is not even a single RCT. Selvom påstanden kan synes formelt "bevist", er dens beviskraft meget svag.

Kopiérbare prompter og skabeloner

I'm just getting started on this topic. UDEN AT OPRETTE MIG KILDER, så giv mig bare en konceptuel introduktion: grundlæggende begreber, store diskussioner af feltet og en liste over søgeord + synonymer, jeg kan bruge, når jeg søger. Tilskrivning; Hvis tilskrivning er påkrævet, skal du sige "find selv kilden". Emne: [emne]

I'm pasting the text of an actual article below. Arbejd kun ud fra denne tekst, tilføj ikke ekstern information. Uddrag følgende: forskningsspørgsmål, metode, stikprøve (n), hovedfund og effektstørrelse, begrænsninger, evidensniveau. Tekst: [artikeltekst]

Below is the text of 3 articles. Sæt dem i en sammenlignende tabel med følgende kolonner: forfatter-år, stikprøve, metode, hovedfund, evidensniveau, begrænsning. Arbejd kun ud fra de givne tekster, tilføj ikke kilder. Tekster: [tekster]

Angiv hver numerisk påstand (n, p, effektstørrelse, procent) i denne tekst på en separat linje, så jeg kan bekræfte den med den originale artikel. Tilføj ikke tal, som du ikke selv kan verificere.Tekst: [resumé]

Svag prompt / Stærk prompt

Svag prompt: "Giv 10 akademiske kilder om effektiviteten af kognitiv adfærdsterapi ved depression."

Denne prompt inviterer AI til at lave tilskrivning fra hukommelsen; En betydelig del af outputtet vil være falsk.

Kraftfuld prompt: "Foreslå søgeord, synonymer og søgestrenge for at søge i databasen om kognitiv adfærdsterapi og depression. Angiv ikke kilder/citater; jeg finder artiklerne fra selve databasen og giver dig derefter deres tekster."

Denne prompt sætter AI i den sikre rolle (søgestrateg); The references come from the real source.

Almindelige fejl

  • Direkte ved hjælp af tilskrivningen givet af AI. Tilsyneladende perfekte kilder fremstilles ofte; Den bliver aldrig brugt uden bekræftelse.
  • Blind tillid til DOI/linket. AI kan også producere realistisk, men ikke-eksisterende DOI; Det vil ikke blive betragtet som gyldigt, før du åbner og tjekker det.
  • Ignorerer bevisniveauet. Ikke at spørge, om der ligger en blog eller en metaanalyse bag sætningen "undersøgelser siger".
  • Erstatning af artiklens AI-resumé. Det er et sammenfattende kort; At basere en kritisk beslutning udelukkende på resuméet betyder at foretage en bedømmelse uden at læse teksten.
  • Bruges i enkelt tilstand. Always using AI in "resource from memory" mode; hvorimod den sikre er tilstanden "opsummer fra den givne tekst".

Sammenfattende

I litteraturbranchen er AI en kraftfuld accelerator til begrebsafklaring, søgestrategi og opsummering (når du leverer teksten). Men han opdigter referencer, statistikker og fund ud fra sin egen hukommelse (hallucination). Bekræft hvert citat og nummer fra den primære kilde; Consider the source you cannot find invalid. Mærk evidensniveauet (fra meta-analyse til case-rapport) for hvert fund. Brug kunstig intelligens i to forskellige tilstande: "ikke-sourcet suggestiv" og "sourced summarizer", med en præference for sidstnævnte.

Ansøgningsopgave

Vælg et emne. Bed først AI om 5 citater om det emne (kildetilstand). Så søg i disse 5 citater én efter én i en rigtig akademisk søgemaskine og bemærk, hvor mange der faktisk findes. Find derefter 2 rigtige artikler om det samme emne, foder deres tekster til AI, og få det til at fremstille en sammenlignende tabel. Sammenlign to erfaringer: hvilken gav et pålideligt output?

tjekliste

  • [ ] Jeg brugte ikke nogen af referencerne givet af AI uden at bekræfte dem.
  • [ ] Jeg fik artiklerne fra en rigtig, peer-reviewed database.
  • [ ] Til resuméet gav jeg AI’en selve artikelteksten (ikke fra hukommelsen).
  • [ ] Jeg sammenlignede hver numerisk påstand med den originale tekst.
  • [ ] Jeg mærkede bevisniveauet for hvert fund.
  • [ ] Jeg ugyldiggjorde kilden, som jeg ikke kunne finde.