Litteraturgjennomgang og tilgang til bevisbasert informasjon

Gevinster:

• Evne til å bruke kunstig intelligens i litteraturkartlegging, konseptskanning og leseprioritering for å håndtere risikoen for fabrikkerte kilder (hallusinasjoner)
• Evne til å etablere en verifikasjonsflyt som bekrefter hver sitering, funn og effektstørrelsespåstand fra primærkilden
• Evne til å skille bevisnivået (metaanalyse, RCT, sak) og veie AI-sammendraget mot bevishierarkiet

Psykologi er en evidensbasert profesjon: forskningsbevis forteller oss om en intervensjon fungerer, ikke "det bare virker som det for meg." Når en ekspert ønsker å holde seg oppdatert, skrive en oppgave eller velge riktig tilnærming for en sak, henvender han seg til litteraturen. Men litteraturen er enorm; Titusenvis av artikler publiseres hvert år. Kunstig intelligens (AI) er en enorm akselerator her: den definerer et konsept, kartlegger feltet, foreslår hvilken artikkel du bør lese først, forenkler en kompleks tekst. Men her ligger den farligste egenskapen til kunstig intelligens i litteraturen: den fremstiller ikke-eksisterende kilder. I denne enheten lærer du hvordan du gjør AI til en akselerator i litteraturbransjen, hvordan du jobber uten å falle i fellen av fabrikkerte kilder (hallusinasjoner).

Hva gjør AI i litteraturen, hva utgjør den?

Litteraturoppgaver hvor AI er sterk: forklare et konsept i klarspråk; oppsummere store debatter på et felt; å gjøre en tekst lesbar; foreslå nøkkelord og søkestrategi; oppsummere en artikkel (når du gir teksten); sammenligne ulike synspunkter. I disse reduserer AI timer med lesing til minutter.

Ting AI utgjør: sitater (kilder som ser perfekte ut, men som ikke eksisterer, inkludert forfatter, årstall, tidsskrift, DOI-nummer); statistikk (tall som ser ekte ut som effektstørrelse, prøvestørrelse, p-verdi); funn (en studie hevder å ha "funnet det" mens den faktisk ikke har det). Dette er fordi AI ikke er en søkemotor, men en "sannsynlig ordgjetter": den genererer det mest sannsynlige sitatformatet uten å sjekke nøyaktigheten.

OBS: Ethvert sitat gitt av AI er ikke gyldig uten at du har bekreftet det fra primærkilden (selve artikkelen). Selv en tilsynelatende perfekt DOI kan være falsk. Det er alltid bedre å si "Jeg kunne ikke finne den" enn "Jeg har lagt inn feil kilde."

Bevishierarki: ikke alle funn er like

Når AI oppsummerer et funn, forteller det deg ikke bevisstyrken. Det er imidlertid et hierarki av bevis. Når du veier en påstand, er det viktig å vite hvilken type bevis den er basert på.

Bevisnivå

Hva mener du?

kraft

Metaanalyse / systematisk oversikt

Statistisk kombinasjon av flere studier

høyest

Randomisert kontrollert studie (RCT)

Eksperiment der deltakerne deles inn i tilfeldige grupper

høy

Longitudinell/tverrsnittsstudie

Observasjonsmessig, ikke-eksperimentell

medium

Saksserie / saksutredning

Beskrivelse av en enkelt eller flere saker

lav

Ekspertuttalelse / teoretisk skriving

Mer tolkning enn bevis

laveste

Når AI forteller deg "forskning viser ..." bør ditt første spørsmål være: Hvilken type forskning? Funnet av en metaanalyse har ikke samme vekt som funnet av en enkelt saksrapport.

Trinn for trinn: AI-drevet sikker litteraturflyt

1. La AI forklare konseptet. For å komme raskt til poenget, spør AI om en enkel oppsummering og nøkkelbegreper. (Dette er en startpakke, ikke en kilde.)
2. Sett opp søkestrategi. Be AI om å foreslå nøkkelord, synonymer og søkestreng; bruke den på ekte databaser (akademiske søkemotorer, journalarkiver).
3. Finn virkelige kilder selv. Få artikler fra fagfellevurderte databaser. Bruk AI-foreslåtte titler som søketråder, ikke som sitater.
4. Oppsummer tekst til AI. Gi teksten til den faktiske artikkelen du fant til AI og be om en oppsummering/sammenligning. AI utgjør ikke lenger ting, fordi den har ekte tekst.
5. Bekreft hvert tall og funn. AI sammenligner en effektstørrelse i abstrakt med den faktiske verdien i teksten.
6. Merk bevisnivået. Skriv typen bevis ved siden av hvert funn.

Tips: Bruk AI i litteraturen i to forskjellige moduser: «kildeløs suggestiv» (konsepteksponering, søkeidé) og «sourced summarizer» (når du gir teksten). Det siste er trygt fordi AI-en fungerer fra teksten du gir, ikke fra sitt eget minne.

tre minisaker

Sak 1 - Den falske attribusjonsepidemien. En doktorgradsstudent ber om AI-sitering for et kapittel med 15 kilder om angstlidelser. AI gir alt i APA-format. Når eleven sjekker, ser han at 6 av 15 kilder faktisk ikke eksisterer (40%) og 3 er tilordnet feil journal. Så halve listen er ubrukelig. Leksjon: Attribusjon kommer fra den virkelige databasen, ikke AI.

Tilfelle 2 – Riktig bruk. En kliniker gir PDF-teksten av 4 virkelige metaanalyser til AI én etter én og sier «tabell prøvenummer, hovedeffektstørrelse og begrensning for hver enkelt». AI reduserer 4 30-siders artikler til en sammenlignende tabell på 10 minutter. Klinikeren bekrefter hvert nummer med tekst; Alle viser seg å være korrekte fordi AI fungerte fra den gitte teksten, ikke fra dens eget minne.

Sak 3 – Bevisfelle. En ekspert spør AI: «Fungerer terapi X?» spør han. AI sier "ja, studier støtter det" og teller fire "studier." Når eksperten undersøker det, ser han at tre av dem er en enkelt saksrapport og en er et blogginnlegg; Det er ikke en eneste RCT. Selv om påstanden kan virke formelt «bevist», er dens beviskraft svært svak.

Kopierbare spørsmål og maler

Jeg har akkurat begynt på dette emnet. UTEN Å LAGE MEG KILDER, bare gi meg en konseptuell introduksjon: grunnleggende konsepter, store diskusjoner av feltet, og en liste over nøkkelord + synonymer jeg kan bruke når jeg søker. Attribusjon; Hvis det kreves attribusjon, si «finn kilden selv». Emne: [emne]

Jeg limer inn teksten til en faktisk artikkel nedenfor. Arbeid kun fra denne teksten, ikke legg til ekstern informasjon. Trekk ut følgende: forskningsspørsmål, metode, utvalg (n), hovedfunn og effektstørrelse, begrensninger, bevisnivå. Tekst: [artikkeltekst]

Nedenfor er teksten til 3 artikler. Sett dem i en sammenlignende tabell med følgende kolonner: forfatterår, utvalg, metode, hovedfunn, bevisnivå, begrensning. Arbeid kun ut fra de gitte tekstene, ikke legg til kilder. Tekster: [tekster]

List opp hver numeriske påstand (n, p, effektstørrelse, prosent) i denne teksten på en egen linje slik at jeg kan bekrefte den med den originale artikkelen. Ikke legg til tall som du ikke kan bekrefte selv. Tekst: [sammendrag]

Svak forespørsel / Sterk forespørsel

Svak melding: "Gi 10 akademiske kilder om effektiviteten av kognitiv atferdsterapi ved depresjon."

Denne ledeteksten inviterer AI til å gjøre opp attribusjon fra minnet; En betydelig del av produksjonen vil være falsk.

Kraftig ledetekst: "Foreslå nøkkelord, synonymer og søkestrenger for å søke i databasen om kognitiv atferdsterapi og depresjon. Ikke oppgi kilder/siteringer. Jeg vil finne artiklene fra selve databasen, og deretter gi deg tekstene deres."

Denne ledeteksten setter AI i den sikre rollen (søkestrateg); Referansene kommer fra den virkelige kilden.

Vanlige feil

• Direkte ved å bruke attribusjonen gitt av AI. Tilsynelatende perfekte kilder er ofte oppdiktet; Den brukes aldri uten bekreftelse.
• Stoler blindt på DOI/lenken. AI kan også produsere realistisk, men ikke-eksisterende DOI; Den anses ikke som gyldig før du åpner og sjekker den.
• Ignorerer bevisnivået. Å ikke spørre om det ligger en blogg eller en metaanalyse bak setningen «studier sier».
• Erstatter AI-sammendraget med artikkelen. Det er et sammendragskart; Å basere en kritisk avgjørelse kun på sammendraget betyr å ta en vurdering uten å lese teksten.
• Brukes i enkeltmodus. Bruker alltid AI i "ressurs fra minne"-modus; mens den sikre er "oppsummering fra den gitte teksten"-modusen.

Oppsummert

I litteraturbransjen er AI en kraftig akselerator for begrepsavklaring, søkestrategi og oppsummering (når du gir teksten). Men han dikter opp referanser, statistikker og funn fra sitt eget minne (hallusinasjon). Bekreft hvert sitat og nummer fra primærkilden; Tenk på kilden du ikke finner ugyldig. Merk bevisnivået (fra metaanalyse til saksrapport) for hvert funn. Bruk AI i to distinkte moduser: «ukildes suggestive» og «sourced summarizer», med en preferanse for sistnevnte.

Søknadsoppgave

Velg et emne. Spør først AI om 5 sitater om det emnet (kildemodus). Søk deretter i disse 5 sitatene én etter én i en ekte akademisk søkemotor og legg merke til hvor mange som faktisk finnes. Deretter finner du 2 virkelige artikler om samme emne, mater tekstene deres til AI, og får den til å lage en sammenlignende tabell. Sammenlign to erfaringer: hvilken ga pålitelig utgang?

sjekkliste

• [ ] Jeg brukte ikke noen av referansene gitt av AI uten å bekrefte dem.
• [ ] Jeg hentet artiklene fra en ekte, fagfellevurdert database.
• [ ] For sammendraget ga jeg AI den faktiske artikkelteksten (ikke fra minnet).
• [ ] Jeg sammenlignet hver numeriske påstand med originalteksten.
• [ ] Jeg merket bevisnivået for hvert funn.
• [ ] Jeg ugyldiggjorde kilden som jeg ikke kunne finne.