Winst:
- Vermogen om kunstmatige intelligentie te gebruiken bij het in kaart brengen van literatuur, het scannen van concepten en het stellen van leesprioriteit om het risico van verzonnen bronnen (hallucinaties) te beheersen
- Mogelijkheid om een verificatiestroom op te zetten die elke citatie-, bevinding- en effectgrootteclaim uit de primaire bron bevestigt
- Vermogen om het bewijsniveau te onderscheiden (meta-analyse, RCT, casus) en de AI-samenvatting af te wegen tegen de hiërarchie van bewijsmateriaal
Psychologie is een op bewijs gebaseerd beroep: onderzoeksgegevens vertellen ons of een interventie werkt, en niet ‘dat lijkt mij alleen maar zo’. Wanneer een deskundige actueel wil blijven, een scriptie wil schrijven of de juiste aanpak voor een casus wil kiezen, wendt hij zich tot de literatuur. Maar de literatuur is enorm; Jaarlijks verschijnen er tienduizenden artikelen. Kunstmatige intelligentie (AI) is hier een enorme versneller: het definieert een concept, brengt het vakgebied in kaart, suggereert welk artikel je eerst moet lezen, vereenvoudigt een complexe tekst. Maar hierin schuilt het gevaarlijkste kenmerk van AI in de literatuur: het verzint niet-bestaande bronnen. In deze unit leer je hoe je van AI een versneller kunt maken in de literatuurwereld, hoe je kunt werken zonder in de val van verzonnen bronnen (hallucinaties) te trappen.
Wat doet AI in de literatuur, waaruit bestaat het?
Literatuurtaken waarbij AI sterk is: een concept in gewone taal uitleggen; belangrijke debatten op een gebied samenvatten; een tekst leesbaar maken; trefwoorden en zoekstrategie voorstellen; een artikel samenvatten (wanneer u de tekst aanlevert); verschillende visies vergelijken. Hierin reduceert AI uren lezen tot minuten.
Dingen die AI verzint: citaten (bronnen die er perfect uitzien maar niet bestaan, inclusief auteur, jaartal, tijdschrift, DOI-nummer); statistieken (reëel ogende getallen zoals effectgrootte, steekproefomvang, p-waarde); bevindingen (een studie beweert dat te hebben "gevonden", terwijl dat in feite niet het geval is). Dit komt omdat AI geen zoekmachine is, maar een “waarschijnlijke woordgisster”: het genereert het meest waarschijnlijk uitziende citatieformaat, zonder de nauwkeurigheid ervan te controleren.
Let op: elke door AI gegeven citatie is niet geldig zonder dat u deze verifieert vanuit de primaire bron (het artikel zelf). Zelfs een schijnbaar perfecte DOI kan nep zijn. Het is altijd beter om te zeggen: "Ik kon het niet vinden" dan "Ik heb de verkeerde bron opgegeven."
Hiërarchie van bewijs: niet alle bevindingen zijn gelijk
Wanneer AI een bevinding samenvat, vertelt het u niet de bewijskracht ervan. Er is echter een hiërarchie van bewijsmateriaal. Bij het wegen van een claim is het essentieel om te weten op welk soort bewijsmateriaal deze is gebaseerd.
Niveau van bewijs
Wat bedoel je?
kracht
Meta-analyse / systematische review
Statistische combinatie van meerdere onderzoeken
hoogste
Gerandomiseerde gecontroleerde studie (RCT)
Experiment waarbij deelnemers in willekeurige groepen worden verdeeld
hoog
Longitudinaal/cross-sectioneel onderzoek
Observationeel, niet-experimenteel
middelmatig
Casusserie / casusrapport
Beschrijving van een enkele of meerdere gevallen
laag
Deskundig advies / theoretisch schrijven
Meer interpretatie dan bewijs
laagste
Als AI je vertelt dat “uit onderzoek blijkt …” zou je eerste vraag moeten zijn: welk type onderzoek? De bevinding van een meta-analyse heeft niet hetzelfde gewicht als de bevinding van een enkel casusrapport.
Stap voor stap: AI-aangedreven veilige literatuurstroom
- Laat de AI het concept uitleggen. Om snel to the point te komen, vraag je de AI om een eenvoudige samenvatting en kernbegrippen. (Dit is een starter, geen bron.)
- Zoekstrategie opzetten. Vraag AI om trefwoorden, synoniemen en zoekreeksen voor te stellen; gebruik het in echte databases (academische zoekmachines, tijdschriftarchieven).
- Zoek zelf echte bronnen. Verkrijg artikelen uit peer-reviewed databases. Gebruik door AI voorgestelde titels als zoekaanwijzingen, niet als citaten.
- Vat tekst samen naar AI. Geef de tekst van het daadwerkelijk gevonden artikel door aan de AI en vraag om een samenvatting/vergelijking. AI verzint geen dingen meer, omdat het echte tekst bevat.
- Bevestig elk nummer en elke bevinding. AI vergelijkt een effectgrootte in abstracte zin met de werkelijke waarde in de tekst.
- Geef het niveau van bewijs aan. Schrijf het soort bewijsmateriaal naast elke bevinding.
Tip: Gebruik AI in de literatuur op twee verschillende manieren: ‘bronloos suggestief’ (conceptexpositie, zoekidee) en ‘sourced summaryr’ (wanneer je de tekst geeft). Dat laatste is veilig omdat de AI werkt vanuit de tekst die jij aanlevert, en niet vanuit zijn eigen geheugen.
drie minikoffers
Geval 1 – De nep-attributie-epidemie. Een afgestudeerde student vraagt om AI-citatie voor een hoofdstuk met vijftien bronnen over angststoornissen. AI geeft het allemaal in APA-formaat. Als de student dit nakijkt, ziet hij dat 6 van de 15 bronnen niet echt bestaan (40%) en dat er 3 aan het verkeerde tijdschrift zijn toegewezen. De helft van de lijst is dus onbruikbaar. Les: attributie komt uit de echte database, niet uit de AI.
Geval 2 — Correct gebruik. Een arts geeft de pdf-tekst van vier echte meta-analyses één voor één aan AI en zegt: "Tabel het monsternummer, de grootte van het belangrijkste effect en de beperking van elk ervan." AI reduceert 4 artikelen van 30 pagina's in 10 minuten tot een vergelijkende tabel. De arts bevestigt elk nummer per sms; Ze blijken allemaal te kloppen omdat de AI vanuit de gegeven tekst werkte, en niet vanuit zijn eigen geheugen.
Geval 3 – Valkuil van bewijsniveau. Een deskundige vraagt aan de AI: “Werkt therapie X?” vraagt hij. De AI zegt ‘ja, studies ondersteunen het’ en telt vier ‘studies’. Wanneer de deskundige het onderzoekt, ziet hij dat drie ervan één casusrapport zijn en één een blogpost; Er is niet eens één RCT. Hoewel de bewering formeel ‘bewezen’ lijkt, is de bewijskracht ervan zeer zwak.
Kopieerbare aanwijzingen en sjablonen
Ik begin pas net met dit onderwerp. ZONDER MIJ BRONNEN TE MAKEN, geef me gewoon een conceptuele introductie: basisconcepten, belangrijke discussies over het vakgebied en een lijst met trefwoorden + synoniemen die ik kan gebruiken bij het zoeken. Toeschrijving; Als bronvermelding vereist is, zeg dan 'zoek zelf de bron'. Onderwerp: [onderwerp]
Ik plak hieronder de tekst van een daadwerkelijk artikel. Werk alleen vanuit deze tekst, voeg geen externe informatie toe. Pak het volgende uit: onderzoeksvraag, methode, steekproef (n), belangrijkste bevinding en effectgrootte, beperkingen, bewijsniveau. Tekst: [artikeltekst]
Hieronder vindt u de tekst van 3 artikelen. Zet ze in een vergelijkende tabel met de volgende kolommen: auteur-jaar, steekproef, methode, hoofdbevinding, bewijsniveau, beperking. Werk alleen vanuit de gegeven teksten, voeg geen bronnen toe. Teksten: [teksten]
Zet elke numerieke claim (n, p, effectgrootte, percentage) in deze tekst op een aparte regel, zodat ik deze kan bevestigen met het originele artikel. Voeg geen cijfers toe die u niet zelf kunt verifiëren.Tekst: [samenvatting]
Zwakke prompt/sterke prompt
Zwakke vraag: "Geef 10 academische bronnen over de effectiviteit van cognitieve gedragstherapie bij depressie."
Deze prompt nodigt de AI uit om attributie uit het geheugen te verzinnen; Een aanzienlijk deel van de output zal onecht zijn.
Krachtige prompt: "Stel trefwoorden, synoniemen en zoekreeksen voor om de database over cognitieve gedragstherapie en depressie te doorzoeken. Geef geen bronnen/citaten; ik zal de artikelen uit de daadwerkelijke database vinden en u dan hun teksten geven."
Deze prompt plaatst de AI in de veilige rol (zoekstrateeg); De referenties komen uit de echte bron.
Veel voorkomende fouten
- Rechtstreeks gebruik makend van de toeschrijving van de AI. Schijnbaar perfecte bronnen worden vaak verzonnen; Het wordt nooit gebruikt zonder bevestiging.
- Blindelings vertrouwend op de DOI/link. AI kan ook realistische maar niet-bestaande DOI produceren; Het wordt pas als geldig beschouwd als u het opent en controleert.
- Het niveau van bewijs negeren. Niet vragen of er een blog of een meta-analyse achter de zin "zeggen studies" zit.
- Vervanging van de AI-samenvatting voor het artikel. Het is een samenvattende kaart; Een kritische beslissing uitsluitend baseren op de samenvatting betekent een oordeel vellen zonder de tekst te lezen.
- Gebruik in enkele modus. Altijd AI gebruiken in de modus "bron uit geheugen"; terwijl de veilige modus de modus "samenvatten uit de gegeven tekst" is.
Samengevat
In de literatuurwereld is AI een krachtige versneller voor conceptverduidelijking, zoekstrategie en samenvatting (wanneer u de tekst aanlevert). Maar hij verzint referenties, statistieken en bevindingen uit zijn eigen geheugen (hallucinatie). Controleer elk citaat en nummer uit de primaire bron; Beschouw de bron die u niet kunt vinden als ongeldig. Label het bewijsniveau (van meta-analyse tot casusrapport) voor elke bevinding. Gebruik AI in twee verschillende modi: ‘unsourced suggestive’ en ‘sourced summaryr’, met een voorkeur voor de laatste.
Applicatie taak
Kies een onderwerp. Vraag de AI eerst om 5 citaten over dat onderwerp (sourced-modus). Zoek vervolgens deze 5 citaten één voor één in een echte academische zoekmachine en kijk hoeveel er daadwerkelijk bestaan. Zoek vervolgens twee echte artikelen over hetzelfde onderwerp, voer hun teksten in aan de AI en laat deze een vergelijkende tabel maken. Vergelijk twee ervaringen: welke gaf betrouwbare resultaten?
controlelijst
- [ ] Ik heb geen van de door AI gegeven referenties gebruikt zonder ze te bevestigen.
- [ ] Ik heb de artikelen uit een echte, peer-reviewed database gehaald.
- [ ] Voor de samenvatting heb ik de AI de daadwerkelijke artikeltekst gegeven (niet uit het geheugen).
- [ ] Ik vergeleek elke numerieke claim met de originele tekst.
- [ ] Ik heb voor elke bevinding het bewijsniveau aangegeven.
- [ ] Ik heb de bron ontkracht die ik niet kon vinden.