Dobici:
- Sposobnost korištenja umjetne inteligencije u mapiranju literature, skeniranju koncepta i određivanju prioriteta čitanja za upravljanje rizikom od izmišljenih izvora (halucinacije)
- Sposobnost uspostavljanja toka verifikacije koji potvrđuje svaki citat, nalaz i tvrdnju o veličini efekta iz primarnog izvora
- Sposobnost razlikovanja nivoa dokaza (meta-analiza, RCT, slučaj) i odmjeravanja AI sažetka u odnosu na hijerarhiju dokaza
Psihologija je profesija zasnovana na dokazima: dokazi istraživanja nam govore da li intervencija funkcioniše, a ne „meni se samo čini“. Kada stručnjak želi ostati u toku, napisati tezu ili izabrati pravi pristup za slučaj, okreće se literaturi. Ali literatura je ogromna; Desetine hiljada članaka se objavljuju svake godine. Umjetna inteligencija (AI) je ovdje ogroman akcelerator: definira koncept, mapira polje, sugerira koji članak treba prvo pročitati, pojednostavljuje složeni tekst. Ali tu leži najopasnija karakteristika AI u literaturi: ona izmišlja nepostojeće izvore. U ovoj cjelini naučit ćete kako napraviti AI akcelerator u literarnom poslu, kako raditi bez upadanja u zamku izmišljenih izvora (halucinacije).
Šta AI radi u literaturi, šta čini?
Zadaci iz književnosti u kojima je AI jak: objašnjavanje koncepta jednostavnim jezikom; rezimirati glavne debate u nekoj oblasti; učiniti tekst čitljivim; predložiti ključne riječi i strategiju pretraživanja; rezimirajte članak (kada date tekst); upoređujući različite poglede. U njima, AI smanjuje sate čitanja na minute.
Stvari koje AI čini: citati (izvori koji izgledaju savršeno, ali ne postoje, uključujući autora, godinu, časopis, DOI broj); statistika (brojevi koji izgledaju stvarno kao što su veličina efekta, veličina uzorka, p-vrijednost); nalazi (studija tvrdi da je to "pronašla" iako u stvari nije). To je zato što AI nije tražilica, već „vjerovatno pogađanje riječi“: generira najvjerovatniji format citata, bez provjere njegove tačnosti.
Pažnja: Bilo koji citat koji je dala AI nije valjan ako ga ne potvrdite iz primarnog izvora (sam članak). Čak i naizgled savršen DOI može biti lažan. Uvijek je bolje reći "Nisam mogao pronaći" nego "Stavio sam pogrešan izvor".
Hijerarhija dokaza: nisu svi nalazi jednaki
Kada AI sumira nalaz, on vam ne govori o njegovoj dokaznoj snazi. Međutim, postoji hijerarhija dokaza. Prilikom odmjeravanja tvrdnje, bitno je znati na kojoj vrsti dokaza se zasniva.
Nivo dokaza
Kako to misliš?
moć
Meta-analiza / sistematski pregled
Statistička kombinacija više studija
najviši
Nasumično kontrolirano ispitivanje (RCT)
Eksperiment u kojem su učesnici podijeljeni u nasumične grupe
visoko
Studija longitudinalnog/poprečnog presjeka
Promatrački, neeksperimentalni
srednje
Serija slučajeva / izvještaj slučaja
Opis jednog ili više slučajeva
nisko
Stručno mišljenje / teorijsko pisanje
Više tumačenja nego dokaza
najniže
Kada vam AI kaže „istraživanje pokazuje…“ vaše prvo pitanje bi trebalo da bude: Koja vrsta istraživanja? Nalaz meta-analize nema istu težinu kao nalaz iz izvještaja o jednom slučaju.
Korak po korak: siguran protok literature sa AI-om
- Neka AI objasni koncept. Da biste brzo došli do stvari, zatražite od AI jednostavan sažetak i ključne koncepte. (Ovo je početak, a ne izvor.)
- Postavite strategiju pretraživanja. Zamolite AI da predloži ključne riječi, sinonime i niz za pretraživanje; koristiti ga na stvarnim bazama podataka (akademski pretraživači, arhive časopisa).
- Pronađite prave izvore sami. Nabavite članke iz recenziranih baza podataka. Koristite naslove koje je predložila umjetna inteligencija kao tragove za pretraživanje, a ne kao citate.
- Sažeti tekst u AI. Dajte AI tekst stvarnog članka koji ste pronašli i zatražite sažetak/poređenje. AI više ne izmišlja stvari, jer ima pravi tekst.
- Potvrdite svaki broj i nalaz. AI upoređuje veličinu efekta u sažetku sa stvarnom vrijednošću u tekstu.
- Označite nivo dokaza. Napišite vrstu dokaza pored svakog nalaza.
Savjet: Koristite umjetnu inteligenciju u literaturi na dva različita načina: „sugestivno bez izvora“ (izlaganje koncepta, ideja za pretraživanje) i „izvorni sažetak“ (kada dajete tekst). Potonje je sigurno jer AI radi iz teksta koji vi dostavite, a ne iz vlastite memorije.
tri mini kofera
Slučaj 1 — Epidemija lažnog pripisivanja. Student diplomskog studija traži citiranje AI za poglavlje od 15 izvora o anksioznim poremećajima. AI daje sve u APA formatu. Kada student provjeri, vidi da 6 od 15 izvora zapravo ne postoji (40%), a 3 su dodijeljena pogrešnom časopisu. Dakle, polovina liste je neupotrebljiva. Pouka: atribucija dolazi iz prave baze podataka, a ne AI.
Slučaj 2 — Ispravna upotreba. Kliničar daje PDF tekst 4 stvarne meta-analize AI jednu po jednu i kaže "tabirajte broj uzorka, veličinu glavnog efekta i ograničenja svake od njih." AI smanjuje 4 članka od 30 stranica u uporednu tabelu za 10 minuta. Kliničar potvrđuje svaki broj tekstom; Sve se ispostavilo da su točne jer je AI radila iz datog teksta, a ne iz vlastite memorije.
Slučaj 3 — Zamka nivoa dokaza. Stručnjak pita AI: "Da li terapija X djeluje?" pita on. AI kaže "da, studije to podržavaju" i broji četiri "studije". Kada vještak to pregleda, vidi da su tri od njih jedan izvještaj o jednom slučaju, a jedan je blog post; Ne postoji čak ni jedan RCT. Iako tvrdnja može izgledati formalno "dokazana", njena dokazna snaga je vrlo slaba.
Kopirani upiti i predlošci
Tek sam počeo sa ovom temom. BEZ DA MI KRAJTE IZVORE, samo mi dajte konceptualni uvod: osnovne koncepte, glavne rasprave o ovoj oblasti i listu ključnih riječi + sinonima koje mogu koristiti prilikom pretraživanja. Pripisivanje; Ako je atribucija potrebna, recite "pronađite izvor sami". Predmet: [predmet]
Dolje lijepim tekst stvarnog članka. Radite samo iz ovog teksta, nemojte dodavati vanjske informacije. Izdvojte sljedeće: istraživačko pitanje, metod, uzorak (n), glavni nalaz i veličinu efekta, ograničenja, nivo dokaza. Tekst: [tekst članka]
Ispod je tekst 3 članka. Stavite ih u uporednu tabelu sa sljedećim kolonama: godina autora, uzorak, metoda, glavni nalaz, nivo dokaza, ograničenje. Radite samo iz zadatih tekstova, ne dodajte izvore. Tekstovi: [tekstovi]
Navedite svaku numeričku tvrdnju (n, p, veličinu efekta, postotak) u ovom tekstu na posebnom redu kako bih to mogao potvrditi originalnim člankom. Nemojte dodavati brojeve koje ne možete sami provjeriti. Tekst: [sažetak]
Slaba prompt / Jaka prompt
Slaba poruka: "Navedite 10 akademskih izvora o djelotvornosti kognitivne bihejvioralne terapije kod depresije."
Ovaj prompt poziva AI da napravi atribuciju iz memorije; Značajan dio izlaza će biti lažan.
Snažan upit: "Predložite ključne riječi, sinonime i nizove za pretraživanje za pretraživanje baze podataka o kognitivno-bihevioralnoj terapiji i depresiji. Nemojte davati izvore/citate; ja ću pronaći članke iz stvarne baze podataka, a zatim vam dati njihove tekstove."
Ovaj prompt stavlja AI u sigurnu ulogu (strateg pretraživanja); Reference dolaze iz pravog izvora.
Uobičajene greške
- Direktno korištenje atribucije koju daje AI. Naizgled savršeni izvori se često izmišljaju; Nikada se ne koristi bez potvrde.
- Slijepo vjerovati DOI/linku. AI također može proizvesti realističan, ali nepostojeći DOI; Neće se smatrati važećim dok ga ne otvorite i provjerite.
- Ignoriranje nivoa dokaza. Ne pitajući da li se iza rečenice „studija kaže“ krije blog ili meta-analiza.
- Zamjena AI sažetka za članak. To je sažeta karta; Zasnovati kritičku odluku samo na sažetku znači donijeti sud bez čitanja teksta.
- Korištenje u pojedinačnom načinu rada. Uvijek korištenje AI u načinu rada "resurs iz memorije"; dok je siguran način rada "sažimanje iz datog teksta".
Ukratko
U oblasti književnosti, AI je moćan akcelerator za pojašnjenje koncepta, strategiju pretraživanja i sažimanje (kada date tekst). Ali on izmišlja reference, statistike i nalaze iz vlastitog pamćenja (halucinacije). Provjerite svaki citat i broj iz primarnog izvora; Uzmite u obzir izvor koji ne možete pronaći nevažećim. Označite nivo dokaza (od meta-analize do izvještaja o slučaju) za svaki nalaz. Koristite AI u dva različita načina: „sugestivno bez izvornog izvora“ i „sažetak sa izvorom“, sa sklonošću prema drugom.
Zadatak aplikacije
Odaberite temu. Prvo zamolite AI za 5 citata na tu temu (način izvora). Zatim pretražite ovih 5 citata jedan po jedan u pravom akademskom pretraživaču i zabilježite koliko ih zapravo postoji. Zatim pronađite 2 stvarna članka o istoj temi, dostavite njihove tekstove AI-u i neka napravi uporednu tabelu. Uporedite dva iskustva: koje je dalo pouzdan rezultat?
kontrolna lista
- [ ] Nisam koristio nijednu od referenci koje je dala AI a da ih nisam potvrdio.
- [ ] Članke sam dobio iz prave, recenzirane baze podataka.
- [ ] Za sažetak, dao sam AI-u stvarni tekst članka (ne po sjećanju).
- [ ] Uporedio sam svaku numeričku tvrdnju sa originalnim tekstom.
- [ ] Za svaki nalaz sam označio nivo dokaza.
- [ ] Poništio sam izvor koji nisam mogao pronaći.