Dobici:
- Sposobnost korištenja umjetne inteligencije u mapiranju književnosti, skeniranju koncepata i prioritizaciji čitanja za upravljanje rizikom od izmišljenih izvora (halucinacije)
- Sposobnost uspostavljanja tijeka provjere koji potvrđuje svaki citat, nalaz i tvrdnju o veličini učinka iz primarnog izvora
- Sposobnost razlikovanja razine dokaza (meta-analiza, RCT, slučaj) i odvaganja sažetka umjetne inteligencije u odnosu na hijerarhiju dokaza
Psihologija je profesija utemeljena na dokazima: dokazi istraživanja nam govore da li intervencija djeluje, a ne "meni se samo tako čini". Kada stručnjak želi ostati u tijeku, napisati diplomski rad ili odabrati pravi pristup za neki slučaj, okreće se literaturi. Ali literatura je golema; Deseci tisuća članaka objavljuju se svake godine. Umjetna inteligencija (AI) ovdje je nevjerojatan akcelerator: ona definira koncept, mapira polje, predlaže koji bi članak trebao prvo pročitati, pojednostavljuje složeni tekst. Ali ovdje leži najopasnija značajka umjetne inteligencije u literaturi: ona izmišlja nepostojeće izvore. U ovoj ćete jedinici naučiti kako umjetnu inteligenciju učiniti akceleratorom u književnom poslu, kako raditi bez upadanja u zamku izmišljenih izvora (halucinacija).
Što AI radi u literaturi, što čini?
Književni zadaci u kojima je AI jaka: objašnjavanje pojma jednostavnim jezikom; sažeti glavne rasprave u nekom području; učiniti tekst čitljivim; predložiti ključne riječi i strategiju pretraživanja; sažeti članak (kada dajete tekst); uspoređujući različite poglede. U njima AI smanjuje sate čitanja na minute.
Stvari koje AI čini: citati (izvori koji izgledaju savršeno, ali ne postoje, uključujući autora, godinu, časopis, DOI broj); statistika (brojevi koji izgledaju stvarno kao veličina učinka, veličina uzorka, p-vrijednost); nalazi (studija tvrdi da je "to otkrila" iako zapravo nije). To je zato što AI nije tražilica, već "vjerojatno pogađanje riječi": generira format citata koji izgleda najvjerojatnije, bez provjere njegove točnosti.
Pažnja: Svaki citat koji daje AI nije valjan bez vaše provjere iz primarnog izvora (samog članka). Čak i naizgled savršen DOI može biti lažan. Uvijek je bolje reći "Nisam mogao pronaći" nego "Stavio sam krivi izvor."
Hijerarhija dokaza: nisu svi nalazi jednaki
Kada umjetna inteligencija sažima nalaz, ne govori vam o njegovoj dokaznoj snazi. Međutim, postoji hijerarhija dokaza. Prilikom vaganja tvrdnje bitno je znati na kojoj se vrsti dokaza temelji.
Razina dokaza
kako to misliš
snaga
Meta-analiza / sustavni pregled
Statistička kombinacija više studija
najviši
Randomizirano kontrolirano ispitivanje (RCT)
Eksperiment u kojem su sudionici podijeljeni u nasumične skupine
visoka
Longitudinalna/presječna studija
Opservacijski, neeksperimentalni
srednji
Serija slučajeva / prikaz slučaja
Opis jednog ili više slučajeva
nizak
Stručno mišljenje / teorijski spis
Više tumačenja nego dokaza
najniža
Kad vam umjetna inteligencija kaže "istraživanje pokazuje...", vaše prvo pitanje bi trebalo biti: Koja vrsta istraživanja? Nalaz meta-analize nema istu težinu kao nalaz izvješća o jednom slučaju.
Korak po korak: Siguran protok literature pokretan umjetnom inteligencijom
- Neka AI objasni koncept. Kako biste brzo prešli na stvar, zatražite od umjetne inteligencije jednostavan sažetak i ključne koncepte. (Ovo je početak, a ne izvor.)
- Postavite strategiju pretraživanja. Zamolite AI da predloži ključne riječi, sinonime i niz za pretraživanje; koristiti ga na stvarnim bazama podataka (akademske tražilice, arhive časopisa).
- Pronađite prave izvore sami. Nabavite članke iz recenziranih baza podataka. Koristite naslove predložene umjetnom inteligencijom kao tragove pretraživanja, a ne kao citate.
- Sažeti tekst u AI. Dajte AI-ju tekst stvarnog članka koji ste pronašli i zatražite sažetak/usporedbu. AI više ne izmišlja stvari jer ima pravi tekst.
- Potvrdite svaki broj i nalaz. AI uspoređuje veličinu učinka u sažetku sa stvarnom vrijednošću u tekstu.
- Označite razinu dokaza. Uz svaki nalaz napišite vrstu dokaza.
Savjet: Koristite umjetnu inteligenciju u literaturi na dva različita načina: "sugestivno bez izvora" (izlaganje koncepta, ideja za pretraživanje) i "izvorni sažetak" (kada dajete tekst). Potonji je siguran jer AI radi na temelju teksta koji ste unijeli, a ne na temelju vlastite memorije.
tri mini kućišta
Slučaj 1 — Epidemija lažnog pripisivanja. Diplomirani student traži citiranje umjetne inteligencije za poglavlje s 15 izvora o anksioznim poremećajima. AI daje sve u APA formatu. Prilikom provjere student vidi da 6 od 15 izvora zapravo ne postoji (40%), a 3 su dodijeljena pogrešnom časopisu. Dakle, pola popisa je neupotrebljivo. Lekcija: atribucija dolazi iz stvarne baze podataka, a ne umjetne inteligencije.
Slučaj 2 — Ispravna uporaba. Kliničar daje AI-ju PDF tekst 4 stvarne meta-analize jednu po jednu i kaže "tabelirajte broj uzorka, veličinu glavnog učinka i ograničenja svake od njih." AI svodi 4 članka od 30 stranica u usporednu tablicu u 10 minuta. Kliničar potvrđuje svaki broj tekstom; Svi su se pokazali točnima jer je AI radio na temelju zadanog teksta, a ne na temelju vlastite memorije.
Slučaj 3 — Zamka razine dokaza. Stručnjak pita AI: "Djeluje li terapija X?" pita on. AI kaže "da, studije to podržavaju" i broji četiri "studije". Kada ga stručnjak pregleda, vidi da su tri od njih jedan prikaz slučaja, a jedan je post na blogu; Ne postoji niti jedan RCT. Iako se tvrdnja može činiti formalno "dokazanom", njena dokazna snaga je vrlo slaba.
Upute i predlošci koji se mogu kopirati
Tek sam počeo s ovom temom. BEZ STVARANJA IZVORA, samo mi dajte konceptualni uvod: osnovne koncepte, glavne rasprave o tom području i popis ključnih riječi + sinonima koje mogu koristiti prilikom pretraživanja. atribucija; Ako je atribucija potrebna, recite "sami pronađite izvor". Predmet: [predmet]
Dolje lijepim tekst stvarnog članka. Radite samo na temelju ovog teksta, nemojte dodavati vanjske informacije. Izdvojite sljedeće: istraživačko pitanje, metodu, uzorak (n), glavni nalaz i veličinu učinka, ograničenja, razinu dokaza. Tekst: [tekst članka]
Ispod je tekst 3 članka. Stavite ih u usporednu tablicu sa sljedećim stupcima: autor-godina, uzorak, metoda, glavni nalaz, razina dokaza, ograničenje. Radite samo na zadanim tekstovima, nemojte dodavati izvore. Tekstovi: [tekstovi]
Navedite svaku brojčanu tvrdnju (n, p, veličina učinka, postotak) u ovom tekstu u zasebnom retku kako bih je mogao potvrditi izvornim člankom. Nemojte dodavati brojeve koje sami ne možete provjeriti. Tekst: [sažetak]
Slab upit / Jak upit
Slab upit: "Navedite 10 akademskih izvora o učinkovitosti kognitivne bihevioralne terapije kod depresije."
Ovaj upit poziva AI da napravi atribuciju iz memorije; Značajan dio izlaza bit će lažan.
Snažan upit: "Predložite ključne riječi, sinonime i nizove za pretraživanje za pretraživanje baze podataka o kognitivno-bihevioralnoj terapiji i depresiji. Nemojte davati izvore/citate; ja ću pronaći članke iz stvarne baze podataka, a zatim vam dati njihove tekstove."
Ovaj upit stavlja AI u sigurnu ulogu (strateg pretraživanja); Reference dolaze iz pravog izvora.
Uobičajene greške
- Izravno koristeći atribuciju koju daje AI. Naizgled savršeni izvori često su izmišljeni; Nikada se ne koristi bez potvrde.
- Slijepo vjerujući DOI/vezi. AI također može proizvesti realan, ali nepostojeći DOI; Neće se smatrati valjanim dok ga ne otvorite i provjerite.
- Ignoriranje razine dokaza. Ne pitajući stoji li iza rečenice "studije kažu" blog ili meta-analiza.
- Zamjena AI sažetka za članak. To je sumarna karta; Temeljiti kritičku odluku samo na sažetku znači donositi sud bez čitanja teksta.
- Korištenje u pojedinačnom načinu rada. Uvijek koristi AI u načinu rada "resurs iz memorije"; dok je siguran način rada "sažeti iz zadanog teksta".
Ukratko
U literaturi AI je snažan akcelerator za pojašnjenje koncepta, strategiju pretraživanja i sažimanje (kada date tekst). Ali izmišlja reference, statistike i nalaze iz vlastitog sjećanja (halucinacija). Provjerite svaki citat i broj iz primarnog izvora; Smatrajte izvor koji ne možete pronaći nevažećim. Označite razinu dokaza (od meta-analize do izvješća o slučaju) za svaki nalaz. Upotrijebite AI u dva različita načina: "sugestivni bez izvora" i "sažetak s izvorima", s preferiranjem potonjeg.
Zadatak aplikacije
Odaberite temu. Prvo zatražite od umjetne inteligencije 5 citata na tu temu (izvorni način). Zatim pretražite ovih 5 citata jedan po jedan u pravoj akademskoj tražilici i zabilježite koliko ih zapravo postoji. Zatim pronađite 2 stvarna članka o istoj temi, unesite njihove tekstove u AI i neka napravi usporednu tablicu. Usporedite dva iskustva: koje je dalo pouzdan rezultat?
popis za provjeru
- [ ] Nisam upotrijebio nijednu referencu koju je naveo AI, a da je nisam potvrdio.
- [ ] Dobio sam članke iz prave, recenzirane baze podataka.
- [ ] Za sažetak, AI-u sam dao stvarni tekst članka (ne po sjećanju).
- [ ] Svaku numeričku tvrdnju usporedio sam s izvornim tekstom.
- [ ] Označio sam razinu dokaza za svaki nalaz.
- [ ] Poništio sam izvor koji nisam mogao pronaći.