Jedinica 9 / 11

Skeniranje dokaza i trenutne informacije: Provjera izvora i halucinacije

Dobici:

  • Sposobnost korištenja umjetne inteligencije za brzo skeniranje trenutnih razvojnih informacija i pristupa te provjeru svake tvrdnje povezivanjem s pouzdanim izvorom
  • Sposobnost prepoznavanja zamki izmišljenih izvora, starih informacija i modnih metoda (pristup sa slabim dokazima) i propitivanje razine dokaza
  • Sposobnost razumijevanja da je izlaz umjetne inteligencije početna točka, a konačni izvor recenzirana literatura i službene smjernice

Razvoj djeteta je polje koje se brzo razvija: novi alati za probir, ažurirane smjernice za prekretnice, pristupi intervencije koji se razvijaju. Odgovornost profesionalca je da ostane u toku. Umjetna inteligencija je zavodljivo brz alat za hvatanje ove aktualnosti: ona sažima temu u nekoliko sekundi, uspoređuje pristupe, pruža tečan odgovor na pitanje “što se zadnje zna”. No, upravo ta brzina krije najveću zamku. Umjetna inteligencija može izmisliti: predstaviti nepostojeću studiju, lažnu statistiku ili čak lažni izvor kao da je istinit dodajući ime pravog znanstvenika. U ovoj jedinici obradit ćemo korištenje umjetne inteligencije kao početne točke pregleda i provjeru svake tvrdnje povezivanjem s pouzdanim izvorom.

Prvo najkritičniji koncept: halucinacija. To je sposobnost jezičnog modela da proizvede informaciju, izvor ili studiju koja zapravo ne postoji, kao da je istinita. Model se ne "sjeća stvarnosti"; Generira moguće nizove riječi. Stoga je vrlo moguće da proizvede referencu koja je vrlo slična stvarnom izvoru, ali ne postoji ("Yılmaz et al., 2019., Journal of Child Development"). Oslanjanje stručnjaka za razvoj djeteta na lažni izvor ugrožava profesionalni kredibilitet i dobrobit djeteta.

Gdje je umjetna inteligencija korisna, a gdje opasna?

AI je dobar početak za razumijevanje i oblikovanje teme: pojednostavljuje koncept, predlaže pojmove za pretraživanje, sažima tekst, navodi suprotna gledišta. Ali to nije izvor činjenica: nemojte se oslanjati na njega za brojke, datume, rezultate studija, granične rezultate i izvore. Pravilo: Koristite AI za crtanje karte, a ne za kopanje blaga. Blago (pravi dokaz) nalazi se u recenziranoj literaturi i službenim smjernicama.

Sigurno korištenje AI

Opasna uporaba AI

Objašnjavanje pojma jednostavnim jezikom

Pod pretpostavkom da je statistika točna

Predložite pojmove za pretraživanje i karte tema

Citiranje izvora bez provjere

Sažimanje dugog teksta

Iz toga se uči prekretnica

Uokvirivanje suprotstavljenih pristupa

prihvaćajući dokaze o metodi bez pitanja

Razina dokaza i zamka modne metode

Nisu sve tvrdnje jednake; Važna je razina dokaza. Narativ jednog slučaja nema istu težinu kao replicirana, recenzirana studija provedena na mnogo djece. Uobičajena opasnost u dječjem razvoju je zamka modne metode: pretjerana i definitivna obećanja poput "da će nova metoda brzo ispraviti sve zastoje u razvoju" gotovo su uvijek znak loših dokaza. Prava znanost je oprezna; Izjave poput "sigurno rješava", "to je čudo", "radi za svu djecu" zastavice su upozorenja.

Disciplina provjere:

  1. Razdvojiti zahtjev. Označite svaku činjeničnu tvrdnju i izvor u AI tekstu.
  2. Neovisno provjerite izvor. Postoji li izvor stvarno? Je li suđeno? Je li ažuriran? Gledajte izravno.
  3. Dovedite u pitanje razinu dokaza. Slučaj, studija, sustavni pregled?
  4. Uhvatite hype. Budite skeptični prema određenim i čudesnim obećanjima.
  5. Povratak na službeni izvor. Nacionalne/međunarodne smjernice i recenzirana literatura imaju posljednju riječ.
Pažnja: Zamoliti drugu umjetnu inteligenciju da "potvrdi" izvor koji daje umjetna inteligencija nije provjera; Oba modela mogu proizvesti istu pogrešku. Provjera se odvija uvidom u sam izvor (časopis, vodič, službena institucija).
Savjet: kada sažimate temu iz umjetne inteligencije, jasno uputite "izmislite izvor; ako niste sigurni, označite ga kao 'mora se provjeriti'; ako ne možete dati konačan izvor, nemojte ga navoditi". To smanjuje, ali ne eliminira rizik od izmišljenih izvora - i dalje ga provjeravate.

Pravovremenost, svježina informacija i sukob interesa

Još jedno ograničenje umjetne inteligencije je svježina informacija. Jezični modeli se treniraju na podacima do određenog datuma; Vodič koji se u međuvremenu promijenio, ažurirani popis prekretnica ili novi pristup možda ne postoje u svijetu koji model "poznaje". Model može predstaviti stare informacije kao aktualne, a da vam to ne kaže. Stoga, posebno u pitanjima kao što su "najaktualnije", "najnovije upute", "nove preporuke", pogledajte trenutnu publikaciju službene institucije, a ne model. Model daje početnu kartu; Autentični izvor s oznakom datuma ima posljednju riječ.

Drugi kritični filter je sukob interesa. Možda postoji komercijalni interes iza sadržaja koji hvali metodu, proizvod ili program. Umjetna inteligencija može nesvjesno ponoviti marketinški jezik u podacima o obuci i predstaviti tvrdnje marke ili metode kao nepristrane informacije. Kad ocjenjujete tvrdnju, zapitajte se: tko to govori i zašto; neovisni, recenzirani izvor ili strana koja prodaje? Neovisni dokazi nemaju istu težinu kao tvrdnja proizvođača. Kada su u pitanju djeca i obitelji, najbolja zaštita od komercijalne manipulacije je propitivanje razine dokaza i neovisnosti izvora na svakom koraku.

Oprez: Metoda koja se predstavlja kao "nova i revolucionarna" nosi dvostruki rizik, kako u pogledu svježine informacija, tako i u smislu sukoba interesa: model to uopće ne poznaje ili ga poznaje marketinškim jezikom. Ne iznosite takve tvrdnje obitelji bez da ih potkrijepite službenim uputama i neovisnom recenziranom literaturom.

Četiri upita za kopiranje

1) Prompt sažetka sigurne teme:

Vaša uloga: pomoćnik nacrta. Jednostavno sažeti sljedeću temu za stručnjaka: [tema]. PRIKLJUČAK IZVORA; Ako ne možete dati točan izvor, nemojte ga navoditi. Označite svaku činjeničnu tvrdnju u koju niste sigurni kao "[mora se provjeriti]". Na kraju, predložite mi 5 pojmova za pretraživanje za ovu temu u pouzdanim izvorima.

2) Upit za izdvajanje izvora zahtjeva:

Navedite svaku ČINJENIČNU TVRDNJU (broj, datum, rezultat istraživanja, izvor) zasebno u donjem tekstu. Uz svaku stavite napomenu "neovisno potvrđeno". Ako je u tekstu naveden izvor, podsjeti me da trebam provjeriti postoji li izvor. Tekst: [AI izlaz]

3) Modna metoda/kontrola pretjerivanja:

Provjerite sljedeći opis pristupa: Sadrži li pretjerivanja ili obećanja o određenom izlječenju („sigurno izlječenje“, „sva djeca“, „brzo izlječenje“, „čudo“). Označite svaki. Procijenite razinu dokaza pristupa (slučaj / studija / pregled / nepoznato) i dodajte upozorenje "provjeri iz službenog izvora". Tekst: [opis pristupa]

4) Upit za razinu dokaza:

Za ovu tvrdnju, navedite mi 5 KRITIČNIH PITANJA koja bih trebao postaviti kada donosim pouzdanu procjenu (npr., koliko je djece testirano, je li recenzirano, je li replicirano, postoji li turski uzorak, postoji li sukob interesa). Nemojte izmišljati odgovore; samo daj pitanja. Zahtjev: [tekst]

tri mini kućišta

Slučaj 1 — Izmišljeni izvor. Stručnjak pita AI o učinkovitosti metode intervencije. AI daje gladak sažetak i kaže da je "ovo prikazano u meta-analizi iz 2021. (Demir et al.)". Stručnjak označava izvor drugim upitom i pretražuje samostalno; Ne postoji takva meta-analiza. Izvor je izmišljen. Stručnjak ne koristi tvrdnju dok je ne provjere činjenični, recenzirani izvori.

Slučaj 2 — Modna metoda. AI navodi popularnu metodu na društvenim mrežama koja "ispravlja sve zastoje u razvoju u nekoliko tjedana". Stručnjak hvata pretjerivanje s 3. upitom; Ova preciznost i generalizacija znak je slabih dokaza. Pregledava službene smjernice i recenziranu literaturu; Metoda nema jake dokaze koji podupiru navedeni učinak. Ne preporučuje se obitelji.

Slučaj 3 — Ispravna uporaba. Specijalist želi naučiti novi pristup probiru. Koristi umjetnu inteligenciju za uokvirivanje teme i dohvaćanje pojmova za pretraživanje s 1. upitom; zatim ide u službene vodiče i recenzirane izvore s tim pojmovima. AI je nacrtao kartu, stručnjak je iskopao blago iz pouzdanog izvora. Rezultat: i brz i pouzdan.

Slab upit / Jak upit

Slab upit:

Napiši izvore studija koje dokazuju da ova metoda razvoja djeluje.

Problem: Izravno poziva AI da proizvede resurse; "dokazati da radi" je opterećeno pristranošću; verifikacija nije osigurana.

Snažan upit:

Objektivno sažmite sljedeću metodu: [metoda]. Odvojite prednosti i nedostatke. PRIKLJUČAK IZVORA; Ako ne možete dati točan izvor, nemojte ga navoditi; Označite svaku činjeničnu tvrdnju kao "[mora se provjeriti]". Na kraju, dajte mi 5 pojmova za pretraživanje za pretraživanje u recenziranoj literaturi i 3 pitanja za ispitivanje razine dokaza.

Uobičajene greške

  • Oslanjanje na izmišljene izvore: Neovisno, izravno provjerite svaki izvor.
  • Zamijeniti AI s izvorom činjenica: nemojte se oslanjati na njega za broj/datum/granični rezultat.
  • Ignoriranje pretjerivanja: Izjave "Sigurno rješava/čudo" znak su slabih dokaza.
  • “Validacija” s dva modela: Zamoliti drugu umjetnu inteligenciju nije validacija.
  • Preskakanje razine dokaza: Pojedinačni slučaj nema istu težinu kao sustavni pregled.

Ukratko

Umjetna inteligencija moćno je polazište za uokvirivanje, pojednostavljivanje i pokretanje pretraživanja aktualnih informacija; ali to nije činjenica i autoritet izvora. Može proizvesti lažne izvore i statistike zbog halucinacija. Neovisno provjerite svaku činjeničnu tvrdnju i izvor izravno iz recenzirane literature i službenih smjernica; dovesti u pitanje razinu dokaza; Gledajte na pretjerana i definitivna obećanja (modna metoda) kao na zastavu upozorenja. AI crta kartu; Kopate blago iz pouzdanog izvora.

Zadatak aplikacije

Odaberite trenutnu temu ili metodu. Dobijte siguran sažetak i pojmove za pretraživanje na prvi upit. 2. izvući činjenične tvrdnje i izvore iz AI izlaza uz upit; Pretražite barem jedan neovisni izvor da provjerite je li stvaran ili ne. 3. Izvršite provjeru pretjerivanja/modne metode s upitom. Zabilježite barem jedan izmišljeni/neprovjerljivi izvor i jednu pretjeranu izjavu koju pronađete; zatim provjerite tvrdnju s pravim, pouzdanim izvorom.

popis za provjeru

  • [ ] Označio sam svaku činjeničnu tvrdnju i izvor.
  • [ ] Imam neovisno i izravno provjerene izvore (časopis/vodič/institucija).
  • [ ] Doveo sam u pitanje razinu dokaza (slučaj, studija, pregled).
  • [ ] Tretirao sam pretjerana/precizna obećanja s upozorenjem modne metode.
  • [ ] Koristio sam AI kao uređaj za kadriranje, a ne kao izvor činjenica.
  • [ ] Nisam koristio drugu umjetnu inteligenciju za "provjeru".
  • [ ] Konačne sam informacije temeljio na recenziranoj literaturi i službenim smjernicama.