Jedinica 10 / 11

Skeniranje dokaza i zdravstvene tvrdnje: Ispravno čitanje nauke, izbjegavanje lažnih tvrdnji

Dobici:

  • Sposobnost evaluacije nutritivnih tvrdnji uzimajući u obzir hijerarhiju dokaza i razlikovanje između korelacije i uzročnosti
  • Sposobnost prepoznavanja izvorne halucinacije umjetne inteligencije i provjere svake reference iz primarnog izvora
  • Sposobnost korištenja umjetne inteligencije ne za pronalaženje izvora, već za ispitivanje i kritičku procjenu izvora

Nauka o ishrani se brzo razvija i nova istraživanja se stalno objavljuju. Profesionalna vrijednost dijetetičara ovisi o njegovoj sposobnosti da razazna istinu u ovoj poplavi dokaza, ostane u toku i zasniva svoje tvrdnje na čvrstoj osnovi. Istovremeno, ishrana je jedno od oblasti u kojima pseudonauka najviše napreduje: nova tvrdnja o "čudotvornoj hrani", "toksinu", "superhrani" kruži svake nedelje. AI može pomoći na oba fronta: sažima naučne tekstove, pojednostavljuje složene studije, pomaže vam da dovedete u pitanje nivo dokaza za tvrdnju. Ali tu leži najopasnija zamka AI: može da izmišlja studije koje ne postoje, izmišlja izvore i predstavlja slabe dokaze kao jake. Princip ove jedinice: koristite AI za procjenu i ispitivanje dokaza, a ne za njihovo pronalaženje; provjerite svaki izvor i svaku tvrdnju iz primarnog izvora.

Hijerarhija dokaza: nisu sve studije jednake

U nauci, moć dokaza formira piramidu. Snaga se povećava odozdo prema gore:

Nivo dokaza

Kako to misliš?

moć

Stručno mišljenje / anegdota

Lično iskustvo, "ispalo je za mog prijatelja"

najslabiji

Case series

Posmatranje malog broja pacijenata

slab

opservaciona studija

Praćenje populacije (korelacija)

srednje

Nasumično kontrolirano ispitivanje (RCT)

Eksperimentirajte sa slučajnim grupama (uzrok i posljedica)

jaka

Sistematski pregled/meta-analiza

Konsolidovani sažetak napornog rada

najjači

Poznavanje ove hijerarhije je kritično; Zato što se većina tvrdnji u vijestima "ova hrana to čini" zapravo zasniva na slabim opservacijskim studijama. "Korelacija" (dvije stvari koje se javljaju zajedno) nije "uzročnost" (jedna uzrokuje drugu): zapažanje da ljudi koji piju kafu žive duže ne dokazuje da kafa produžava život. AI ponekad zamagljuje ovu razliku; Morate razjasniti.

Halucinacija izvora veštačke inteligencije

Najpodmukla greška jezičkih modela je to što izmišljaju naučne studije, imena autora, nazive časopisa i DOI brojeve koji zapravo ne postoje. AI vam može reći uvjerljivom rečenicom: “Prema studiji objavljenoj u Journal of Nutrition 2021…”; taj rad možda nikada neće postojati. Dakle, zlatno pravilo: nemojte koristiti nijedan izvor koji je dao YZ bez potvrde iz primarnog izvora (PubMed, Cochrane, originalni časopis). Korištenje AI kao pretraživača literature je profesionalna greška.

Oprez: Ako kažete AI "navedite studije koje ovo podržavaju", možete dobiti uvjerljive, ali lažne reference. Ispravna upotreba: dajte tekst prave studije AI i pitajte "sažmi ovo / koja su ograničenja ove studije?" je pitati. Vi donosite izvor, AI ga tumači.

Pouzdane smjernice i naučni konsenzus

Dijetetičar ne mora da skenira literaturu od nule za svako pitanje; Postoje nacionalne i međunarodne smjernice za većinu kliničkih situacija. Vodiči su redovno ažurirani konsenzusni dokumenti iz kojih stručni paneli ocjenjuju i zaključuju brojne studije; na primjer, Türkiye Nutrition Guide (TÜBER), preporuke Svjetske zdravstvene organizacije (WHO), smjernice za ishranu dijabetesa i kardioloških udruženja. Kada procjenjujete zahtjev, prvo pitajte "šta sadašnje smjernice govore o tome?" ' je pouzdanije nego izgubiti se u pojedinačnim studijama; jer je vodič već izvagao sve dokaze. Ovdje možete koristiti AI na dva načina: da rezimirate stvarni tekst vodiča ili da postavite pitanje da li je neka tvrdnja u skladu s općim konsenzusom u vodičima. Ali budite oprezni: informacije direktorija u memoriji AI mogu biti stare ili zbunjene; Uvijek potvrdite sa službenim izvorom koja je verzija vodiča aktuelna i tačnu preporuku. Prije nego što kažete "Nauka kaže ovo", provjerite trenutni konsenzus te nauke iz stvarnog dokumenta. Vodiči se ažuriraju kako se nauka mijenja; Preporuka od prije tri godine možda je danas revidirana.

Ispravno korištenje AI u procjeni dokaza

  1. Donesite izvor. Pronađite stvarni članak, sažetak ili vodič; Daj to AI.
  2. Sažmite i pojednostavite. Neka složeni tekst bude preveden na razumljiv jezik - ali uporedite tvrdnje sa tekstom.
  3. Dovedite u pitanje ograničenja. “Koje su metodološke slabosti ove studije?” AI je dobar u generiranju kritičnih pitanja.
  4. Utvrdite tvrdnju na nivou dokaza. Neka klasifikuju nivo dokaza na kome se zasniva tvrdnja.
  5. Potvrdite iz primarnog izvora. Provjerite svaki problem, svaki rezultat i svaki izvor s originalom.

tri mini kofera

Slučaj 1 — Izrađen izvor. Za prezentaciju, dijetetičar kaže AI: "dajte 3 studije koje dokazuju prednosti povremenog posta." AI daje tri studije, autora i godinu. Dijetetičar pretražuje na PubMedu: dva od tri uopće ne postoje, jedan je na drugu temu. Da ga je uvrstio u prezentaciju, njegov profesionalni kredibilitet bi bio uništen. Ispravan način je bio pronaći prave kompilacije i dati AI da ih sumira. Lekcija: AI izmišlja resurse; Provjerite svaku referencu.

Slučaj 2 — Zamka korelacije-uzročnosti. Novinski članak nosi naslov "od doručka gubite na težini", na osnovu opservacijske studije u kojoj su "oni koji doručkuju mršaviji". Klijent ovo pita. Dijetetičar ima AI da sumira studiju i preispita njena ograničenja; Ispostavilo se da ljudi koji doručkuju uglavnom žive aktivnije i redovnije, što znači da veza nije uzročna. Dijetetičar klijentu pruža uravnotežene informacije. Pouka: posmatranje nije uzročnost.

Slučaj 3 — Ispravna upotreba. Dijetetičar pronalazi nedavnu meta-analizu potreba za proteinima (stvarnu, iz PubMed-a), ali je tekst dugačak i tehnički. Dajte to AI i pitajte „koji je glavni nalaz, uzorak, ograničenja i praktična implikacija?“ pita on. AI vjerno sažima tekst. Dijetetičar provjerava sažetak upoređujući ga s originalom i prilagođava ga svojoj praksi. AI je smanjio opterećenje čitanja; izvor i potvrda su ostali kod dijetetičara.

Predlošci upita koji se mogu kopirati

PREDLOG SAŽETKA STUDIJE (VI dajete izvor) Ispod je tekst/sažetak stvarnog naučnog rada. Sumirajte ovo sa sljedećim naslovima: istraživačko pitanje, metoda/dizajn, uzorak, glavni nalaz, OGRANIČENJA, praktične implikacije. Nemojte dodavati ništa što NIJE u tekstu; uklapanje. Tekst: [...]

NIVO DOKAZA OBRAZAC ZA KLASIFIKACIJU Za sljedeću tvrdnju: "[tvrdnja]". Razmotrite nivo dokaza na kojem se ova tvrdnja obično zasniva (anegdotski / opservacijski / RCT / meta-analiza). Navedite postoji li korelacija ili uzročnost. Izvor FAKE; samo analizirajte dokaznu snagu tvrdnje.

OBRAZAC KRITIČKOG ISPITIVANJA Navedite metodološke SLABOSTI i moguće pristranosti (mala veličina uzorka, kratko trajanje, sukob interesa, zbunjujući faktor) sljedećeg sažetka studije. Nemojte preuveličavati nalaz; uravnotežena kritika. Sažetak: [...]

TUŽBA PROVJERA STVARNOSTI Klijent je čuo sljedeću tvrdnju: "[npr. čaj za detoksikaciju uklanja toksine]". Iskreno procenite naučnu osnovu ove tvrdnje: šta je poznato, šta nije poznato, koji delovi su lažni/preuveličani. Nacrtajte odmjereno, ne zastrašujuće objašnjenje koje ćete reći klijentu. Izrada izvora.

Slaba prompt / Jaka prompt

Slab upit:

Navedite studije koje dokazuju da đumbir jača imunitet.

Ova želja tjera AI da fabrikuje izvore i proizvodi pristrasnost tražeći jedan način („dokazivač“). Stižu lažna svjedočanstva.

Snažan upit:

Vaša uloga: asistent za procjenu dokaza; izvor LAŽNO Procijenite tvrdnju "đumbir jača imunitet" uravnoteženo: na kom nivou dokaza se obično zasniva ova tvrdnja, da li su dokazi jaki ili slabi, korelacija ili uzročnost? Napravite razliku između onoga što je poznato i onoga što je nepoznato. NEMOJTE referencirati stvarne studije (ja ću ih provjeriti od PubMed-a); samo analizirajte dokaznu snagu tvrdnje.

Drugi poziv zabranjuje fabrikovanje izvora, zahteva uravnoteženu (a ne jednostranu) evaluaciju i prepušta verifikaciju ljudima; output je sigurno sredstvo za razmišljanje.

Uobičajene greške

  • Pogrešiti AI za pretraživač literature: Traženje resursa; AI pravi reference.
  • Nepotvrđivanje izvora: Korištenje rada koje je pružila AI bez provjere iz primarnog izvora.
  • Pogrešna korelacija za uzročnost: Predstavljanje nalaza opservacije kao "ovo radi ono".
  • Zanemarivanje nivoa dokaza: izjednačavanje anegdote sa metaanalizom.
  • Jednostrano pitanje: Stvaranje pristrasnosti izgovaranjem "dokazivanja studija"; balansirani problem.
  • Zanemarivanje aktuelnosti: Pod pretpostavkom da su stare/zastarele informacije aktuelne; Pogledajte trenutnu verziju vodiča.

Ukratko

Čitanje dokaza i obraćanje pažnje na zdravstvene tvrdnje temelj su profesionalnog kredibiliteta dijetetičara. AI je moćan pomoćnik za čitanje i ispitivanje u ovoj oblasti: sažima stvarne studije, izdvaja ograničenja, analizira nivo dokaza tvrdnji. Ali AI izmišlja izvore - to je njegova najopasnija greška. Uvijek nosite izvor i provjerite ga iz primarnog izvora; odvojiti korelaciju od uzročnosti; posmatrati hijerarhiju dokaza; Preispitajte optužbe na uravnotežen način. AI ubrzava vaše razmišljanje; ali odgovornost za nauku, tačnost izvora i poštenje tvrdnje su na vama.

Zadatak aplikacije

Odaberite popularnu tvrdnju o ishrani (npr. "alkalna dijeta uravnotežuje tijelo" ili "jedenje kasno navečer dovodi do debljanja"). Dobijte uravnoteženu procjenu od AI pomoću „šablona za provjeru stvarnosti zahtjeva“. Zatim koristite "šablon klasifikacije nivoa dokaza" da odredite nivo dokaza na kojem se tvrdnja zasniva. Također, svjesno zatražite od AI „listu izvora“ i pretražite jednu od referenci koje daje u PubMedu; Vidi da li je stvarno. Ovaj eksperiment će utjeloviti izvornu halucinaciju.

kontrolna lista

  • [ ] Donio sam izvor; Nisam izmislio referencu na AI.
  • [ ] Potvrdio sam svaki izvor koji je dao YZ iz primarnog izvora.
  • [ ] Napravio sam razliku između korelacije i uzročnosti.
  • [ ] Klasifikovao sam tvrdnju prema hijerarhiji dokaza.
  • [ ] Doveo sam u pitanje tvrdnje na uravnotežen (ne jednostrano) način.
  • [ ] Provjerio sam kompatibilnost informacija sa trenutnim vodičima/kompilacijama.