Jednotka 10 / 11

Skenovanie dôkazov a zdravotné tvrdenia: Správne čítanie vedy, vyhýbanie sa falošným tvrdeniam

zisky:

  • Schopnosť vyhodnotiť výživové tvrdenia zvážením hierarchie dôkazov a rozlišovaním medzi koreláciou a príčinnou súvislosťou
  • Schopnosť rozpoznať zdrojovú halucináciu umelej inteligencie a overiť každú referenciu z primárneho zdroja
  • Schopnosť používať umelú inteligenciu nie na hľadanie zdrojov, ale na spochybnenie a kritické vyhodnotenie zdroja

Veda o výžive sa rýchlo vyvíja a neustále sa publikujú nové výskumy. Profesionálna hodnota dietológa závisí od jeho schopnosti rozoznať pravdu v tejto záplave dôkazov, zostať v obraze a založiť svoje tvrdenia na pevnom základe. Výživa je zároveň jednou z oblastí, kde sa pseudovede najviac darí: každý týždeň koluje nové tvrdenie „zázračné jedlo“, „toxín“, „superpotravina“. Umelá inteligencia môže pomôcť na oboch frontoch: sumarizuje vedecké texty, zjednodušuje zložité štúdie, pomáha vám spochybniť úroveň dôkazov pre tvrdenie. Ale práve tu leží najnebezpečnejšia pasca AI: dokáže vymýšľať štúdie, ktoré neexistujú, vymýšľať zdroje a prezentovať slabé dôkazy ako silné. Princíp tejto jednotky: používať AI na hodnotenie a spochybňovanie dôkazov, nie na ich nájdenie; overiť každý zdroj a každé tvrdenie z primárneho zdroja.

Hierarchia dôkazov: nie všetky štúdie sú rovnaké

Vo vede tvorí sila dôkazov pyramídu. Výkon sa zvyšuje zdola nahor:

Úroveň dôkazov

čo tým myslíš?

moc

Odborný posudok / anekdota

Osobná skúsenosť, "môjmu známemu to fungovalo"

najslabší

Séria prípadov

Pozorovanie malého počtu pacientov

slabý

observačná štúdia

Monitorovanie populácie (korelácia)

stredná

Randomizovaná kontrolovaná štúdia (RCT)

Experimentujte s náhodnými skupinami (príčina a následok)

silný

Systematický prehľad/metaanalýza

Konsolidované zhrnutie tvrdej práce

najsilnejší

Poznanie tejto hierarchie je rozhodujúce; Pretože väčšina tvrdení „toto jedlo to robí“ v správach je v skutočnosti založená na slabých pozorovacích štúdiách. „Korelácia“ (dve veci vyskytujúce sa spolu) nie je „príčinou“ (jedna spôsobuje druhú): pozorovanie, že pijani kávy žijú dlhšie, nedokazuje, že káva predlžuje život. AI niekedy stiera tento rozdiel; Treba si to ujasniť.

Halucinácia zdroja AI

Najzákernejšou chybou jazykových modelov je, že vymýšľajú vedecké štúdie, mená autorov, názvy časopisov a čísla DOI, ktoré v skutočnosti neexistujú. AI vám môže povedať presvedčivou vetou: „Podľa štúdie publikovanej v časopise Journal of Nutrition v roku 2021…“; že práca nemusí nikdy existovať. Takže zlaté pravidlo: Nepoužívajte žiadny zdroj poskytnutý YZ bez potvrdenia z primárneho zdroja (PubMed, Cochrane, pôvodný časopis). Používanie AI ako nástroja na vyhľadávanie literatúry je profesionálna chyba.

Upozornenie: Ak poviete AI „uveďte štúdie, ktoré to podporujú“, môžete získať presvedčivé, ale falošné referencie. Správne použitie: dajte text skutočnej štúdie AI ​​a opýtajte sa "zhrňte to / aké sú obmedzenia tejto štúdie?" je pýtať sa. Prinesiete zdroj, AI ho interpretuje.

Dôveryhodné usmernenia a vedecký konsenzus

Dietológ nemusí pri každej otázke prehľadávať literatúru od začiatku; Pre väčšinu klinických situácií existujú národné a medzinárodné smernice. Príručky sú pravidelne aktualizované konsenzuálne dokumenty, z ktorých expertné panely hodnotia a uzatvárajú početné štúdie; napríklad Türkiye Nutrition Guide (TÜBER), odporúčania Svetovej zdravotníckej organizácie (WHO), výživové smernice diabetologických a kardiologických asociácií. Pri hodnotení nároku sa najprv opýtajte: „Čo o tom hovoria súčasné usmernenia?“ “ je spoľahlivejšie ako stratiť sa v jednotlivých štúdiách; pretože sprievodca už vážil množstvo dôkazov. AI tu môžete použiť dvoma spôsobmi: na zhrnutie skutočného textu príručky alebo na spochybnenie toho, či je tvrdenie v súlade so všeobecným konsenzom v príručkách. Buďte však opatrní: informácie o adresári v pamäti AI môžu byť staré alebo zmätené; Vždy si overte u oficiálneho zdroja, ktorá verzia príručky je aktuálna a presné odporúčanie. Predtým, ako poviete „Toto hovorí veda“, overte si súčasný konsenzus tejto vedy zo skutočného dokumentu. Sprievodcovia sa aktualizujú tak, ako sa veda mení; Odporúčanie spred troch rokov mohlo byť dnes revidované.

Správne používanie AI pri hodnotení dôkazov

  1. Prinášaš zdroj. Nájdite skutočný článok, zhrnutie alebo sprievodcu; Dajte to AI.
  2. Zhrnúť a zjednodušiť. Nechajte si zložitý text preložiť do zrozumiteľného jazyka – porovnajte však tvrdenia s textom.
  3. Spochybňujte obmedzenia. "Aké sú metodologické nedostatky tejto štúdie?" AI je dobrá pri vytváraní kritických otázok.
  4. Uveďte tvrdenie na úroveň dôkazov. Nechajte ich klasifikovať úroveň dôkazov, na ktorých je tvrdenie založené.
  5. Overte z primárneho zdroja. Overte každý problém, každý výsledok a každý zdroj s originálom.

tri mini prípady

Prípad 1 – Vyrobený zdroj. Na prezentáciu dietológ hovorí AI, "uveďte 3 štúdie, ktoré dokazujú výhody prerušovaného pôstu." AI uvádza tri štúdie, autora a ročník. Dietologička hľadá na PubMed: dve z troch vôbec neexistujú, jedna je na inú tému. Ak by to zaradil do prezentácie, bola by zničená jeho odborná dôveryhodnosť. Správnym spôsobom bolo nájsť samotné kompilácie a nechať ich zhrnúť AI. Lekcia: AI vymýšľa zdroje; Overte každú referenciu.

Prípad 2 – Pasca korelácie. Spravodajský článok s titulkom „raňajkami schudnete“ na základe pozorovacej štúdie, v ktorej „tí, čo raňajkujú, sú chudší“. Toto sa pýta klient. Dietológ nechá AI zhrnúť štúdiu a spochybniť jej obmedzenia; Ukazuje sa, že ľudia, ktorí raňajkujú, žijú vo všeobecnosti aktívnejšie a pravidelnejšie, to znamená, že vzťah nie je kauzálny. Dietológ poskytuje klientovi vyvážené informácie. Ponaučenie: pozorovanie nie je príčinná súvislosť.

Prípad 3 – Správne použitie. Dietológ nájde nedávnu metaanalýzu potrieb bielkovín (skutočnú, z PubMed), ale text je dlhý a technický. Dajte to AI a opýtajte sa „aké je hlavné zistenie, vzorka, obmedzenia a praktické dôsledky?“ pýta sa. AI verne zhŕňa text. Dietológ si overí sumár porovnaním s originálom a prispôsobí si ho svojej praxi. AI znížila zaťaženie čítania; zdroj a overenie zostalo u dietologa.

Kopírovateľné šablóny výziev

ŠABLONA ŠTÚDIE ABSTRAKT (Uvádzate zdroj) Nižšie je text/zhrnutie aktuálneho vedeckého článku. Zhrňte to do nasledujúcich nadpisov: výskumná otázka, metóda/návrh, vzorka, hlavné zistenie, OBMEDZENIA, praktické dôsledky. Nepridávajte nič, čo NIE JE v texte; montáž. Text: [...]

ŠABLÓNA KLASIFIKÁCIE ÚROVNE DÔKAZOV Pre nasledujúci nárok: „[nárok]“. Zvážte úroveň dôkazov, na ktorých sa toto tvrdenie zvyčajne zakladá (neoficiálne / pozorovacie / RCT / metaanalýza). Uveďte, či existuje korelácia alebo príčinná súvislosť. Zdroj FAKE; stačí analyzovať dôkaznú silu tvrdenia.

ŠABLONA KRITICKÉHO VYŠETROVANIA Uveďte metodologické SLABINY a možné skreslenia (malá veľkosť vzorky, krátke trvanie, konflikt záujmov, mätúci faktor) v nasledujúcom súhrne štúdie. Nepreháňajte nález; vyvážená kritika. Zhrnutie: [...]

CLAIM REALITY CHECK TEMPLATEA klient počul nasledujúce tvrdenie: „[napr. detoxikačný čaj odstraňuje toxíny]“. Úprimne zhodnoťte vedecký základ tohto tvrdenia: čo je známe, čo nie je známe, ktoré časti sú nepravdivé/prehnané. Navrhnite odmerané, neodstrašujúce vysvetlenie, ktoré povedzte klientovi. Výroba zdroja.

Slabá výzva / Silná výzva

Slabá výzva:

Uveďte štúdie, ktoré dokazujú, že zázvor posilňuje imunitu.

Táto túžba tlačí AI, aby vyrábala zdroje a vytvára zaujatosť tým, že sa pýta jedným spôsobom („overiť“). Prichádzajú falošné posudky.

Výkonná výzva:

Vaša úloha: asistent hodnotenia dôkazov; zdroj FAKE Vyhodnoťte tvrdenie „zázvor posilňuje imunitu“ vyvážene: na akej úrovni dôkazov je toto tvrdenie zvyčajne založené, sú dôkazy silné alebo slabé, korelácia alebo príčinná súvislosť? Rozlišujte medzi tým, čo je známe a tým, čo je neznáme. NEODKAZUJTE na skutočné štúdie (overím ich z PubMed); stačí analyzovať dôkaznú silu tvrdenia.

Druhá výzva zakazuje výrobu zdrojov, vyžaduje vyvážené (a nie jednostranné) hodnotenie a overovanie ponecháva na ľudí; výstup je bezpečný nástroj myslenia.

Časté chyby

  • Zamieňanie AI za vyhľadávač literatúry: Žiadosť o zdroje; AI tvorí referencie.
  • Nepotvrdzovanie zdroja: Používanie práce poskytnutej AI bez jej overenia z primárneho zdroja.
  • Chybná korelácia s kauzalitou: Prezentácia pozorovacích zistení ako „toto robí to“.
  • Ignorovanie úrovne dôkazov: Prirovnávanie anekdoty k metaanalýze.
  • Jednostranné pýtanie sa: Vytváranie zaujatosti vyslovením „dokazovania štúdií“; vyvážený problém.
  • Zanedbanie aktuálnosti: Za predpokladu, že staré/neaktuálne informácie sú aktuálne; Pozrite si aktuálnu verziu príručiek.

V súhrne

Čítanie dôkazov a venovanie pozornosti zdravotným tvrdeniam sú základom profesionálnej dôveryhodnosti dietológa. AI je v tejto oblasti výkonným pomocníkom pri čítaní a skúmaní: sumarizuje skutočné štúdie, extrahuje obmedzenia, analyzuje úroveň dôkazov o tvrdeniach. Ale AI si vymýšľa zdroje – to je jej najnebezpečnejšia chyba. Vždy prineste zdroj a overte ho z primárneho zdroja; oddelená korelácia od príčinnej súvislosti; dodržiavať hierarchiu dôkazov; Spochybňujte obvinenia vyváženým spôsobom. AI zrýchľuje vaše myslenie; ale zodpovednosť za vedu, presnosť zdroja a poctivosť tvrdenia je na vás.

Aplikačná úloha

Vyberte si obľúbené výživové tvrdenie (napr. „zásaditá strava vyvažuje telo“ alebo „jedenie neskoro v noci priberá“). Získajte vyvážené hodnotenie od AI pomocou „šablóny kontroly reality reklamácie“. Potom použite „šablónu klasifikácie úrovne dôkazov“ na určenie úrovne dôkazov, na ktorých je nárok založený. Vedome tiež požiadajte AI o „zoznam zdrojov“ a vyhľadajte jednu z referencií, ktoré poskytuje v PubMed; Pozrite sa, či je to skutočné. Tento experiment bude stelesňovať zdrojovú halucináciu.

kontrolný zoznam

  • [ ] Priniesol som zdroj; Odkaz na AI som si nevymyslel.
  • [ ] Potvrdil som každý zdroj uvedený YZ z primárneho zdroja.
  • [ ] Rozlišoval som medzi koreláciou a kauzalitou.
  • [ ] Nárok som klasifikoval podľa hierarchie dôkazov.
  • [ ] Nároky som spochybnil vyváženým (nie jednostranným) spôsobom.
  • [ ] Skontroloval som kompatibilitu informácií s aktuálnymi sprievodcami/kompiláciami.