Jednotka 10 / 11

Skenování důkazů a zdravotní tvrzení: Správné čtení vědy, vyhýbání se nepravdivým tvrzením

zisky:

  • Schopnost hodnotit výživová tvrzení zvážením hierarchie důkazů a rozlišováním mezi korelací a příčinnou souvislostí
  • Schopnost rozpoznat zdrojovou halucinaci umělé inteligence a ověřit každou referenci z primárního zdroje
  • Schopnost používat umělou inteligenci ne k nalezení zdrojů, ale ke zpochybnění a kritickému hodnocení zdroje

Věda o výživě se rychle vyvíjí a neustále jsou publikovány nové výzkumy. Odborná hodnota dietologa závisí na jeho schopnosti rozeznat pravdu v této záplavě důkazů, zůstat aktuální a založit svá tvrzení na pevných základech. Výživa je přitom jednou z oblastí, kde se pseudovědě daří nejvíce: každý týden koluje nové tvrzení „zázračné jídlo“, „toxin“, „superpotravina“. Umělá inteligence může pomoci na obou frontách: shrnuje vědecké texty, zjednodušuje složité studie, pomáhá vám zpochybnit úroveň důkazů pro tvrzení. Ale právě tady leží nejnebezpečnější past AI: dokáže vyrobit studie, které neexistují, vymýšlet zdroje a prezentovat slabé důkazy jako silné. Princip této jednotky: používat AI k hodnocení a zpochybňování důkazů, ne k jejich nalezení; ověřit každý zdroj a každé tvrzení z primárního zdroje.

Hierarchie důkazů: ne všechny studie jsou stejné

Ve vědě síla důkazu tvoří pyramidu. Výkon se zvyšuje zdola nahoru:

Úroveň důkazů

co tím myslíš?

moc

Znalecký posudek / anekdota

Osobní zkušenost, "mému známému to fungovalo"

nejslabší

Série případů

Pozorování malého počtu pacientů

slabý

observační studie

Monitorování populace (korelace)

střední

Randomizovaná kontrolovaná studie (RCT)

Experimentujte s náhodnými skupinami (příčina a následek)

silný

Systematický přehled/metaanalýza

Konsolidované shrnutí tvrdé práce

nejsilnější

Znalost této hierarchie je kritická; Protože většina tvrzení „toto jídlo to dělá“ ve zprávách je ve skutečnosti založena na slabých pozorovacích studiích. „Korelace“ (dvě věci vyskytující se společně) není „příčinná souvislost“ (jedna způsobuje druhou): pozorování, že pijáci kávy žijí déle, nedokazuje, že káva prodlužuje život. AI někdy tento rozdíl stírá; Musíte si to ujasnit.

Halucinace zdroje AI

Nejzákeřnější chybou jazykových modelů je, že vytvářejí vědecké studie, jména autorů, názvy časopisů a čísla DOI, které ve skutečnosti neexistují. AI vám může říci přesvědčivou větou: „Podle studie zveřejněné v Journal of Nutrition v roce 2021…“; ta práce možná nikdy nebude existovat. Takže zlaté pravidlo: Nepoužívejte žádný zdroj poskytnutý YZ, aniž byste to potvrdili z primárního zdroje (PubMed, Cochrane, původní časopis). Používání umělé inteligence jako vyhledávače literatury je profesionální chyba.

Upozornění: Pokud řeknete AI „seznam studií, které to podporují“, můžete získat přesvědčivé, ale falešné reference. Správné použití: dejte text skutečné studie AI ​​a zeptejte se "shrňte to / jaká jsou omezení této studie?" je zeptat se. Vy přinesete zdroj, AI jej interpretuje.

Důvěryhodné pokyny a vědecký konsensus

Dietolog nemusí pro každou otázku prohledávat literaturu od nuly; Pro většinu klinických situací existují národní a mezinárodní směrnice. Návody jsou pravidelně aktualizované konsensuální dokumenty, z nichž expertní panely hodnotí a uzavírají četné studie; například Türkiye Nutrition Guide (TÜBER), doporučení Světové zdravotnické organizace (WHO), výživová doporučení diabetiků a kardiologických asociací. Při hodnocení nároku se nejprve zeptejte: „Co o tom říkají aktuální pokyny?“ ' je spolehlivější než ztrácet se v jednotlivých studiích; protože průvodce už zvážil množství důkazů. Umělou inteligenci zde můžete použít dvěma způsoby: ke shrnutí skutečného textu příručky nebo ke zpochybnění, zda je tvrzení v souladu s obecným konsensem v příručkách. Ale buďte opatrní: informace o adresáři v paměti AI mohou být staré nebo zmatené; Vždy si ověřte u oficiálního zdroje, která verze průvodce je aktuální a přesné doporučení. Než řeknete „To říká věda“, ověřte si současný konsensus této vědy ze skutečného dokumentu. Průvodci jsou aktualizováni, jak se věda mění; Doporučení z doby před třemi lety mohlo být dnes revidováno.

Správné používání AI při hodnocení důkazů

  1. Přineseš zdroj. Najděte aktuální článek, shrnutí nebo průvodce; Dejte to AI.
  2. Shrnout a zjednodušit. Nechte si složitý text přeložit do srozumitelného jazyka – ale porovnejte tvrzení s textem.
  3. Zpochybňujte omezení. "Jaké jsou metodologické slabiny této studie?" Umělá inteligence je dobrá při generování kritických otázek.
  4. Uveďte tvrzení na úroveň důkazů. Nechte je klasifikovat úroveň důkazů, na kterých je tvrzení založeno.
  5. Ověřte z primárního zdroje. Ověřte každý problém, každý výsledek a každý zdroj s originálem.

tři mini pouzdra

Případ 1 – Vymyšlený zdroj. Pro prezentaci, dietolog říká AI, "uveďte 3 studie, které prokazují výhody přerušovaného půstu." AI uvádí tři studie, autora a rok. Dietoložka hledá na PubMed: dvě ze tří vůbec neexistují, jedna je na jiné téma. Pokud by to zařadil do prezentace, byla by zničena jeho odborná důvěryhodnost. Správným způsobem bylo najít samotné kompilace a nechat je AI shrnout. Lekce: AI vynalézá zdroje; Ověřte každou referenci.

Případ 2 – Past korelace-příčinnosti. Novinový článek s titulky „snídaně zhubne“, založený na pozorovací studii, ve které „ti, kdo snídají, jsou hubenější“. Na to se ptá klient. Dietolog nechá AI shrnout studii a zpochybnit její omezení; Ukazuje se, že lidé, kteří snídají, obecně žijí aktivněji a pravidelněji, to znamená, že vztah není kauzální. Dietolog poskytuje klientovi vyvážené informace. Poučení: pozorování není kauzalita.

Případ 3 – Správné použití. Dietolog našel nedávnou metaanalýzu potřeb bílkovin (skutečnou, z PubMed), ale text je dlouhý a technický. Předejte to AI a zeptejte se „co je hlavní zjištění, vzorek, omezení a praktické důsledky? ptá se. AI věrně shrnuje text. Dietolog si shrnutí ověří porovnáním s originálem a přizpůsobí ho své praxi. AI snížila zatížení čtení; zdroj a ověření zůstalo u dietologa.

Kopírovatelné šablony výzev

ŠABLONA STUDIJNÍHO ABSTRAKTU (Uvádíte zdroj) Níže je text/shrnutí aktuální vědecké práce. Shrňte to do následujících nadpisů: výzkumná otázka, metoda/design, vzorek, hlavní zjištění, OMEZENÍ, praktické důsledky. Nepřidávejte nic, co NENÍ v textu; kování. Text: [...]

ŠABLONA KLASIFIKACE ÚROVNĚ DŮKAZUPro následující tvrzení: "[nárok]". Zvažte úroveň důkazů, na kterých je toto tvrzení obvykle založeno (neoficiální / observační / RCT / metaanalýza). Uveďte, zda existuje korelace nebo příčinná souvislost. Zdroj FAKE; stačí analyzovat důkazní sílu tvrzení.

ŠABLONA KRITICKÉHO DOTAZU Uveďte metodologické SLABINY a možné zkreslení (malá velikost vzorku, krátké trvání, střet zájmů, matoucí faktor) následujícího souhrnu studie. Nepřehánějte nález; vyvážená kritika. Shrnutí: [...]

CLAIM REALITY CHECK TEMPLATEA klient slyšel následující tvrzení: „[např. detoxikační čaj odstraňuje toxiny]“. Upřímně zhodnoťte vědecký základ tohoto tvrzení: co je známo, co není známo, které části jsou nepravdivé/přehnané. Navrhněte odměřené, neděsivé vysvětlení, které sdělíte klientovi. Výroba zdroje.

Slabá výzva / Silná výzva

Slabá výzva:

Uveďte studie dokazující, že zázvor posiluje imunitu.

Tato touha tlačí AI k vymýšlení zdrojů a vytváří zkreslení tím, že se ptá jedním způsobem („prover“). Přicházejí falešná svědectví.

Výkonná výzva:

Vaše role: asistent hodnocení důkazů; zdroj FAKE Vyhodnoťte tvrzení "zázvor posiluje imunitu" vyváženě: na jaké úrovni důkazů je toto tvrzení obvykle založeno, jsou důkazy silné nebo slabé, korelace nebo příčinné souvislosti? Rozlišujte mezi tím, co je známo a tím, co je neznámé. NEODKAZUJTE na skutečné studie (ověřím je z PubMed); stačí analyzovat důkazní sílu tvrzení.

Druhá výzva zakazuje výrobu zdrojů, vyžaduje vyvážené (spíše než jednostranné) hodnocení a nechává ověřování na lidech; výstup je bezpečný nástroj myšlení.

Časté chyby

  • Záměna umělé inteligence za vyhledávač literatury: Požadavek na zdroje; AI tvoří reference.
  • Nepotvrzení zdroje: Použití práce poskytnuté AI bez ověření z primárního zdroje.
  • Mylná korelace s kauzalitou: Prezentace pozorovacích zjištění jako „toto dělá ono“.
  • Ignorování úrovně důkazů: Srovnávání anekdoty s metaanalýzou.
  • Jednostranné dotazování: Vytváření zkreslení vyslovením „prokazování studií“; vyvážený problém.
  • Zanedbání aktuálnosti: Za předpokladu, že staré/neaktuální informace jsou aktuální; Podívejte se na aktuální verzi průvodců.

V souhrnu

Čtení důkazů a věnování pozornosti zdravotním tvrzením jsou základem profesionální důvěryhodnosti dietologa. AI je v této oblasti výkonným pomocníkem při čtení a dotazování: shrnuje skutečné studie, extrahuje omezení, analyzuje úroveň důkazů tvrzení. Ale umělá inteligence si zdroje vyrábí – to je její nejnebezpečnější chyba. Vždy přineste zdroj a ověřte jej z primárního zdroje; oddělená korelace od příčinné souvislosti; dodržovat hierarchii důkazů; Zpochybnit obvinění vyváženým způsobem. AI zrychlí vaše myšlení; ale odpovědnost za vědu, přesnost zdroje a poctivost tvrzení je na vás.

Aplikační úkol

Vyberte si oblíbené výživové tvrzení (např. „zásaditá strava vyrovnává tělo“ nebo „jedení pozdě v noci přibírá na váze“). Získejte vyvážené hodnocení od AI pomocí „šablony kontroly reality nároku“. Poté použijte „šablonu klasifikace úrovně důkazů“ k určení úrovně důkazů, na kterých je nárok založen. Vědomě také požádejte AI o „zdrojový seznam“ a vyhledejte v PubMed jednu z odkazů, které poskytuje; Podívejte se, jestli je to skutečné. Tento experiment bude ztělesňovat zdrojovou halucinaci.

kontrolní seznam

  • [ ] Přinesl jsem zdroj; Odkaz na AI jsem si nevymyslel.
  • [ ] Potvrdil jsem každý zdroj uvedený YZ z primárního zdroje.
  • [ ] Rozlišoval jsem mezi korelací a kauzalitou.
  • [ ] Tvrzení jsem zařadil podle hierarchie důkazů.
  • [ ] Nároky jsem zpochybnil vyváženým (nikoli jednostranným) způsobem.
  • [ ] Ověřil jsem kompatibilitu informací s aktuálními průvodci/kompilacemi.