Enhet 10 / 11

Skanning av bevis og helsepåstander: Les vitenskapen riktig, unngå falske påstander

Gevinster:

  • Evne til å vurdere ernæringspåstander ved å vurdere bevishierarkiet og skille mellom sammenheng og årsakssammenheng
  • Evne til å gjenkjenne kunstig intelligenss kildehallusinasjon og verifisere hver referanse fra primærkilden
  • Evne til å bruke kunstig intelligens til ikke å finne kilder, men til å stille spørsmål ved og kritisk vurdere kilden

Ernæringsvitenskapen utvikler seg raskt og ny forskning publiseres stadig. En kostholdseksperts faglige verdi avhenger av hans evne til å skjelne sannheten i denne flommen av bevis, holde seg oppdatert og basere sine påstander på et solid grunnlag. Samtidig er ernæring et av områdene hvor pseudovitenskap trives best: en ny "mirakelmat", "toksin", "supermat"-påstand sirkulerer hver uke. AI kan hjelpe på begge fronter: den oppsummerer vitenskapelige tekster, forenkler komplekse studier, hjelper deg med å stille spørsmål ved bevisnivået for en påstand. Men det er her AIs farligste felle ligger: den kan lage studier som ikke eksisterer, finne opp kilder og presentere svake bevis som sterke. Prinsippet for denne enheten: bruk AI til å evaluere og stille spørsmål ved bevis, ikke for å finne det; verifiser hver kilde og hvert krav fra primærkilden.

Bevishierarki: ikke alle studier er like

I vitenskapen danner bevisets kraft en pyramide. Kraften øker fra bunn til topp:

Bevisnivå

Hva mener du?

kraft

Ekspertuttalelse / anekdote

Personlig erfaring, "det fungerte for en venn av meg"

svakeste

Saksserie

Observasjon av et lite antall pasienter

svak

observasjonsstudie

Overvåking av populasjon (korrelasjon)

medium

Randomisert kontrollert studie (RCT)

Eksperimenter med tilfeldige grupper (årsak og virkning)

sterk

Systematisk gjennomgang/metaanalyse

En konsolidert oppsummering av hardt arbeid

sterkest

Å kjenne til dette hierarkiet er kritisk; Fordi de fleste "denne maten gjør det" påstander i nyhetene faktisk er basert på svake observasjonsstudier. "Korrelasjon" (to ting som skjer sammen) er ikke "årsakssammenheng" (det ene forårsaker det andre): en observasjon om at kaffedrikkere lever lenger, beviser ikke at kaffe forlenger livet. AI gjør noen ganger dette skillet uskarpt; Du må avklare.

AIs kildehallusinasjon

Den mest lumske feilen til språkmodeller er at de fremstiller vitenskapelige studier, forfatternavn, tidsskriftnavn og DOI-nummer som faktisk ikke eksisterer. AI kan fortelle deg i en overbevisende setning, "Ifølge en studie publisert i Journal of Nutrition i 2021 ..."; at arbeidet kanskje aldri eksisterer. Så den gylne regelen: Ikke bruk noen kilde gitt av YZ uten å bekrefte det fra primærkilden (PubMed, Cochrane, original journal). Å bruke AI som litteratursøkemotor er en profesjonell feil.

Forsiktig: Hvis du forteller AI "liste over studier som støtter dette", kan du få overbevisende, men falske referanser. Riktig bruk: gi teksten til en ekte studie til AI og spør "oppsummer dette / hva er begrensningene for denne studien?" er å spørre. Du tar med kilden, AI tolker den.

Pålitelige retningslinjer og vitenskapelig konsensus

En kostholdsekspert trenger ikke å skanne litteraturen fra bunnen av for hvert spørsmål; Det finnes nasjonale og internasjonale retningslinjer for de fleste kliniske situasjoner. Guider er regelmessig oppdaterte konsensusdokumenter som ekspertpaneler evaluerer og konkluderer med en rekke studier fra; for eksempel Türkiye Nutrition Guide (TÜBER), anbefalinger fra Verdens helseorganisasjon (WHO), ernæringsretningslinjer for diabetes og kardiologiforeninger. Når du vurderer et krav, spør først "hva sier gjeldende veiledning om dette?" ' er mer pålitelig enn å gå seg vill i individuelle studier; fordi veilederen allerede har veid bevismaterialet. Du kan bruke AI på to måter her: for å oppsummere selve teksten i en guide, eller for å stille spørsmål ved om en påstand stemmer overens med den generelle konsensus i veiledningene. Men vær forsiktig: kataloginformasjonen i AIs minne kan være gammel eller forvirret; Bekreft alltid med den offisielle kilden hvilken versjon av veiledningen som er aktuell og den nøyaktige anbefalingen. Før du sier «Vitenskapen sier dette», verifiser den nåværende konsensusen til den vitenskapen fra det faktiske dokumentet. Guider oppdateres etter hvert som vitenskapen endres; En anbefaling fra tre år siden kan ha blitt revidert i dag.

Bruke AI riktig for å evaluere bevis

  1. Du tar med kilden. Finn en faktisk artikkel, sammendrag eller guide; Gi det til AI.
  2. Oppsummer og forenkle. Få kompleks tekst oversatt til et forståelig språk - men sammenlign påstandene med teksten.
  3. Sett spørsmålstegn ved restriksjonene. "Hva er de metodiske svakhetene ved denne studien?" AI er god til å generere kritiske spørsmål.
  4. Etabler kravet til bevisnivået. Få dem til å klassifisere bevisnivået som en påstand er basert på.
  5. Bekreft fra primærkilde. Bekreft hvert problem, hvert resultat og hver kilde med originalen.

tre minisaker

Tilfelle 1 — Fabrisert kilde. For en presentasjon, forteller en kostholdsekspert til AI, "gi 3 studier som beviser fordelene med intermitterende faste." AI gir tre studier, forfatter og år. Kostholdseksperten søker på PubMed: to av de tre finnes ikke i det hele tatt, en er på et annet tema. Hvis han hadde tatt det med i presentasjonen, ville hans faglige troverdighet blitt ødelagt. Den riktige måten var å finne selve kompilasjonene og få AI til å oppsummere dem. Leksjon: AI finner opp ressurser; Bekreft hver referanse.

Tilfelle 2 — Korrelasjons-årsaksfelle. En nyhetsartikkel har overskriften «frokost får deg til å gå ned i vekt», basert på en observasjonsstudie der «de som spiser frokost er tynnere». En klient spør om dette. Kostholdseksperten lar AI oppsummere studien og stille spørsmål ved begrensningene; Det viser seg at folk som spiser frokost generelt lever mer aktivt og regelmessig, noe som betyr at forholdet ikke er årsakssammenheng. Kostholdseksperten gir balansert informasjon til klienten. Leksjon: observasjon er ikke årsakssammenheng.

Tilfelle 3 – Riktig bruk. En kostholdsekspert finner en fersk metaanalyse av proteinbehov (ekte, fra PubMed), men teksten er lang og teknisk. Gi det til AI og spør "hva er hovedfunnet, prøven, begrensningene og den praktiske implikasjonen?" spør han. AI oppsummerer teksten trofast. Kostholdseksperten verifiserer sammendraget ved å sammenligne det med originalen og tilpasser det til sin praksis. AI reduserte lesebelastningen; kilde og verifisering forble hos dietisten.

Kopierbare spørsmålsmaler

STUDIEABSTRAKT MAL (DU oppgir kilden) Nedenfor er teksten/sammendraget av en faktisk vitenskapelig artikkel. Oppsummer dette med følgende overskrifter: forskningsspørsmål, metode/design, utvalg, hovedfunn, BEGRENSNINGER, praktisk implikasjon. Ikke legg til noe som IKKE står i teksten; montering. Tekst: [...]

BEVISNIVÅ KLASSIFISERINGSMAL For følgende krav: "[krav]". Vurder bevisnivået som denne påstanden vanligvis er basert på (anekdotisk / observasjons- / RCT / meta-analyse). Oppgi om det er sammenheng eller årsakssammenheng. Kilde FAKE; bare analyser påstandens bevisstyrke.

KRITISK UNDERSØKELSESMALL List opp metodologiske Svakheter og mulige skjevheter (liten utvalgsstørrelse, kort varighet, interessekonflikt, forvirrende faktor) i følgende studiesammendrag. Ikke overdriv funnet; balansert kritikk.Sammendrag: [...]

KREV REALITY CHECK MALA-klienten hørte følgende påstand: "[f.eks. detox-te fjerner giftstoffer]". Vurder ærlig på det vitenskapelige grunnlaget for denne påstanden: hva er kjent, hva er ikke kjent, hvilke deler er falske/overdrevne. Lag en avmålt, ikke-skremmende forklaring som skal fortelles til klienten. Kildefabrikasjon.

Svak forespørsel / Sterk forespørsel

Svak melding:

Liste studier som viser at ingefær styrker immuniteten.

Dette ønsket presser AI til å fremstille kilder og produserer skjevhet ved å spørre én vei ("beviser"). Falske attester kommer.

Kraftig ledetekst:

Din rolle: bevisevalueringsassistent; kilde FAKE Vurder "ingefær øker immunitet"-påstanden balansert: hvilket bevisnivå er denne påstanden vanligvis basert på, er bevisene sterke eller svake, korrelasjon eller årsakssammenheng? Gjør forskjellen mellom det som er kjent/det som er ukjent. IKKE referer til faktiske studier (jeg vil bekrefte dem fra PubMed); bare analyser påstandens bevisstyrke.

Den andre oppfordringen forbyr fremstilling av kilder, krever balansert (snarere enn ensidig) evaluering, og overlater verifisering til mennesker; output er et trygt tenkeverktøy.

Vanlige feil

  • Mistaking AI for en litteratursøkemotor: Be om ressurser; AI utgjør referanser.
  • Ikke bekrefter kilden: Bruker arbeidet levert av AI uten å bekrefte det fra primærkilden.
  • Mistaking korrelasjon for kausalitet: Presentere observasjonsfunn som "dette gjør det".
  • Ignorerer bevisnivået: Sett likhetstegn mellom anekdote og metaanalyse.
  • Ensidig spørring: Skaper skjevhet ved å si «bevis studier»; balansert problem.
  • Forsømmelse av aktualitet: Forutsatt at gammel/utdatert informasjon er aktuell; Se gjeldende versjon av veiledningene.

Oppsummert

Å lese bevis og ta hensyn til helsepåstander er grunnlaget for en dietists profesjonelle troverdighet. AI er en kraftig lese- og spørreassistent på dette feltet: den oppsummerer virkelige studier, trekker ut begrensninger, analyserer bevisnivået for påstander. Men AI lager kilder - dette er den farligste feilen. Ta alltid med kilden og verifiser den fra primærkilden; skille korrelasjon fra årsakssammenheng; observere bevishierarkiet; Still spørsmål ved påstandene på en balansert måte. AI setter fart på tenkningen din; men ansvaret for vitenskapen, nøyaktigheten til kilden og ærligheten til påstanden er ditt.

Søknadsoppgave

Velg en populær ernæringspåstand (f.eks. "alkalisk kosthold balanserer kroppen" eller "å spise sent på kvelden gjør at du går opp i vekt"). Få en balansert vurdering fra AI med "claim reality check-malen". Bruk deretter "klassifiseringsmalen for bevisnivå" for å bestemme bevisnivået som påstanden er basert på. Be også bevisst AI om en "kildeliste" og søk i en av referansene den gir i PubMed; Se om det er ekte. Dette eksperimentet vil legemliggjøre kildehallusinasjonen.

sjekkliste

  • [ ] Jeg tok med kilden; Jeg har ikke funnet på en referanse til AI.
  • [ ] Jeg bekreftet hver kilde gitt av YZ fra primærkilden.
  • [ ] Jeg skilte mellom korrelasjon og årsakssammenheng.
  • [ ] Jeg har klassifisert påstanden i henhold til bevishierarkiet.
  • [ ] Jeg stilte spørsmål ved påstandene på en balansert (ikke ensidig) måte.
  • [ ] Jeg sjekket kompatibiliteten til informasjonen med gjeldende guider/samlinger.