Yunit 10 / 11

Pag-scan ng Ebidensya at Mga Pag-aangkin sa Kalusugan: Pagbasa nang Tama sa Agham, Pag-iwas sa Mga Maling Pag-aangkin

Mga nadagdag:

  • Kakayahang suriin ang mga claim sa nutrisyon sa pamamagitan ng pagsasaalang-alang sa hierarchy ng ebidensya at pagkilala sa pagitan ng ugnayan at sanhi
  • Kakayahang kilalanin ang pinagmumulan ng hallucination ng artificial intelligence at i-verify ang bawat reference mula sa pangunahing pinagmulan
  • Kakayahang gumamit ng artificial intelligence hindi upang maghanap ng mga mapagkukunan, ngunit upang tanungin at kritikal na suriin ang pinagmulan

Mabilis na umuunlad ang agham ng nutrisyon at patuloy na inilalathala ang bagong pananaliksik. Ang propesyonal na halaga ng isang dietitian ay nakasalalay sa kanyang kakayahan na mabatid ang katotohanan sa baha ng ebidensyang ito, manatiling napapanahon, at ibase ang kanyang mga claim sa isang matatag na pundasyon. Kasabay nito, ang nutrisyon ay isa sa mga lugar kung saan ang pseudoscience ay higit na umuunlad: isang bagong "miracle food", "toxin", "superfood" na claim ang kumakalat bawat linggo. Makakatulong ang AI sa parehong larangan: nagbubuod ito ng mga siyentipikong teksto, pinapasimple ang mga kumplikadong pag-aaral, tinutulungan kang magtanong sa antas ng ebidensya para sa isang claim. Ngunit dito nakasalalay ang pinaka-mapanganib na bitag ng AI: maaari itong gumawa ng mga pag-aaral na hindi umiiral, mag-imbento ng mga mapagkukunan, at magpakita ng mahinang ebidensya bilang malakas. Ang prinsipyo ng yunit na ito: gumamit ng AI upang suriin at tanungin ang ebidensya, hindi para hanapin ito; i-verify ang bawat source at bawat claim mula sa pangunahing source.

Hierarchy ng ebidensya: hindi lahat ng pag-aaral ay pantay

Sa agham, ang kapangyarihan ng ebidensya ay bumubuo ng isang pyramid. Tumataas ang kapangyarihan mula sa ibaba hanggang sa itaas:

Antas ng ebidensya

Anong ibig mong sabihin?

kapangyarihan

Opinyon ng eksperto / anekdota

Personal na karanasan, "nagtrabaho ito para sa isang kaibigan ko"

pinakamahina

Serye ng kaso

Pagmamasid ng isang maliit na bilang ng mga pasyente

mahina

obserbasyonal na pag-aaral

Pagsubaybay sa populasyon (kaugnayan)

daluyan

Randomized na kinokontrol na pagsubok (RCT)

Mag-eksperimento sa mga random na grupo (sanhi at epekto)

malakas

Systematic na pagsusuri/meta-analysis

Isang pinagsama-samang buod ng pagsusumikap

pinakamalakas

Ang pag-alam sa hierarchy na ito ay kritikal; Dahil karamihan sa mga sinasabing "ginagawa ng pagkaing ito" sa balita ay talagang batay sa mahinang pag-aaral sa pagmamasid. Ang "kaugnayan" (dalawang bagay na magkasama) ay hindi "sanhi" (isang sanhi ng isa pa): isang obserbasyon na ang mga umiinom ng kape ay nabubuhay nang mas matagal ay hindi nagpapatunay na ang kape ay nagpapahaba ng buhay. Minsan pinalabo ng AI ang pagkakaibang ito; Kailangan mong linawin.

Pinagmulan ng hallucination ng AI

Ang pinaka mapanlinlang na pagkakamali ng mga modelo ng wika ay ang paggawa ng mga siyentipikong pag-aaral, mga pangalan ng may-akda, mga pangalan ng journal at mga numero ng DOI na hindi aktwal na umiiral. Maaaring sabihin sa iyo ng AI sa isang nakakumbinsi na pangungusap, "Ayon sa isang pag-aaral na inilathala sa Journal of Nutrition noong 2021..."; ang gawaing iyon ay maaaring hindi kailanman umiiral. Kaya ang ginintuang tuntunin: Huwag gumamit ng anumang pinagmulang ibinigay ng YZ nang hindi ito kinukumpirma mula sa pangunahing pinagmulan (PubMed, Cochrane, orihinal na journal). Ang paggamit ng AI bilang isang literatura na search engine ay isang propesyonal na pagkakamali.

Babala: Kung sasabihin mo sa AI ang "listahan ang mga pag-aaral na sumusuporta dito" maaari kang makakuha ng mga nakakumbinsi ngunit pekeng mga sanggunian. Tamang paggamit: ibigay ang teksto ng isang tunay na pag-aaral sa AI at tanungin ang "ibuod ito / ano ang mga limitasyon ng pag-aaral na ito?" ay magtanong. Dalhin mo ang source, AI ang nag-interpret nito.

Mga pinagkakatiwalaang alituntunin at siyentipikong pinagkasunduan

Ang isang dietitian ay hindi kailangang i-scan ang panitikan mula sa simula para sa bawat tanong; Mayroong pambansa at internasyonal na mga alituntunin para sa karamihan ng mga klinikal na sitwasyon. Ang mga gabay ay regular na ina-update ang mga dokumento ng pinagkasunduan kung saan sinusuri at tinatapos ng mga ekspertong panel ang maraming pag-aaral; halimbawa, Türkiye Nutrition Guide (TÜBER), mga rekomendasyon ng World Health Organization (WHO), mga alituntunin sa nutrisyon ng diabetes at mga asosasyon ng cardiology. Kapag sinusuri ang isang claim, tanungin muna ang "ano ang sinasabi ng kasalukuyang patnubay tungkol dito?" ' ay mas maaasahan kaysa sa pagkawala sa mga indibidwal na pag-aaral; dahil natimbang na ng guide ang body of evidence. Maaari mong gamitin ang AI sa dalawang paraan dito: upang ibuod ang aktwal na teksto ng isang gabay, o tanungin kung ang isang claim ay naaayon sa pangkalahatang pinagkasunduan sa mga gabay. Ngunit mag-ingat: ang impormasyon ng direktoryo sa memorya ng AI ay maaaring luma o nalilito; Palaging kumpirmahin sa opisyal na pinagmulan kung aling bersyon ng gabay ang kasalukuyan at ang eksaktong rekomendasyon. Bago mo sabihin ang "Sinasabi ito ng agham," i-verify ang kasalukuyang pinagkasunduan ng agham na iyon mula sa aktwal na dokumento. Ang mga gabay ay ina-update habang nagbabago ang agham; Ang isang rekomendasyon mula sa tatlong taon na ang nakalipas ay maaaring na-rebisa ngayon.

Paggamit ng AI nang tama sa pagsusuri ng ebidensya

  1. Dalhin mo ang pinagmulan. Maghanap ng isang aktwal na artikulo, buod o gabay; Ibigay ito sa AI.
  2. Ibuod at pasimplehin. Isalin ang kumplikadong teksto sa naiintindihan na wika — ngunit ihambing ang mga claim sa teksto.
  3. Tanong sa mga paghihigpit. "Ano ang mga metodolohikal na kahinaan ng pag-aaral na ito?" Ang AI ay mahusay sa pagbuo ng mga kritikal na tanong.
  4. Itatag ang claim sa antas ng ebidensya. Ipauri sa kanila ang antas ng ebidensya kung saan nakabatay ang isang paghahabol.
  5. I-verify mula sa pangunahing pinagmulan. I-verify ang bawat isyu, bawat resulta, at bawat pinagmulan gamit ang orihinal.

tatlong mini case

Case 1 — Pinagmulan ng gawa-gawa. Para sa isang pagtatanghal, sinabi ng isang dietitian sa AI, "magbigay ng 3 pag-aaral na nagpapatunay sa mga benepisyo ng paulit-ulit na pag-aayuno." Nagbibigay ang AI ng tatlong pag-aaral, may-akda at taon. Ang mga paghahanap ng dietitian sa PubMed: dalawa sa tatlo ay wala talaga, ang isa ay nasa ibang paksa. Kung isinama niya ito sa pagtatanghal, nawasak ang kanyang propesyonal na kredibilidad. Ang tamang paraan ay ang hanapin ang aktwal na mga compilation mismo at ipabuod ang mga ito sa AI. Lesson: AI invents resources; I-verify ang bawat reference.

Case 2 — Correlation-causation trap. Ang isang headline ng artikulo ng balita ay "nagpapayat ang almusal", batay sa isang pag-aaral sa obserbasyon kung saan "mas payat ang mga kumakain ng almusal." Tinanong ito ng isang kliyente. Ang dietitian ay may AI na buod sa pag-aaral at tanungin ang mga hadlang nito; Lumalabas na ang mga taong kumakain ng almusal sa pangkalahatan ay nabubuhay nang mas aktibo at regular, ibig sabihin, ang relasyon ay hindi sanhi. Ang dietitian ay nagbibigay ng balanseng impormasyon sa kliyente. Aral: ang pagmamasid ay hindi sanhi.

Kaso 3 — Tamang paggamit. Nakahanap ang isang dietitian ng kamakailang meta-analysis ng mga pangangailangan sa protina (totoo, mula sa PubMed), ngunit ang teksto ay mahaba at teknikal. Ibigay ito sa AI at itanong "ano ang pangunahing paghahanap, sample, mga hadlang, at praktikal na implikasyon?" tanong niya. Matapat na ibinubuod ng AI ang teksto. Bine-verify ng dietitian ang buod sa pamamagitan ng paghahambing nito sa orihinal at iangkop ito sa kanyang kasanayan. Binawasan ng AI ang pag-load ng pagbabasa; ang pinagmulan at pagpapatunay ay nanatili sa dietitian.

Nakokopya na mga template ng prompt

PAG-AARAL ABSTRACT TEMPLATE (Ibigay mo ang pinagmulan)Sa ibaba ay ang teksto/buod ng isang aktuwal na siyentipikong papel. Ibuod ito ng mga sumusunod na heading: tanong sa pananaliksik, pamamaraan/disenyo, sample, pangunahing paghahanap, LIMITASYON, praktikal na implikasyon. Huwag magdagdag ng anumang bagay na WALA sa teksto; angkop. Teksto: [...]

LEVEL OF EVIDENCE CLASSIFICATION TEMPLATEPara sa sumusunod na claim: "[claim]". Isaalang-alang ang antas ng ebidensya kung saan karaniwang nakabatay ang claim na ito (anecdotal / observational / RCT / meta-analysis). Sabihin kung may ugnayan o sanhi. Pinagmulan FAKE; pag-aralan lang ang evidentiary strength ng claim.

CRITICAL INQUIRY TEMPLATElista ang mga metodolohikal na KAHINAAN at posibleng mga bias (maliit na sukat ng sample, maikling tagal, salungatan ng interes, nakakalito na kadahilanan) ng sumusunod na buod ng pag-aaral. Huwag palakihin ang paghahanap; balanseng pagpuna.Buod: [...]

CLAIM REALITY CHECK TEMPLATEA client narinig ang sumusunod na claim: "[hal., detox tea removes toxins]". Matapat na suriin ang siyentipikong batayan ng claim na ito: kung ano ang alam, kung ano ang hindi alam, kung ano ang mga bahagi ay mali/pinalabis. Bumuo ng isang nasusukat, hindi nakakatakot na paliwanag na sasabihin sa kliyente. Pinagmumulan ng katha.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Maglista ng mga pag-aaral na nagpapatunay na ang luya ay nagpapalakas ng kaligtasan sa sakit.

Ang pagnanais na ito ay nagtutulak sa AI na gumawa ng mga mapagkukunan at gumagawa ng bias sa pamamagitan ng pagtatanong ng isang paraan ("prover"). Dumating ang mga pekeng testimonial.

Napakahusay na prompt:

Ang iyong tungkulin: katulong sa pagsusuri ng ebidensya; source FAKE Suriin nang balanse ang claim na "ginger boosts immunity": anong antas ng ebidensya ang karaniwang batayan ng claim na ito, malakas ba o mahina ang ebidensya, ugnayan o sanhi? Gawin ang pagkakaiba sa pagitan ng kung ano ang kilala / kung ano ang hindi kilala. HUWAG sumangguni sa mga aktwal na pag-aaral (Ibe-verify ko sila mula sa PubMed); pag-aralan lang ang evidentiary strength ng claim.

Ang pangalawang prompt ay nagbabawal sa paggawa ng mga mapagkukunan, nangangailangan ng balanseng (sa halip na isang panig) na pagsusuri, at nag-iiwan ng pag-verify sa mga tao; ang output ay isang ligtas na tool sa pag-iisip.

Mga karaniwang pagkakamali

  • Napagkakamalang AI para sa isang literatura search engine: Humihingi ng mga mapagkukunan; Ang AI ay gumagawa ng mga sanggunian.
  • Hindi kinukumpirma ang pinagmulan: Gamit ang gawaing ibinigay ng AI nang hindi ito bini-verify mula sa pangunahing pinagmulan.
  • Nagkakamali ng ugnayan para sa sanhi: Pagpapakita ng mga natuklasan sa pagmamasid bilang "ginagawa nito iyon."
  • Pagbabalewala sa antas ng ebidensya: Pagtutumbas ng anekdota sa meta-analysis.
  • Isang panig na pagtatanong: Paglikha ng bias sa pamamagitan ng pagsasabi ng "pagpapatunay ng mga pag-aaral"; balanseng problema.
  • Pagpapabaya sa pagiging bago: Ipagpalagay na ang luma/luma nang impormasyon ay napapanahon; Tingnan ang kasalukuyang bersyon ng mga gabay.

Sa buod

Ang pagbabasa ng ebidensya at pagbibigay-pansin sa mga claim sa kalusugan ay ang pundasyon ng propesyonal na kredibilidad ng isang dietitian. Ang AI ay isang mahusay na katulong sa pagbabasa at pagtatanong sa larangang ito: nagbubuod ito ng mga tunay na pag-aaral, kumukuha ng mga hadlang, sinusuri ang antas ng ebidensya ng mga claim. Ngunit ang AI ay gumagawa ng mga mapagkukunan - ito ang pinaka-mapanganib na pagkakamali. Palaging dalhin ang pinagmulan at i-verify ito mula sa pangunahing pinagmulan; hiwalay na ugnayan mula sa sanhi; obserbahan ang hierarchy ng ebidensya; Tanungin ang mga paratang sa isang balanseng paraan. Pinapabilis ng AI ang iyong pag-iisip; ngunit ang responsibilidad para sa agham, ang katumpakan ng pinagmulan, at ang katapatan ng pag-angkin ay nasa iyo.

Gawain ng aplikasyon

Pumili ng tanyag na claim sa nutrisyon (hal. "binabalanse ng alkaline diet ang katawan" o "pagtataba ka ng pagkain sa gabi"). Kumuha ng balanseng pagtatasa mula sa AI gamit ang “claim reality check template”. Pagkatapos ay gamitin ang "template ng pag-uuri ng antas ng ebidensya" upang matukoy ang antas ng ebidensya kung saan nakabatay ang claim. Gayundin, sadyang humingi sa AI ng "listahan ng pinagmulan" at hanapin ang isa sa mga sanggunian na ibinibigay nito sa PubMed; Tingnan mo kung totoo. Isasama ng eksperimentong ito ang pinagmulang guni-guni.

checklist

  • [ ] Dinala ko ang pinanggalingan; Hindi ako gumawa ng reference sa AI.
  • [ ] Kinumpirma ko ang bawat source na ibinigay ng YZ mula sa pangunahing source.
  • [ ] Natukoy ko ang pagkakaiba sa pagitan ng ugnayan at sanhi.
  • [ ] Inuri ko ang claim ayon sa hierarchy ng ebidensya.
  • [ ] Kinuwestiyon ko ang mga claim sa isang balanseng (hindi isang panig) na paraan.
  • [ ] Sinuri ko ang compatibility ng impormasyon sa kasalukuyang mga gabay/compilations.