Yunit 3 / 12

Pagsusuri sa Medikal na Literatura at Buod ng Ebidensya

Mga nadagdag:

  • Kakayahang gumamit ng artificial intelligence bilang isang tool upang mabilis na mai-scan ang malawak na literatura at ibuod ang mga termino at konsepto
  • Ang bawat pagsipi, pag-aaral at figure ay dapat kumpirmahin mula sa tunay na artikulo at kasalukuyang gabay, sa pamamahala ng panganib ng mga gawa-gawang mapagkukunan
  • Kakayahang kritikal na basahin ang abstract, pagtatasa sa antas ng ebidensya (meta-analysis, RCT, case series) at conflict of interest.

Ang makabagong medisina ay nakabatay sa ebidensya: ang mga desisyon ay dapat na nakabatay sa pinakabago at pinakamatibay na ebidensyang siyentipiko. Ngunit milyon-milyong mga artikulo ang nai-publish bawat taon; Imposible para sa isang doktor na basahin ang lahat ng ito. Ang artificial intelligence (AI) ay isang mahusay na tool sa pag-scan at pagbubuod dito: mabilis na pagbubuod ng isang paksa, pagpapaliwanag ng mga termino, paghahambing ng magkasalungat na pananaw, pag-distile ng pangunahing paghahanap ng isang papel sa ilang pangungusap. Ngunit dito lumalabas ang pinaka-mapanganib na kahinaan ng AI sa medikal na literatura: AI ay maaaring gumawa ng (hallucinate) na mga artikulo, may-akda, at mga numero ng DOI na wala. Sa unit na ito, matututunan mo kung paano gamitin ang AI bilang isang accelerator sa pagsusuri sa panitikan at kung paano i-verify ang bawat source. Rule of thumb: Inirerekomenda ng AI ang mga mapagkukunan; Kinukumpirma mo ang pinagmulan mula sa totoong database.

Pag-alam sa hierarchy ng ebidensya

Hindi lahat ng pag-aaral ay may pantay na timbang. Ang lakas ng ebidensya ay itinuturing na isang pyramid. Nasa itaas ang mga sistematikong pagsusuri at meta-analysis (mga pag-aaral na pinagsasama-sama at pinagsasama-sama ng istatistika ang maraming pag-aaral). Sa ilalim nito ay ang randomized controlled trial (RCT; ang pinaka-maaasahang uri ng eksperimento kung saan ang mga pasyente ay nahahati sa mga random na grupo). Pagkatapos ay mayroong cohort at case-control na pag-aaral, pagkatapos ay serye ng kaso at mga ulat ng kaso, at sa ibaba ay opinyon ng eksperto at mga pag-aaral sa hayop/laboratoryo.

Madalas na hindi tinutukoy ng AI ang antas na ito kapag nagbubuod ng isang claim. Ang pangungusap na "Epektibo ang paggamot na ito" ay maaaring batay sa isang meta-analysis o isang solong serye ng maliliit na kaso. Ang pagkakaiba sa pagitan ng dalawa ay ganap na nagbabago sa iyong klinikal na paghatol. Kaya ang pagtatanong kung anong antas ng ebidensya ang batayan ng bawat claim ay ang unang hakbang sa pagbabasa ng maikling AI.

Hint: Tanungin ang AI "sa anong antas ng ebidensya ang pag-aangkin na ito batay sa?" magtanong. Ngunit i-verify din ang sagot; Ang AI ay maaari ring maling-attribute ang antas ng ebidensya. Ang pangwakas na pagsusuri ay ginagawa sa pamamagitan ng pagbabasa ng pangunahing mapagkukunan at ang kasalukuyang gabay.

Hakbang-hakbang: Ligtas na may buod ng panitikan ng AI

  1. Linawin ang tanong. Gumagana ang balangkas ng PICO: Pasyente/Populasyon, Pamamagitan, Paghahambing, Kinalabasan.
  2. Humiling ng buod ng mga konsepto at termino mula sa AI. Upang maunawaan ang paksa at mahanap ang mga tamang termino para sa paghahanap.
  3. Hanapin ang bawat mapagkukunang ibinigay ng AI sa totoong database. PubMed, Cochrane, kasalukuyang mga site ng guideline.
  4. Basahin ang kasalukuyang artikulo mula sa pangunahing pinagmulan. Pareho ba ang buod ng AI at ang aktwal na konklusyon ng artikulo?
  5. Isaalang-alang ang antas ng ebidensya at salungatan ng interes. Sino ang nag-finance nito, ilang tao ang nasa sample, makabuluhan ba ang resulta?
  6. Ihambing sa kasalukuyang gabay. Mag-ingat kung ang indibidwal na pag-aaral ay labag sa manwal.

tatlong mini case

Case 1 — Pinagmulan ng gawa-gawa. Humihiling ang isang residente ng 5 mapagkukunan mula sa AI upang gamutin ang isang pambihirang vasculitis. Ang AI ay napakahusay na na-format, na nagbibigay ng 5 pagsipi sa DOI. Hinahanap ng assistant ang lahat sa PubMed: 3 wala talaga, 1 ay nasa ibang paksa, 1 lang ang totoo. Kung ang kumpirmasyon ay hindi ginawa, ang 4 na maling mapagkukunan ay naisama sa isang pagtatanghal ng seminar.

Kaso 2 — Antas ng pagkalito sa ebidensya. Nabasa ng isang manggagamot mula sa buod ng AI na ang isang bagong suplemento ay "epektibo." Kapag pumunta siya sa pangunahing pinagmumulan, nakita niya na ang claim ay batay sa isang hindi kontrolado, suportado ng tagagawa na pag-aaral ng 24 na tao. Sinasabi ng kasalukuyang patnubay na walang malinaw na ebidensya. Sinusuri ng doktor ang rekomendasyon ayon sa gabay, hindi ayon sa isang pag-aaral.

Case 3 — Tama at mabilis na paggamit. Ang isang manggagamot ay tumatanggap ng konseptong buod mula sa AI upang maunawaan ang kasalukuyang pagbabago sa diagnostic na pamantayan ng isang sakit; Sa madaling salita, nahahanap nito ang mga tamang termino para sa paghahanap at naabot ang nauugnay na seksyon ng kasalukuyang gabay. Ang 40 minutong tawag ay binabawasan ng 10 minuto. Pinangunahan ng AI ang daan; Ang guidance text ang gumawa ng desisyon.

Talahanayan ng pagpapatunay ng pinagmulan

ibinigay ng AI

landas ng pag-verify

Panganib

Pamagat ng artikulo/may-akda

Maghanap sa database (PubMed)

Baka peke

Numero ng DOI

Lutasin sa pamamagitan ng doi.org

Maaaring hindi wasto/ginawa

Numerical na resulta (%, HR)

Basahin ang konklusyon ng artikulo

Maaaring mailipat nang hindi tama

"Iminumungkahi ng gabay"

Buksan ang opisyal na teksto ng kasalukuyang gabay

Baka luma na

Antas ng ebidensya

Tingnan ang uri ng pag-aaral mula sa pangunahing pinagmulan

Maaaring ma-misattributed

Apat na maaaring kopyahin na mga template

Gawain: Buuin ang sumusunod na klinikal na tanong sa loob ng balangkas ng PICO at magbigay ng konseptwal na BUOD para sa aking pag-unawa sa paksa. HUWAG gumawa ng pinagmulan; magmungkahi kung anong mga termino at kung aling mga database ang dapat kong hanapin sa halip. Tanong: [...]

Gawain: Ilista ang BAWAT medikal na pag-aangkin sa buod ng AI sa ibaba at para sa bawat isa:- sa anong antas ng ebidensya ito ibabatay sa (meta-analysis/RCT/serye ng kaso)?- tandaan na “dapat ma-verify mula sa pangunahing pinagmulan” Pinagmulan na katha; markahan lamang ang mga puntong ibe-verify.Buod: [...]

Gawain: Ibuod ang mga pangunahing natuklasan ng artikulong ito (teksto sa ibaba), pinapasimple ang laki ng sample, pangunahing endpoint, at mga limitasyon. Huwag magdagdag ng iyong sariling kaalaman; umasa lamang sa ibinigay na teksto. Teksto: [...]

Gawain: Bumuo ng checklist upang Ihambing ang sumusunod na claim sa kasalukuyang patnubay: aling patnubay, aling seksyon, anong klase ng rekomendasyon, ang may conflict of interest? Huwag gawin ang teksto ng gabay; magbigay ng mga checkpoint. Claim: [...]

Mahinang prompt / Malakas na prompt

Mahina: "Ano ang pinakamahusay na paggamot para sa sakit na ito, magbigay ng mapagkukunan."

Malakas: "Ibuo ang isyu ng higit na kahusayan ng paggamot na Y sa Z kung sakali

Sa malakas na prompt, pinipigilan ang AI na tumugma sa mga mapagkukunan at ang gawain nito ay limitado sa pag-scan at pagdidirekta.

Mga karaniwang pagkakamali

  • Napagkakamalang tunay na gawa-gawang pinagmulan. Ang bawat pagsipi ay dapat hanapin sa database.
  • Hindi pinapansin ang antas ng ebidensya. Ang meta-analysis at case presentation ay walang parehong timbang.
  • Ang pagpapalit ng AI abstract para sa artikulo. Maaaring maling quote ang buod; binasa ang pangunahing mapagkukunan.
  • Pagpapanatiling ang nag-iisang gawain sa itaas ng gabay. Isinasaalang-alang ng gabay ang kabuuan ng ebidensya.
  • Paglampas sa salungatan ng interes. Kung sino ang nagpopondo nito ay maaaring makaimpluwensya sa kinalabasan.

Mga naa-access (RAG) na sasakyan at ang kanilang mga limitasyon

Sa mga nakalipas na taon, naging laganap ang mga medikal na tool gamit ang "access generation" (RAG sa English; ang pamamaraan kung saan sinipi ng modelo ang totoong base ng dokumento kapag gumagawa ng mga sagot). Mas maaasahan ang mga tool na ito kaysa sa simpleng modelo ng wika dahil iniuugnay nila ang sagot sa isang aktwal na pinagmulan at nagpapakita ng pagsipi. Gayunpaman, hindi ito bulag na mapagkakatiwalaan. Dalawang panganib ang nananatili: una, ang resource pool na ini-scan ng tool ay maaaring hindi napapanahon o komprehensibo; Pangalawa, maaaring maling interpretasyon ng modelo ang pinagmulang sinipi nito (ang tunay na artikulo, ngunit baluktot ang konklusyon nito). Sa madaling salita, dahil lamang sa ito ay "nagbabanggit ng isang pinagmulan" ay hindi nagliligtas sa iyo mula sa pagbabasa ng pinagmulang iyon.

Ang tamang paggamit ay upang makita ang quote na itinuturo ng mga tool na ito hindi bilang isang shortcut, ngunit bilang simula ng pag-verify: buksan ang binanggit na artikulo, tingnan kung talagang sinasabi nito ang konklusyon na iyon, ihambing ito sa kasalukuyang gabay. Binabawasan ang mga naa-access na tool ngunit hindi inaalis ang pasanin sa pag-verify.

Tip: Kahit na ang isang "pagbanggit" na tool ng AI ay maaaring makagawa ng mga maling buod. Palaging i-verify ang binanggit na quote gamit ang pangunahing pinagmulan; Ang pagkakaroon ng quote ay hindi isang garantiya na ito ay sinipi ng tama.

Sa buod

Ang AI ay nagdadala ng napakabilis na literatura sa medisina: nagbubuod ng mga konsepto, nagpapaliwanag ng mga termino, nagbibigay ng direksyon sa paghahanap. Ngunit maaari siyang gumawa ng mga mapagkukunan at maling pagkilala sa antas ng ebidensya. Hanapin ang bawat artikulo sa aktwal na database, basahin ito mula sa pangunahing mapagkukunan, suriin ang antas ng ebidensya at salungatan ng interes, ihambing ito sa kasalukuyang patnubay. Ang maikling AI ay isang panimula; Ang batayan para sa iyong desisyon sa ebidensya ay palaging isang na-verify na pangunahing mapagkukunan at gabay.

Gawain ng aplikasyon

Pumili ng kasalukuyang klinikal na tanong na gusto mong malaman. Humiling ng buod ng PICO at 5 mapagkukunan mula sa AI. Ilan sa 5 source na ito ang aktwal na nasa PubMed? Ilan sa kanila ang may parehong resulta gaya ng sinabi ng AI? Pansinin ang antas ng ebidensya para sa bawat isa at ihambing ito sa kasalukuyang rekomendasyon ng gabay sa parehong paksa. Kung ito ay isang gawa-gawang pinagmulan, isulat kung paano mo ito napansin.

checklist

  • [ ] Inayos ko ang tanong sa PICO.
  • [ ] Nakatanggap ako ng maikling konsepto at direksyon sa paghahanap mula sa AI.
  • [ ] Hinanap ko ang aktwal na database para sa bawat pinagmulan.
  • [ ] Nagbasa ako ng mga umiiral na artikulo mula sa mga pangunahing mapagkukunan.
  • [ ] Nasuri ko ang antas ng ebidensya at salungatan ng interes.
  • [ ] Inihambing ko ang mga claim sa kasalukuyang gabay.
  • [ ] Inalis ko ang mga gawa-gawang mapagkukunan at binanggit ang mga ito.