Dobici:
- Sposobnost korištenja umjetne inteligencije kao alata za brzo skeniranje opsežne literature i sažimanje pojmova i koncepata
- Svaki citat, studija i brojka trebaju biti potvrđeni iz stvarnog članka i trenutnog vodiča, upravljajući rizikom izmišljenih izvora
- Sposobnost kritičkog čitanja sažetka, procjene razine dokaza (meta-analiza, RCT, serija slučajeva) i sukoba interesa.
Moderna medicina temelji se na dokazima: odluke se trebaju temeljiti na najnovijim i najjačim znanstvenim dokazima. Ali milijuni članaka objavljuju se svake godine; Nemoguće je da ih liječnik sve pročita. Umjetna inteligencija (AI) ovdje je moćan alat za skeniranje i sažimanje: brzo sažimanje teme, objašnjavanje pojmova, uspoređivanje suprotnih pogleda, destiliranje glavnog nalaza rada u nekoliko rečenica. Ali tu se pojavljuje najopasnija slabost umjetne inteligencije u medicinskoj literaturi: umjetna inteligencija može izmisliti (halucinirati) članke, autore i DOI brojeve koji ne postoje. U ovoj ćete jedinici naučiti kako koristiti AI kao akcelerator u pregledu literature i kako provjeriti svaki izvor. Osnovno pravilo: AI preporučuje resurse; Vi potvrđujete izvor iz prave baze podataka.
Poznavanje hijerarhije dokaza
Nemaju sve studije jednaku težinu. Snaga dokaza se smatra piramidom. Na vrhu su sustavni pregledi i meta-analize (studije koje okupljaju i statistički kombiniraju mnoge studije). Pod njim dolazi randomizirano kontrolirano ispitivanje (RCT; najpouzdaniji tip eksperimenta u kojem su pacijenti podijeljeni u nasumične skupine). Zatim su tu kohortne i slučaj-kontrolne studije, zatim serije slučajeva i izvješća o slučajevima, a na dnu su mišljenja stručnjaka i životinjske/laboratorijske studije.
AI često ne navodi ovu razinu kada sažima zahtjev. Rečenica "Ovaj tretman je učinkovit" može se temeljiti na meta-analizi ili jednoj maloj seriji slučajeva. Razlika između to dvoje potpuno mijenja vašu kliničku prosudbu. Stoga je pitanje na kojoj se razini dokaza temelji svaka tvrdnja prvi korak u čitanju sažetka AI-ja.
Savjet: Pitajte AI "na kojoj se razini dokaza temelji ova tvrdnja?" pitati. Ali također provjerite odgovor; AI također može pogrešno pripisati razinu dokaza. Konačna ocjena donosi se čitanjem primarnog izvora i trenutnog vodiča.
Korak po korak: Sažetak literature Safe with AI
- Pojasnite pitanje. PICO okvir funkcionira: pacijent/populacija, intervencija, usporedba, ishod.
- Zatražite sažetak pojmova i pojmova od AI-ja. Za razumijevanje teme i pronalaženje pravih pojmova za pretraživanje.
- Pretražite svaki resurs koji daje AI u stvarnoj bazi podataka. PubMed, Cochrane, trenutne stranice sa smjernicama.
- Pročitajte postojeći članak iz primarnog izvora. Jesu li sažetak AI i stvarni zaključak članka isti?
- Razmotrite razinu dokaza i sukob interesa. Tko je to financirao, koliko je ljudi bilo u uzorku, ima li rezultat smisla?
- Usporedite s trenutnim smjernicama. Budite oprezni ako je pojedinačna studija u suprotnosti s priručnikom.
tri mini kućišta
Slučaj 1 — Izmišljeni izvor. Stanovnik traži 5 resursa od AI za liječenje rijetkog vaskulitisa. AI je vrlo dobro formatiran, daje 5 citata s DOI. Asistent ih sve pretražuje na PubMedu: 3 uopće ne postoje, 1 je na drugoj temi, samo 1 je stvaran. Da potvrda nije izvršena, 4 pogrešna izvora bila bi uključena u prezentaciju seminara.
Slučaj 2 — Zbunjenost razine dokaza. Liječnik čita iz AI sažetka da je novi dodatak "učinkovit". Kada ode do primarnog izvora, vidi da se tvrdnja temelji na nekontroliranoj studiji koju je podupro proizvođač na 24 osobe. Trenutne smjernice kažu da nema jasnih dokaza. Liječnik procjenjuje preporuku prema vodiču, a ne prema jednoj studiji.
Slučaj 3 — Ispravna i brza uporaba. Liječnik prima konceptualni sažetak od umjetne inteligencije kako bi razumio trenutnu promjenu u dijagnostičkim kriterijima bolesti; Ukratko, pronalazi ispravne pojmove za pretraživanje i dolazi do relevantnog odjeljka trenutnog vodiča. Razgovor od 40 minuta smanjuje se na 10 minuta. AI je prednjačio; Odluku je donio tekst uputa.
Tablica provjere izvora
dao AI
put provjere
Rizik
Naslov članka/autor
Baza podataka pretraživanja (PubMed)
Možda je lažno
DOI broj
Riješite putem doi.org
Može biti nevažeći/izmišljen
Numerički rezultat (%, HR)
Pročitajte zaključak članka
Može se pogrešno prenijeti
"Vodič predlaže"
Otvorite službeni tekst trenutnog vodiča
Možda je zastario
Razina dokaza
Pogledajte vrstu studije iz primarnog izvora
Može se pogrešno pripisati
Četiri predloška za kopiranje
Zadatak: Strukturirajte sljedeće kliničko pitanje unutar PICO okvira i dajte konceptualni SAŽETAK za moje razumijevanje teme. NEMOJTE izmišljati izvor; predložite koje termine i u kojim bazama podataka trebam umjesto toga pretraživati.Pitanje: [...]
Zadatak: Navedite SVAKU medicinsku tvrdnju u donjem sažetku AI i za svaku:- na kojoj bi se razini dokaza temeljila (meta-analiza/RCT/serija slučajeva)?- napomena "mora biti potvrđeno iz primarnog izvora" Izmišljotina izvora; označite samo točke koje treba provjeriti.Sažetak: [...]
Zadatak: Sažeti glavne nalaze ovog članka (tekst u nastavku), pojednostavljujući veličinu uzorka, primarnu krajnju točku i ograničenja. Nemojte dodavati vlastito znanje; oslanjaju se isključivo na navedeni tekst.Tekst: [...]
Zadatak: Napravite kontrolni popis za USPOREDBU sljedeće tvrdnje s trenutnim smjernicama: koje smjernice, koji odjeljak, koja klasa preporuka, postoji li sukob interesa? Nemojte izmišljati tekst vodiča; dati kontrolne točke.Tvrdnja: [...]
Slab upit / Jak upit
Slab: "Koji je najbolji tretman za ovu bolest, navedite izvor."
Strong: "Strukturirajte pitanje superiornosti tretmana Y nad Z u slučaju
U snažnom upitu, AI je spriječen u povezivanju resursa i njegova je zadaća ograničena na skeniranje i usmjeravanje.
Uobičajene greške
- Miješati izmišljeni izvor sa stvarnim. Svaki citat treba pretražiti u bazi podataka.
- Ignoriranje razine dokaza. Metaanaliza i prikaz slučaja nemaju istu težinu.
- Zamjena AI sažetka za članak. Sažetak može pogrešno citirati; čita se primarni izvor.
- Zadržavanje pojedinačnog rada iznad vodiča. Smjernice razmatraju sveukupnost dokaza.
- Zaobilaženje sukoba interesa. Tko financira može utjecati na ishod.
Pristupačna (RAG) vozila i njihova ograničenja
Posljednjih su godina rašireni medicinski alati koji koriste "generiranje pristupa" (RAG na engleskom; metoda u kojoj model citira stvarnu bazu dokumenata prilikom generiranja odgovora). Ti su alati pouzdaniji od običnog jezičnog modela jer povezuju odgovor sa stvarnim izvorom i prikazuju citat. Ipak, ne može se slijepo vjerovati. Ostaju dva rizika: prvo, skup resursa koji alat skenira možda nije ažuran ili sveobuhvatan; Drugo, model može pogrešno protumačiti izvor koji citira (pravi članak, ali je njegov zaključak iskrivljen). Drugim riječima, samo zato što "navodi izvor" ne spašava vas od čitanja tog izvora.
Ispravna uporaba je vidjeti citat na koji ovi alati upućuju ne kao prečac, već kao početak provjere: otvorite citirani članak, pogledajte govori li doista taj zaključak, usporedite ga s trenutnim vodičem. Dostupni alati smanjuju, ali ne eliminiraju teret provjere.
Savjet: Čak i AI alat za "citiranje" može proizvesti netočne sažetke. Navedeni citat uvijek provjerite s primarnim izvorom; Postojanje citata nije jamstvo da je citiran ispravno.
Ukratko
AI unosi ogromnu brzinu u medicinsku literaturu: sažima koncepte, objašnjava pojmove, daje smjer pretraživanja. Ali može izmišljati izvore i pogrešno pripisati razinu dokaza. Pretražite svaki članak u stvarnoj bazi podataka, pročitajte ga iz primarnog izvora, procijenite razinu dokaza i sukob interesa, usporedite ga s trenutnim smjernicama. Ukratko AI je početak; Osnova za vašu odluku o dokazima uvijek je provjereni primarni izvor i vodič.
Zadatak aplikacije
Odaberite trenutno kliničko pitanje koje vas zanima. Zatražite PICO sažetak i 5 resursa od AI-ja. Koliko je od ovih 5 izvora zapravo na PubMedu? Koliko njih ima isti rezultat kao što je rekao AI? Zabilježite razinu dokaza za svaku od njih i usporedite je s trenutnom preporukom smjernica za istu temu. Ako se ispostavilo da je izmišljen izvor, napišite kako ste to primijetili.
popis za provjeru
- [ ] Pitanje sam strukturirao pomoću PICO-a.
- [ ] Dobio sam sažetak koncepta i upute za pretraživanje od AI-ja.
- [ ] Pretražio sam stvarnu bazu podataka za svaki izvor.
- [ ] Čitam postojeće članke iz primarnih izvora.
- [ ] Ocijenio sam razinu dokaza i sukob interesa.
- [ ] Usporedio sam tvrdnje s trenutnim smjernicama.
- [ ] Eliminirao sam izmišljene izvore i zabilježio ih.