Dobici:
- Sposobnost korištenja umjetne inteligencije kao alata za brzo skeniranje obimne literature i sažimanje pojmova i koncepata
- Svaki citat, studija i broj treba potvrditi iz stvarnog članka i trenutnog vodiča, upravljajući rizikom od izmišljenih izvora
- Sposobnost kritičkog čitanja sažetka, procjenjivanja nivoa dokaza (meta-analiza, RCT, serije slučajeva) i sukoba interesa.
Moderna medicina je zasnovana na dokazima: odluke bi trebale biti zasnovane na najnovijim i najjačim naučnim dokazima. Ali milioni članaka se objavljuju svake godine; Nemoguće je da ih doktor sve pročita. Umjetna inteligencija (AI) je ovdje moćan alat za skeniranje i sažimanje: brzo sažimanje teme, objašnjavanje pojmova, upoređivanje suprotnih stavova, destiliranje glavnog nalaza rada u nekoliko rečenica. Ali tu se pojavljuje najopasnija slabost AI u medicinskoj literaturi: AI može izmisliti (halucinirati) članke, autore i DOI brojeve koji ne postoje. U ovoj jedinici ćete naučiti kako koristiti AI kao akcelerator u pregledu literature i kako provjeriti svaki izvor. Osnovno pravilo: AI preporučuje resurse; Potvrđujete izvor iz prave baze podataka.
Poznavanje hijerarhije dokaza
Nemaju sve studije jednaku težinu. Snaga dokaza se smatra piramidom. Na vrhu su sistematski pregledi i meta-analize (studije koje spajaju i statistički kombinuju mnoge studije). Pod njim dolazi randomizirano kontrolirano ispitivanje (RCT; najpouzdaniji tip eksperimenta u kojem se pacijenti dijele u nasumične grupe). Zatim postoje kohortne studije i studije slučaj-kontrola, zatim serije slučajeva i izvještaji o slučajevima, a na dnu su stručno mišljenje i studije na životinjama/laboratorijima.
AI često ne navodi ovaj nivo kada sumira tvrdnju. Rečenica "Ovaj tretman je efikasan" može se zasnivati na meta-analizi ili na jednoj maloj seriji slučajeva. Razlika između njih u potpunosti mijenja vaš klinički sud. Dakle, pitanje na kojoj se razini dokaza temelji svaka tvrdnja je prvi korak u čitanju izvještaja o umjetnoj inteligenciji.
Savjet: Pitajte AI „na kojem se nivou dokaza zasniva ova tvrdnja?“ pitaj. Ali također provjerite odgovor; AI takođe može pogrešno pripisati nivo dokaza. Konačna procjena se vrši čitanjem primarnog izvora i trenutnog vodiča.
Korak po korak: Sigurno uz sažetak literature o umjetnoj inteligenciji
- Pojasnite pitanje. PICO okvir funkcionira: pacijent/populacija, intervencija, poređenje, ishod.
- Zatražite sažetak koncepata i pojmova od AI. Za razumijevanje teme i pronalaženje pravih pojmova za pretraživanje.
- Pretražite svaki resurs koji daje AI u stvarnoj bazi podataka. PubMed, Cochrane, trenutne stranice sa smjernicama.
- Pročitajte postojeći članak iz primarnog izvora. Da li su sažetak AI i stvarni zaključak članka isti?
- Uzmite u obzir nivo dokaza i sukob interesa. Ko je to finansirao, koliko je ljudi bilo u uzorku, da li je rezultat smislen?
- Uporedite sa trenutnim smernicama. Budite oprezni ako je pojedinačna studija protivna priručniku.
tri mini kofera
Slučaj 1 — Izrađen izvor. Stanovnik traži 5 resursa od AI za liječenje rijetkog vaskulitisa. AI je vrlo dobro formatiran, daje 5 citata sa DOI. Asistent ih sve pretražuje na PubMedu: 3 uopšte ne postoje, 1 je na drugoj temi, samo 1 je stvaran. Da potvrda nije izvršena, 4 pogrešna izvora bi bila uključena u prezentaciju seminara.
Slučaj 2 — Nivo zabune dokaza. Liječnik čita iz sažetka umjetne inteligencije da je novi dodatak "djelotvoran". Kada ode do primarnog izvora, vidi da se tvrdnja zasniva na nekontroliranoj studiji od 24 osobe koju podržava proizvođač. Trenutna smjernica kaže da nema jasnih dokaza. Liječnik procjenjuje preporuku prema vodiču, a ne prema jednoj studiji.
Slučaj 3 — Ispravna i brza upotreba. Lekar prima konceptualni sažetak od veštačke inteligencije da bi razumeo trenutnu promenu dijagnostičkih kriterijuma bolesti; Ukratko, pronalazi ispravne pojmove za pretraživanje i dolazi do relevantnog odjeljka trenutnog vodiča. 40-minutni razgovor se smanjuje na 10 minuta. AI je prednjačio; Odluku je doneo tekst uputstva.
Tabela validacije izvora
dao AI
put verifikacije
Rizik
Naslov/autor članka
Pretraži bazu podataka (PubMed)
Možda je lažno
DOI broj
Riješite putem doi.org
Može biti neispravan/izrađen
Brojčani rezultat (%, HR)
Pročitajte zaključak članka
Može se pogrešno prenijeti
"Vodič predlaže"
Otvorite zvanični tekst trenutnog vodiča
Možda je zastarjelo
Nivo dokaza
Pogledajte vrstu studije iz primarnog izvora
Može se pogrešno pripisati
Četiri šablona za kopiranje
Zadatak: Strukturirajte sljedeće kliničko pitanje u okviru PICO okvira i pružite konceptualni SAŽETAK za moje razumijevanje teme. NE izmišljajte izvor; predložiti koje termine i u kojim bazama podataka da tražim umjesto toga. Pitanje: [...]
Zadatak: Navedite SVAKU medicinsku tvrdnju u sažetku AI ispod i za svaku:- na kom nivou dokaza bi se zasnivala (meta-analiza/RCT/serija slučajeva)?- napomena „mora biti verifikovana iz primarnog izvora“ Izmišljotina izvora; označi samo tačke koje treba verificirati. Sažetak: [...]
Zadatak: Sumirajte glavne nalaze ovog članka (tekst ispod), pojednostavljujući veličinu uzorka, primarnu krajnju točku i ograničenja. Nemojte dodavati vlastito znanje; oslanjati se isključivo na dostavljeni tekst. Tekst: [...]
Zadatak: Napravite kontrolnu listu kako biste UPOREDILI sljedeću tvrdnju sa trenutnim smjernicama: koje smjernice, koji odjeljak, koja klasa preporuka, postoji li sukob interesa? Nemojte izmišljati tekst vodiča; dati kontrolne tačke.Tvrdnja: [...]
Slaba prompt / Jaka prompt
Slab: "Koji je najbolji tretman za ovu bolest, navedite izvor."
Snažan: „Strukturirajte pitanje superiornosti tretmana Y nad Z u slučaju
U moćnom promptu, AI je spriječen da uparuje resurse i njen zadatak je ograničen na skeniranje i usmjeravanje.
Uobičajene greške
- Pogreška izmišljeni izvor za stvarni. Svaki citat treba pretražiti u bazi podataka.
- Ignoriranje nivoa dokaza. Metaanaliza i prezentacija slučaja nemaju istu težinu.
- Zamjena AI sažetka za članak. Sažetak može pogrešno citirati; primarni izvor se čita.
- Održavanje jednog posla iznad vodiča. Smjernice razmatraju cjelokupnost dokaza.
- Zaobilaženje sukoba interesa. Ko finansira može uticati na ishod.
Pristupačna (RAG) vozila i njihova ograničenja
Posljednjih godina, medicinski alati koji koriste "generaciju pristupa" (RAG na engleskom; metoda u kojoj model citira stvarnu bazu dokumenata pri generiranju odgovora) postali su široko rasprostranjeni. Ovi alati su pouzdaniji od modela na jednostavnom jeziku jer povezuju odgovor sa stvarnim izvorom i pokazuju citat. Ipak, nije slijepo vjerodostojno. Ostaju dva rizika: prvo, skup resursa koji alat skenira možda neće biti ažuran ili sveobuhvatan; Drugo, model može pogrešno protumačiti izvor koji citira (pravi članak, ali je njegov zaključak iskrivljen). Drugim riječima, samo zato što "citira izvor" ne spašava vas od čitanja tog izvora.
Ispravna upotreba je da se citat na koji ovi alati upućuju ne vidi kao prečica, već kao početak verifikacije: otvorite citirani članak, vidite da li on zaista kaže taj zaključak, uporedite ga sa trenutnim vodičem. Dostupni alati smanjuju, ali ne eliminišu teret verifikacije.
Savjet: čak i "citirajući" AI alat može proizvesti netačne sažetke. Uvijek provjerite citirani citat sa primarnim izvorom; Postojanje ponude nije garancija da je naveden ispravno.
Ukratko
AI donosi ogromnu brzinu medicinskoj literaturi: sažima koncepte, objašnjava pojmove, daje smjer pretraživanja. Ali on može izmisliti izvore i pogrešno pripisati nivo dokaza. Pretražite svaki članak u stvarnoj bazi podataka, pročitajte ga iz primarnog izvora, procijenite nivo dokaza i sukoba interesa, uporedite ga sa trenutnim smjernicama. AI sažetak je početak; Osnova za vašu odluku o dokazima je uvijek provjereni primarni izvor i vodič.
Zadatak aplikacije
Odaberite trenutno kliničko pitanje koje vas zanima. Zatražite PICO sažetak i 5 resursa od AI. Koliko je od ovih 5 izvora zapravo na PubMedu? Koliko njih ima isti rezultat kao što je AI rekao? Zabilježite nivo dokaza za svaki i uporedite ga sa trenutnim preporukama smjernica o istoj temi. Ako se ispostavi da je to izmišljeni izvor, napišite kako ste to primijetili.
kontrolna lista
- [ ] Ja sam strukturirao pitanje sa PICO.
- [ ] Dobio sam sažetak koncepta i upute za pretragu od AI.
- [ ] Pretražio sam stvarnu bazu podataka za svaki izvor.
- [ ] Čitao sam postojeće članke iz primarnih izvora.
- [ ] Procijenio sam nivo dokaza i sukob interesa.
- [ ] Uporedio sam tvrdnje sa trenutnim smjernicama.
- [ ] Eliminirao sam izmišljene izvore i zabilježio ih.