Ieguvumi:
- Spēja izmantot mākslīgo intelektu kā rīku, lai ātri skenētu plašu literatūru un apkopotu terminus un jēdzienus
- Katrs citāts, pētījums un skaitlis ir jāapstiprina no reālā raksta un pašreizējā rokasgrāmatas, pārvaldot izdomātu avotu risku
- Spēja kritiski lasīt kopsavilkumu, novērtējot pierādījumu līmeni (metaanalīze, RCT, lietu sērijas) un interešu konfliktu.
Mūsdienu medicīna ir balstīta uz pierādījumiem: lēmumiem jābūt balstītiem uz jaunākajiem un spēcīgākajiem zinātniskajiem pierādījumiem. Taču katru gadu tiek publicēti miljoniem rakstu; Ārstam nav iespējams tos visus izlasīt. Mākslīgais intelekts (AI) ir jaudīgs skenēšanas un apkopošanas rīks: ātri apkopo tēmu, izskaidro terminus, salīdzina pretējus viedokļus, pārvērš darba galveno atklājumu dažos teikumos. Bet šeit parādās visbīstamākais mākslīgā intelekta vājums medicīnas literatūrā: AI var izdomāt (halucinēt) rakstus, autorus un DOI numurus, kas neeksistē. Šajā nodaļā jūs uzzināsit, kā izmantot AI kā paātrinātāju literatūras apskatā un kā pārbaudīt katru avotu. Īkšķis: AI iesaka resursus; Jūs apstiprināt avotu no reālās datu bāzes.
Zinot pierādījumu hierarhiju
Ne visiem pētījumiem ir vienāds svars. Pierādījumu spēks tiek uzskatīts par piramīdu. Augšpusē ir sistemātiski pārskati un metaanalīze (pētījumi, kas apvieno un statistiski apvieno daudzus pētījumus). Saskaņā ar to tiek veikts randomizēts kontrolēts pētījums (RCT; visuzticamākais eksperimenta veids, kurā pacienti tiek sadalīti nejaušās grupās). Pēc tam ir kohortas un gadījumu kontroles pētījumi, pēc tam gadījumu sērijas un gadījumu ziņojumi, un apakšā ir ekspertu atzinumi un dzīvnieku/laboratorijas pētījumi.
AI bieži nenorāda šo līmeni, apkopojot prasību. Teikums "Šī ārstēšana ir efektīva" var būt balstīts uz metaanalīzi vai vienu nelielu gadījumu sēriju. Atšķirība starp abiem pilnībā maina jūsu klīnisko vērtējumu. Tātad jautāšana, uz kāda līmeņa pierādījumiem ir balstīta katra prasība, ir pirmais solis, lai izlasītu AI īsu informāciju.
Padoms: pajautājiet AI “uz kādu pierādījumu līmeni ir balstīts šis apgalvojums?” jautāt. Bet arī pārbaudiet atbildi; AI var arī nepareizi piešķirt pierādījumu līmeni. Galīgais novērtējums tiek veikts, izlasot primāro avotu un pašreizējo rokasgrāmatu.
Soli pa solim: Drošs ar AI literatūras kopsavilkumu
- Precizējiet jautājumu. PICO sistēma darbojas: pacients/populācija, iejaukšanās, salīdzinājums, rezultāts.
- Pieprasiet no AI jēdzienu un terminu kopsavilkumu. Lai saprastu tēmu un atrastu pareizos meklēšanas vienumus.
- Meklējiet katru AI sniegto resursu reālajā datu bāzē. PubMed, Cochrane, pašreizējās vadlīniju vietnes.
- Izlasiet esošo rakstu no primārā avota. Vai AI kopsavilkums un raksta faktiskais secinājums ir viens un tas pats?
- Apsveriet pierādījumu līmeni un interešu konfliktu. Kas to finansēja, cik cilvēku bija izlasē, vai rezultāts ir jēgpilns?
- Salīdziniet ar pašreizējiem norādījumiem. Esiet piesardzīgs, ja individuālais pētījums ir pretrunā ar rokasgrāmatu.
trīs mini futrāļi
1. gadījums — izdomāts avots. Iedzīvotājs pieprasa 5 resursus no AI, lai ārstētu retu vaskulītu. AI ir ļoti labi formatēts, sniedzot 5 citātus ar DOI. Asistents tos visus meklē PubMed: 3 vispār neeksistē, 1 ir par citu tēmu, tikai 1 ir reāls. Ja apstiprinājums nebūtu izdarīts, semināra prezentācijā būtu iekļauti 4 nepareizie avoti.
2. gadījums — pierādījumu neskaidrības līmenis. Ārsts no AI kopsavilkuma lasa, ka jauns papildinājums ir "efektīvs". Kad viņš dodas uz primāro avotu, viņš redz, ka apgalvojums ir balstīts uz nekontrolētu, ražotāja atbalstītu pētījumu, kurā piedalījās 24 cilvēki. Pašreizējās vadlīnijas saka, ka nav skaidru pierādījumu. Ārsts ieteikumu izvērtē pēc rokasgrāmatas, nevis pēc viena pētījuma.
3. gadījums — pareiza un ātra lietošana. Ārsts saņem konceptuālu kopsavilkumu no AI, lai saprastu pašreizējās izmaiņas slimības diagnostikas kritērijos; Īsāk sakot, tas atrod pareizos meklēšanas vienumus un sasniedz attiecīgās pašreizējās rokasgrāmatas sadaļu. 40 minūšu zvans tiek samazināts līdz 10 minūtēm. AI vadīja ceļu; Vadlīniju teksts pieņēma lēmumu.
Avota validācijas tabula
devis AI
verifikācijas ceļš
Risks
Raksta nosaukums/autors
Meklēt datu bāzē (PubMed)
Varētu būt viltots
DOI numurs
Atrisiniet, izmantojot doi.org
Var būt nederīgs/safabricēts
Skaitliskais rezultāts (%, HR)
Izlasiet raksta secinājumus
Var pārsūtīt nepareizi
"Ceļvedis iesaka"
Atveriet pašreizējās rokasgrāmatas oficiālo tekstu
Tas var būt novecojis
Pierādījumu līmenis
Skatiet pētījuma veidu no primārā avota
Var nepareizi attiecināt
Četras kopējamas veidnes
Uzdevums: Strukturējiet šādu klīnisko jautājumu PICO ietvaros un sniedziet konceptuālu KOPSAVILKUMU manai tēmas izpratnei. NEveido avotu; iesakiet, kādus terminus un kurās datubāzēs man tā vietā meklēt.Jautājums: [...]
Uzdevums: zemāk esošajā mākslīgā intelekta kopsavilkumā uzskaitiet KATRU medicīnisko apgalvojumu un katram no: - uz kādu pierādījumu līmeni tā būtu balstīta (metaanalīze/RCT/gadījumu sērija)? - piezīme “jāpārbauda no primārā avota” Avota izdomājums; atzīmējiet tikai pārbaudāmos punktus.Kopsavilkums: [...]
Uzdevums: Apkopojiet šī raksta galvenos secinājumus (teksts zemāk), vienkāršojot izlases lielumu, primāro parametru un ierobežojumus. Nepievienojiet savas zināšanas; paļauties tikai uz sniegto tekstu.Teksts: [...]
Uzdevums: Izveidojiet kontrolsarakstu, lai SALĪDZINĀTU šādu apgalvojumu ar pašreizējiem norādījumiem: kura norāde, kura sadaļa, kura ieteikumu klase ir interešu konfliktā? Neveidojiet rokasgrāmatas tekstu; dot kontrolpunktus.Pieprasīt: [...]
Vāja uzvedne / spēcīga uzvedne
Vāji: "Kāda ir labākā šīs slimības ārstēšana, norādiet avotu."
Spēcīgs: "Strukturējiet jautājumu par ārstēšanas Y pārākumu pār Z gadījumā
Jaudīgajā uzvednē AI neļauj saskaņot resursus, un tā uzdevums ir ierobežots ar skenēšanu un virzīšanu.
Biežas kļūdas
- Safabricētu avotu maldinot ar īstu. Katrs citāts ir jāmeklē datubāzē.
- Pierādījumu līmeņa ignorēšana. Metaanalīzei un gadījuma prezentācijai nav vienāda nozīme.
- Raksta aizstāšana ar AI abstraktu. Kopsavilkums var būt nepareizi citēts; tiek lasīts primārais avots.
- Vienīgā darba saglabāšana virs rokasgrāmatas. Vadlīnijās ir ņemts vērā pierādījumu kopums.
- Interešu konflikta apiešana. Kurš to finansē, var ietekmēt rezultātu.
Pieejamie (RAG) transportlīdzekļi un to ierobežojumi
Pēdējos gados plaši izplatīti ir medicīnas rīki, kas izmanto "piekļuves ģenerēšanu" (angļu valodā RAG; metode, kurā modelis, ģenerējot atbildes, citē reālo dokumentu bāzi). Šie rīki ir uzticamāki nekā vienkāršas valodas modelis, jo tie saista atbildi ar faktisko avotu un parāda citātu. Tomēr tas nav akli uzticams. Paliek divi riski: pirmkārt, rīka skenētais resursu kopums var nebūt atjaunināts vai visaptverošs; Otrkārt, modelis var nepareizi interpretēt tā citēto avotu (īsto rakstu, bet tā secinājums ir sagrozīts). Citiem vārdiem sakot, tikai tāpēc, ka tas "atsaucas uz avotu", tas neglābj jūs no šī avota lasīšanas.
Pareizais lietojums ir redzēt citātu, uz kuru šie rīki norāda, nevis kā saīsni, bet gan kā verifikācijas sākumu: atveriet citēto rakstu, pārbaudiet, vai tajā tiešām ir teikts šāds secinājums, salīdziniet to ar pašreizējo rokasgrāmatu. Pieejamie rīki samazina, bet neatceļ verifikācijas slogu.
Padoms. Pat “citējošs” AI rīks var radīt nepareizus kopsavilkumus. Vienmēr pārbaudiet citēto citātu ar primāro avotu; Cita esamība negarantē, ka tas tiek citēts pareizi.
Rezumējot
AI sniedz milzīgu ātrumu medicīnas literatūrai: apkopo jēdzienus, izskaidro terminus, dod meklēšanas virzienu. Bet viņš var izdomāt avotus un nepareizi piešķirt pierādījumu līmeni. Meklējiet katru rakstu faktiskajā datubāzē, izlasiet to no primārā avota, novērtējiet pierādījumu līmeni un interešu konfliktu, salīdziniet to ar pašreizējām vadlīnijām. AI īss apraksts ir sākums; Lēmuma par pierādījumiem pamatā vienmēr ir pārbaudīts primārais avots un ceļvedis.
Lietojumprogrammas uzdevums
Izvēlieties aktuālu klīnisko jautājumu, kas jūs interesē. Pieprasiet PICO kopsavilkumu un 5 resursus no AI. Cik no šiem 5 avotiem faktiski ir PubMed? Cik daudziem no tiem ir tāds pats rezultāts kā AI teiktajam? Ņemiet vērā pierādījumu līmeni katram un salīdziniet to ar pašreizējo vadlīniju ieteikumu par to pašu tēmu. Ja izrādījās, ka tas ir izdomāts avots, pierakstiet, kā jūs to pamanījāt.
kontrolsaraksts
- [ ] Es strukturēju jautājumu ar PICO.
- [ ] Es saņēmu koncepcijas īsu un meklēšanas norādījumu no AI.
- [ ] Es meklēju katra avota faktisko datu bāzi.
- [ ] Es lasīju esošos rakstus no primārajiem avotiem.
- [ ] Esmu izvērtējis pierādījumu līmeni un interešu konfliktu.
- [ ] Esmu salīdzinājis apgalvojumus ar pašreizējām vadlīnijām.
- [ ] Es likvidēju safabricētos avotus un pierakstīju tos.