Yunit 3 / 11

Nakabalangkas na pag-uulat at draft ng ulat: pinapatunayan ng radiologist ang ai draft

Mga nadagdag:

  • Maunawaan kung bakit ang structured na pag-uulat (karaniwang mga heading, template, karaniwang glossary) ay mas ligtas kaysa sa libreng text at kung paano pinapabilis ng AI ang mga template na ito
  • Kakayahang gumamit ng artificial intelligence para sa paghahanap ng resulta ng pare-pareho, nawawalang lugar at pagwawasto ng wika, at makapagbigay ng klinikal na interpretasyon at huling ulat bilang isang radiologist
  • Kakayahang kilalanin ang panganib ng pagdaragdag/paggawa ng mga natuklasan ng artificial intelligence sa ulat (hallucination) at i-verify ang bawat pangungusap sa pamamagitan ng pagtutugma nito sa larawan

Ang ulat ng radiology ay isa sa mga pinakatumutukoy na dokumento sa klinikal na paglalakbay ng isang pasyente. Ang isang siruhano ay gumagawa ng isang desisyon sa operasyon, ang isang oncologist ay gumagawa ng isang plano sa chemotherapy, ang isang doktor ng pamilya ay gumagawa ng isang desisyon ng referral batay sa mga pangungusap sa iyong ulat. Samakatuwid, hindi sapat na maging tumpak ang ulat; Dapat itong maunawaan, kumpleto at pare-pareho. Ang pag-uulat ng libreng text ay nababaluktot, ngunit mapanganib na nababaluktot: sa pagmamadali, maaaring alisin ng radiologist ang heading na "mediastinum," makakalimutan ang isang sukat, o gumamit ng hindi malinaw na pananalita na iba ang pakahulugan ng isang clinician. Binabawasan ng structured na pag-uulat ang panganib na ito: sa pamamagitan ng paggamit ng mga karaniwang heading, kinakailangang mga field, at isang karaniwang diksyunaryo, tinitiyak nito na lalabas ang bawat ulat na may parehong balangkas at pagkakumpleto.

Pinapabilis ng artificial intelligence ang mismong balangkas na ito: inilalagay ang mga natuklasan sa naaangkop na mga heading, ipinapaalala sa iyo ang nawawalang field, itinutuwid ang wika, sinusuri ang pagkakapare-pareho sa pagitan ng paghahanap at konklusyon, at gumagawa ng balangkas na nakakatipid sa iyo ng ilang minuto. Ngunit ang pangunahing prinsipyo ng yunit ay nananatiling hindi nagbabago: ang AI ay gumagawa ng mga draft; Ang radiologist ay nagbibigay ng klinikal na interpretasyon at huling ulat. Ang bawat pangungusap sa draft ay hindi maaaring lagdaan nang hindi tumutugma ito sa larawan. Ang isang hindi na-verify na draft ay isang hindi nalagdaan na ulat.

Bakit mas ligtas ang structured na pag-uulat

Sa libreng teksto, ang bawat radiologist ay nagsusulat sa kanyang sariling istilo; Madaling laktawan ang isang paksa, kalimutang suriin ang isang sistema, o gumamit ng mga ekspresyong gaya ng "siguro," "hindi maitatapon," "malamang" na may iba't ibang kahulugan. Sa structured na pag-uulat, umuusad ang ulat sa isang nakapirming balangkas:

  • Klinikal na impormasyon: Indikasyon, kasaysayan, tanong.
  • Teknik: Modality, protocol, contrast, quality.
  • Mga Resulta: Systematic na pagsusuri ng organ/system (isang linya para sa bawat system).
  • Konklusyon (impression): Buod ng mga natuklasan na sumasagot sa klinikal na tanong.
  • Rekomendasyon: Follow-up, karagdagang pagsusuri, rekomendasyon sa paghahambing.

Tinitiyak ng framework na ito ang tatlong bagay: pagkakumpleto (hindi maaaring iwanang blangko ang mga kinakailangang field), consistency (nagbabasa ang bawat ulat sa parehong istraktura), at karaniwang wika (ang mga karaniwang termino ay nagbibigay ng parehong kahulugan sa clinician). Ang structured na pag-uulat at AI ay nagpapatibay sa isa't isa, dahil maaaring awtomatikong punan ng AI ang skeleton na ito at markahan ang mga walang laman na espasyo.

Sukat

libreng text

Structured + AI draft

Panganib ng nawawalang espasyo

Mataas (maaaring alisin ang pamagat)

Mababa (mandatory field warning)

Pagkakapare-pareho

Nag-iiba ayon sa radiologist

Karaniwang balangkas

Karaniwang wika sa clinician

Variable na terminolohiya

karaniwang diksyunaryo

bilis

Mabagal (pagbaybay mula sa simula)

Mabilis (na-edit ang draft)

Panganib ng mga guni-guni

Wala (tao na manunulat)

Oo (Maaaring gumawa ng AI) — kailangan ng pag-verify

pangwakas na responsibilidad

radiologist

radiologist

Pansin: ang huling row ay pareho sa parehong column. Pinapabilis ng Configuration at AI ang ulat ngunit huwag italaga ang responsibilidad.

Halucination: ang pinaka mapanlinlang na panganib

Ang mga text-generating language models (LLM - big language model, artificial intelligence na gumagawa ng matatas na text sa natural na wika) minsan ay nagsusulat ng paghahanap na walang katumbas sa larawan sa ulat sa isang perpektong pangungusap, na para bang ito ay totoo. Ito ay tinatawag na hallucination. Halimbawa, ang pangungusap na "12 mm simpleng cyst sa liver segment 6" ay maaaring isama sa isang abdominal CT scan; Gayunpaman, walang cyst sa pagsusuring iyon. Ang pangungusap ay mukhang natural na maaari itong pirmahan nang hindi napapansin ng isang pagod na mata. Kabaligtaran din ang nangyayari: ang modelo ay maaaring mag-drop ng isang tunay na paghahanap mula sa draft (underreporting).

Kaya ang draft validation ay hindi one-way. Ang radiologist ay nagtatanong ng dalawang katanungan: (1) Ang bawat pangungusap ba sa sketch ay may katumbas sa larawan? (weeding out fabrication) at (2) Kasama ba sa manuskrito ang bawat makabuluhang paghahanap sa larawan? (kumpletuhin ang nawawala). Kapag tapos na ang dalawa maaring mapirmahan ang ulat.

Babala: Ang katatasan ng isang modelo ng wika ay hindi patunay ng katumpakan nito. Gaano man ito kapropesyonal, hindi lahat ng paghahanap ng pangungusap ay maaaring makapasok sa ulat nang hindi naitugma sa larawan. Mali ang hallucination na mukhang ligtas.

tatlong mini case

Kaso 1 — Pinabilis ang tumpak na ulat. Pinunan ng isang radiologist ang structured thorax CT template na may AI. Ang modelo ay naglalagay ng mga natuklasan sa mga heading, nagbabala sa "mediastinum not evaluated"; Idinagdag ng radiologist ang lugar na iyon. Bumababa ang oras ng pag-uulat mula 9 minuto hanggang 4 na minuto. Kinukumpirma at pinipirmahan ng radiologist ang bawat pangungusap na may larawan. Dito, nadagdagan ng AI ang pagkakumpleto at bilis, at nanatili ang desisyon sa radiologist.

Case 2 — Nahuli ang hallucination. Sa isang sketch ng MRI ng tiyan, isinulat ni YZ ang "8 mm cystic lesion sa buntot ng pancreas." Tinutugma ng radiologist ang pangungusap na ito sa larawan; Ang buntot ng pancreas ay ganap na normal, walang ganoong sugat. Inalis ang pangungusap. Kung hindi ito nakumpirma, ang pasyente ay sasailalim sa isang hindi kinakailangang chain ng MRI follow-up at buwan ng pagkabalisa. Ang pag-verify ay nagbukod ng isang katha mula sa ulat.

Kaso 3 — Nakumpleto ang hindi kumpletong paghahanap. Sa isang draft ng utak ng MRI, hindi kailanman nabanggit ng modelo ang isang klinikal na makabuluhang maliit na talamak na infarction (pagkasira ng tissue dahil sa bagong vessel occlusion). Habang sinusuri kung ang bawat paghahanap sa larawan ay nasa sketch, nakikita ng radiologist ang maliwanag na bahagi sa serye ng pagsasabog at idinagdag ang paghahanap. Naiwan ang AI na hindi kumpleto; Pinuno ng sistematikong pagbabasa ng radiologist ang puwang. Ipinapakita ng kasong ito na ang pag-verify ay hindi lamang "pag-alis ng labis" kundi "pagpuno sa kakulangan."

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Sumulat ng ulat ng thorax CT, ang pasyente ay umuubo.

Walang detalye ng modality, walang natuklasan, walang template at walang hangganan; pinupuno ng modelo ang mga puwang sa katha, at ang panganib ng guni-guni ay pinakamataas.

Napakahusay na prompt:

Ang iyong tungkulin: katulong na naghahanda ng isang structured DRAFT sa radiologist. Huwag gumawa ng diagnosis, huwag ituring na kumpleto ang ulat. Gumawa ng draft LAMANG mula sa mga natuklasan na ibinigay ko sa ibaba; huwag magdagdag ng anumang natuklasan na hindi ibinigay; Kung walang data para sa isang field, isulat ang "[no data given—radiologist fill in]", huwag gawin ito. Mga Heading: Klinikal na impormasyon, Teknik, Mga Natuklasan (batay sa system), Konklusyon, Rekomendasyon. Sa dulo, ilista ang input kung saan nakabatay ang bawat pahayag ng mga natuklasan sa balangkas. Pasyente: 55 taong gulang na lalaki, talamak na ubo, 30 pakete-taon ng paninigarilyo. Modality: non-contrast chest CT. Mga natuklasan: 9 mm spiculated nodule sa kanang itaas na lobe posterior; ang mediastinal lymph node ay wala sa laki ng pathological; walang pleural effusion; Ang mga istruktura ng buto ay natural.

Ang malakas na template ng pag-claim ay nagbibigay ng limitasyon, pagbabawal sa katha at source traceability nang magkasama.

Nakokopya na mga template ng prompt

STRUCTURED DRAFT TEMPLATEAng iyong tungkulin: katulong sa paghahanda ng DRAFT para sa radiologist. Huwag mag-diagnose, huwag mag-sign. Gumawa lamang ng structured outline mula sa mga natuklasan na ibinibigay ko. Mga Heading: Klinikal na impormasyon, Teknik, Mga Natuklasan (ayon sa system/organ), Konklusyon, Rekomendasyon. Isulat ang "[radiologist fill in]" sa field na hindi data, huwag gawin ito. Modalidad: [sumulat]. Mga Resulta: [tag-init].

Ang HALUCINATION AUDIT TEMPLATEI ay magbibigay sa iyo ng draft na ulat. Lagyan ng numero ang bawat paghahanap na pangungusap at isulat ang "pinagmulan: [batay sa]" sa tabi nito. Kolektahin ang mga pangungusap na walang katumbas sa input sa isang hiwalay na "TO BE VERIFIED / POSSIBLE FAKE" na listahan. Draft: [sumulat]

Ibibigay sa iyo ng mga FINDINGS-CONCLUSION CONSISTENCY TEMPLATEI ang mga Findings and Conclusion section ng isang ulat. Ilista ang mahahalagang bagay na lumilitaw sa Mga Natuklasan ngunit hindi kasama sa Konklusyon at mga pahayag na makikita sa Konklusyon at walang batayan sa Mga Natuklasan. Layunin: upang ituro ang pagkakaiba sa radiologist, hindi upang itama ito. Ulat: [sumulat]

Ang LANGUAGE AND CLARITY TEMPLATEI ay magbibigay sa iyo ng draft na ulat. Pagbutihin lamang para sa LANGUAGE at CLARITY: mag-flag ng mga hindi malinaw na parirala, magmungkahi ng karaniwang terminolohiya. MAGDAGDAG o MAG-ALIS ng mga natuklasan; BAGUHIN ang klinikal na kahulugan. Markahan ang mga pagbabago bilang "mungkahi", ang huling desisyon ay nasa radiologist. Draft: [sumulat]

Mga karaniwang pagkakamali

  • Pagpirma sa draft nang walang tugma. Ang bawat pahayag ng mga natuklasan ay dapat kumpirmahin ng imahe; Ang katatasan ay hindi katumpakan.
  • Inaayos lang ang sobra at hindi hinahanap ang pagkukulang. Maaaring bawasan ng modelo ang mga natuklasan; Dapat din itong suriin kung ang bawat paghahanap sa larawan ay kasama sa draft.
  • Paghiling ng ulat nang hindi nagbibigay ng data sa modelo. Pinupuno niya ang mga puwang ng kathang-isip; Ang panganib ng mga guni-guni ay sumasabog.
  • Ang pag-iwan sa seksyon ng konklusyon na hindi naaayon sa mga natuklasan. Kung ang isang bagay na hindi kasama sa mga natuklasan ay pumasok sa konklusyon, ang clinician ay nagkakamali.
  • Malabong wika sa halip na karaniwang terminolohiya. Ang mga pariralang tulad ng "hindi maaaring iwanan" ay naiintindihan nang iba sa mga clinician; Isang karaniwang diksyunaryo ang dapat gamitin.
Tip: Hawakan nang nakabaligtad ang panulat habang binabasa mo ang outline: itanong "saan ko ito nakikita sa larawan?" para sa bawat pangungusap. magtanong. Kung wala kang sagot, hindi maaaring pumasok ang pangungusap sa ulat. Ang nag-iisang tanong na ito ay nag-aalis ng karamihan sa mga guni-guni bago pa man sila umabot sa yugto ng lagda.

Sa buod

Ang structured na pag-uulat—mga karaniwang heading, kinakailangang field, karaniwang glossary—ay gumagawa ng mga ulat na mas kumpleto, pare-pareho, at nagsasalita ng parehong wika bilang clinician kaysa sa libreng text. Pinapabilis ng artipisyal na katalinuhan ang balangkas na ito: naglalagay ng mga natuklasan, nagpapaalala ng nawawalang lugar, nagwawasto ng wika, sinusuri ang pagkakapare-pareho ng paghahanap-konklusyon. Ngunit ang AI ay gumagawa ng mga draft, hindi mga ulat. Ang pinaka mapanlinlang na panganib ay guni-guni: ang modelo na bumubuo ng isang paghahanap na wala sa larawan sa isang matatas na pangungusap. Bine-verify ng radiologist ang dalawang paraan — ang bawat pangungusap ba sa sketch ay may kasamang imahe, ang bawat paghahanap sa larawan ay kasama sa sketch — at mga senyales lamang kapag nakumpleto ang dalawang ito. Ang klinikal na interpretasyon at huling ulat ay palaging nakasalalay sa radiologist.

Gawain ng aplikasyon

Pumili ng modality mula sa iyong sariling routine (thoracic CT, abdominal MRI, atbp.) at magsulat ng structured template skeleton para sa modality na iyon (hindi bababa sa 5 heading, paghahanap ng mga linya ayon sa system). Pagkatapos ay gumawa ng outline gamit ang template na "Structured Outline" na may sample na listahan ng mga natuklasan. Pagkatapos ay patakbuhin ang template na "Hallucination Audit" at subukan kung nakuha mo ang isang pangungusap na sadyang idinagdag/binuo sa draft. Panghuli, markahan ang bawat pangungusap ng balangkas ng tanong na "saan sa larawan?"

checklist

  • [ ] Gumamit ako ng structured template heading (klinikal, teknikal, natuklasan, konklusyon, rekomendasyon).
  • [ ] Ibinigay ko lamang sa modelo ang mga aktwal na natuklasan; Hindi ako nag-iwan ng kahit anong puwang.
  • [ ] Itinugma ko ang bawat pangungusap sa draft sa larawan (inalis ang labis).
  • [ ] Nasuri ko na ang bawat mahalagang paghahanap sa larawan ay nasa draft (nakumpleto ang nawawala).
  • [ ] Napatunayan kong pare-pareho ang mga seksyon ng Mga Natuklasan at Konklusyon.
  • [ ] Pinalitan ko ang hindi maliwanag na mga salita ng karaniwang terminolohiya.
  • [ ] Hindi ako pumirma ng anumang hindi na-verify na mga pangungusap; Nasa akin ang huling ulat.