Awọn anfani:
- Agbara lati tumọ awọn imọran ti ifamọ, pato, odi eke ati rere eke ni aaye ti redio ati lati ka awọn metiriki awoṣe kan.
- Ni anfani lati ṣe idanimọ aiṣedeede adaṣe (igbẹkẹle lori itetisi atọwọda) ati, ni ilodi si, rirẹ itaniji, ati daabobo ibawi kika lodi si awọn ẹgẹ meji wọnyi
- Ni oye pe onimọ-jinlẹ gbọdọ ka agbegbe ti ko ni samisi nipasẹ itetisi atọwọda, ati pe abajade AI odi kii ṣe iṣeduro ayẹwo.
Awọn nọmba pataki meji julọ fun redio AI ni iye awọn awari ti o mu ati iye awọn itaniji eke ti o gbe soke. Ti olupese kan ba sọ fun ọ “awoṣe wa jẹ deede 96%,” iyẹn nikan ko sọ ohunkohun. Nitori wiwa ti o ṣọwọn (sọ pe, awọn aarun mẹwa 10 ni awọn idanwo 1,000), paapaa awoṣe ti ko ṣe asia ohunkohun le han pe o jẹ “ipeye 99%” - o mọ deede 990 awọn ilera ati padanu awọn alaisan 10 nikan. Ninu ẹyọ yii, a yoo kọ ẹkọ bii o ṣe le ni ifarabalẹ ka awọn metiriki pataki ti redio — ifamọ, pato, odi eke, rere eke — bii alamọja kan, ati ṣe idanimọ awọn ẹgẹ eniyan ti o lewu meji — abosi adaṣe ati rirẹ itaniji.
Ilana pataki: Agbegbe ti ko samisi nipasẹ itetisi atọwọda jẹ tun ka nipasẹ onimọ-jinlẹ. Abajade AI odi kii ṣe iṣeduro ayẹwo; awoṣe le ti padanu wiwa (eke odi). Raison d'être ti ibojuwo eniyan ni lati mu awọn akoko gangan nigbati awoṣe jẹ aṣiṣe lailewu.
Awọn metiriki kika bi iwé
Jẹ ki a ṣe alaye awọn imọran ipilẹ mẹrin. Jẹ ki a sọ pe a ṣe idanwo awoṣe kan lori awọn idanwo 1000 ati pe 100 ninu wọn ni arun na.
- Otitọ rere (TP): Awoṣe ti samisi alaisan, nitootọ aisan.
- Odi eke (FN): Awoṣe naa ko samisi ṣugbọn alaisan ko ṣaisan - padanu. Lewu julo ni redio.
- Idaniloju eke (FP): Awoṣe ti a ṣe afihan ṣugbọn alaisan ni ilera-itaniji eke.
- Odi otitọ (TN): Awoṣe ko samisi, ni ilera gaan.
Awọn metiriki ipilẹ meji dide lati iwọnyi:
- Ifamọ = TP / (TP + FN): Awọn alaisan gidi melo ni a mu? Ifamọ giga tumọ si ifasilẹ kekere.
- Specificity = TN / (TN + FP): Melo ninu ilera ni a ka bi ilera? Iyatọ giga tumọ si awọn itaniji eke diẹ.
metric
agbekalẹ
Nigbati o ga
Radiological pataki
Ifamọ
TP/(TP+FN)
Diẹ eke odi
Lominu ni lati yago fun sisọnu (ṣayẹwo, ipin)
pato
TN/(TN+FP)
Diẹ eke rere
Dinku idanwo ti ko wulo
Iwọn odi eke
FN/(TP+FN)
buburu
Ipalọlọ ipalọlọ; radiologist gbọdọ yẹ
Eru rere eke
nọmba ti FPs
fifuye posi
Irẹwẹsi itaniji, ranti
"ipeye"
(TP+TN)/apapọ
sinilona
Han ga ni toje arun, ẹtan
Awoṣe kan ni ẹnu-ọna kan (loke ohun ti Dimegilio naa ni a pe ni “rere”), ati pe ala yii yipada ifamọ ati iyasọtọ ni awọn itọnisọna idakeji: ti o ba lọ silẹ ala, o mu diẹ sii (ifamọ ↑) ṣugbọn gbe awọn itaniji eke diẹ sii (pato ↓). Eyi kii ṣe eto imọ-ẹrọ, ṣugbọn ipinnu ile-iwosan: idiyele iwuwo ti sonu, tabi ẹru ti itaniji eke? Ifamọ ni gbogbogbo jẹ pataki ni iṣayẹwo ati ipin.
Išọra: Maṣe gbẹkẹle nọmba kan bi “ipeye 95%”. Ni awọn awari to ṣọwọn, išedede jẹ ṣinilọna. Iṣe otitọ ti awoṣe ko le jẹ mimọ laisi bibeere ifamọ, pato, oṣuwọn odi eke, ati olugbe ninu eyiti o ti wọn.
Awọn ẹgẹ eniyan meji
Iyatọ adaṣe: Nigbati awọn eniyan ba gbẹkẹle iṣelọpọ ti eto adaṣe ati sinmi idajọ ominira tiwọn. Ti onimọ-jinlẹ ba foju aworan naa ni aipe nipa sisọ “AI sọ pe o jẹ odi, nitorinaa o mọ,” wiwa ti o padanu nipasẹ awoṣe yoo fo patapata. Nigbati awọn odi eke ba darapọ pẹlu aiṣoju adaṣe adaṣe, raison d'être ti ayewo eniyan ti yọkuro.
Rirẹ titaniji: Bi abajade ti awoṣe ti n ṣe agbejade nọmba nla ti awọn idaniloju eke, onimọ-jinlẹ npadanu igbẹkẹle ninu awọn asia ati bẹrẹ lati yọ gbogbo wọn kuro ni isọdọtun. Wiwa otitọ lẹhin itaniji eke idamẹwa le tun jẹ imukuro. Awọn ẹgẹ meji wọnyi wa ni awọn itọnisọna idakeji, ṣugbọn awọn esi wọn jẹ kanna: padanu wiwa gidi.
Aṣoju si awọn ẹgẹ meji wọnyi jẹ kanna: laibikita ohun ti abajade AI sọ, onimọ-jinlẹ ṣe kika eto ara rẹ. Boya AI ṣe samisi tabi rara, gbogbo aworan ti ṣayẹwo. AI jẹ "oju keji"; Oju akọkọ jẹ onimọ-jinlẹ nigbagbogbo.
mẹta mini igba
Ọran 1 - Odi eke + aiṣedeede adaṣe. Aworan redio igbaya CAD padanu (odi eke) nodule kekere kan ni agbegbe apa osi oke. Ni ọjọ ti o nšišẹ, onimọ-jinlẹ n yara nipasẹ redio ti o ro pe “CAD jẹ kedere” (ijusi adaṣe adaṣe). A ṣe akiyesi nodule lẹhin awọn oṣu 8 bi iwọn ti 2 cm ni iwọn. Awọn aṣiṣe meji ni idapo: awoṣe ti o padanu, eniyan ko ṣayẹwo. Ẹkọ: laibikita CAD odi, kika eto jẹ pataki.
Ọran 2 - Irẹwẹsi itaniji. Awoṣe pneumothorax kan ju apapọ awọn asia 8 fun ọjọ kan fun ọsẹ meji, nikan 1-2 eyiti o jẹ gidi (nipa 80% awọn idaniloju eke). Oniwosan redio padanu igbẹkẹle ninu awọn asia. Ni ọsẹ kẹta, asia pneumothorax apical otitọ kan tun kọja ni ifasilẹ bi “ko si”; Alaisan naa buru si lẹhin ọjọ kan. Ẹkọ: awọn awoṣe pẹlu oṣuwọn rere eke giga yẹ ki o ṣe abojuto, iloro/awoṣe atunyẹwo, ati pe asia kọọkan jẹrisi lonakona.
Ọran 3 - Awọn ọtun iwontunwonsi. Ni ile-iṣẹ ikọlu, ọpọlọ CT triage awoṣe ṣiṣẹ pẹlu ifamọ giga; Awọn idaniloju eke ga, ṣugbọn onimọ-jinlẹ redio jẹrisi asia kọọkan ni iṣẹju-aaya 60 ati rii ẹjẹ gidi laarin awọn iṣẹju. Ẹgbẹ naa ṣe abojuto oṣuwọn rere eke ni osẹ-sẹsẹ, ṣe atunwo iloro pẹlu olupese nigbati o kọja 70%. Nibi, awọn metiriki ni a ṣakoso ni mimọ; Bẹni aiṣedeede adaṣe tabi rirẹ itaniji ti ṣeto sinu.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Awoṣe yii jẹ deede 97%, ṣe o gbẹkẹle?
Metiriki ẹyọkan jẹ ṣina; ko le dahun laisi bibeere awọn ibeere nipa olugbe, ifamọ, pato, ati awọn odi eke.
Ibere ti o lagbara:
Ipa rẹ: Ran mi lọwọ lati ka awọn iṣiro iṣẹ ṣiṣe ti awoṣe AI kan. Ṣiṣe ipinnu; Ṣe alaye awọn ibeere ti MO yẹ ki o beere ati kini awọn idahun tumọ si. Emi yoo fun ọ ni awọn ẹtọ ti awoṣe kan. Ronu: (1) awọn metiriki wo ni a fun ati eyiti o nsọnu (ifamọ, pato, oṣuwọn odi eke, olugbe, ẹrọ), (2) boya “ipeye” nikan jẹ ṣinilọna, (3) boya o yẹ lati lo awoṣe yii fun iwọn-iyatọ/ṣayẹwo tabi ayẹwo. Ipinnu ikẹhin jẹ ti onimọ-jinlẹ / igbekalẹ. Ipe: “Awoṣe idanwo ni awọn alaisan 1200 pẹlu deede 97%.”
Ibeere ti o lagbara awọn ipe sinu ibeere ti o padanu awọn metiriki ati fifọ igbẹkẹle lori awọn nọmba ẹyọkan.
Awọn awoṣe kiakia idakọ
Àdàkọ KÍKÀ LẸ́KẸ̀RẸ̀ METÍKÌ Ipa rẹ: Ìrànwọ́. Emi yoo fun ọ ni ibeere iṣẹ awoṣe kan. Ṣe atokọ awọn metiriki ti o padanu (ifamọ, pato, oṣuwọn odi eke, olugbe idanwo, ẹrọ/ilana) ati nibiti nọmba kan (ipeye) le jẹ ṣinilọna. Ṣe ijiroro fun iru iṣẹ-ṣiṣe (triage/iṣayẹwo/iranlọwọ ayẹwo) awoṣe yẹ lati lo. Awọn ipinnu jẹ ninu awọn igbekalẹ. Ipe: [kọ]
Apejuwe Iwontunws.funfun TEMPLATEI yoo fun ọ ni oju iṣẹlẹ ti igbega/isalẹ ala ti awoṣe kan. Apejuwe ikolu ti kọọkan ohn lori ifamọ, pato, eke odi, ati eke rere ki o si kọ si isalẹ awọn oniwe-isẹgun abajade (miss vs. kobojumu ÌRÁNTÍ). Ipinnu naa jẹ ile-iwosan / igbekalẹ. Akosile: [kọ]
AUTOMATION BIAS SELF-AUDIT TEMPLATE Ṣe agbeyẹwo mi ni atokọ ti yoo daabobo ibawi kika mi lodi si aiṣedeede adaṣe: awọn igbesẹ wo ni MO yẹ ki n ṣe paapaa pẹlu abajade AI odi, bii o ṣe le ṣetọju ọlọjẹ eto, bii o ṣe le tọju AI bi “oluranlọwọ” dipo “ọpa ifijiṣẹ”.
ALERT FATIGUE MINITORING TEMPLATEI yoo fun ọ ni awọn nọmba asia ti osẹ ati awọn nọmba rere gangan. Ṣe iṣiro oṣuwọn idaniloju eke, ṣe ayẹwo eewu ti rirẹ gbigbọn, ati daba ni iloro wo ni MO yẹ ki o ṣe igbese lati ṣe atunyẹwo iloro / awoṣe. Leti mi ti opo ti gbogbo asia yẹ ki o tun wa ni timo. Data: [kọ]
Awọn aṣiṣe ti o wọpọ
- Gbẹkẹle nọmba “otitọ” ẹyọkan. Awọn toje wiwa jẹ tun sinilona; Ifamọ ati pato yẹ ki o beere papọ.
- Itoju abajade AI odi bi iṣeduro iwadii. Awọn awoṣe le ti padanu rẹ; Ifinufindo kika ni a gbọdọ.
- Ṣubu sinu aiṣedeede adaṣe. Igbẹkẹle lori AI ṣe idiwọ idajọ ominira.
- Fojusi rirẹ itaniji. Awọn idaniloju eke giga yẹ ki o wa ni abojuto; kọọkan Flag gbọdọ tun ti wa ni timo.
- Asise ala-ilẹ fun “eto imọ-ẹrọ”. Ibanuwọn jẹ iwọntunwọnsi ile-iwosan; Onimọ-ara redio / ile-ẹkọ ṣe iwọn idiyele awọn ipadanu ati awọn itaniji eke.
Imọran: Ṣe ofin fun ara rẹ: "Laibikita ohun ti AI sọ, Mo ka gbogbo aworan naa." Ofin ẹyọkan yii ni igbakanna ṣe idiwọ irẹwẹsi adaṣe adaṣe mejeeji (kii ṣe isinmi lori odi) ati rirẹ itaniji (kii ṣe imukuro imupadabọ rere).
Ni soki
Ṣiṣayẹwo awoṣe redio kii ṣe nipa wiwo nọmba “ipe” kan ṣoṣo. Ifamọ (ko si padanu), pato (ko si awọn itaniji eke), oṣuwọn odi eke, ati olugbe idanwo yẹ ki o ka papọ; Yiyan ala-ilẹ jẹ iwọntunwọnsi ile-iwosan. Awọn ẹgẹ eniyan meji - igbẹkẹle pupọju ni AI (aiṣedeede adaṣe) ati lilo si awọn itaniji eke ati imukuro asia (irẹwẹsi itaniji) - lọ ni awọn ọna idakeji ṣugbọn pari pẹlu abajade kanna, ti o padanu wiwa gidi. Aṣoju kan ṣoṣo ni o wa: Ko si ohun ti AI sọ, onimọ-jinlẹ ṣe kika eto ara rẹ. Negetifu AI kii ṣe iṣeduro, ṣugbọn ni pupọ julọ ifihan agbara iranlọwọ; Agbegbe ti ko ni aami gbọdọ tun ka.
Ohun elo iṣẹ-ṣiṣe
Mu ọrọ igbega ti awoṣe ti o ni (tabi apẹẹrẹ). Pẹlu awoṣe “Ika kika Awọn Metrics”, ṣe iṣiro iru awọn metiriki ti a pese, eyiti o nsọnu, ati fun iṣẹ wo ni o yẹ lati lo awoṣe naa. Lẹhinna ṣe apẹrẹ apẹrẹ ti o rọrun lati tọpa iye igba ti asia ipin kan yoo jẹ otitọ ni akoko ọsẹ kan; Kọ iru igbese ti iwọ yoo ṣe ti oṣuwọn rere eke ba kọja iloro ti o ṣeto (fun apẹẹrẹ, 70%). Nikẹhin, ṣe atunṣe atokọ “Automation Bias Self-Audit” sinu ilana kika tirẹ.
akojọ ayẹwo
- [ ] Emi ko gbekele lori nikan "ipeye" nọmba; Mo beere nipa ifamọ ati pato.
- [] Mo kọ oṣuwọn odi eke ati idanwo olugbe.
- [] Pelu abajade AI odi, Mo ṣe kika eto mi.
- [] Emi ko ni igboya pupọju ninu AI (bii abosi adaṣe).
- [ ] Mo ti wo fun eke rere; Mo timo gbogbo asia (lodi si gbigbọn rirẹ).
- [] Mo ṣe akiyesi pe yiyan iloro jẹ iwọntunwọnsi ile-iwosan.
- [] Mo tẹle ofin ti "Mo ka gbogbo aworan laibikita ohun ti AI sọ."