Girdeji:
- Duýgurlyk, aýratynlyk, ýalan negatiw we ýalan polo positiveitel düşünjeleri radiologiýa kontekstinde düşündirmek we modeliň ölçeglerini tankydy okamak ukyby.
- Awtomatlaşdyryş tarapyny tanamak (emeli intellektlere aşa bil baglamak) we tersine, duýduryş ýadawlygy we okamak düzgünini bu iki duzakdan goramak;
- Radiologyň emeli intellekt bilen tapawutlanmaýan bir ýerini okamalydygyna we negatiw AI çykaryşynyň diagnozyň kepili däldigine düşünmek.
Radiologiýa AI üçin iň möhüm iki san, näçe tapyndy tutýar we näçe ýalan duýduryş döredýär. Öndüriji size “biziň modelimiz 96% takyk” diýse, diňe özi hiç zat diýmeýär. Sebäbi seýrek duş gelýän tapyndy üçin (1000 synagda 10 kesel), hatda hiç zady bellemeýän model hem “99% takyk” ýaly bolup biler - 990 sagdyn adamy dogry tanap, diňe 10 hassany küýseýär. Bu bölümde, hünärmen ýaly radiologiýanyň möhüm ölçeglerini - duýgurlygy, aýratynlygy, ýalan negatiw, ýalan pozitiwleri nädip okamalydygyny we iki sany howply adam duzagyny - awtomatlaşdyryş we duýduryş ýadawlygyny tanamagy öwreneris.
Esasy ýörelge: Emeli intellekt bilen bellenmedik ýer radiolog tarapyndan hem okalýar. Negativearamaz AI netijesi diagnozyň kepili däl; model tapyşy sypdyran bolmagy mümkin (ýalan negatiw). Adam gözegçiliginiň maksady, modeliň ygtybarly nädogry pursatlaryny ele almakdyr.
Hünärmen ýaly ölçegleri okamak
Dört esasy düşünjäni aýdyňlaşdyralyň. 1000 synagda bir modeli synagdan geçirdik diýeliň we olaryň 100-sinde hakykatdanam kesel bar.
- Hakyky polo positiveitel (TP): Model hassany hakykatdanam syrkawlady.
- Sealňyş negatiw (FN): Model bellik etmedi, ýöne näsag syrkaw - sypdyrmaň. Radiologiýada iň howply.
- Sealňyş polo positiveitel (FP): Model bellendi, ýöne näsag sagdyn - ýalan duýduryş.
- Hakyky negatiw (TN): Model bellik etmedi, hakykatdanam sagdyn.
Iki esasy ölçeg şulardan ýüze çykýar:
- Duýgurlyk = TP / (TP + FN): Näçe hakyky hassany tutduk? Sensokary duýgurlyk pes ogurlanmagy aňladýar.
- Aýratynlygy = TN / (TN + FP): Sagdynlaryň näçesini sagdyn hasapladyk? Specificokary aýratynlyk, az ýalan duýduryşlary aňladýar.
metrik
formula
Highokary bolanda
Radiologiki ähmiýeti
Duýgurlyk
TP / (TP + FN)
Falsealan negatiwler az
Missingitirilmezlik üçin möhümdir (skrining, triage)
aýratynlygy
TN / (TN + FP)
Falsealan pozitiwler az
Gereksiz barlagy azaldýar
Negativearamaz negatiw dereje
FN / (TP + FN)
erbet
Ümsüm zyýan; radiolog tutmalydyr
Falsealňyş polo positiveitel ýük
FP-leriň sany
ýük artýar
Duýduryş ýadawlygy, ýadyňyza salyň
"takyklyk"
(TP + TN) / jemi
azdyryjy
Seýrek kesellerde ýokary görünýär, aldaýar
Bir modeliň bosagasy bar (balyň “polo positiveitel” hasaplanýanlaryndan has ýokary) we bu çäk duýgurlygy we aýratynlygy ters tarapa üýtgedýär: bosagany aşak düşürseňiz has köp (duýgurlyk catch) tutarsyňyz, ýöne has ýalan duýduryşlary (aýratynlyk raise) ýokarlandyrarsyňyz. Bu in engineeringenerçilik şerti däl, kliniki karar: ýitirmek üçin agyr çykdajymy ýa-da ýalan duýduryşyň ýüki? Duýgurlyk, köplenç barlagda we üçburçlykda ileri tutulýar.
Üns beriň: "95% takyklyk" ýaly ýekeje sana-da ynanmaň. Seýrek tapyndylarda takyklyk ýalňyşdyr. Modeliň hakyky öndürijiligini, duýgurlygyny, aýratynlygyny, ýalňyş otrisatel derejesini we ölçenen ilatyny soramazdan bilip bolmaz.
Iki adam duzagy
Awtomatlaşdyryş ikitaraplaýynlygy: Adamlar awtomatlaşdyrylan ulgamyň çykyşyna aşa bil baglap, özbaşdak pikirini gowşadanda. Eger radiolog "AI negatiw diýdi, şonuň üçin arassa" diýmek bilen şekili ýüzleý taşlasa, model tarapyndan ýitirilen tapyndy doly atlanar. Falsealan negatiwler awtomatlaşdyryş taraplary bilen birleşende, adam gözleginiň netijesi ýok edilýär.
Duýduryş ýadawlygy: Köp sanly ýalan pozitiw öndürýän modeliň netijesinde radiolog baýdaklara bolan ynamyny ýitirýär we hemmesini refleksli ýok edip başlaýar. Onunjy ýalan duýduryşdan soň hakyky tapyndy hem ýok edilip bilner. Bu iki duzak ters tarapa, ýöne netijeleri birmeňzeş: hakyky tapyndy ýitirilýär.
Bu iki duzaga garşy antidot birmeňzeş: AI çykyşy näme diýse-de, radiolog yzygiderli okaýar. AI bellik edýärmi ýa-da ýokmy, tutuş surat skanirlenýär. AI “ikinji göz”; Ilkinji göz hemişe radiologdyr.
üç sany kiçi halat
1-nji hadysa - sealňyş negatiw + awtomatlaşdyryş. Döş radiografiýasy CAD çep ýokarky zonadaky kiçijik düwünleri sypdyrýar (ýalan negatiw). Işli gününde, radiolog “CAD düşnükli” (awtomatlaşdyryş tarapdan) pikirlenip, radiografyň üstünden barýar. Düwürtik 8 aýdan soň 2 sm ululykda bolýar. Iki ýalňyşlyk birleşdirildi: model sypdyryldy, adam barlamady. Sapak: negatiw CAD-a garamazdan, yzygiderli okamak hökmandyr.
2-nji hadysa - Duýduryş ýadawlygy. Pnewmotoraks modeli iki hepdäniň dowamynda her gün ortaça 8 baýdak atýar, olaryň diňe 1-2-si hakyky (takmynan 80% ýalan pozitiw). Radiolog baýdaklara bolan ynamyny ýitirýär. Üçünji hepdede hakyky apikal pnewmotoraks baýdagy hem refleksli "ýok" hökmünde geçýär; Näsag bir günden soň hasam erbetleşýär. Sapak: falsealan polo positiveitel ýokary derejeli modellere gözegçilik edilmeli, bosagada / modelde gözden geçirilmeli we her bir baýdak her niçigem bolsa tassyklanmaly.
3-nji hadysa - Dogry balans. Insult merkezinde beýniniň CT triage modeli ýokary duýgurlyk bilen işleýär; Sealňyş pozitiwler ýokary, ýöne radiolog her baýdagy 60 sekuntda tassyklaýar we birnäçe minutyň içinde hakyky gan akmagy kesgitleýär. Topar her hepde ýalan polo positiveitel derejä gözegçilik edýär, öndüriji bilen 70% -den geçende bosagany gözden geçirýär. Bu ýerde ölçegler aň-düşünje bilen dolandyryldy; Ne awtomatlaşdyryş, ne-de duýduryş ýadawlygy döredildi.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu model 97% takyk, ygtybarlymy?
Meteke-täk ölçeg ýalňyşdyr; ilat, duýgurlyk, aýratynlyk we ýalan negatiwler hakda sorag bermezden jogap berip bolmaz.
Güýçli haýyş:
Siziň roluňyz: AI modeliniň öndürijilik ölçeglerini tankydy okamaga kömek ediň. Karar bermek; Haýsy soraglary bermelidigimi we jogaplaryň manysyny düşündiriň. Men size bir modeliň talaplaryny bererin. Serediň: (1) haýsy ölçegler berilýär we haýsylary ýitirýär (duýgurlyk, aýratynlyk, ýalňyş otrisatel dereje, ilat, enjam), (2) diňe “takyklygyň” ýalňyşdygyny ýa-da ýokdugyny (3) üçburç / barlag ýa-da diagnoz üçin bu modeli ulanmak ýerliklimi. Iň soňky karar radiolog / edara bagly. Talap: "Model 97% takyklygy bolan 1200 näsagda synag edildi."
Güýçli talap, ýiten ölçegleri sorag astyna alýar we ýeke sanlara garaşlylygy bozýar.
Göçürip bolýan gyssagly şablonlar
METRIK MÖHÜM Okaýyş temasy Siziň roluňyz: Kömek. Men size modeliň öndürijilik talaplaryny bererin. Missingitirilen ölçegleri (duýgurlyk, aýratynlyk, ýalňyş otrisatel dereje, synag ilaty, enjam / protokol) we bir san (takyklyk) ýalňyş bolup biljek ýerleri sanaň. Modeliň haýsy meseläni ulanmalydygyny ara alyp maslahatlaşyň. Karar edarada. Talap: [ýaz]
“THRESHOLD BALANCE DESCRIPTION TEMPLATEI” size bir modeliň bosagasyny ýokarlandyrmak / peseltmek ssenarisini berer. Her ssenariýanyň duýgurlyga, aýratynlyga, ýalan negatiw we ýalan polo positiveitel täsirini beýan ediň we kliniki netijesini ýazyň (gereksiz ýatlamany sypdyryň). Karar kliniki / institusional. Scriptazgy: [ýaz]
AWTOMASI BIA BIAS SELF-AUDIT TEMPLATEP, okamak düzgünimi awtomatlaşdyryşdan gorajak gözegçilik sanawyny hödürläň: hatda negatiw AI çykyşy bilen hem haýsy çäreleri görmeli, yzygiderli skaneri nädip saklamaly, AI-ni “gowşuryş guraly” däl-de, “kömekçi” hökmünde saklamaly.
ALERT FATIGUE MONITORING TEMPLATEI size hepdelik baýdak sanlaryny we hakyky pozitiw sanlary berer. Falsealan polo positiveitel nyrhy hasaplaň, hüşgär ýadawlyk töwekgelçiligine baha beriň we bosagany / modelini täzeden gözden geçirmek üçin haýsy çäkde çäre görmelidigimi teklip ediň. Her baýdak henizem tassyklanmaly diýen ýörelgäni ýada salyň. Maglumat: [ýaz]
Adaty ýalňyşlyklar
- "Eke-täk" hakykata "bil baglamak. Seýrek duş gelýän tapyndy hem ýalňyşdyr; Duýgurlyk we aýratynlyk bilelikde soralmalydyr.
- Negativearamaz AI çykyşyna diagnostika kepilligi hökmünde garamak. Model ony sypdyran bolmagy mümkin; Yzygiderli okamak hökmanydyr.
- Awtomatlaşdyryş tarapyna düşmek. AI-e aşa bil baglamak garaşsyz hökümi pese gaçyrýar.
- Duýduryş ýadawlygyna ähmiýet bermezlik. Falsealan pozitiwlere gözegçilik edilmelidir; her baýdak henizem tassyklanmalydyr.
- "Tehniki sazlama" üçin bosagany ýalňyşdyrmak. Bosgun kliniki deňagramlylykdyr; Radiolog / edara sypdyrmalaryň we ýalan duýduryşlaryň bahasyny ölçýär.
Maslahat: Özüňiz üçin düzgün düzüň: "AI näme diýse-de, tutuş suraty okadym". Bu ýeke-täk düzgün, şol bir wagtyň özünde awtomatlaşdyryş ikitaraplaýynlygy (negatiwlere rahatlanmazlyk) we duýduryş ýadawlygyny (pozitiwleri refleksli ýok etmezlik) öňüni alýar.
Gysgaça
Radiologiýa modeline baha bermek ýekeje “takyklyk” belgisine seretmek däl. Duýgurlyk (sypdyrmaň), aýratynlyk (ýalan duýduryş ýok), ýalňyş otrisatel dereje we synag ilaty bilelikde okalmaly; Bosagany saýlamak kliniki deňagramlylykdyr. Adamyň iki duzagy - AI-de aşa ynam (awtomatlaşdyryş ikitaraplaýynlygy) we ýalan duýduryşlara öwrenişmek we baýdagy ýok etmek (duýduryş ýadawlygy) - ters tarapa gidýär, ýöne hakyky netijäni ýitirip, şol bir netije bilen gutarýar. Diňe bir antidot bar: AI näme diýse-de, radiolog yzygiderli okaýar. Ativearamaz AI kepillik däl, ýöne köplenç peýdaly signal; Bellenmedik ýer hem okalmalydyr.
Programma meselesi
Özüňizde bar bolan modeliň mahabat tekstini alyň (ýa-da nusga). “Metrikleriň tankydy okalmagy” şablony bilen haýsy ölçegleriň berilýändigini, haýsysynyň ýoklugyny we modeliň haýsy mesele üçin ulanylmalydygyny kesgitläň. Soňra bir hepdäniň dowamynda üçburç baýdagyň näçe gezek ýerine ýetirilendigini yzarlamak üçin ýönekeý diagramma düzüň; Falsealan polo positiveitel nyrh kesgitlenen çäkden ýokary bolsa, haýsy çäräni görjekdigiňizi ýazyň (mysal üçin, 70%). Netijede, “Awtomatlaşdyryş ikitaraplaýyn öz-özüni barlamak” sanawyny öz okamak düzgüniňize laýyklaşdyryň.
gözegçilik sanawy
- [] Men ýekeje "takyklyk" belgisine bil baglamadym; Duýgurlyk we aýratynlyk hakda soradym.
- [] Falsealan negatiw derejäni we ilaty synagdan geçirdim.
- [] AI negatiw çykyşyna garamazdan, yzygiderli okadym.
- [] AI-ä aşa ynanmadym (awtomatlaşdyryş tarapyna garşy).
- [] Falsealan pozitiwlere syn etdim; Her baýdagy tassykladym (duýduryş ýadawlygyna garşy).
- [] Bosagany saýlamagyň kliniki deňagramlylykdygyny göz öňünde tutdum.
- [] "AI näme diýse-de, tutuş suraty okadym" düzgünine eýerdim.