Ток рада од краја до краја, управљање квалитетом и само-ревизија — Вештачка интелигенција у радиологији и медицинском снимању

Добици:

Способност дизајнирања тока посла од краја до краја који показује где и са којим одобрењем вештачка интелигенција улази у игру у целом ланцу, од пре снимања до потписа извештаја.
Способност успостављања праћења учинка, повратне спреге и редовне самоконтроле у процесима подржаним вештачком интелигенцијом
Способност да се употреба вештачке интелигенције у јединици за снимање учини одрживом са принципима управљања, одговорности и сталног побољшања

У претходних десет јединица, покрили смо делове вештачке интелигенције у радиологији: тријажу, структурисано извештавање, аутоматизацију мерења, ПАЦС интеграцију, метрику, алате специфичне за модалитет, квалитет слике, праћење и приватност. У овој завршној јединици комбинућемо делове и успоставити ток рада од краја до краја: холистичку мапу која показује где и са којим одобрењем вештачка интелигенција улази у игру у ланцу којим ревизија пролази од тренутка захтева до потписаног извештаја. Затим ћемо размотрити две ствари које чине овај ток одрживим: управљање квалитетом (праћење перформанси, повратна спрега) и саморегулацију (редовни преглед, управљање).

Основни принцип: Безбедна употреба слика са вештачком интелигенцијом није једнократна инсталација; То је живи процес који захтева стално праћење учинка, повратну спрегу, преглед образаца грешака и редовну самоконтролу. На сваком кораку одговорност, потпис и коначна одлука остају на радиологу.

Ток од краја до краја: Где је АИ, што потврђује

Хајде да пратимо пут ревизије, укључујући тачке у којима АИ улази у игру и људско одобрење у свакој тачки.

Захтев и индикација: Клиничар захтева преглед. АИ може препоручити прикладност индикација и избор протокола; Техничар/радиолог одобрава. (Јединица 8)
Снимање и квалитет: Модалитет производи слику. АИ оптимизација дозе, смањење шума и означавање артефаката; Техничар одлучује о квалитету и по потреби поново снима. (Јединица 8)
Тријажа: Слика пада у ПАЦС. АИ даје приоритет догађајима који су временски критични; Радиолог и даље чита сваки преглед. (2. јединица)
Читање и детекција: Радиолог чита. ЦАД означава као друго око; Радиолог оцењује шта је обележено, а шта није. (Јединица 6, 7)
Мерење и праћење: АИ мери и упоређује са претходним испитивањем; Радиолог проверава конзистентност. (Јединица 4, 9)
Извештавање: АИ производи структурирани нацрт; Радиолог повезује сваку реченицу са сликом и потписује је. (Јединица 3)
Обавештење о критичном налазу: АИ подсећа на критичан налаз; Радиолог потврђује, комуницира са клиничаром и завршава затворену петљу. (Јединица 2, 6)
Снимање архива и трагова: АИ излаз се чува као посебан слој; Оригинал се не мења, чува се записник о траговима. (Јединица 5)

Стаге

АИ улога

људско одобравање

Повезана јединица

Захтев/протокол

Предлог

Техничар + радиолог

Снимак/квалитет

Доза, деноисинг, артефакт

техничар

тријажа

приоритетна застава

Радиолог (још увек чита)

Прочитај/откриј

ЦАД друго око

радиолог (дијагностика)

6, 7

Мерење/праћење

Прорачун, поређење

радиолог (исправља)

4, 9

Извештавање

нацрт

радиолог (потпис)

критички налаз

подсетник

Радиолог (преноси, потврђује)

2, 6

архива

посебан слој

Систем + снимање нумере

Ова табела је резиме модула: како ризик расте, улога АИ се смањује, људски пристанак расте; Ни у једном реду АИ не преузима читање, дијагнозу или потпис.

Извештавање о критичним налазима: затворена петља

Критични налаз (велико крварење, масивна емболија, напети пнеумоторакс) се не сматра саопштеним једноставним писањем у извештају. Комуникација затворене петље значи потврђивање да информације стижу и добијају директно од лекара који присуствује. АИ може да се сети критичног налаза или чак да направи нацрт обавештења; Међутим, одговорност радиолога је да потврди налаз, саопшти га правом лекару, документује комуникацију и затвори петљу. Аутоматско упозорење није замена за људску комуникацију.

Пажња: Само зато што се упозорење о критичном проналаску АИ појављује на радној листи не значи да је обавештење послато. Обавештење је завршено тек када радиолог потврди налаз, дође до лекара и добије информацију. Људски је посао да затвори затворену петљу.

Управљање квалитетом и саморевизија

Процес који покреће вештачка интелигенција може да се поквари током времена: модел се ажурира, уређај се мења, популација се помера, стопа лажних позитивних резултата се повећава. Због тога се перформансе морају стално пратити.

Праћење учинка: Прикупити лажно позитивне/негативне узорке; Пратите стопе тријажних ознака и прави позитиван проценат.
Петља за повратне информације: Систематски прикупљајте повратне информације радиолога „ова ознака је била погрешна/промашила“ и поделите их са произвођачем.
Преглед грешке: Прегледајте пропуштене налазе и лажне узбуне на редовним састанцима; Разликовати основни узрок (модел, протокол, човек).
Праћење смене дистрибуције: Поновите локалну верификацију када се промени уређај/протокол/популација.
Управљање: ко користи који модел, са којом верзијом, у ком контексту; Ко је одговоран - ово треба да буде писмено.

три мини кофера

Случај 1 — Петља повратне информације функционише. Једна јединица види на основу података праћења да је стопа лажних позитивних резултата пнеумоторакса код тријажног модела порасла на 75% у року од неколико месеци. Радиолози прикупљају повратне информације, прегледају праг са произвођачем; стопа пада на 45% и замор аларма се смањује. Без праћења, модел би тихо постао непоуздан.

Случај 2 — Пропуштена анализа основног узрока. Два пропуштена мала чворића су забележена на једномесечном прегледу. Анализа показује да се и једно и друго јавља на преносивим графовима и на уређају на којем модел није обучен (дистрибутивни дрифт). Јединица сужава обим модела на преносивим радиографима и упозорава радиологе. Грешка је искоришћена да се поправи систем уместо да се криви једна особа.

Случај 3 — Критични налаз је затворен. АИ упозорава на велико крварење на ЦТ мозга. Радиолог потврђује за 90 секунди, позива неурохирурга, проверава пријем информација и документује комуникацију (време, особа, садржај). Затворена петља је завршена. АИ подсетио; Радиолог је направио обавештење и потврду. Ако би се препустило аутоматском упозорењу, не би било гаранције да је лекар примио информацију.

Слаби промпт / Јаки промпт

Слабо обавештење:

Подесите ток рада вештачке интелигенције у радиологији, аутоматизујте све.

„Аутоматизујте све“ је опасно у домену који је критичан за безбедност; Игнорише људске контролне тачке и сигурно-подразумевано.

Снажан упит:

Ваша улога: САРАДНИЧКИ консултант у јединици радиологије на дизајну тока рада АИ од краја до краја. Доношење одлука; израдити нацрт и контролну листу. Наведите где је АИ додата у захтев→хватање→тријажа→очитавање→мерење→извештавање→критични налаз→архивски ланац и назначите људско одобрење у СВАКОМ кораку. Такође предложите метрике за праћење учинка, повратну спрегу и саморевизију. Принцип: како ризик расте, улога АИ постаје све мања, људско одобравање расте; дијагноза/потпис/обавештење код радиолога. Контекст јединице: [писати]

Јака воља се усредсређује на тачке одобравања људи, праћење и самоконтролу.

Шаблони упита који се могу копирати

ШАБЛОНА ЗА НАЦРТ ТОКА ОД КРАЈ ДО КРАЈВаша улога: ПОМОЋНИ консултант. За захтев → снимање → тријажа → очитавање → мерење → извештавање → критични налаз → архивски ланац, направите табелу која наводи улогу вештачке интелигенције и људског одобрења у свакој фази. Означите ниво ризика и не остављајте одлуке критичне за безбедност које је „преузела“ вештачка интелигенција. Контекст јединице: [писати]

ШАБЛОНИ ЗА ПРАЋЕЊЕ ПЕРФОРМАНСЕ ће вам дати период тријаже/ЦАД података. Израчунајте стопу лажних позитивних резултата, број пропуштених налаза и проценат истинитих позитивних резултата; упозорити на замор аларма и дистрибуцију; Препоручите на ком прагу треба да се прегледа произвођач/модел. Одлука је у установи. Подаци: [писати]

ШАБЛОНА ЗА ПРЕГЛЕД ОСНОВНОГ УЗРОКА И ће вам дати случај пропуштеног проналаска/лажног аларма. Разликовати основни узрок: модел (обука/обим), протокол/уређај (померање дистрибуције), човек (пристрасност аутоматизације/замор од аларма). Дајте предлоге усмерене на исправку система, а не на кривицу. Догађај: [писати]

КРИТИЧНИ НАЛАЗ ШАБЛОНА ЗАТВОРЕНОГ НАЛАЗА Направите контролну листу затворене петље за обавештење о критичном налазу: потврда налаза, идентификација тачног лекара, директан пренос, потврда пријема информација, документација комуникације (време/особа/садржај). Подсетите нас да аутоматска упозорења не замењују обавештења. Контекст: [писати]

Уобичајене грешке

„Аутоматизација свега“. Безбедносно критичне одлуке захтевају људско одобрење; Потпуна аутоматизација је опасна.
Инсталирање једном и не гледање. Образац се временом руши; Неопходно је стално праћење перформанси.
Користећи грешку да окривите особу. Анализа основног узрока треба да се фокусира на корекцију система.
Оставите критични налаз аутоматском упозорењу. Затворену петљу затвара радиолог; Пренос и потврда је људски рад.
Не писати управљање. Ко, који модел, која верзија, који обим, ко је одговоран — морају бити документовани.

Савет: Редовно постављајте ово питање у својој јединици: „Ако бисмо данас искључили вештачку интелигенцију, да ли бисмо наставили да радимо безбедно?“ Одговор увек треба да буде „да“. АИ убрзава читање, али никада неће заменити читање, препознавање и потписивање.

Укратко

Вештачка интелигенција долази у игру у многим тачкама у ланцу од тренутка наруџбе до потписаног извештаја у радиологији: препорука протокола, квалитет, тријажа, детекција, мерење, праћење, извештавање и подсетник на критички налаз. Холистички принцип је резиме читавог модула: како ризик расте, улога АИ се смањује, људски пристанак расте; Ни у једном кораку АИ не преузима очитавање, дијагнозу, потпис или извештавање о критичним налазима. Оно што овај ток чини одрживим је препознавање да је безбедна употреба живи процес, а не једнократна поставка: праћење перформанси, повратна спрега, преглед грешака, праћење одступања дистрибуције и писано управљање. Када пријави критичан налаз, радиолог затвара затворену петљу. Испод свега стоји непроменљива реченица: одлука припада личности.

Задатак апликације

Нацртајте дијаграм тока рада АИ од краја до краја за своју јединицу (или узорак организације): запишите улогу АИ, људско одобрење и ниво ризика у свакој фази. Затим одредите три метрике (стопа лажних позитивних резултата, промашени налази, проценат истинитих позитивних) и прагове акције које ћете пратити помоћу шаблона „Праћење учинка“. Изаберите сценарио критичног проналажења и напишите кораке користећи шаблон „Критички налаз затворене петље“. Коначно, „Да ли бисмо радили безбедно ако бисмо данас искључили вештачку интелигенцију?“ Одговорите искрено на питање за своју јединицу и забележите недостатке.

контролна листа

[ ] Дефинисао сам људску валидацију сваке АИ тачке у току од краја до краја.
[ ] Нисам делегирао никакву безбедносну одлуку (дијагнозу/потпис/обавештење) АИ.
[ ] Одредио сам критеријуме праћења учинка и прагове акције.
[ ] Поставио сам повратну петљу и процес прегледа грешака.
[ ] Направио сам план да поновим локалну верификацију за смену дистрибуције.
[ ] Осигурао сам да радиолог затвори затворену петљу након обавештења о критичном налазу.
[ ] „Да ли ћемо безбедно радити ако искључимо вештачку интелигенцију?“ Могу да кажем да на питање.

Модул Екам

1. АИ радиолошке тријаже означио је ЦТ мозга као 'низак приоритет' и померио га на крај радне листе. Шта радиолог треба да уради за овај преглед?

А) И даље чита и извештава ревизију у потпуности; тријажа само мења редослед, а не елиминише читање ✔
Б) Вештачка интелигенција обично затвара студију без читања јер каже да је ниског приоритета.
Ц) Аутоматски одлаже преглед за следећи дан
Д) Гледа само подручје које је обележила вештачка интелигенција и скраћује извештај

Опис: Триаге АИ само мења редослед читања; Не може искључити било који преглед из читања. „Низак приоритет“ није дијагноза и може бити лажно негативан. Радиолог и даље мора у потпуности да прочита и пријави сваки преглед; Не замењује читање сигнала приоритета.

2. Која комбинација ризика је да АИ пропушта стварну патологију (нпр. мали пнеумоторакс) и да се радиолог ослања на њу и не прегледа на адекватан начин слику?

А) Само лажно позитивно и алармни замор
Б) Лажно негативно и пристрасност аутоматизације (претерано ослањање на АИ) ✔
Ц) Само лош квалитет слике
Д) Само грешка ДИЦОМ заглавља

Објашњење: Лажно негативан је ако модел промаши налаз; Пристрасност аутоматизације је када радиолог претерано верује вештачкој интелигенцији и опушта сопствени преглед. Када се то двоје споје, разлог постојања људског праћења нестаје и налаз се може у потпуности пропустити. Стога треба читати и области које нису обележене вештачком интелигенцијом.

3. АИ је додао реченицу 'аденом десне надбубрежне жлезде' у нацрт ЦТ извештаја торакса који није имао еквивалент на слици. Шта радиолог треба да уради?

А) Сматра реченицу поузданом и директно је потписује.
Б) Пошто није сигуран, преписује цео извештај вештачкој интелигенцији и потписује га.
В) Повезује реченицу са сликом; Ако нема одредбе, он је уклања и потписује нацрт као оверен ✔
Д) Напушта реченицу, али на крају пише „вештачка интелигенција додата“.

Објашњење: Језички модели могу течно уклопити налаз који није присутан на слици; ово се зове халуцинација. Радиолог мора сваку реченицу у извештају ускладити са сликом, уклонити све небитне фразе и никада не потписати нацрт без верификације. Нацрт извештаја је почетак, а не доказ.

4. Специјалиста поставља ДИЦОМ слику са именом пацијента и бројем протокола без анонимизације у јавно доступан АИ алат. Шта је овде главни проблем?

А) Резолуција слике је недовољна за вештачку интелигенцију
Б) Вештачка интелигенција не може да чита ДИЦОМ формат
Ц) Не може се коментарисати јер је слика црно-бела
Д) Подаци о идентитету у ДИЦОМ заглављу и уграђени у слику се деле без анонимизације; Ово је кршење КВКК-а ✔

Опис: ДИЦОМ датотеке садрже и информације као што су име пацијента, идентитет, датум рођења у заглављу, а понекад и податке о идентитету уграђене у слику (урезане). Отпремање ових података на спољну алатку без њихове анонимизације је откривање осетљивих здравствених података и кршење КВКК-а. Прво се морају обрисати заглавље и уграђени подаци.

5. Који је најважнији корак верификације када се упореди аутоматизовано мерење плућних нодула (нпр. 8 мм) које је произвела АИ са ручним мерењем (5 мм) из претходног прегледа?

А) Проверите да ли су мерења упоређена са истом методом, равним и сегментацијом доследности и процените неслагање од стране радиолога ✔
Б) Под претпоставком да је ново мерење увек тачно и извештава о расту
Ц) Узимање просека два мерења и њихово извештавање
Д) Потпуно занемарите мерење и запишите само визуелне утиске

Објашњење: Мерење је процена и зависи од границе сегментације, избора пресека, протокола и методе мерења. Када се аутоматско и ручно мерење врше различитим методама, може се појавити лажан утисак о „расту“. Пре доношења одлуке о проширењу, потребно је извршити поређење користећи исти метод, на истој равни и са доследним границама, а радиолог треба да процени сваку недоследност.

6. Које је златно правило у вези са оригиналном ДИЦОМ сликом при додавању АИ резултата у ПАЦС?

А) Ознаке вештачке интелигенције морају бити трајно исписане преко оригиналне слике
Б) АИ излаз се додаје као засебна серија/слој; оригинална дијагностичка слика се не мења и запис трага је сачуван ✔
Ц) Оригиналну слику уопште не треба чувати, већ само обрађену верзију
Д) АИ излаз треба да буде уграђен као текст у заглавље пацијента

Опис: АИ ознаке, метрике и истакнуте ставке треба да се чувају као засебна серија, слој или структурирани објекат извештаја; Оригинална дијагностичка слика никада не би требало да се мења. На овај начин радиолог увек може да види необрађене податке, запис трага је сачуван, а АИ излаз остаје различит од оригинала.

7. Мамограф АИ ради са високом 'осетљивошћу', али ниском 'специфичношћу'. Шта то значи у пракси?

А) Модел не обележава скоро никакве налазе
Б) Модел никада не даје лажне позитивне резултате
Ц) Модел обухвата већину истинитих налаза, али може произвести много лажних позитивних резултата, што доводи до непотребног опозива ✔
Д) Модел означава само случајеве за које може поставити коначну дијагнозу.

Објашњење: Висока осетљивост значи снимање већине истинитих позитивних (мало лажних негативних). Ниска специфичност значи често обележавање здравих случајева, што значи стварање великог броја лажних позитивних резултата. Ово смањује цурење, али повећава терет непотребног опозива и истраге; Избор прага је клиничка равнотежа и вођен је интерпретацијом радиолога.

8. АИ модел се обучава на уређају одређеног произвођача и одређеној популацији пацијената. Који је најбољи приступ пре него што га употребите на другом уређају и популацији у вашој институцији?

А) Под претпоставком да ће модел свуда дати исте перформансе
Б) Обавезне све инспекције без тестирања модела
Ц) Сматра се безбедним само ако је кориснички интерфејс на турском.
Д) Извршите локалну валидацију и проверите перформансе на свом уређају и популацији и прегледајте ниво одобрења/доказа ✔

Објашњење: Перформансе се могу смањити када се удаљите од дистрибуције података на којој је модел обучен; Ово се зове померање дистрибуције. Пре употребе у новом уређају, протоколу или популацији, потребно је извршити локалну валидацију (проверу перформанси на сопственим подацима) и прегледати регулаторно одобрење и ниво доказа.

9. Која је најважнија безбедносна предност структурираног извештавања у односу на извештавање у слободном тексту?

А) Захваљујући стандардним насловима и обавезним пољима, смањује ризик од изостанка налаза и нејасноћа и обезбеђује доследност ✔
Б) Чини да извештаји изгледају краће
Ц) То чини непотребним да радиолог гледа слику.
Д) Дозвољава вештачкој интелигенцији да пошаље извештај без одобрења радиолога

Опис: Структурирано извештавање користи стандардне наслове, обавезна поља и заједнички појмовник; Ово смањује ризик од изостанка налаза, пропуштених поља и неспоразума, обезбеђује доследност међу клиничарима и олакшава вештачкој интелигенцији да попуни поља и провери доследност. Слободни текст је флексибилнији, али носи већи ризик од изостављања и двосмислености.

10. Алгоритам за побољшање слике (супер-резолуције) може 'очистити' ниску дозу ЦТ уз додавање фине структуре која заправо није присутна. На шта вас ово подсећа?

А) Побољшана слика је увек поузданија
Б) Побољшање може додати вештачке детаље или избрисати стварни налаз; У случају сумње, необрађену слику треба вратити и испитати дијагностичку валидност ✔
Ц) Након уклањања шума, доза се аутоматски смањује
Д) Побољшање само мења боју, уопште не утиче на садржај

Објашњење: Док алгоритми за побољшање слике смањују шум, они могу додати вештачке детаље или обрисати стварне мале налазе. Ово је подсетник да дијагностичка валидност побољшане слике може бити ограничена и у случају сумње, вратите се на сирову/оригиналну слику и, ако је потребно, неопходна је поновна процена са одговарајућим протоколом. Лепо естетски не значи дијагностичка тачност.

11. Које је исправно понашање када се анонимизира прича пацијента која се шаље јавном алату АИ?

А) Довољно је избрисати само презиме и оставити име и број протокола
Б) Брисање свих клиничких информација тако да АИ не види контекст
Ц) Уклоните податке о идентитету, протоколу, контакту и институционалним подацима и оставите само клинички неопходне анонимне информације ✔
Д) Анонимизација је непотребна; возило је већ безбедно

Објашњење: Име, ТР ИД број, број протокола/фајла, контакт и информације о институцији треба уклонити; Треба оставити само клинички неопходне информације (добна група, пол, релевантна историја). Исправан приступ је да се напише „62-годишња жена, позната историја рака дојке“ уместо „Ајше Јилмаз, протокол 2024-114523“.

12. АИ није означио никакве налазе на ЦТ ангиограму плућне емболије (ПЕ) (негативан АИ). Која је тачна интерпретација овога за радиолога?

А) Дефинитивно нема емболије, извештај се може брзо закључити као негативан
Б) Испитивање треба поновити
Ц) Нема потребе да се консултујете са клиничаром јер вештачка интелигенција каже негативно
Д) Негативна АИ није гаранција; Радиолог чита целу слику са сопственом проценом, модел је можда пропустио налаз ✔

Објашњење: Негативан АИ излаз не значи да је емболија искључена; модел је можда пропустио налаз (лажно негативан). Радиолог мора да прочита целу слику према сопственој клиничкој процени, укључујући подручја која нису означена АИ. Негативан АИ није гаранција дијагнозе, већ највише помоћни сигнал.

13. АИ је створио упозорење за критичан налаз (нпр. масивно интракранијално крварење). Ко је одговоран за затворено извештавање о критичним налазима?

А) Одговорност је радиолога да потврди налаз, саопшти га клиничару, документује комуникацију и заврши затворену петљу ✔
Б) Обавештавање је потпуно аутоматско, радиолог нема никакву улогу
Ц) Одговорност прелази на произвођача вештачке интелигенције
Д) Пошто се упозорење налази на радној листи, није потребна додатна комуникација

Опис: АИ упозорење је подсетник; Одговорност радиолога је да потврди критични налаз, саопшти га директно лекару који присуствује, документује комуникацију и заврши затворену петљу (потврда о пријему информације). Аутоматско упозорење није замена за људску комуникацију и потврду.

14. Који је најбољи приступ управљању да би се осигурало да је употреба вештачке интелигенције у јединици за снимање одржива и безбедна?

А) Инсталирајте једном и никада више не прегледајте
Б) Редовно пратите учинак, успоставите циклус повратних информација и самоконтроле, прегледајте примере грешака и задржите коначну одлуку са радиологом ✔
Ц) Делегирање свих одлука на модел и смањење броја радиолога
Д) Никада не снимати резултате вештачке интелигенције и не остављати трагове

Опис: Безбедна употреба није једнократна инсталација; Захтева редовно праћење учинка, прикупљање повратних информација радиолога, преглед лажно негативних/позитивних узорака, праћење ажурирања модела и промене дистрибуције, и редовну самоконтролу. Одговорност, потпис и коначна одлука увек остају на радиологу.