Работен тек од крај до крај, управување со квалитет и саморевизија — Вештачка интелигенција во радиологија и медицински слики

Добивки:

Способност да се дизајнира работен тек од крај до крај што покажува каде и со кое одобрение вештачката интелигенција влегува во игра во целиот синџир, од пред снимање до потпис на извештајот.
Способност да се воспостави следење на перформансите, циклус на повратни информации и редовна саморевизија во процесите поддржани од вештачка интелигенција
Способност да се направи употребата на вештачка интелигенција во единица за сликање одржлива со принципите на управување, одговорност и постојано подобрување

Во претходните десет единици, ги опфативме деловите од вештачката интелигенција во радиологија: тријажа, структурирано известување, автоматизација на мерење, интеграција на PACS, метрика, алатки специфични за модалитет, квалитет на слика, следење и приватност. Во оваа последна единица, ќе ги комбинираме деловите и ќе воспоставиме работен тек од крај до крај: холистичка мапа која покажува каде и со кое одобрение вештачката интелигенција влегува во игра во синџирот што го поминува ревизијата од моментот на барање до потпишаниот извештај. Потоа ќе ги разгледаме двете работи кои го прават овој тек одржлив: управување со квалитетот (надгледување на перформансите, циклус на повратни информации) и саморегулација (редовен преглед, управување).

Основен принцип: Безбедното користење на слики со ВИ не е еднократна инсталација; Тоа е жив процес кој бара постојано следење на перформансите, циклус на повратни информации, преглед на шеми на грешки и редовна саморевизија. На секој чекор одговорноста, потписот и конечната одлука останува на радиологот.

Проток од крај до крај: каде е вештачката интелигенција, кои потврдуваат

Ајде да го следиме патувањето на ревизијата, вклучувајќи ги и точките каде што ВИ влегува во игра и човечкото одобрување во секоја точка.

Барање и индикација: Клиничарот бара преглед. ВИ може да препорача соодветност на индикации и избор на протокол; Техничарот/радиологот одобрува. (Единица 8)
Снимање и квалитет: Модалитетот ја создава сликата. Оптимизација на дозата со вештачка интелигенција, отстранување на звук и означување на артефакти; Техничарот одлучува за квалитетот и повторно пука доколку е потребно. (Единица 8)
Тријажа: Сликата паѓа во PACS. ВИ дава приоритет на настани кои се критични за времето; Радиологот сè уште го чита секој преглед. (Единица 2)
Читање и откривање: Радиологот чита. CAD ознаки како второ око; Радиологот проценува што е означено, а што не. (Единица 6, 7)
Мерење и следење: ВИ мери и споредува со претходното испитување; Радиологот ја потврдува конзистентноста. (Единица 4, 9)
Известување: ВИ произведува структуриран нацрт; Радиологот секоја реченица ја совпаѓа со сликата и ја потпишува. (Единица 3)
Известување за критични наоди: вештачката интелигенција потсетува на критичниот наод; Радиологот потврдува, комуницира со клиничарот и ја завршува затворената јамка. (Единица 2, 6)
Архивирање и снимање на трага: излезот со вештачка интелигенција се чува како посебен слој; Оригиналот не се менува, записот за трага се чува. (Единица 5)

Фаза

Улога на вештачката интелигенција

човечко одобрување

Поврзана единица

Барање/протокол

Предлог

Техничар + радиолог

Снимка/квалитет

Доза, деноизирање, артефакт

техничар

тријажа

приоритетно знаме

Радиолог (сè уште чита)

Читање/откривање

CAD второ око

Радиолог (дијагностички)

6, 7

Мерење/следење

Пресметка, споредба

Радиолог (коригира)

4, 9

Известување

нацрт

Радиолог (потпис)

критички наод

потсетник

Радиолог (пренесува, потврдува)

2, 6

архива

посебен слој

Систем + снимање песна

Оваа табела е резиме на модулот: како што се зголемува ризикот, улогата на вештачката интелигенција се намалува, човечката согласност расте; Во никој случај вештачката интелигенција не го презема отчитувањето, дијагнозата или потписот.

Известување за критични наоди: затворена јамка

Критичен наод (големо крварење, масивна емболија, напнат пневмоторакс) не се смета за соопштен едноставно со тоа што ќе го запишете во извештајот. Комуникацијата во затворен циклус значи потврдување дека информациите стигнуваат и се примаат директно од лекарот што посетува. Вештачката интелигенција може да потсети на критичниот наод или дури да произведе нацрт-известување; Сепак, одговорноста на радиологот е да го потврди наодот, да му соопшти на правилниот лекар, да ја документира комуникацијата и да ја затвори јамката. Автоматското предупредување не е замена за човечката комуникација.

Внимание: Само затоа што на работниот список се појавува предупредување за критични наоди со вештачка интелигенција, не значи дека известувањето е направено. Известувањето се завршува само кога радиологот ќе го потврди наодот, ќе стигне до лекарот што посетува и ќе ја добие информацијата. Човечка работа е да ја затвори затворената јамка.

Управување со квалитет и саморевизија

Процесот напојуван со вештачка интелигенција може да се расипе со текот на времето: моделот се ажурира, уредот се менува, популацијата се менува, стапката на лажно позитивни се зголемува. Затоа, перформансите мора постојано да се следат.

Следење на перформансите: Собирање лажно позитивни/негативни примероци; Следете ги стапките на знаменцето за тријажа и вистинскиот позитивен процент.
Јамка за повратни информации: Систематски собирајте ги повратните информации од радиолози „ова знаме беше погрешно/пропушти ова“ и споделете ги со производителот.
Преглед на грешки: Прегледајте ги пропуштените наоди и лажните аларми на редовните состаноци; Разликувајте ја основната причина (модел, протокол, човек).
Следење на поместување на дистрибуцијата: Повторете ја локалната потврда кога уредот/протоколот/популацијата се менува.
Управување: кој користи кој модел, со која верзија, во кој контекст; Кој е одговорен - овие нека бидат писмено.

три мини футроли

Случај 1 - јамката за повратни информации работи. Една единица гледа од податоците од мониторингот дека лажно позитивната стапка на пневмоторакс кај тријажниот модел се зголемила на 75% за неколку месеци. Радиолозите ги собираат своите повратни информации, го разгледуваат прагот со производителот; стапката паѓа на 45% и се намалува заморот од алармот. Без мониторинг, моделот тивко би станал несигурен.

Случај 2 - Пропуштена анализа на основната причина. На едномесечниот преглед се забележани два пропуштени мали нодули. Анализата покажува дека и двете се појавуваат на преносливи графикони и на уред на кој моделот не бил обучен (дистрибутивен дрифт). Единицата го стеснува опсегот на моделот на преносливи радиографија и ги предупредува радиолозите. Грешката беше искористена за да се поправи системот наместо да се обвинува едно лице.

Случај 3 - Критичниот наод е затворен циклус. ВИ предупредува на големо крварење на КТ на мозокот. Радиологот потврдува за 90 секунди, го повикува неврохирургот, го потврдува приемот на информации и ја документира комуникацијата (време, личност, содржина). Затворената јамка е завршена. АИ потсети; Радиологот го направил известувањето и потврдата. Ако се остави на автоматско предупредување, нема да има гаранција дека лекарот ја примил информацијата.

Слаб промпт / Силен промпт

Слаба навестување:

Поставете работен тек на вештачката интелигенција во радиологијата, автоматизирајте сè.

„Автоматизирај сè“ е опасно во безбедносно критичен домен; Игнорира човечки контролни пунктови и безбедно стандардно.

Моќен потсетник:

Вашата улога: СОВРШЕН консултант на единицата за радиологија за дизајн на работниот тек на вештачката интелигенција од крај до крај. Донесување одлуки; изгответе преглед и листа за проверка. Наведете каде е додадена вештачката интелигенција во барањето → фаќање → тријажа → читање → мерење → известување → критички наод→ архивски синџир и наведете човечко одобрување на СЕКОЈ чекор. Предложете и метрика за следење на перформансите, циклус на повратни информации и саморевизија. Принцип: како што се зголемува ризикот, улогата на ВИ станува помала, човечкото одобрување расте; дијагноза/потпис/известување кај радиологот. Контекст на единицата: [напиши]

Силната волја се фокусира на точките на човечко одобрување, следење и самоконтрола.

Шаблони за копирање на брзините

ОБРАБОТ ЗА НАЦРТ НА ТЕКОТ КРАЈ ДО КРАЈ Вашата улога: АСИСТЕНТ консултант. За барањето → сликање → тријажа → читање → мерење → известување → критички наод→ архивски синџир, изгответе табела која ја наведува улогата на вештачката интелигенција и човечкото одобрување во секоја фаза. Обележете го нивото на ризик и не оставајте никакви безбедносни критични одлуки „преземени“ од вештачката интелигенција. Контекст на единицата: [напиши]

ОБРАБОК ЗА СЛЕДЕЊЕ НА ИЗВЕДБАТА ќе ви даде период на тријажа/CAD податоци. Пресметајте лажна позитивна стапка, број на пропуштени наоди и процент вистински позитивен; предупредуваат за замор на алармот и нанос на дистрибуцијата; Препорачај до кој праг треба да се прегледа производителот/моделот. Решението е во институцијата. Податоци: [напиши]

ОБРАЗОК ЗА ПРЕГЛЕД НА КОРЕНАТА ПРИЧИНАЌе ви дадам случај на пропуштено наоѓање/лажен аларм. Разграничување на основната причина: модел (тренинг/обем), протокол/уред (поднесување на дистрибуцијата), човек (пристрасност на автоматизацијата/замор од аларм). Направете предлози фокусирани на корекција на системот, а не на обвинување. Настан: [напиши]

КРИТИЧНИОТ НАОД ЗА ЗАТВОРЕНА ЈАМКА Направете листа за проверка во затворен циклус за известување за критичниот наод: потврда за наод, идентификација на правилен лекар, директно пренесување, потврда за прием на информации, документација за комуникација (време/лице/содржина). Потсетете нè дека автоматските предупредувања не ги заменуваат известувањата. Контекст: [напиши]

Вообичаени грешки

„Автоматизирање на сè“. Безбедносните одлуки бараат човечко одобрување; Целосната автоматизација е опасна.
Инсталирање еднаш, а не гледање. Моделот се распаѓа со текот на времето; Постојаното следење на перформансите е задолжително.
Користење на грешката за да се обвини личноста. Анализата на основната причина треба да се фокусира на корекција на системот.
Оставете го критичниот наод на автоматско предупредување. Затворената јамка ја затвора радиологот; Пренесувањето и потврдувањето е човечка работа.
Не ставање на владеење во писмена форма. Кој, кој модел, која верзија, кој опсег, кој е одговорен - мора да се документира.

Совет: редовно поставувајте го ова прашање во вашата единица: „Ако ја исклучиме вештачката интелигенција денес, дали ќе продолжиме да работиме безбедно?“ Одговорот секогаш треба да биде „да“. ВИ го забрзува читањето, но никогаш нема да го замени читањето, препознавањето и потпишувањето.

Сумирано

Вештачката интелигенција стапува во игра во многу точки во синџирот од моментот на нарачка до потпишаниот извештај во радиологија: протоколска препорака, квалитет, тријажа, детекција, мерење, следење, известување и потсетник за критичко наоѓање. Холистичкиот принцип е резиме на целиот модул: како што се зголемува ризикот, улогата на вештачката интелигенција се намалува, човечката согласност расте; Во ниту еден чекор вештачката интелигенција не ги презема информациите за читање, дијагноза, потпис или критични наоди. Она што го прави овој проток одржлив е признавањето дека безбедното користење е жив процес, а не еднократно поставување: следење на перформансите, циклус на повратни информации, преглед на грешки, следење на отстапувањата на дистрибуцијата и писмено управување. Кога известува за критичен наод, радиологот ја затвора затворената јамка. Под сè стои непроменливата реченица: одлуката е на личноста.

Задача за апликација

Нацртајте графикон за работниот тек на вештачката интелигенција од крај до крај за вашата единица (или организација примерок): запишете ја улогата на вештачката интелигенција, човечкото одобрување и нивото на ризик во секоја фаза. Потоа утврдете ги трите метрика (стапка на лажно позитивна, пропуштени наоди, процент вистински позитивен) и прагови за акција што ќе ги следите со шаблонот „Следење на перформансите“. Изберете критично сценарио за наоѓање и напишете ги чекорите користејќи го шаблонот „Critical Finding Closed-Loop“. Конечно, „Дали би работеле безбедно ако ја исклучиме вештачката интелигенција денес?“ Одговорете на прашањето искрено за вашата единица и забележете ги недостатоците.

листа за проверка

[ ] Ја дефинирав човечката валидација на секоја точка на ВИ во протокот од крај до крај.
[ ] Не сум делегирал никакви безбедносни критични одлуки (дијагноза/потпис/известување) на вештачката интелигенција.
[ ] Ги одредив критериумите за следење на перформансите и праговите за дејствување.
[ ] Го поставив циклусот за повратни информации и процесот на преглед на грешки.
[ ] Направив план да ја повторам локалната верификација за смена на дистрибуција.
[ ] Погрижив радиологот да ја затвори затворената јамка на известувањето за критичните наоди.
[ ] „Дали ќе работиме безбедно ако ја исклучиме вештачката интелигенција? Можам да кажам да на прашањето.

Модул испит

1. Радиолошката тријажна вештачка интелигенција означила КТ на мозокот како „низок приоритет“ и го преместила на крајот од работниот список. Што треба да направи радиологот за овој преглед?

А) Сè уште целосно ја чита и известува ревизијата; тријажата само го менува редоследот, а не го елиминира читањето ✔
Б) Вештачката интелигенција обично ја затвора студијата без да ја прочита бидејќи вели дека е низок приоритет.
В) Автоматски го одложува прегледот за следниот ден
Г) Ја гледа само областа означена со вештачка интелигенција и го скратува извештајот

Опис: Triage AI само го менува редоследот на читање; Не може да исклучи никакво испитување од читањето. „Низок приоритет“ не е дијагноза и може да биде лажно негативен. Секој преглед сепак мора да биде целосно прочитан и пријавен од радиологот; Не го заменува читањето на сигналот за приоритет.

2. Која комбинација на ризици на вештачката интелигенција и недостасува вистинска патологија (на пример, мал пневмоторакс) и радиологот се потпира на неа и не ја испитува соодветно сликата?

А) Само лажно позитивен и алармен замор
Б) Лажно негативно и пристрасност за автоматизација (претерано потпирање на ВИ) ✔
В) Само лош квалитет на сликата
Г) Само грешка во заглавието DICOM

Објаснување: Лажно негативно е ако моделот го пропушти наодот; Пристрасност за автоматизација е кога радиологот претерано ѝ верува на вештачката интелигенција и го релаксира сопствениот преглед. Кога двете ќе се спојат, причината за постоењето на човечкото следење исчезнува и наодот може целосно да се пропушти. Затоа, треба да се читаат и области кои не се обележани со вештачка интелигенција.

3. АИ додала реченица „аденома на десната надбубрежна жлезда“ во нацрт-извештајот за КТ на градниот кош што немал еквивалент на сликата. Што треба да направи радиологот?

А) Ја смета реченицата за веродостојна и директно ја потпишува.
Б) Бидејќи не е сигурен, тој го препишува целиот извештај до вештачката интелигенција и го потпишува.
В) Ја поклопува реченицата со сликата; Ако нема одредба, ја отстранува и го потпишува нацртот како заверен ✔
Г) Ја напушта реченицата, но на крајот пишува „додадена вештачка интелигенција“.

Објаснување: Јазичните модели можат течно да одговараат на наод што не е присутен на сликата; ова се нарекува халуцинација. Радиологот мора да ја усогласи секоја реченица од извештајот со сликата, да ги отстрани сите неважни фрази и никогаш да не го потпишува нацртот без да го потврди. Нацрт-извештајот е почеток, а не доказ.

4. Специјалист поставува слика DICOM со името на пациентот и бројот на протоколот без анонимизација во јавно достапна алатка за вештачка интелигенција. Кој е тука главниот проблем?

А) Резолуцијата на сликата е недоволна за вештачка интелигенција
Б) Вештачката интелигенција не може да чита DICOM формат
В) Не може да се коментира бидејќи сликата е црно-бела
Г) Податоците за идентитетот во заглавието DICOM и вградени во сликата се споделуваат без анонимизација; Ова е прекршување на KVKK ✔

Опис: DICOM-датотеките ги носат и информациите како што се името на пациентот, идентитетот, датумот на раѓање во заглавието, а понекогаш и податоците за идентитетот вградени во сликата (изгорени). Поставувањето на нив на надворешна алатка без нивно анонимизирање е откривање на чувствителни здравствени податоци и прекршување на KVKK. Заглавието и вградените податоци мора прво да се исчистат.

5. Кој е најважниот чекор за верификација кога се споредува автоматското мерење на белодробните јазли (на пр. 8 mm) произведено од АИ со рачно мерење (5 mm) од претходниот преглед?

А) Потврдете дека мерењата се споредуваат со истиот метод, конзистентноста на рамнината и сегментацијата и проценете го несовпаѓањето од радиологот ✔
Б) Претпоставувајќи дека новото мерење е секогаш точно и известува за раст
В) Преземање на просек од две мерења и нивно известување
Г) Целосно игнорирајте го мерењето и пишувајте само визуелни впечатоци

Објаснување: Мерењето е проценка и зависи од границата на сегментација, изборот на парче, протоколот и методот на мерење. Кога автоматско и рачно мерење се врши со користење на различни методи, може да се појави лажен впечаток за „раст“. Пред да се донесе одлука за проширување, треба да се направи споредба со користење на истиот метод, на иста рамнина и со конзистентни граници, а секоја недоследност треба да ја процени радиологот.

6. Кое е златното правило во врска со оригиналната слика DICOM кога се додаваат резултати од вештачка интелигенција на PACS?

А) Ознаките за вештачка интелигенција мора да бидат трајно напишани над оригиналната слика
Б) Излезот на вештачката интелигенција се додава како посебна серија/слој; оригиналната дијагностичка слика не е променета и снимката со трага е зачувана ✔
В) Оригиналната слика воопшто не треба да се чува, само обработената верзија треба да се чува
Г) Излезот за вештачка интелигенција треба да биде вграден како текст во заглавието на пациентот

Опис: Обележувањата, метриката и нагласувањето на вештачката интелигенција треба да се складираат како посебна серија, слој или објект на структуриран извештај; Оригиналната дијагностичка слика никогаш не треба да се менува. На овој начин, радиологот секогаш може да ги види необработените податоци, снимањето на трагата е зачувано, а излезот на вештачката интелигенција останува да се разликува од оригиналот.

7. Мамографската вештачка интелигенција работи со висока „чувствителност“, но мала „специфичност“. Што значи ова во пракса?

А) Моделот не означува речиси никакви наоди
Б) Моделот никогаш не произведува лажни позитиви
В) Моделот ги доловува повеќето вистинити наоди, но може да произведе многу лажни позитиви, што доведува до непотребно отповикување ✔
Г) Моделот означува само случаи за кои може да постави дефинитивна дијагноза.

Објаснување: Високата чувствителност значи снимање на повеќето вистински позитивни (неколку лажни негативни). Ниската специфичност значи често означување на здрави случаи, што значи производство на голем број лажни позитиви. Ова го намалува истекувањето, но го зголемува товарот на непотребното отповикување и истражување; Изборот на прагот е клиничка рамнотежа и се регулира со интерпретацијата на радиологот.

8. Моделот со вештачка интелигенција е обучен за специфичен уред на производителот и одредена популација на пациенти. Кој е најдобриот пристап пред да го користите на различен уред и популација во вашата институција?

А) Под претпоставка дека моделот ќе ги дава истите перформанси насекаде
Б) Задолжителни сите инспекции без да се тестира моделот
В) Сметајќи го за безбедно само ако корисничкиот интерфејс е на турски јазик.
Г) Извршете локална валидација и проверете ги перформансите на вашиот сопствен уред и популација и прегледајте го нивото на одобрување/доказ ✔

Објаснување: Перформансите може да се намалат кога се оддалечувате од дистрибуцијата на податоци на која е обучен моделот; Ова се нарекува поместување на дистрибуцијата. Пред употреба во нов уред, протокол или популација, треба да се изврши локална валидација (проверка на перформансите на вашите сопствени податоци) и да се разгледаат регулаторното одобрување и нивото на докази.

9. Која е најважната безбедносна предност на структурираното известување во однос на известувањето за слободен текст?

А) Благодарение на стандардните наслови и задолжителните полиња, го намалува ризикот од недостигни наоди и двосмисленост и обезбедува конзистентност ✔
Б) Прави извештаите да изгледаат пократки
В) Тоа го прави непотребно радиологот да ја гледа сликата.
Г) Дозволува вештачката интелигенција да го испрати извештајот без одобрение од радиолог

Опис: Структурното известување користи стандардни наслови, потребни полиња и заеднички речник; Ова го намалува ризикот од пропуштени наоди, пропуштени полиња и недоразбирања, обезбедува конзистентност меѓу лекарите и го олеснува пополнувањето на полињата и проверката на конзистентноста на вештачката интелигенција. Слободниот текст е пофлексибилен, но носи поголем ризик од пропусти и нејаснотии.

10. Алгоритам за подобрување на сликата (супер-резолуција) може да „исчисти“ КТ со мала доза, а притоа да додаде фина структура која всушност не е присутна. На што ве потсетува ова?

А) Подобрената слика е секогаш посигурна
Б) Подобрувањето може да додаде вештачки детали или да го избрише вистинскиот наод; Во случај на сомнеж, необработената слика треба да се врати и да се доведе во прашање дијагностичката валидност ✔
В) По деноизирање, дозата автоматски се намалува
Г) Подобрувањето само ја менува бојата, воопшто не влијае на содржината

Објаснување: додека алгоритмите за подобрување на сликата го намалуваат шумот, тие можат да додадат вештачки детали или да ги избришат вистинските мали наоди. Ова е потсетник дека дијагностичката валидност на подобрената слика може да биде ограничена и во случај на сомнеж, враќање на суровата/оригиналната слика и, доколку е потребно, неопходна е реевалуација со соодветен протокол. Да изгледате добро естетски не значи дијагностичка точност.

11. Кое е правилното однесување при анонимизирање приказна за пациентот што треба да се испрати до јавна алатка за вештачка интелигенција?

А) Доволно е да се избрише само презимето и да се остави името и бројот на протоколот
Б) Бришење на сите клинички информации, така што вештачката интелигенција не гледа контекст
В) Отстранете ги идентитетот, протоколот, контактите и институционалните информации и оставете ги само клинички неопходните анонимни информации ✔
Г) Анонимизацијата е непотребна; возилото е веќе безбедно

Објаснување: треба да се отстранат име, TR ID број, број на протокол/датотека, контакт и информации за институцијата; Треба да се остават само клинички неопходни информации (возрасна група, пол, релевантна историја). Точниот пристап е да се напише „62-годишна жена, позната историја на рак на дојка“ наместо „Ayşe Yılmaz, протокол 2024-114523“.

12. АИ не покажа наоди на белодробна емболија (ПЕ) КТ ангиограм (негативен АИ). Кое е правилното толкување на ова за радиологот?

А) Дефинитивно нема емболија, извештајот може брзо да се затвори како негативен
Б) Испитувањето треба да се повтори
В) Нема потреба да се консултирате со клиничар бидејќи вештачката интелигенција вели негативно
Г) Негативната вештачка интелигенција не е гаранција; Радиологот ја чита целата слика со своја проценка, манекенката можеби го пропуштила наодот ✔

Објаснување: Негативен излез на ВИ не значи дека емболијата е исклучена; моделот можеби го пропуштил наодот (лажно негативно). Радиологот мора да ја прочита целата слика со сопствената клиничка проценка, вклучувајќи ги областите што не се означени со вештачката интелигенција. Негативната вештачка интелигенција не е гаранција за дијагноза, туку најмногу помошен сигнал.

13. АИ генерира предупредување за критичен наод (на пр., масивно интракранијално крварење). Кој е одговорен за известување за критичните наоди во затворен круг?

А) Одговорност на радиологот е да го потврди наодот, да му го соопшти на клиничарот, да ја документира комуникацијата и да го заврши затворениот циклус ✔
Б) Известувањето е целосно автоматско, радиологот нема никаква улога
В) Одговорноста преминува на производителот на вештачка интелигенција
Г) Бидејќи предупредувањето е во работната листа, не е потребна дополнителна комуникација

Опис: предупредувањето за вештачка интелигенција е потсетник; Одговорност на радиологот е да го потврди критичниот наод, да му го соопшти директно на лекарот што посетува, да ја документира комуникацијата и да го комплетира затворениот циклус (потврда за прием на информации). Автоматското предупредување не е замена за човечка комуникација и потврда.

14. Кој е најдобриот пристап за управување за да се осигура дека употребата на вештачка интелигенција во единицата за сликање е одржлива и безбедна?

А) Инсталирајте еднаш и никогаш повеќе не прегледувајте
Б) Редовно следете ги перформансите, воспоставете циклус на повратни информации и саморевизија, прегледувајте примери на грешки и чувајте ја конечната одлука со радиологот ✔
В) Делегирање на сите одлуки на моделот и намалување на бројот на радиолози
Г) Никогаш не снимајте излези од вештачка интелигенција и не оставајте никаква трага

Опис: Безбедното користење не е еднократна инсталација; Потребно е редовно следење на перформансите, собирање повратни информации од радиологот, преглед на лажно негативни/позитивни примероци, следење на ажурирањата на моделот и распределбата на дистрибуцијата и редовна саморевизија. Одговорноста, потписот и конечната одлука секогаш остануваат кај радиологот.