Eenheid 11 / 11

End-to-end integratie, grenzen en verantwoorde uitvoering

Winst:

  • Mogelijkheid om beeld-, signaal-, data- en regelgevingsonderdelen te combineren in één enkele verantwoorde biomedische AI-workflow
  • Mogelijkheid om human-in-the-loop auditing, traceerbaarheid en monitoringprincipes na distributie toe te passen
  • Mogelijkheid om de limiet te handhaven in elke fase waarin kunstmatige intelligentie de goedkeuring van artsen en ingenieurs niet vervangt

Module-examen

1. Welk van de volgende is het basisprincipe dat het risico van een AI-output in de biomedische technologie bepaalt?

  • A) Het risico van de output is gelijk aan de schade die deze voor de patiënt zou veroorzaken als deze onjuist zou zijn; validatie schaalt dienovereenkomstig ✔
  • B) AI-uitvoer is over het algemeen veilig omdat het vloeiend en technisch is geschreven
  • C) Validatie is niet nodig als het meest actuele model wordt gebruikt
  • D) Als de output verwijst naar een handleiding, zijn er geen extra controles nodig

Toelichting: Het risico van een output is gelijk aan de schade voor de patiënt als die output onjuist is. Hoewel een kleine fout in een literatuursamenvatting een laag risico met zich meebrengt, vormt een fout bij het invoeren van een beelddetectie of een klinische beslissing een directe bedreiging voor de veiligheid van de patiënt; Daarom gaat de intensiteit van de verificatie gepaard met potentiële schade, en is elke beslissing met betrekking tot patiëntveiligheid afhankelijk van de goedkeuring van een arts.

2. Wat is de juiste rol van een AI-ondersteund detectiemodel bij klinisch gebruik in de radiologie?

  • A) Keur automatisch het rapport van de radioloog goed en elimineer de werklast
  • B) Zaken met een lage prioriteit afsluiten zonder een radioloog te raadplegen
  • C) Als de modelwaarschijnlijkheid hoog is, stel dan een diagnose zonder aanvullend onderzoek
  • D) Een ondersteunend instrument zijn dat de aandacht vestigt op de bevinding en er prioriteit aan geeft, maar de verantwoordelijkheid voor de diagnose blijft bij de radioloog ✔

Omschrijving: Image AI is een beslissingsondersteunend instrument: trekt aan, prioriteert, meet en markeert; de diagnostische verantwoordelijkheid blijft echter bij de radioloog. De modeluitvoer is geen vervanging voor de beslissing van de radioloog, maar slechts een invoer. De output wordt gebruikt in combinatie met een onafhankelijke klinische evaluatie, omdat valse positieven en valse negatieven altijd mogelijk zijn.

3. Wat is het meest voorkomende probleem bij het overbrengen van de prestaties van een AI-model van het ene laboratorium naar het andere in de digitale pathologie?

  • A) Het model werkt erg snel
  • B) Diabestanden zijn te klein
  • C) Domeinverschuiving veroorzaakt door kleur- en scanverschillen ✔
  • D) Pathologen willen het model helemaal niet gebruiken

Beschrijving: Kleuringsprotocol, scannermerk en coupedikte variëren van laboratorium tot laboratorium; Als het model heeft geleerd op basis van de beeldstatistieken van het ene laboratorium, zullen de prestaties in een ander laboratorium afnemen. Dit fenomeen wordt domeinverschuiving genoemd en is de meest voorkomende oorzaak van falen in de digitale pathologie; Daarom zijn externe validatie en kleurnormalisatie van cruciaal belang.

4. Wat zou de eerste bevestigingsreflex van de ingenieur moeten zijn als een ECG-classificatiemodel 'atriumfibrilleren' bestempelt?

  • A) Het label als diagnose rechtstreeks in het patiëntendossier schrijven
  • B) Controleer het ruwe signaal, artefacten en fysiologische plausibiliteit en laat de beslissing over aan de arts ✔
  • C) Als de betrouwbaarheidsscore van het model hoog is, is er geen andere controle nodig.
  • D) Het doorverwijzen van de patiënt naar een medicamenteuze behandeling

Uitleg: De output moet eerst worden getest op fysiologische plausibiliteit en signaalkwaliteit: basislijnafwijking, spierartefact of elektrode-ontspanning in de opname kunnen het ritme nabootsen. Het is verkeerd om het label te vertrouwen zonder naar het ruwe signaal en de R-R-intervallen te kijken; De uiteindelijke ritmediagnose is eigendom van de arts. Het model geeft een voorlopig signaal af, het neemt geen beslissing.

5. Wat is het belangrijkste kenmerk van de AI-verwerking van EEG-signalen dat verificatie bijzonder moeilijk maakt?

  • A) Lage signaal-ruisverhouding en hoge artefacten/variabiliteit ✔
  • B) Het EEG-signaal heeft een zeer hoge amplitude en is geruisloos
  • C) Registratie van EEG van slechts één kanaal
  • D) EEG-gegevens zijn nooit digitaal

Uitleg: EEG is een signaal met een zeer lage amplitude (microvoltbereik) en wordt gemakkelijk besmet door artefacten zoals knipperen met de ogen, spierbewegingen, elektrode- en netwerkruis; Bovendien is de variabiliteit tussen individuen en opnames groot. Deze lage signaal-ruisverhouding zorgt ervoor dat de modeluitvoer kwetsbaar is en vereist validatie door deskundige neurofysiologen.

6. Wat is de belangrijkste limiet bij het werken met hartslaggegevens van een draagbaar consumentenapparaat?

  • A) De batterij van het apparaat raakt snel leeg
  • B) Gegevens opslaan in de cloud
  • C) Het apparaat is vaak niet medisch gecertificeerd en het signaal is gevoelig voor artefacten/bias ✔
  • D) Het apparaat is te duur

Openbaarmaking: de meeste draagbare consumentenapparaten zijn niet gecertificeerd als medische hulpmiddelen; Het PPG-signaal (fotoplethysmografie) wordt beïnvloed door bewegingsartefacten, en factoren zoals een donkere huidskleur en tatoeages kunnen de nauwkeurigheid verminderen. Deze gegevens zijn waardevol voor de neiging/bewustzijn, maar gevalideerde klinische metingen en evaluatie door artsen zijn vereist voor diagnostische beslissingen.

7. Wat betekent 'temporele lekkage' bij het bouwen van een voorspellend model met gegevens over elektronische medische dossiers (EPD)?

  • A) Gecodeerde opslag van gegevens
  • B) Het lekken van toekomstige informatie naar kenmerken die nog niet bestaan op het moment van de voorspelling ✔
  • C) De gegevens zijn te oud
  • D) Train het model te langzaam

Uitleg: Temporele lekkage is de interferentie van trainingsfuncties met informatie die nog niet beschikbaar is op het moment van de voorspelling (toekomstig); bijvoorbeeld het gebruik van ontslagdiagnose om het risico bij opname te voorspellen. Dit leidt tot hoge prestaties in het laboratorium, maar tot crashende prestaties bij echt klinisch gebruik, en is een van de meest verraderlijke tekortkomingen van klinische datamodellen.

8. Welke van de volgende zaken wordt verplicht wanneer software zelf wordt omschreven als 'medical device software' (SaMD)?

  • A) Gewoon snel werken is voldoende
  • B) Vereist geen documentatie
  • C) Er is alleen een mooie interface vereist
  • D) Ontwerpcontrole, risicobeheer, verificatie/validatie en naleving van de regelgeving worden verplicht ✔

Omschrijving: SaMD (Software as a Medical Device) is software die werkt voor diagnose-, behandelings- of monitoringdoeleinden en niet afhankelijk is van hardware. In dit geval zijn ontwerpcontroles, risicobeheer (ISO 14971), verificatie/validatie en naleving van de regelgeving verplicht; De software kan niet als 'slechts software' worden behandeld, omdat het falen ervan directe gevolgen heeft voor de patiëntveiligheid.

9. Wat is het meest kritische risico als je AI om een ​​MDR (Medical Device Directive) clausule of standaardnummer vraagt?

  • A) Het model produceert valse artikel-/standaardreferenties en presenteert deze veilig ✔
  • B) Het model geeft het antwoord te kort
  • C) Het model antwoordt in het Engels
  • D) Het model reageert te langzaam

Uitleg: Taalmodellen kunnen vol vertrouwen niet-bestaande itemnummers, onjuiste standaardversies en verzonnen verwijzingen produceren (hallucinatie). Bij naleving van de regelgeving leidt een onjuiste stofreferentie tot ernstige tekortkomingen in de naleving; dus elke toeschrijving moet onafhankelijk van de officiële tekst worden geverifieerd, AI mag alleen worden gebruikt voor navigatie/opstellen.

10. In welke categorie vallen gezondheidsgegevens onder de reikwijdte van KVKK en wat betekent dit?

  • A) Gewone persoonsgegevens; vrij verwerkt kunnen worden
  • B) Het zijn geen persoonsgegevens; er is geen beperking
  • C) Bijzondere categorieën persoonsgegevens; Verwerkt met strengere voorwaarden en beschermingen ✔
  • D) Alleen bedrijfsgeheimen; geen privacy vereist

Toelichting: Gezondheidsgegevens worden in KVKK beschouwd als ‘bijzondere persoonsgegevens’; In de regel is de verwerking afhankelijk van uitdrukkelijke toestemming of van door de wet bepaalde uitzonderingen en zijn zwaardere beschermingsmaatregelen vereist. Daarom kunnen patiëntgegevens niet in ongecontroleerde tools worden ingevoerd; Anonimisering, toegangsbeperking en gegevensverwerkingsovereenkomsten zijn verplicht.

11. Wat betekent 'kalibratie' in een klinisch AI-model en waarom is dit belangrijk?

  • A) Hoe snel het model loopt
  • B) Hoeveel parameters heeft het model?
  • C) Interfacekleur van het model
  • D) Compatibiliteit van de door het model gegeven waarschijnlijkheden met de feitelijke gebeurtenisfrequenties ✔

Uitleg: Kalibratie is het aanpassen van de waarschijnlijkheden die door het model worden gegeven aan de werkelijke frequenties: de gebeurtenis zou feitelijk moeten optreden bij ongeveer 20% van de patiënten voor wie er '20% risico' staat. Omdat beslissingen in de kliniek worden genomen op basis van waarschijnlijkheidsdrempels, zal een slecht gekalibreerd model leiden tot onjuiste drempelbeslissingen, zelfs als het correct scoort; daarom moeten zowel kalibratie als discriminatie (AUC) worden geverifieerd.

12. Waarom moeten 'subgroepprestaties' afzonderlijk worden gecontroleerd in beeld-, signaal- of klinische datamodellen?

  • A) Alleen totale nauwkeurigheid is altijd voldoende
  • B) Omdat subgroepen de modelsnelheid beïnvloeden
  • C) Generieke meetgegevens kunnen onderprestaties en vooroordelen bij specifieke patiëntengroepen verbergen ✔
  • D) Subgroepanalyse is alleen nodig voor marketing

Uitleg: Hoewel een model er gemiddeld goed uit kan zien, kan het aanzienlijk slechter presteren in bepaalde subgroepen (leeftijd, geslacht, huidskleur, apparaattype, ziekenhuis); De algemene maatstaf verbergt deze ongelijkheid. In de gezondheidszorg leidt dit bij sommige patiëntengroepen tot systematische schade; Daarom moeten de prestaties in subgroepen worden verdeeld en met het oog op eerlijkheid worden gerapporteerd.

13. Wat is de beste aanpak tegen het risico van ‘heridentificatie’ bij het werken met patiëntgegevens?

  • A) Enkel het verwijderen van de naam is onder alle omstandigheden voldoende.
  • B) Generaliseer zowel indirecte identificatiegegevens als directe identificatiegegevens en beperk de toegang ✔
  • C) Als de gegevens toebehoren aan een klein aantal personen, zijn er geen voorzorgsmaatregelen vereist
  • D) Gewoon de bestandsnaam wijzigen in plaats van versleuteling

Beschrijving: Zelfs gegevens waarvan de naam is verwijderd, kunnen opnieuw worden geïdentificeerd met zeldzame combinaties van diagnose, geboortedatum, postcode en datum. Het is dus niet voldoende om alleen directe identificatiegegevens te extraheren; Technieken zoals datumverschuiving, generalisatie, k-anonimiteit en toegangscontrole moeten samen worden toegepast, en gevoelige vrije tekst moet ook worden opgeschoond.

14. Wat is de belangrijkste reden voor het handhaven van end-to-end ‘human-in-the-loop’-controle in de biomedische AI-workflow?

  • A) Menselijke controle zorgt alleen maar voor traagheid en moet worden verwijderd
  • B) Als de betrouwbaarheidsscore van het model hoog is, is menselijke validatie niet nodig
  • C) Er is geen andere praktische reden dan een wettelijke verplichting
  • D) AI is onderhevig aan vooringenomenheid en fouten; Beslissingen over patiëntveiligheid en de verantwoordelijkheid moeten bij de gekwalificeerde specialist blijven liggen ✔

Beschrijving: Kunstmatige intelligentie genereert, prioriteert en stelt hypothesen op; maar de patronen die het uit de gegevens leert, kunnen onvolledig, bevooroordeeld of uit hun context zijn. Het is absoluut noodzakelijk dat beslissingen met betrekking tot de patiëntveiligheid de goedkeuring krijgen van de bevoegde arts en ingenieur, zowel om fouten op te sporen als om de verantwoordelijkheid op de juiste plaats te houden; AI vervangt deze goedkeuring op geen enkel moment.