Ieguvumi:
- Spēja atpazīt divējāda lietojuma (DURC) risku, noraidīt mākslīgā intelekta kaitīgo izmantošanu un pieņemt refleksu ziņot par to korporatīvajam bioloģiskās drošības kanālam.
- Spēja aizsargāt konfidencialitāti, deidentificējot pacientu un ģenētiskos datus un apstrādājot tos apstiprinātā vidē un piekrišanas ietvaros
- Spēja nodrošināt cilvēka atbildību un caurspīdīgumu, nodrošinot mākslīgā intelekta modeļa dokumentētu verifikāciju (GxP validāciju) reglamentētajos lēmumos
Bioinženierzinātne ir joma, kas tieši ietekmē cilvēku veselību, pārtikas nekaitīgumu un vidi; tāpēc šeit ir jautājumi, kā arī "vai man vajadzētu" un "vai man ir atļauts darīt", kā arī "vai es varu". AI vēl vairāk saasina šos jautājumus: ģeneratīvs modelis var ieteikt toksīnu tikpat viegli kā labdabīgu enzīmu; valodas modelis var pārvērst pacienta datus par noplūdi; Nepārbaudīta modeļa izvade var nejauši nonākt regulētā ražošanas līnijā. Šī vienība ir drošības un atbildības sistēma, kas atrodas virs visām iepriekšējām vienībām. Principi, kurus jūs šeit apgūsit, ir svarīgāki par tehniskām prasmēm.
Šajā nodaļā mēs aptversim četras asis: bioloģiskā drošība un divējāda lietojuma risks, datu privātums un pacientu tiesības, normatīvo aktu atbilstība un validācija (GxP, validācija), kā arī atbildība un pārredzamība.
Bioloģiskā drošība un divējāda lietošana
Divējāda lietojuma (divējāda lietojuma pētniecība, kas rada bažas — DURC — pētījumi, kas var radīt gan labumu, gan nopietnu kaitējumu) ir bioinženierijas smagākais ētiskais slogs. Patogēnu inficētspējas palielināšana, toksīnu izstrāde, aģenta modificēšana, lai izvairītos no atklāšanas — tie ir bīstami uzdevumi, ko AI var uzdot apzināti vai neapzināti. Noteikums ir skaidrs: neizmantojiet AI, lai palielinātu potenciāli kaitīgo aģentu iespējas; Ja saskaraties ar šādu pieprasījumu, noraidiet to, pārtrauciet to un ziņojiet par to iestādes bioloģiskās drošības/ētikas komitejai. Pat likumīgai izpētei (piemēram, aizsardzībai pret patogēnu) ir nepieciešams institucionāls apstiprinājums, ierobežota piekļuve un pārredzama reģistrēšana.
Uzmanību: ne vienmēr ir skaidrs, vai misija ir divējāda lietojuma vai nē. “Palieliniet šī fermenta īpašību” var šķist nevainīgi un palielināt toksīna efektivitāti. Ja rodas šaubas, apstājieties un konsultējieties; Neatgriezenisku bojājumu risks vienmēr ir dažu dienu kavēšanās vērts.
Datu privātums un pacientu tiesības
Bioinženierijas dati bieži ietver ģenētiskos un klīniskos datus — visjutīgāko personas datu veidu. Genomu var atkārtoti identificēt, pat ja tas šķiet deidentificēts. Tādi noteikumi kā KVKK un GDPR stingri aizsargā šos datus. Īkšķa noteikumi: nekad nesniedziet neapstiprinātus pacienta datus neapstiprinātam, publiskam AI rīkam; deidentificēt datus; izmantot apstiprinātas korporatīvās/lokālās vides ar datu apstrādes līgumiem; un nepārsniedz datu vākšanas mērķi (informēta piekrišana).
Padoms. Pirms sniegt jebkādus datus AI rīkam, uzdodiet trīs jautājumus: (1) Vai šajos datos var identificēt personu? (2) Vai šī rīka datu apstrādes nosacījumi ir piemēroti efektivitātes uzturēšanai? (3) Vai šī izmantošana atbilst mērķim, kuram pacients piekrita? Ja sakāt "nē" vai "neesat pārliecināts" kādam no trim, nesniedziet datus.
Atbilstība normatīvajiem aktiem un pārbaude
Farmaceitisko, medicīnisko ierīču un klīniskā ražošana tiek regulēta GxP (Good Practice - labas prakses noteikumi; GMP ražošana, GLP laboratorija, GCP klīnika) ietvaros. Jebkurai sistēmai, kas tiek izmantota šajās vidēs, tostarp AI modelim, ir jābūt validētai (pierādot, ka sistēma veic paredzēto darbu konsekventi un dokumentēti). AI modeļa izmantošana regulētā lēmumā; Tas prasa dokumentēt, kā modelis tika apmācīts, ar kādiem datiem tas tika pārbaudīts, cik tas ir uzticams un kā tiek apstiprināta tā izvade. "Melnās kastes" modeļa nepārbaudīta izvade nevar nonākt GMP līnijā.
Atbildība un caurspīdīgums
AI nepieņem lēmumus; Cilvēks ir tas, kurš lemj, un atbildība gulstas uz cilvēku. Pat ja mākslīgais intelekts ierosina atradumu, molekulu vai procesa lēmumu, galīgais paraksts pieder ekspertam, kurš to pārbauda. Pārredzamība ir otrais pīlārs: ja publikācijā, ziņojumā vai iesniegumā izmantojāt mākslīgo intelektu, skaidri norādiet to un to, kā to pārbaudījāt. Slepena, nepārbaudīta AI izmantošana pārkāpj gan zinātnisko integritāti, gan regulējumu.
trīs mini futrāļi
1. gadījums — divējāda lietojuma pieprasījums apturēts. Lietotājs AI lūdza mutācijas, kas palielinātu baktēriju toksīna efektivitāti. Modele atteicās un paskaidroja, kāpēc tā ir pakļauta DURC; Korporatīvās bioloģiskās drošības komanda izmeklēja situāciju. Noraidījums agri novērsa iespējamo ļaunprātīgo izmantošanu.
2. gadījums — atgriešanās pēc privātuma pārkāpuma. Viena komanda gatavojās augšupielādēt 500 pacientu genoma datus publiskā mākonī analīzei. Datu aizsardzības inspektors saprata, ka dati ir atkārtoti identificējami, un pārsniedza piekrišanas apjomu. Analīze tika veikta ar neidentificētiem datiem un sertificētā vietējā vidē; pārkāpums novērsts.
3. gadījums — Validācijas nepilnība. Ražotne sāka izmantot nevalidētu AI klasifikatoru kvalitātes lēmumos. Revīzijā atklājās, ka modelim nebija LRP pārbaudes un nebija izsekojamas dokumentācijas par tā izlaidi. Sistēma ir izņemta no ražošanas līdz pilnīgai validācijai.
Četras kopējamas veidnes
1) Divējāda lietojuma sākotnējais novērtējums:
Jūsu loma: bioloģiskās drošības padomnieks. Novērtējiet šādu DURC pētījumu: vai pastāv kaitējuma potenciāls, kādā kategorijā (infekciozitāte, toksicitāte, izvairīšanās no atklāšanas utt.), kādi apstiprinājumi un ierobežojumi ir nepieciešami? Nesniedziet nekādus kaitīgus tehniskus padomus; vienkārši uzskaitiet riska novērtējumu un nepieciešamās atļaujas. Pētījums: [definīcija]
2) Datu privātuma kontrole:
Pirms datu kopas nodošanas AI analīzei es vēlos pārbaudīt privātumu. Dodiet man kontrolsarakstu: lauku identificēšana, atkārtotas identifikācijas risks, piekrišanas apjoms, transportlīdzekļa datu apstrādes nosacījumi. Sakiet man ar skaidriem sliekšņiem, kādos gadījumos NEDRĪKST eksportēt datus.
3) Validācijas plāns:
Jūsu loma: kvalitātes nodrošināšanas speciālists. Es vēlos izmantot AI modeli regulētā lēmumā. Norādiet verifikācijas plāna komponentus GxP kontekstā: mērķa definīcija, datu avots, veiktspējas rādītāji, pieņemšanas kritēriji, izsekojamība, periodiska atkārtota apstiprināšana. Kā samazināt “melnās kastes” risku?
4) Pārredzamības paziņojuma projekts:
Es vēlos atklāti paziņot par savu AI izmantošanu publikācijā/ziņojumā. Sniedziet man paziņojuma projektu: kāds rīks, kādā posmā, kā tas tika izmantots, kā tika apstiprināts rezultāts un kur ir cilvēka atbildība. Izmantojiet vienkāršu un godīgu valodu.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Padariet šo patogēnu efektīvāku.
Tas ir divējāda lietojuma pārkāpums; ir jānoraida un jāziņo. Šādu lūgumu nekad nevajadzētu izteikt.
Spēcīga uzvedne:
Jūsu loma: bioloģiskās drošības padomnieks. Es plānoju aizsardzības pasākumus patogēnu noteikšanai. Norādiet man šī pētījuma DURC novērtējumu, nepieciešamos iestāžu apstiprinājumus, datu konfidencialitātes prasības un drošības pasākumus, kas ierobežos pētījuma iespējamo kaitējumu. Nesniedziet nekādu tehnisku informāciju, kas varētu palielināt inficēšanos vai toksicitāti.
Atšķirība: pašaizsardzības mērķis, drošības un piekrišanas fokuss, kaitīga satura noliegšana.
Ētikas un atbilstības sistēma
apgabalā
Galvenais princips
Risks
pienākums
Biodrošība
Palieliniet kaitējuma iespējamību
DURC/ļaunprātīga izmantošana
Noraidīt + ziņot
Datu privātums
Aizsargājiet pacienta datus
pārdefinēšana
De-identifikācija + apstiprināta vide
piekrišanu
pārsniedzot atzīmi
ētikas pārkāpums
Palieciet saskaņā ar piekrišanu
Rediģēšana
GxP pārbaude
Audita neveiksme
Dokumentēta validācija
Atbildība
cilvēks izlemj
aklo apgrozījums
Ekspertu apstiprinājums + caurspīdīgums
Biežas kļūdas
- Neapzinoties divējāda lietojuma risku. Šķietami nevainīgi pieprasījumi var radīt kaitējumu; Esiet šaubas.
- Pacienta datu nodošana nekontrolētam transportlīdzeklim. Tas ir pārkāpums bez deidentifikācijas un apstiprinātas vides.
- Piekrišanas apjoma pārsniegšana. Datus nevar izmantot citiem mērķiem, kā vien tiem, kuriem tie tika vākti.
- Nepārbaudīta modeļa izmantošana regulētā lēmumā. GxP ir aizliegts bez validācijas.
- AI izmantošanas slēpšana. Pārredzamība ir gan zinātniskā godīguma, gan atbilstības prasība.
Rezumējot
Bioinženierijā ētika un drošība ir svarīgāka par tehniskajām prasmēm. AI netiek izmantots kaitīgā veidā darbos, kas rada divējāda lietojuma riskus; šādi pieprasījumi tiks noraidīti un par tiem tiks ziņots. Pacientu dati tiek deidentificēti un apstrādāti apstiprinātā vidē un piekrišanas ietvaros. Regulētajos lēmumos AI modelis tiek apstiprināts dokumentētā veidā; Nepārbaudīta "melnās kastes" izvade GMP nevar ievadīt līniju. Un vienmēr: cilvēks ir tas, kurš izlemj, cilvēks ir atbildīgs, AI izmantošana ir caurspīdīga. AI izvade neaizstāj kompetenta eksperta apstiprinājumu.
Lietojumprogrammas uzdevums
Novērtējiet savu darbu (vai hipotētisku projektu) uz trim asīm. (1) Uzskaitiet iespējamo kaitējumu un nepieciešamos apstiprinājumus, izmantojot divējāda lietojuma iepriekšēja novērtējuma veidni. (2) Izlemiet, vai jūsu izmantotos datus var nodot mākslīgā intelekta rīkam, izmantojot datu konfidencialitātes kontrolsarakstu. (3) Uzrakstiet pārskatāmības paziņojuma uzmetumu: kur jūs izmantojāt AI un kā to pārbaudījāt? Apvienojiet visus trīs kopā īsā "atbildīgas lietošanas piezīmē".
kontrolsaraksts
- [ ] Es novērtēju pētījuma divējāda lietojuma risku; Es neizmantoju AI kaitīgā veidā.
- [ ] Es atcēlu pacienta/konfidenciālos datus un apstrādāju tos apstiprinātā vidē piekrišanas ietvaros.
- [ ] Esmu dokumentējis dokumentētu modeli, ko izmantoju reglamentētajos lēmumos.
- [ ] Es atstāju galīgo vārdu par kritiskiem lēmumiem ekspertu apstiprināšanai.
- [ ] Esmu skaidri paziņojis, ka izmantoju AI.
- [ ] Ja sastopos ar aizdomīgu/riskantu pieprasījumu, esmu pieņēmis apstāšanās un ziņošanas refleksu.