Dobički:
- Sposobnost prepoznavanja tveganja dvojne rabe (DURC), zavračanja škodljive uporabe umetne inteligence in sprejetja refleksa za poročanje kanalu za biološko varnost podjetja.
- Sposobnost varovanja zaupnosti z deidentifikacijo pacientovih in genetskih podatkov ter njihovo obdelavo v odobrenem okolju in v okviru privolitve
- Sposobnost zagotavljanja človeške odgovornosti in transparentnosti z zagotavljanjem dokumentirane verifikacije (validacija GxP) modela umetne inteligence v reguliranih odločitvah
Bioinženiring je področje, ki neposredno vpliva na zdravje ljudi, varnost hrane in okolje; tako da so tu tudi vprašanja "ali naj" in "ali smem narediti" kot tudi "lahko". Umetna inteligenca še dodatno izostri ta vprašanja: generativni model lahko predlaga toksin tako enostavno kot benigni encim; jezikovni model lahko pacientove podatke spremeni v uhajanje; Izhod nepreverjenega modela lahko nenamerno vstopi v regulirano proizvodno linijo. Ta enota je okvir varnosti in odgovornosti, ki se nahaja na vrhu vseh prejšnjih enot. Načela, ki se jih boste tukaj naučili, so pomembnejša, ne manj, kot tehnična spretnost.
V tej enoti bomo pokrivali štiri osi: biološko varnost in tveganje pri dvojni rabi, zasebnost podatkov in pravice pacientov, skladnost s predpisi in validacijo (GxP, validacija) ter odgovornost in preglednost.
Biološka varnost in dvojna raba
Dvojna raba (raziskava dvojne uporabe, ki vzbuja skrb – DURC – raziskava, ki ima potencial za korist in resno škodo) je najtežje etično breme bioinženiringa. Povečanje infektivnosti patogenov, načrtovanje toksinov, spreminjanje povzročitelja, da se izogne odkrivanju – to so nevarne naloge, ki jih lahko zavestno ali nevede zahteva AI. Pravilo je jasno: ne uporabljajte AI za povečanje zmogljivosti potencialno škodljivih agentov; Če naletite na takšno zahtevo, jo zavrnite, ustavite in prijavite institucionalnemu odboru za biološko varnost/etiko. Celo legitimna raziskava (npr. obrambno delo na patogenu) zahteva institucionalno odobritev, omejen dostop in transparentno beleženje.
Pozor: Ni vedno jasno, ali je misija dvojna raba ali ne. "Povečanje te lastnosti tega encima" se morda zdi nedolžno in poveča učinkovitost toksina. Če ste v dvomih, se ustavite in se posvetujte; Tveganje nepopravljive škode je vedno vredno nekajdnevne zamude.
Zasebnost podatkov in pravice bolnikov
Bioinženirski podatki pogosto vključujejo genetske in klinične podatke – najbolj občutljivo vrsto osebnih podatkov. Genom je mogoče ponovno identificirati, tudi če se zdi deidentificiran. Predpisi, kot sta KVKK in GDPR, te podatke strogo varujejo. Osnovna pravila: nikoli ne posredujte neobdelanih podatkov o bolnikih neodobrenemu javnemu orodju AI; deidentificirati podatke; uporabljati odobrena poslovna/lokalna okolja s pogodbami o obdelavi podatkov; in ne presegajo namena, za katerega se podatki zbirajo (privolitev po seznanitvi).
Namig: preden posredujete kakršne koli podatke orodju AI, postavite tri vprašanja: (1) Ali je mogoče osebo prepoznati v teh podatkih? (2) Ali so pogoji obdelave podatkov tega orodja primerni za ohranjanje učinkovitosti? (3) Ali je ta uporaba v okviru namena, za katerega je bolnik privolil? Če kateremu koli od treh rečete "ne" ali "nisem prepričan", ne posredujte podatkov.
Skladnost s predpisi in preverjanje
Farmacevtska, medicinska in klinična proizvodnja je regulirana v okviru GxP (Good Practice – pravila dobre prakse; GMP proizvodnja, GLP laboratorij, GCP klinika). Vsak sistem, ki se uporablja v teh okoljih – vključno z modelom umetne inteligence – mora biti preverjen (kar dokazuje, da sistem opravlja predvideno delo na dosleden in dokumentiran način). Uporaba modela AI v regulirani odločitvi; Zahteva dokumentiranje, kako je bil model usposobljen, s katerimi podatki je bil preizkušen, kako zanesljiv je in kako je njegov izhod potrjen. Nepreverjen rezultat modela "črne skrinjice" ne more iti v vrstico GMP.
Odgovornost in preglednost
AI ne sprejema odločitev; Človek je tisti, ki odloča in odgovornost je na človeku. Tudi če AI predlaga ugotovitev, molekulo ali procesno odločitev, končni podpis pripada strokovnjaku, ki to preveri. Preglednost je drugi steber: če ste uporabili AI v publikaciji, poročilu ali oddaji, jasno navedite to in kako ste to preverili. Uporaba tajne, nepreverjene umetne inteligence krši znanstveno integriteto in predpise.
trije mini kovčki
Primer 1 – Zahteva za dvojno rabo je ustavljena. Uporabnik je prosil AI za mutacije, ki bi povečale učinkovitost bakterijskega toksina. Model je zavrnil in pojasnil, zakaj je pod DURC; Skupina za biološko varnost podjetja je raziskala situacijo. Zavrnitev je zgodaj prekinila morebitno zlorabo.
2. primer – vrnitev zaradi kršitve zasebnosti. Ena ekipa je nameravala naložiti podatke o genomu 500 bolnikov v javni oblak za analizo. Pooblaščena oseba za varstvo podatkov je ugotovila, da so podatki ponovno določljivi in presegajo obseg privolitve. Analiza je bila izvedena z deidentificiranimi podatki in v certificiranem lokalnem okolju; kršitev preprečena.
Primer 3 – vrzel v validaciji. Proizvodni obrat je začel uporabljati nepotrjen klasifikator AI pri odločitvah o kakovosti. Revizija je pokazala, da model ni imel GMP preverjanja in nobene sledljive dokumentacije o svojem rezultatu. Sistem je bil umaknjen iz proizvodnje, dokler ni dokončana popolna validacija.
Štiri predloge za kopiranje
1) Predhodna ocena blaga z dvojno rabo:
Vaša vloga: svetovalec za biološko varnost. Ocenite naslednjo študijo za DURC: ali obstaja možnost škode, v kateri kategoriji (kužnost, toksičnost, izogibanje odkrivanju itd.), katere odobritve in omejitve so potrebne? Ne dajajte nobenih škodljivih tehničnih nasvetov; samo navedite oceno tveganja in potrebna dovoljenja. Študija: [definicija]
2) Nadzor zasebnosti podatkov:
Želim preveriti zasebnost, preden dam nabor podatkov v analizo AI. Daj mi kontrolni seznam: identifikacijska polja, tveganje ponovne identifikacije, obseg privolitve, pogoji obdelave podatkov o vozilu. Povejte mi z jasnimi pragovi, v katerih primerih NE smem izvoziti podatkov.
3) Načrt validacije:
Vaša vloga: specialist za zagotavljanje kakovosti. V regulirani odločitvi želim uporabiti model AI. Navedite komponente načrta preverjanja v kontekstu GxP: opredelitev namena, vir podatkov, metrika uspešnosti, merila sprejemljivosti, sledljivost, periodično ponovno preverjanje. Kako zmanjšam tveganje za "črno skrinjico"?
4) Osnutek izjave o preglednosti:
Svojo uporabo umetne inteligence želim transparentno prijaviti v publikaciji/poročilu. Daj mi osnutek izjave: katero orodje, v katerem koraku, kako je bilo uporabljeno, kako je bil rezultat potrjen in kje je človeška odgovornost. Uporabljajte preprost in pošten jezik.
Šibek poziv/močan poziv
Šibek poziv:
Povečajte učinkovitost tega patogena.
To je kršitev dvojne rabe; je treba zavrniti in prijaviti. Takšne zahteve ne bi smeli nikoli podati.
Močan poziv:
Vaša vloga: svetovalec za biološko varnost. Načrtujem obrambno odkrivanje patogenov. Naštejte mi oceno DURC za to študijo, potrebna institucionalna dovoljenja, zahteve glede zaupnosti podatkov in varnostne ukrepe, ki bodo omejili možnost škode študije. Ne posredujte nobenih tehničnih podrobnosti, ki bi povečale okužbo ali toksičnost.
Razlika: samoobrambni namen, osredotočenost na varnost in privolitev, zanikanje škodljive vsebine.
Okvir etike in skladnosti
območje
Glavno načelo
Tveganje
obveznost
Biološka varnost
Povečajte možnost škode
DURC/zloraba
Zavrni + prijavi
Zasebnost podatkov
Zaščitite podatke o bolnikih
redefinicija
De-identificiraj + odobreno okolje
soglasje
prekoračiti mejo
etična kršitev
Ostanite pod soglasjem
Urejanje
GxP preverjanje
Neuspeh revizije
Dokumentirana validacija
Odgovornost
človek se odloči
slepi promet
Strokovna odobritev + preglednost
Pogoste napake
- Ne zavedajoč se tveganja dvojne rabe. Na videz nedolžne zahteve lahko povzročijo škodo; Bodite v dvomih.
- Dajanje pacientovih podatkov nenadzorovanemu vozilu. Gre za kršitev brez deidentifikacije in odobrenega okolja.
- Preseganje obsega privolitve. Podatkov ni mogoče uporabiti za druge namene kot za namen, za katerega so bili zbrani.
- Uporaba nepreverjenega modela v regulirani odločitvi. GxP je prepovedan brez validacije.
- Skrivanje uporabe AI. Preglednost je pogoj za znanstveno poštenost in skladnost.
Če povzamem
V bioinženiringu imata etika in varnost prednost pred tehničnimi veščinami. Umetna inteligenca se ne uporablja na škodljiv način pri delih, ki predstavljajo tveganje dvojne rabe; takšne zahteve bodo zavrnjene in prijavljene. Podatki o pacientih so deidentificirani in obdelani v odobrenih okoljih in v okviru privolitve. V reguliranih odločitvah je model AI potrjen na dokumentiran način; Nepreverjen izhod "črne skrinjice" GMP ne more vstopiti v vrstico. In vedno: človek je tisti, ki odloča, človek je odgovoren, uporaba AI je transparentna. Rezultat umetne inteligence ni nadomestilo za odobritev pristojnega strokovnjaka.
Aplikacijska naloga
Ocenite svoje delo (ali hipotetični projekt) na treh oseh. (1) Navedite potencialne škode in potrebne odobritve s predlogo za predhodno oceno blaga z dvojno rabo. (2) S kontrolnim seznamom za zasebnost podatkov se odločite, ali lahko podatke, ki jih uporabljate, posredujete orodju AI. (3) Napišite osnutek izjave o preglednosti: Kje ste uporabili AI in kako ste to preverili? Vse tri skupaj združite v kratko »opombo o odgovorni uporabi«.
kontrolni seznam
- [ ] Ocenil sem tveganje dvojne uporabe študije; AI nisem uporabljal na škodljiv način.
- [ ] Odstranil sem identifikacijo pacientovih/zaupnih podatkov in jih obdelal v odobrenem okolju v okviru privolitve.
- [ ] Imam dokumentirano dokumentirano preverjanje modela, ki ga uporabljam pri reguliranih odločitvah.
- [ ] Zadnjo besedo pri kritičnih odločitvah sem prepustil odobritvi strokovnjakov.
- [ ] Pregledno sem izjavil, da uporabljam AI.
- [ ] Če naletim na sumljivo/tvegano zahtevo, sem sprejel refleks ustavitve in poročanja.