Yunit 9 / 12

Supplier at Tool Assessment: Inaprubahang AI Tool List

Mga nadagdag:

  • Ilapat ang pamantayan sa pagsusuri bago bumili ng AI tool
  • Pagkilala sa mga item na hahanapin sa data processing agreement (DPA) at model card
  • Gumawa ng inaprubahang listahan ng sasakyan at pagmarka ng panganib sa vendor

Ano ang gagawin mo kapag dumating ang isang unit ng negosyo sa iyong pintuan at nagsabing "gusto naming gamitin ang bagong AI tool na iyon, magiging lubhang kapaki-pakinabang ito"? Ang pagsasabi ng "no way" ay nagpapakain sa anino ng AI; Ang pagsasabi ng "ok" ay nagbubukas ng hindi nakokontrol na panganib. Ang tamang sagot ay magpatakbo ng proseso ng pagsusuri ng sasakyan. Sa unit na ito, malalaman natin kung anong mga tanong ang itatanong bago bumili/mag-certify ng AI na sasakyan, kung ano ang hahanapin sa isang data processing agreement (DPA) at model card, at kung paano i-disstill ang lahat ng ito sa isang aprubadong listahan ng sasakyan at marka ng panganib sa vendor.

Bakit kailangan ang pagsusuri?

Ang bawat AI tool ay isang data processor: pinoproseso nito ang data ng organisasyon. Nangangahulugan ang pag-apruba sa maling tool na ibigay ang personal na data ng organisasyon sa isang third party (at madalas sa ibang bansa) sa hindi nakokontrol na paraan. Mga pangunahing tanong na sasagutin bago aprubahan ang isang tool:

  • Saan ito nagpoproseso at nag-iimbak ng data (aling bansa)?
  • Ginagamit ba nito ang aming data sa pagsasanay sa modelo? Maaari ba itong i-off (opt-out)?
  • Nag-aalok ba ito ng data processing agreement (DPA)?
  • Mayroon bang mga sertipikasyon sa seguridad (hal. ISO 27001)?
  • Gaano katagal pinapanatili ang kasaysayan ng chat at maaari ba itong tanggalin?
  • Mayroon bang pangako na abisuhan kami kung mayroong paglabag sa seguridad?

Data processing agreement (DPA)

Ang Data Processing Agreement (DPA) ay isang kontratang nilagdaan sa pagitan ng data controller (institusyon) at ng data processor (AI provider) na tumutukoy kung paano ipoproseso ang data. Ang KVKK at GDPR ay higit na nag-uutos dito. Mga item na hahanapin sa isang DPA:

bagay

Ano ang dapat nitong ibigay?

Saklaw at layunin ng pagproseso

Hayaan ang provider na gumana lamang sa aming mga tagubilin

Mga subprocessor

Kanino ito inilipat? Inaabisuhan ba ito nang maaga?

Pagtitiyak ng paglipat

Mga karaniwang sugnay ng kontrata o katumbas

Mga hakbang sa seguridad

Pag-encrypt, kontrol sa pag-access, ISO 27001

Notification ng paglabag

Pag-abiso sa amin sa loob ng isang partikular na tagal ng panahon kung sakaling may paglabag

Pagtanggal/pagbabalik

Pangako na tanggalin/ibalik ang data sa pagtatapos ng kontrata

Karapatan sa pag-audit

Kakayahang i-audit ang provider o tumanggap ng mga ulat

Mag-ingat: Karamihan sa mga "libre" at "indibidwal" na AI plan ay hindi nag-aalok ng DPA at maaaring gumamit ng data para sa pagsasanay ng modelo. Para sa corporate na paggamit, dapat na mas gusto ang mga corporate/business plan na nag-aalok ng DPA at ginagarantiyahan ang pag-opt out sa edukasyon. Ang libreng plano ay madalas na ang plano kung saan ang data ay "binabayaran".

Model card at transparency

Ang isang modelong card ay isang dokumentong nagpapaliwanag kung para saan ang modelo ng AI, kung anong data ang sinanay nito, ang mga limitasyon nito at alam na mga panganib. Ibinabahagi ito ng isang mahusay na provider. Mga bagay na hahanapin sa model card: nilalayong paggamit ng modelo, alam na mga limitasyon at panganib ng bias, mga hindi inirerekomendang paggamit, at mga tala sa pagganap/seguridad. Kung ang model card ay nawawala o masyadong malabo, iyon mismo ay isang babala.

tatlong mini case

Kaso 1 — Halaga ng libreng plano. Nagsisimula ang isang accounting team sa pagproseso ng data ng pananalapi ng customer gamit ang isang libreng AI tool. Ang tool ay hindi nag-aalok ng DPA at nagsasaad sa mga tuntunin nito na magagamit nito ang data para sa pagsasanay ng modelo. Napansin ito ng opisyal ng pagsunod at ipinagbawal ang tool, na nag-aapruba ng alternatibong pangkumpanyang nag-aalok ng DPA. Pagkakaiba: ilang daang TL bawat buwan para sa lisensya atbp. Mga posibleng multa ng milyun-milyong pounds.

Case 2 — Subprocessor surprise. Natuklasan ng isang kumpanya pagkalipas ng ilang buwan ng pag-audit na ang AI tool na inaprubahan nito ay naglipat ng data sa mga subprocessor sa tatlong magkakaibang bansa. Dahil walang "sub-processors ay maabisuhan nang maaga" na clause sa DPA, hindi alam ng kumpanya ang tungkol dito. Aralin: Ang isang sugnay sa DPA na ginagawang nakikita ang subprocessor chain ay kinakailangan.

Kaso 3 — Desisyon sa pamamagitan ng pagmamarka. Ang isang organisasyon ay nagtatatag ng 8-criteria na talahanayan ng marka ng panganib sa vendor upang ihambing ang tatlong AI tool (DPA, lokasyon ng data, pag-opt out sa pagsasanay, ISO 27001, abiso ng paglabag, pagtanggal, pattern card, presyo). Ang resulta ng rating ay nagha-highlight sa tool na hindi ang pinakasikat, ngunit ang pinakakatugma. Ang desisyon ay nakabatay sa isang documentable na marka sa halip na isang subjective na "Nagustuhan ko ito."

Tip: Pamahalaan ang listahan ng mga inaprubahang sasakyan bilang "whitelist": payagan lang ang mga sasakyang nasa listahan. Ang blacklist ay kailangang i-update sa bawat bagong tool at palaging isang hakbang sa likod; Ang pag-whitelist ay ligtas bilang default.

Paglabas at panganib sa pagkagumon

Ang tanong na nilaktawan ng karamihan sa mga ahensya kapag nag-aapruba ng sasakyan ay: "Ano ang mangyayari kung gusto nating lumabas sa sasakyang ito?" Ang isang mahusay na pagsusuri ay isinasaalang-alang ang paglabas pati na rin ang pagpasok. Dalawang panganib ang namumukod-tangi. Ang una ay ang data portability: kapag umalis ka sa provider, maibabalik mo ba ang iyong data at configuration sa karaniwang format, o naka-lock ba ang data sa provider? Ang pangalawa ay ang pag-lock-in ng vendor: ang mga proseso ng negosyo ay maaaring napakatali sa isang tool na ang gastos sa paglabas ay nagiging hindi mabata kapag ang provider ay nagtaas ng mga presyo o nakakagambala sa serbisyo.

Kaya naman magandang kasanayan na magdagdag din ng linyang "exit plan" sa talaan ng kumpirmasyon: paano namin ibabalik ang data, ano ang alternatibong tool, gaano katagal ang transition. Kahit na isara ng provider ang serbisyo isang araw, magiging handa ang organisasyon.

Babala: Dahil lang sa sikat o mura ang isang sasakyan ay hindi nangangahulugang ito ay sustainable. Maaaring isara, makuha, o biglang baguhin ng mga maliliit na provider ang kanilang mga patakaran. Bago ikonekta ang isang kritikal na proseso sa isang tool, isaalang-alang ang exit scenario.

Mga nakopyang template

TEMPLATE 1 — Hanay ng tanong sa pagsusuri ng vendor: "Maghanda ng mga tanong sa pagsusuri na itatanong sa vendor bago mag-apruba ng bagong AI tool. Isama ang: lokasyon ng data, paggamit at pag-opt out sa pagsasanay ng modelo, presensya ng DPA, mga sertipiko ng seguridad, panahon ng pagpapanatili, notification ng paglabag, mga subprocessor, pangako sa pagtanggal. Isama ang inaasahang 'secure' na sagot sa bawat tanong."

TEMPLATE 2 — Checklist ng sugnay ng DPA: "Tingnan ang draft ng DPA sa ibaba [i-paste ang teksto] para sa mga sumusunod na sugnay: saklaw ng pagpoproseso, mga sub-processor, katiyakan sa paglipat, mga hakbang sa seguridad, panahon ng pag-abiso ng paglabag, pagtanggal/pagbabalik, karapatan sa pag-audit. Markahan ang 'naroroon / nawawala / hindi sigurado' para sa bawat sugnay. Paalalahanan na hindi kailangan ng legal na pag-apruba;

TEMPLATE 3 — Vendor risk scoreboard: "Mag-set up ng 8-criteria risk scoreboard para paghambingin ang 3 AI tool: DPA, lokasyon ng data, training opt-out, ISO 27001, paglabag sa notification, pagtanggal, pattern card, gastos. Hayaan ang bawat criterion ay 0-3 puntos, magdagdag ng kabuuan at column ng rekomendasyon. Bigyan ng blangko ang template, pupunan ko ito."

TEMPLATE 4 — Inaprubahang entry sa listahan ng tool: "Mag-draft ng bagong entry sa listahan ng inaprubahang AI tool: pangalan ng tool, inaprubahang nilalayon na paggamit, kung aling mga klase ng data ang pinapayagan (pampubliko/internal/kumpidensyal), mga ipinagbabawal na uri ng data, responsableng unit, petsa ng pag-apruba, petsa ng pagsusuri. Sa single-line na format ng talaan."

Mahinang prompt / Malakas na prompt

MAHINA: "Ligtas ba itong AI tool?"-> Inuulit ang pangako sa marketing ng modelong tool; Hindi nito sinusuri ang mga konkretong pamantayan tulad ng DPA, lokasyon ng data, paggamit ng pagsasanay. STRONG: "Susuriin ko ang AI tool na ito para sa paggamit ng enterprise. Anong impormasyon ang dapat kong hilingin mula sa provider batay sa sumusunod na 8 pamantayan (DPA, lokasyon ng data, pag-opt out sa pagsasanay, ISO 27001, notification ng paglabag, storage, subprocessor, model card) at ano ang dapat na 'katanggap-tanggap' na threshold sa bawat pamantayan? Ibigay sa format na checksheet." -> Ang modelo ay gumagawa ng isang kongkreto, nabe-verify na balangkas ng pagsusuri.

Mga karaniwang pagkakamali

  • Paggamit ng libre/indibidwal na mga plano na may corporate data; Hindi napagtatanto na walang DPA at opt-out.
  • Pag-apruba sa tool batay sa pangako sa marketing, hindi humihingi ng lokasyon ng data at pang-edukasyon na paggamit.
  • Pagbabahagi ng data nang hindi pumipirma sa isang DPA o sinusuri ang subprocessor clause.
  • Pag-apruba ng sasakyan na walang/hindi tiyak na modelong card nang walang anumang tanong.
  • Pagpapanatiling isang listahan ng pagbabawal sa halip na isang puting listahan at pananatili sa likod sa bawat bagong sasakyan.
  • Hindi muling sinusuri ang sasakyan pagkatapos ng pag-apruba (nagbabago ang mga kundisyon).
  • Ibinabatay ang pagpili ng vendor sa subjective na kagustuhan, hindi isang sertipikadong marka.

Sa buod

  • Ang bawat tool ng AI ay isang processor ng data; Ang sistematikong pagsusuri ay mahalaga bago ang pag-apruba.
  • Ang data processing agreement (DPA) ay ang pangunahing dokumento na nagbubuklod sa data; Dapat itong magsama ng saklaw, subprocessor, seguridad, paglabag at mga sugnay sa pagtanggal.
  • Ang mga libre/indibidwal na plano ay kadalasang hindi nag-aalok ng DPA at gumagamit ng data para sa pagsasanay; Ang mga plano sa korporasyon ay dapat na mas gusto.
  • Ipinapakita ng model card ang mga limitasyon at panganib ng modelo; Ang kawalan nito ay isang tanda ng babala.
  • Ang mga inaprubahang tool ay dapat na pamahalaan bilang isang whitelist, at ang mga vendor ay dapat na pinamamahalaan gamit ang isang dokumentadong marka ng panganib.

Gawain ng aplikasyon

Pumili ng tatlong totoong AI tool na maaaring gustong gamitin ng iyong organisasyon. Mag-set up ng talahanayan ng marka ng panganib sa vendor na may walong pamantayan (DPA, lokasyon ng data, pag-opt out sa pagsasanay, certification sa seguridad, notification ng paglabag, pagpapanatili, card ng modelo, gastos) at bigyan ng marka ang bawat sasakyan mula 0-3 batay sa mga pamantayang ito. Pagkatapos ay magsulat ng inaprubahang entry sa listahan ng sasakyan para sa sasakyang may pinakamataas na marka: inaprubahang nilalayon na paggamit, pinapayagang mga klase ng data, ipinagbabawal na uri ng data, responsableng entity, at petsa ng pagsusuri. Panghuli, tandaan ang limang item na talagang gusto mong makita sa DPA ng sasakyan at kung bakit mahalaga ang bawat isa.

checklist

  • [ ] Nagtanong ako ng mga tanong sa pagsusuri bago aprubahan ang tool.
  • [ ] Nilinaw ko ang lokasyon ng data at use case sa model training.
  • [ ] Sinuri ko ang pagkakaroon ng DPA at ang mga kritikal na item nito.
  • [ ] Sinuri ko ang model card; Nakita ko ang mga limitasyon at panganib.
  • [ ] Sinuri ko ang vendor na may isang dokumentadong marka ng panganib.
  • [ ] Idinagdag ko ang tool sa whitelist na may pinapayagang mga klase ng data.
  • [ ] Nagtakda ako ng petsa ng pagsusuri.