Riba:
- Ikon tabbatar da fitowar AI a matakai uku: daidaito, tsaro da tushe/lasisi
- Ƙarfin rufe haɗari kamar allura, fakitin hasashe da sirrin da aka binne tare da amintattun kyawu da kayan aiki
- Ikon gabatar da lambar tsaro mai mahimmanci ga amincewar injiniya mai ƙwarewa da fahimtar rashin canja wurin alhaki.
Samar da lambar AI yana da sauƙi; Amincewa da shi yana da tsada. Manufar wannan rukunin shine kawai mu canza ka'idar "tabbatacce", wanda muka maimaita a cikin dukkan raka'o'in da suka gabata, zuwa tsarin injiniya na tsari. Saboda lambar da AI ta samar, koda kuwa yana da alama daidai a kallon farko, yana ɗaukar haɗari daban-daban: kasancewa marasa aiki / kuskure (hallucination), rashin tsaro (rauni) da ɗaukar haɗarin doka / lasisi. Sanin wadannan guda uku da kafa kofa ga kowannen su ya sa ka zama kwararre.
Anan muna la'akari da "tabbatarwa" a matakai uku: daidaito (Shin lambar tana yin aikin a zahiri?), Tsaro (yana tsayayya da shigar da mugunta?), Da tabbaci / lasisi (shin ina da 'yancin yin amfani da wannan lambar?). Kowane Layer yana da nasa hanyoyin sarrafawa, kuma babu ɗayansu da za a iya ƙetare shi da "abin da AI ya faɗa."
Rukunin Hatsari guda uku
1. Hadarin daidaito (hallucination). Samfurin na iya kiran aikin da ba shi da shi, yin amfani da API ba daidai ba, a ƙetare harka ta gefen shiru. Lambar tana kama da "ma'ana" amma ba daidai ba ne. Maganin rigakafi: haɗawa, gwaji, bincike a tsaye da dubawar gani.
2. Haɗarin tsaro. AI na iya maimaita tsarin rashin tsaro a cikin bayanan horo: tambaya mai rauni ga allurar SQL, shigarwar mai amfani mara inganci, ɓoyayyen ɓoyayyen ɓoyayyen ɓoyayyiyar rashin tsaro, buɗaɗɗen juyawa. Lambar tana aiki amma tana da rauni don kai hari. Maganin rigakafi: bita mai mai da hankali kan tsaro, na'urorin daukar hoto na atomatik (SAST), da sanya sanannun amintattun alamu.
3. Haɗarin tushe/lasisi. AI na iya samar da fitarwa wanda yayi kama da haƙƙin mallaka ko ƙuntataccen lambar lasisi, ko kuma yana iya ba da shawarar dogaro da lasisin da bai dace ba. Maganin rigakafi: dogaro da duba lasisi, tantance asali, manufofin kamfani.
Tsanaki: Mafi girman yaudara cikin waɗannan haɗari guda uku shine tsaro; saboda lambar na iya wuce gwaji, gudanar da aiki lafiya a samarwa, kuma raunin yana bayyana ne kawai lokacin da maharin ya same shi. "Aiki" baya ɗaya da "aminci."
Mataki zuwa Mataki: Ƙofar Tabbatar da Layi Mai Layi
- Karanta da fahimta. Da gaske ku fahimci lambar kafin karɓar shi; Kada ku haɗa lambar da ba ku fahimta ba. Idan ba za ku iya bayyana "me yasa yake aiki", ba a inganta shi ba tukuna.
- Tabbatar da akwai. Tabbatar da cewa kowane aiki, API da fakitin da aka yi amfani da su a zahiri suna wanzu kuma ana amfani da su daidai (ƙofar hallucination).
- Gudanar da kayan aikin atomatik. Mai tarawa, linter (na'urar daukar hoto mai salo/kuskure), nau'in mai duba, gwaje-gwajen naúrar, kuma idan zai yiwu SAST (Gwajin Tsaron Aikace-aikacen Tsayayyen - kayan aiki wanda ke bincika lambar tushe don rauni).
- Kalle shi ta fuskar tsaro. An inganta shigarwar? An daidaita tambayar? An binne sirrin? Akwai kulawar izini?
- Duba tushe da lasisi. Shin sabbin abubuwan dogaro suna da lasisi? Shin fitowar ta yi kama da sanannen codebase?
- Idan yana da mahimmancin tsaro, nemi izinin masana. Bita mai zaman kanta ta injiniyan da ya ƙware a fannoni kamar tantancewa, biyan kuɗi, cryptography, ikon samun dama ya zama tilas.
Mini Cases guda uku
Case 1 - allurar SQL da aka kama a ƙofar dubawa. Lambar AI ta ƙirƙira wacce ke haɗa shigar da mai amfani kai tsaye cikin tambayar SQL don ƙarshen bincike ("... INA suna = '" + q + "'"). Lambar tana aiki kuma ta ci jarabawar. Binciken mai da hankali kan tsaro da binciken SAST ya kama wannan; An juyar da shi zuwa tambaya mai ma'ana (bayanan da aka shirya). Idan da ba a kama shi ba, da ya zama babban lahani na zubewar bayanai.
Case 2 - Kunshin hallucination. AI ta ba da shawarar fakitin npm mara wanzuwa (fast-amin-parse) don ɗawainiya. Lokacin da mai haɓakawa yayi ƙoƙarin shigar dashi, ba a sami kunshin ba. Mafi muni: a wasu lokuta, maharan na iya cika irin waɗannan sunayen fakitin "fatalwa" tare da ainihin fakitin ɓarna (ruɗaɗɗen dogaro). Darasi: tabbatar da kowane fakitin da aka ba da shawarar akan rajistar hukuma da tarihin saukewa/tsayawa.
Harka 3 - Rashin jituwar lasisi. Babban ɗakin karatu na abokin haɗin gwiwa wanda AI ya ba da shawara yana da lasisin hagu mai ƙarfi wanda bai dace da lasisin samfur na cibiyar ba. Binciken lasisin dogaro ya ruwaito wannan; Ƙungiyar ta maye gurbin lasisi tare da madadin dacewa. Ba tare da tabbatarwa ba, nauyin doka zai taso a rarraba samfur.
Samfura guda huɗu masu Kwafi
Duban kai kafin shigar da kai:
Kafin karɓar lambar AI da aka samar, duba:1) Shin kowane aiki/API/kunshin da take amfani da shi yana wanzu? Tutar waɗanda ake tuhuma.2) Shin akwai wani shigarwar da ba a tabbatar da shi ba, SQL/command concatenation, sirrin binne, mai rauni crypto?3) Menene bugs/bangaren da ba a magance su ba? Lakabi kowane binciken a matsayin "tabbas / mai yiwuwa" kuma ku ba da shawarar gyarawa.{{code}}
Binciken mayar da hankali kan tsaro:
Yi nazarin wannan lambar tare da ido na tsaro. Nemo rashin lafiyar salon OWASP gama gari: allura, karyewar tabbaci/bayani, bayyana bayanan sirri, rashin tsaro, jujjuyawa mara inganci. Ga kowane bincike: haɗari, yanayin amfani, gyara. Wannan gwajin farko ne; mayar da bincike mai mahimmanci zuwa nazarin tsaron ɗan adam.{{code}}
Dogara da duba lasisi:
Lissafa abubuwan dogaro da aka ƙara/shawarwari ta wannan lambar. Ga kowane: shin kunshin yana wanzuwa, ana kiyaye shi, menene lasisin sa na yau da kullun (DOLE NE A TABBATA), kuma shin a zahiri ana buƙata don aikin ko za'a iya yin shi da kayan aikin da ke akwai?{{lamba ko lissafin dogaro}}
Safe aikin tsari (a cikin samarwa):
Rubuta lamba don {{aiki}}. Dokokin tsaro DOLE: - Tabbatar da / tsaftace duk abubuwan shigar da ke waje.- Yi amfani da madaidaicin tambaya kawai a cikin samun damar bayanai.-Kada a haɗa sirrin a lamba; ɗauka mai sauyin yanayi/mai sarrafa sirri - Kada ku hadiye kurakurai; Yi la'akari da shi da ma'ana. Bayyana yadda lambar ta bi waɗannan ƙa'idodin a cikin abubuwa 3.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rarrauna: "Rubuta tambaya da ake nema da sunan mai amfani." (Lambar da ke da rauni ga allura na iya faruwa.)
Ƙarfafa: "Rubuta aikin da ke bincika da sunan mai amfani. Kada a taɓa haɗa shigar da mai amfani a cikin tambaya azaman kirtani; yi amfani da tambaya mai ma'ana (bayanan da aka shirya). Tabbatar da shigarwar don tsayi da hali. Bayyana a cikin jimloli 2 dalilin da yasa aka rufe lambar zuwa allura."
Siga mai ƙarfi yana sanya tsari mai tsaro daga farkon; Don haka, yana tabbatar da cewa raunin ba ya faruwa kwata-kwata, maimakon kama shi daga baya. Koyaya, yana da mahimmanci don ƙaddamar da lambar da aka ƙirƙira ta ƙofofin tabbatarwa.
Layer tabbaci
Kayan aiki/hanyar
"AI yace" ya isa?
daidaito
Tari, gwaji, dubawa na gani
a'a
API/kunshin gaskiya
Daftarin aiki/ikon rikodi na hukuma
a'a
Tsaro
SAST, dubawar tsaro
a'a
Lasisi/ tushe
Dogaro & bincika lasisi
a'a
Tsaro-mahimman dabaru
Amincewar ƙwararrun injiniya
Babu shakka
Ba za a iya Canja wurin Alhaki ba
Alhakin kurakurai, lahani ko cin zarafi da suka taso daga lambar da kayan aikin AI suka samar na ƙungiyar da ke haɗawa da rarraba wannan lambar, ba ga mai samar da kayan aiki ba. Wannan ƙwararriyar hujja ce kuma ta doka: kun sanya hannu. Don haka "AI ya samar da shi" ba uzuri ba ne, amma hujja don ƙarin taka tsantsan. Musamman a cikin tsare-tsare masu mahimmanci na aminci, fitowar AI ba ta zama madadin bita da amincewa ta ƙwararren injiniya a kowane hali; Aƙalla, AI yana ba da tsari wanda ke hanzarta wancan injiniyan.
Tukwici: Ƙirƙiri ɗan gajeren jerin abubuwan dubawa akan ƙungiyar ku wanda kuke kira "ƙofar tabbatarwa don lambar da aka samar da AI" (gina + gwajin + tsaro + duban gani). Da zarar wannan ƙofa ta zama al'ada, asarar gudun ba ta da yawa kuma raguwar haɗari yana da iyaka.
Kuskuren gama gari
- Rikita "aiki" tare da "lafiya". Lambar da ta wuce gwaji na iya zama mai rauni ga kai hari.
- Amfani da kunshin/API ba tare da tabbatar da shi ba. Fakitin hallucinatory duka sun lalace kuma suna haifar da haɗarin tsaro.
- Ketare kayan aikin atomatik. Linter, nau'in checker da SAST suna kama abin da mutane ke rasawa cikin arha.
- Yin watsi da lasisi. Dogaro da lasisi mara kyau yana haifar da nauyin doka akan rarraba.
- Sanya alhaki akan abin hawa. Ƙungiyar tana da alhakin lambar a samarwa; "AI yayi shi" ba uzuri bane.
A takaice
Yarda da fitowar AI yana buƙatar matakan tabbatarwa guda uku: daidaito (harta, gwaji, dubawa na gani), tsaro (SAST da bita mai mayar da hankali kan tsaro), da tushe / lasisi (binciken dogaro). Tabbatar da cewa kowane fakiti da API da aka yi amfani da su na wanzuwa, aiwatar da amintattun alamu tun farko, sannan a ƙaddamar da lambar tsaro mai mahimmanci don amincewa ta ƙwararren injiniya. "Ayyuka" baya nufin lafiya, kuma "AI samar" baya cire alhaki. Ƙofar tabbatarwa ita ce farashin ƙwarewa, ba sauri ba.
Aikin aikace-aikace
Ba da AI da gangan aiki mai hankali (misali "aikin da ke bincika bayanan tare da shigar da mai amfani"), wannan lokacin ba tare da sanya tsari mai aminci ba. Keɓance lambar mai shigowa ta hanyar "binciken kai-da-kai-da-kai" da "tsaro-mai da hankali bita" samfuri: akwai wani allura, binne sirri, fakitin hallucined, ko shigar da ba a tantance ba? Sa'an nan kuma sake tambayar wannan ɗawainiya tare da samfurin "amintaccen ƙirar ƙira" kuma kwatanta abubuwan da aka fitar guda biyu. Idan zai yiwu, gudanar da kayan aikin linter/SAST kuma kwatanta binciken zuwa tsarin kai na AI.
jerin abubuwan dubawa
- [ ] Ina tabbatar da fitowar AI a matakai uku: daidaito, tsaro da lasisi.
- [ ] Na tabbatar da cewa kowane aiki, API da fakitin da aka yi amfani da su a zahiri sun wanzu.
- [ ] Ina gudanar da tattarawa, gwadawa, linter kuma, idan zai yiwu, kayan aikin SAST.
- [ ] Ina ɗora amintattun alamu (tambayoyi masu ƙima, ingantaccen shigarwa, sarrafa sirri) daga farko.
- [ ] Na duba lasisi da buƙatun sabbin abubuwan dogaro.
- [ ] Ina ƙaddamar da lambar tsaro mai mahimmanci don amincewa da injiniya mai ƙwarewa kuma na fahimci cewa ni ke da alhakin.