Unità 11 / 12

Verifika tal-Kodiċi, Vulnerabbiltajiet, u Riskji ta' Output AI

Qligħ:

  • Kapaċità li tivverifika l-output AI fi tliet saffi: preċiżjoni, sigurtà u sors/liċenzja
  • Kapaċità li tkopri riskji bħal injezzjoni, pakketti ta' alluċinazzjoni u sigrieti midfuna b'forom u għodod sikuri
  • Kapaċità li tippreżenta l-kodiċi kritiku għas-sigurtà għall-approvazzjoni ta 'inġinier kompetenti u tifhem in-non-trasferibbiltà tar-responsabbiltà

Il-ġenerazzjoni tal-kodiċi AI hija faċli; Li tafdah jiswa ħafna flus. L-uniku għan ta 'din l-unità huwa li tittrasforma l-prinċipju ta' "verifika", li rrepejna fl-unitajiet preċedenti kollha, f'dixxiplina sistematika ta 'inġinerija. Minħabba li l-kodiċi prodott mill-AI, anke jekk jidher korrett mal-ewwel daqqa t'għajn, iġorr tliet perikli separati: li ma jaħdemx/skorrett (alluċinazzjoni), li ma jkunx sigur (vulnerabbiltà) u li jġorr riskji legali/liċenzjar. Li tkun taf dawn it-tlieta u li tistabbilixxi bieb għal kull wieħed minnhom tagħmlek professjonali.

Hawnhekk nikkunsidraw "validazzjoni" fi tliet saffi: korrettezza (il-kodiċi fil-fatt jagħmel ix-xogħol?), Sigurtà (jiflaħ dħul malizzjuż?), u provenjenza/liċenzja (għandi d-dritt li nuża dan il-kodiċi?). Kull saff għandu l-mezzi ta 'kontroll tiegħu stess, u l-ebda wieħed minnhom ma jista' jinqabeż b'"dak huwa dak li qalet l-AI."

Tliet Saffi ta' Riskju

1. Riskju ta 'preċiżjoni (alluċinazzjoni). Il-mudell jista 'jsejjaħ funzjoni ineżistenti, juża ħażin API, jevita b'mod skiet każ tarf. Il-kodiċi jidher "raġonevoli" iżda huwa żbaljat. Antidotu: kumpilazzjoni, ittestjar, analiżi statika u spezzjoni viżwali.

2. Riskju tas-sigurtà. L-AI tista 'tirrepeti mudelli mhux sikuri fid-dejta tat-taħriġ: mistoqsija vulnerabbli għal injezzjoni SQL, input tal-utent mhux awtentikat, encryption dgħajfa, deserialization mhux sigur, direzzjoni mill-ġdid miftuħa. Il-kodiċi jaħdem iżda huwa vulnerabbli għall-attakk. Antidotu: reviżjoni ffukata fuq is-sigurtà, skaners awtomatizzati (SAST), u l-impożizzjoni ta 'mudelli sikuri magħrufa.

3. Riskju tas-sors/liċenzja. L-AI tista' tipproduċi output li jixbaħ ħafna kodiċi liċenzjat b'copyright jew restrittiv, jew tista' tissuġġerixxi dipendenza liċenzjata b'mod mhux xieraq. Antidotu: verifika tad-dipendenza u tal-liċenzja, verifika tal-oriġinalità, politika korporattiva.

Attenzjoni: L-aktar insidjuż minn dawn it-tliet riskji hija s-sigurtà; minħabba li l-kodiċi jista 'jgħaddi mill-ittestjar, jaħdem bla xkiel fil-produzzjoni, u l-vulnerabbiltà tiġi żvelata biss meta attakkant isibha. "Xogħol" mhuwiex l-istess bħal "sikur."

Pass pass: Bieb tal-Awtentikazzjoni f'Saffi

  1. Aqra b'fehim. Tassew tifhem il-kodiċi qabel ma taċċettah; Tgħaqqadx kodiċi li ma tifhimx. Jekk ma tistax tispjega "għaliex taħdem", għadha ma ġietx validata.
  2. Ivverifika li teżisti. Ikkonferma li kull funzjoni, API u pakkett użat fil-fatt jeżisti u jintuża b'mod korrett (il-bieb tal-alluċinazzjoni).
  3. Mexxi għodod awtomatizzati. Kompilatur, linter (skaner tal-istil/żball), verifikatur tat-tip, testijiet tal-unità, u jekk possibbli SAST (Testjar tas-Sigurtà tal-Applikazzjoni Statika — għodda li tiskennja l-kodiċi tas-sors għall-vulnerabbiltajiet).
  4. Ħares lejha minn perspettiva ta 'sigurtà. L-input huwa validat? Il-mistoqsija hija parametrizzata? Is-sigriet huwa midfun? Hemm kontroll tal-awtorizzazzjoni?
  5. Iċċekkja s-sors u l-liċenzja. Dipendenzi ġodda huma liċenzjati? L-output jidher simili żżejjed għal codebase magħruf?
  6. Jekk hija kritika għas-sigurtà, staqsi għall-approvazzjoni ta 'esperti. Reviżjoni indipendenti minn inġinier kompetenti f'oqsma bħall-awtentikazzjoni, il-ħlas, il-kriptografija, il-kontroll tal-aċċess hija obbligatorja.

Tliet Każijiet Mini

Każ 1 — Injezzjoni SQL maqbuda fil-bieb tal-ispezzjoni. Il-kodiċi iġġenerat mill-AI li jgħaqqad l-input tal-utent direttament fil-mistoqsija SQL għal endpoint tat-tfittxija ("... FEJN isem = '" + q + "'"). Il-kodiċi kien qed jaħdem u għadda mit-test. Spezzjoni ffukata fuq is-sigurtà u skanjar SAST qabdu dan; Kien ikkonvertit f'mistoqsija parametrizzata (dikjarazzjoni ppreparata). Kieku ma nqabadx, kien ikun vulnerabbiltà klassika ta 'tnixxija ta' data.

Każ 2 — Pakkett ta' alluċinazzjoni. AI ssuġġeriet pakkett npm ineżistenti (fast-safe-parse) għal kompitu. Meta l-iżviluppatur ipprova jinstallah, il-pakkett ma nstabx. Agħar minn hekk: f'xi każijiet, l-attakkanti jistgħu jimlew ismijiet ta' pakketti "fatat" bħal dawn b'pakketti reali u malizzjużi (konfużjoni tad-dipendenza). Lezzjoni: ivverifika kull pakkett rakkomandat kontra r-reġistru uffiċjali u l-istorja tat-tniżżil/manutenzjoni.

Każ 3 — Inkompatibbiltà tal-liċenzja. Librerija kumpann nifty ssuġġerita minn AI kellha liċenzja qawwija tal-copyleft li kienet inkompatibbli mal-liċenzja tal-prodott tal-istituzzjoni. L-iskannjar tal-liċenzja tad-dipendenza rrapporta dan; It-tim biddel il-liċenzja b'alternattiva xierqa. Mingħajr verifika, ikun hemm piż legali fid-distribuzzjoni tal-prodott.

Erba' Mudelli Kopjabbli

Awtoverifika qabel id-dħul:

Qabel ma taċċetta l-kodiċi ġġenerat mill-AI li ġej, iċċekkja:1) Kull funzjoni/API/pakkett li juża fil-fatt jeżisti? Bandiera lis-suspettati.2) Hemm xi input mhux validat, konkatenazzjoni SQL/kmand, sigriet midfun, kripto dgħajjef?3) X'inhuma l-bugs/każijiet tat-tarf mhux indirizzati? Ittikkettja kull sejba bħala "ċerta / probabbli" u tissuġġerixxi soluzzjonijiet.{{code}}

Reviżjoni ffukata fuq is-sigurtà:

Eżamina dan il-kodiċi b'għajn ta 'sigurtà. Fittex għal vulnerabbiltajiet komuni ta 'stil OWASP: injezzjoni, awtentikazzjoni/awtorizzazzjoni miksura, żvelar ta' data sensittiva, deserialization mhux sikur, direzzjoni mill-ġdid mhux awtentikata. Għal kull sejba: riskju, xenarju ta' sfruttament, rimedju. Dan huwa screening preliminari; irreferi s-sejbiet kritiċi għar-reviżjoni tas-sigurtà tal-bniedem.{{code}}

Iċċekkjar tad-dipendenza u tal-liċenzja:

Elenka d-dipendenzi miżjuda/suġġeriti minn dan il-kodiċi. Għal kull wieħed: il-pakkett fil-fatt jeżisti, huwa miżmum, liema tkun il-liċenzja tipika tiegħu (GĦANDHA JIĠI VERIFIKATA), u huwa fil-fatt meħtieġ għall-proġett jew jista' jsir b'għodda eżistenti?{{kodiċi jew lista ta' dipendenza}}

Impożizzjoni tal-formwork sikura (fil-produzzjoni):

Ikteb il-kodiċi għal {{kompitu}}. Regoli ta' sigurtà OBLIGATORJI:- Ivvalida/jissanitizza l-input estern kollu.- Uża biss mistoqsija parametrizzata fl-aċċess tad-database.- Tdaħħalx sigrieti fil-kodiċi; jassumu varjabbli ambjentali/maniġer sigriet - Tiblax żbalji; Ikkunsidraha b'mod sinifikanti. Spjega kif il-kodiċi jikkonforma ma’ dawn ir-regoli fi 3 punti.

Pront dgħajjef / Pront qawwi

Dgħajjef: "Ikteb mistoqsija li tfittex bl-isem tal-utent." (Jista 'sseħħ kodiċi vulnerabbli għall-injezzjoni.)
Qawwija: "Ikteb funzjoni li tfittex bl-isem tal-utent. Qatt ma tingħaqad input tal-utent f'mistoqsija bħala string; uża mistoqsija parametrizzata (dikjarazzjoni ppreparata). Ivvalida l-input għat-tul u l-karattru. Spjega f'2 sentenzi għaliex il-kodiċi huwa magħluq għall-injezzjoni."

Il-verżjoni b'saħħitha timponi l-mudell sikur mill-bidu; Għalhekk, jiżgura li l-vulnerabbiltà ma sseħħ xejn, aktar milli taqbadha aktar tard. Madankollu, huwa essenzjali li tgħaddi l-kodiċi ġġenerat permezz ta 'gradi ta' verifika.

Saff ta' awtentikazzjoni

Għodda/metodu

"AI qal" biżżejjed?

preċiżjoni

Kumpilazzjoni, ittestjar, spezzjoni viżwali

le

API/realtà tal-pakkett

Kontroll ta' dokument/rekord uffiċjali

le

Sigurtà

SAST, reviżjoni tas-sigurtà

le

Liċenzja/sors

Dipendenza u verifika tal-liċenzja

le

Loġika kritika għas-sigurtà

Approvazzjoni ta' inġinier espert

Assolutament le

Ir-Responsabbiltà Ma tistax Tiġi Trasferita

Ir-responsabbiltà għal żbalji, vulnerabbiltajiet jew vjolazzjonijiet li jirriżultaw mill-kodiċi prodott minn għodda AI tappartjeni lit-tim li jiġbor u jqassam dak il-kodiċi, mhux lill-fornitur tal-għodda. Dan huwa fatt professjonali kif ukoll legali: inti tiffirma. Allura "AI pproduċietha" mhix skuża, iżda ġustifikazzjoni għal kawtela żejda. Partikolarment f'sistemi kritiċi għas-sikurezza, l-output AI mhuwiex sostitut għar-reviżjoni u l-approvazzjoni minn inġinier kwalifikat taħt l-ebda ċirkostanza; L-iktar, l-AI tipprovdi pjan li jħaffef dak l-inġinier.

Tip: Oħloq lista ta' kontroll qasira fuq it-tim tiegħek li inti ssejjaħ "xatba ta' validazzjoni għall-kodiċi ġenerat mill-AI" (bini + test + skan tas-sigurtà + spezzjoni viżwali). Ladarba dan il-bieb isir drawwa, it-telf tal-veloċità huwa minimu u t-tnaqqis tar-riskju huwa massimu.

Żbalji komuni

  • Tħawwad "jaħdem" ma '"safe". Kodiċi li jgħaddi mill-ittestjar jista 'jkun vulnerabbli għall-attakk.
  • Tuża l-pakkett/API mingħajr ma tivverifikah. Pakketti alluċinattivi kemm korrotti kif ukoll joħolqu riskju għas-sigurtà.
  • Bypassing għodod awtomatizzati. Linter, type checker u SAST bl-irħis jaqbdu dak li l-bnedmin jitilfu.
  • Injora l-liċenzja. Dipendenza liċenzjata mhux xierqa toħloq piż legali fuq id-distribuzzjoni.
  • Tpoġġi r-responsabbiltà fuq il-vettura. It-tim huwa responsabbli għall-kodiċi fil-produzzjoni; "AI għamilha" mhix skuża.

Fil-qosor

L-aċċettazzjoni tal-output tal-AI teħtieġ tliet saffi ta’ verifika: korrettezza (kompilazzjoni, ttestjar, spezzjoni viżwali), sigurtà (SAST u reviżjoni ffukata fuq is-sigurtà), u sors/liċenzja (verifika tad-dipendenza). Ikkonferma li kull pakkett u API użat fil-fatt jeżisti, infurza mudelli sikuri mill-bidu, u ssottometti kodiċi kritiku għas-sigurtà għall-approvazzjoni minn inġinier kwalifikat. "Xogħlijiet" ma jfissirx sigur, u "AI prodotta" ma tneħħix ir-responsabbiltà. Il-bieb tal-verifika huwa l-prezz tal-professjonaliżmu, mhux il-veloċità.

Kompitu ta' applikazzjoni

Agħti deliberatament AI kompitu sensittiv għas-sigurtà (eż. "funzjoni li tfittex fid-database bl-input tal-utent"), din id-darba mingħajr ma timponi mudell sigur. Għaddi l-kodiċi li jkun dieħel permezz ta’ mudelli ta’ “awditjar ta’ qabel l-ammissjoni” u ta’ “reviżjoni ffukata fuq is-sigurtà”: hemm xi injezzjoni, sigriet midfun, pakkett alluċinat, jew input mhux awtentikat? Imbagħad staqsi l-istess kompitu mill-ġdid bil-mudell "impożizzjoni ta 'mudell sigur" u qabbel iż-żewġ outputs. Jekk possibbli, ħaddem għodda linter/SAST u qabbel is-sejbiet mal-awtoregolamentazzjoni tal-AI.

lista ta' kontroll

  • [ ] Jien nivverifika l-output AI fi tliet saffi: preċiżjoni, sigurtà u liċenzja.
  • [ ] Nikkonferma li kull funzjoni, API u pakkett użat fil-fatt jeżisti.
  • [ ] Jiena nmexxi għodod ta' kompilazzjoni, ttestjar, linter u, jekk possibbli, SAST.
  • [ ] Imponi mudelli sikuri (mistoqsija parametrizzata, validazzjoni tal-input, ġestjoni sigrieta) mill-bidu.
  • [ ] Niċċekkja l-liċenzjar u r-rekwiżit ta' dipendenzi ġodda.
  • [ ] Qed nippreżenta kodiċi kritiku għas-sigurtà għall-approvazzjoni minn inġinier kompetenti u nifhem li jien responsabbli.