Awọn anfani:
- Agbara lati ni oye pe itetisi atọwọda faagun ipari ti ẹniti nṣe ayẹwo iwe-owo, ṣugbọn ko rọpo rẹ, ati pe o wulo ni ọlọjẹ ẹka ati wiwa kikọ.
- Ni anfani lati ṣe akiyesi pe itetisi atọwọda ti padanu ailagbara atilẹba ati aṣiṣe oye iṣowo, ati pe alaye 'aabo' pipe kii ṣe idaniloju
- Agbara lati ṣe iyatọ awọn awari ni ibamu si ipele pataki wọn ati loye pe ifọwọsi ikẹhin ati ojuse alamọdaju wa pẹlu ẹniti nṣe ayẹwo iwe-owo to peye.
Ṣiṣayẹwo aabo (iyẹwo eleto ti adehun ijafafa fun awọn ailagbara) jẹ iṣẹ lodidi julọ Web3. Laini kan ti o padanu nipasẹ oluyẹwo le ja si awọn adanu miliọnu dọla. Ninu ẹyọ yii iwọ yoo kọ ẹkọ bi o ṣe le lo AI bi oluranlọwọ iṣayẹwo; A yoo kọ ẹkọ lati ipilẹṣẹ awọn amọran si kikọ atokọ awọn awari. Ṣugbọn gbolohun ọrọ pataki julọ ni eyi: AI ko ṣakoso; O jẹ oluranlọwọ ti o pọ si oju oluyẹwo. Ifọwọsi ikẹhin wa pẹlu ẹniti nṣe ayẹwo iwe-owo ti o ni oye ti o gba ojuse alamọdaju.
Kini idi ti iṣatunṣe jẹ pataki-aabo
Ijabọ iṣayẹwo ṣe idaniloju iṣẹ akanṣe ati awọn oludokoowo pe “a ti ṣe atunyẹwo koodu yii.” Ti idaniloju yii ba jẹ eke, awọn abajade jẹ ajalu: Ilana ti a ti lo nilokulo, inawo ti o sọnu, iṣẹ akanṣe ti o ṣubu. Nitorinaa, lilo AI ni ayewo jẹ apakan ṣọra julọ ti module yii. AI faagun ipari ti ẹniti nṣe ayẹwo iwe-owo (ṣe iranti awọn ilana diẹ sii, kika yiyara) ṣugbọn ko rọpo oluyẹwo.
Kilode ti ko kọja? Nitoripe:
- AI ko le rii alailẹgbẹ / ailagbara tuntun ti ko si ninu data ikẹkọ.
- AI nigbagbogbo padanu abawọn ninu ọgbọn iṣowo ti ilana-pe koodu naa jẹ deede ni imọ-ẹrọ ṣugbọn o jẹ ilo ọrọ-aje.
- AI le funni ni idaniloju eke nipa sisọ "ailewu" ni ede ti o dara; Eyi ni abajade ti o lewu julọ.
Awọn fẹlẹfẹlẹ ti lilo AI ni iṣakoso
1. Ibẹrẹ ọlọjẹ ati olurannileti apẹrẹ. AI lọ nipasẹ awọn ilana ailagbara ti a mọ bi atokọ ayẹwo: isọdọtun, iṣakoso iwọle, ifọwọyi oracle, ṣiṣe iwaju. Eyi ṣe idaniloju pe oluyẹwo ko padanu awọn ẹka eyikeyi.
2. Code alaye. Ṣalaye iṣẹ eka kan si AI ni ede itele gba laaye oluyẹwo lati ni oye oye ni kiakia; ṣugbọn awọn apejuwe ti wa ni nigbagbogbo akawe si awọn koodu.
3. Kikọ kan osere ti awari. Nigbati ẹniti nṣe ayẹwo iwe-owo ba rii ailagbara, AI fi akoko pamọ ni kikọ iwe-ipamọ ti ijabọ (apejuwe, ipa, ojutu ti a dabaa).
4. Ti o npese counter-hypothesis. Beere lọwọ AI "bawo ni iṣẹ yii ṣe le ṣe ilokulo?" Béèrè" leti wa ti irisi ibinu.
Akiyesi: Nitoripe AI sọ pe “Emi ko rii eyikeyi awọn ailagbara ninu koodu yii” KO tumọ si “koodu jẹ ailewu”. Ẹri ti isansa kii ṣe isansa ti ẹri. Otitọ pe AI ko le rii nkan ko jẹ ki o jẹ ko wulo fun oluyẹwo lati ṣayẹwo agbegbe yẹn.
Wiwa awọn ipele idibajẹ
Awọn awari iṣayẹwo jẹ ipin gẹgẹ bi ipele biburu wọn. AI yẹ ki o lo ilana yii nigbati o ba n ṣe agbejade:
Ipele
Itumo
apẹẹrẹ
lominu ni
Ipadanu owo / titiipa taara ṣee ṣe
Yiyọ awọn owo pẹlu reentrancy
ga
Ipa pataki ni awọn ipo kan
Titẹ sita laigba aṣẹ (Mint)
alabọde
Ipa to lopin tabi ipo ti o nira
Pipadanu kekere pẹlu iyapa Oracle
kekere
Ewu kekere, irufin iwa rere
Sonu igbohunsafefe iṣẹlẹ
Alaye
Ti kii ṣe aabo, kika
Aini ti NatSpec
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣe adehun yii jẹ ailewu?
Ibeere yii fi agbara mu AI lati ṣe idi, idajọ ti ko ni ẹri bi “bẹẹni/bẹẹẹkọ” - gangan ohun ti a ko fẹ.
Ibere ti o lagbara:
Ipa rẹ: olùrànlọ́wọ́ sí olóye àdéhùn àdéhùn ọlọ́yàyà.Scan àdéhùn ìsàlẹ̀ yìí fún ààbò. Lọ nipasẹ awọn ẹka wọnyi ni ọkọọkan: isọdọtun, iṣakoso wiwọle, awọn iṣẹ odidi, afọwọsi titẹ sii, oracle/data ita, ṣiṣe iwaju, opin gaasi. Fun wiwa kọọkan: (1) laini koodu ti o yẹ, (2) fa eewu, (3) iwuwo ti a pinnu (Critical/High/Medium/Low), (4) igbero ojutu. Wọnyi li awọn arosọ LATI FI idaniloju; Maṣe fun ni idajọ “ailewu”. Samisi awọn agbegbe ti o ko da ọ loju pe “jẹ ki oluyẹwo jẹrisi”.
Mẹrin daakọ awọn awoṣe
1) lilọ kiri lori ẹka:
Ṣe ayẹwo iwe adehun yii fun awọn ẹka wọnyi: isọdọtun, iṣakoso wiwọle, iwọn apọju odidi, afọwọsi titẹ sii, igbẹkẹle oracle, ṣiṣiṣẹ iwaju, DoS/gaasi. Fun ẹka kọọkan, sọ pe "ko si / ko si eewu / Emi ko ni idaniloju" ki o so idalare rẹ pọ si laini ninu koodu naa. Maṣe ṣe idajọ ikẹhin.
2) Atako-idaniloju lati inu irisi ikọlu:
Ronu bi ikọlu: kini awọn ọna lati ṣe ilokulo iṣẹ yii? Kọ oju iṣẹlẹ kọọkan ni igbese nipa igbese ati tọka awọn ipo wo ni o nilo. Awọn oju iṣẹlẹ wọnyi jẹ awọn idawọle lati ṣe idanwo; MAA ṢE ṣe ipilẹṣẹ koodu ilokulo gangan, kan ṣapejuwe eewu naa.
3) Ijabọ awọn awari afọwọṣe:
Jabọ wiwa wiwadi atẹle ni ede iṣayẹwo deede: akọle, iwuwo, apejuwe, ipa, koodu ti o kan, awọn igbesẹ lati ṣe ẹda, ojutu ti a dabaa. Lo ede wiwọn ati imọ-ẹrọ; àsọdùn. Ro pe wiwa ti wa ni timo nipa ẹniti nṣe ayẹwo iwe-owo, ma ṣe soke titun kan wiwa.
4) Ṣe atunṣe iṣeduro:
Ni isalẹ jẹ ailagbara ati atunṣe ti a lo nipasẹ olupilẹṣẹ. Ṣayẹwo boya atunṣe gangan ti pa ailagbara naa; samisi boya o ṣẹda ipa ẹgbẹ tuntun tabi ailagbara. Ma ṣe sọ pe "pipade" ni idaniloju; Pari pẹlu "gbọdọ jẹrisi nipasẹ idanwo".
Awọn ọran kekere mẹta (ni awọn nọmba)
Ọran 1 - AI ṣe idiwọ hopping ẹka. Oluyewo kan ti fẹrẹ dojukọ lori adehun laini 400 ki o fo ẹka Oracle. Ayẹwo ẹka AI fun ikilọ kan pe “data idiyele wa lati orisun kan, ṣii si ifọwọyi”. Oluyẹwo ṣe ayẹwo rẹ o si rii pe o jẹ eewu alabọde nitootọ. Ẹkọ: AI n ṣetọju ibawi agbegbe.
Ọran 2 - Eke "ailewu" idaniloju. Ẹgbẹ miiran beere lọwọ AI “Ṣe eyi jẹ ailewu?” o beere; "Ko dabi pe ko si iṣoro pataki," AI sọ. Ayewo atuko je ina. Lẹhinna oluyẹwo olominira ri abawọn-imọ-ọrọ iṣowo kan: iṣiro kan ti o pe ni imọ-ẹrọ ṣugbọn ti awọn iwuri rẹ jẹ ilokulo. Ẹkọ: AI padanu aṣiṣe iṣaro iṣowo; Ko le ṣe gbẹkẹle lati sọ "ailewu".
Ọran 3 - Ṣiṣejade ijabọ ti o fipamọ awọn wakati 3. Awọn ẹniti nṣe ayẹwo iwe-owo naa n lo idaji ọjọ naa pẹlu ọwọ ṣe ijabọ awọn awari 8. Ni kete ti Mo fun awọn awari ti a rii daju si AI ati tẹ iwe aṣẹ osise, akoko ti lọ silẹ nipasẹ awọn wakati 3; Awọn ẹniti nṣe ayẹwo iwe-owo ti yasọtọ akoko lati deepening. Ẹkọ: AI jẹ ailewu ati lilo daradara ni ijabọ nitori awọn awari ti jẹ idaniloju eniyan tẹlẹ.
Ailagbara iṣaro iṣowo: aaye afọju AI
Awọn ailagbara ti o gbowolori julọ nigbagbogbo kii ṣe lati aṣiṣe imọ-ẹrọ ninu koodu, ṣugbọn lati ilokulo ti oye iṣowo: ilokulo iṣakojọpọ ti akọọlẹ ere kan, jija awin filasi ti ibo kan, ifọwọyi lẹsẹkẹsẹ ti idiyele kan. Iwọnyi jẹ awọn ọran nibiti koodu naa n ṣiṣẹ “titọ” ṣugbọn ilana naa le tan ni ọrọ-aje. AI ṣee ṣe lati padanu iru awọn aṣiṣe bẹ-paapaa awọn ilana-pataki. Nitorinaa, atunyẹwo oye iṣowo jẹ agbegbe to lekoko eniyan julọ ti ẹniti nṣe ayẹwo iwe-owo ati igbẹkẹle ti o kere julọ lori AI.
Imọran: Beere lọwọ AI “bawo ni a ṣe le lo awọn iwuri eto-aje ti ilana yii?” ki o lo awọn oju iṣẹlẹ ti o wa bi aaye ibẹrẹ - ṣugbọn ranti pe iwọ ati ẹgbẹ rẹ yẹ ki o ṣe itupalẹ gidi.
Awọn aṣiṣe ti o wọpọ
- Beere lọwọ AI "Ṣe o ailewu?" Béèrè ati igbẹkẹle rẹ bẹẹni. Idajọ pipe ko nilo.
- Idaduro atunyẹwo naa nigbati AI sọ pe “Emi ko le rii”. Isansa kii ṣe ẹri.
- Aṣoju atunyẹwo iṣaro iṣowo si AI. O jẹ aaye afọju ti o tobi julọ.
- Ko lo awọn irinṣẹ ominira (Slither ati bẹbẹ lọ). AI nikan ko to.
- Fifi wiwa ti AI ṣe sinu ijabọ naa laisi ijẹrisi rẹ. Ewu ti hallucinations.
- Gbiyanju lati fi ojuse iṣakoso lori AI. Ojuse wa pẹlu amoye.
Ni akojọpọ
- Ayẹwo jẹ pataki-ailewu; AI faagun iwọn oluyẹwo ṣugbọn ko rọpo rẹ.
- AI padanu ailagbara atilẹba ati kokoro kannaa iṣowo; Wipe "ailewu" kii ṣe idaniloju.
- Awọn awari ti wa ni tito lẹtọ ni ibamu si ipele idibajẹ; AI wulo ni ti ipilẹṣẹ awọn iyaworan.
- Atako-idaniloju ati ibojuwo ẹka ṣe itọju ibawi ti ifisi.
- Ifọwọsi ipari ati ojuse alamọdaju nigbagbogbo wa pẹlu ẹniti nṣe ayẹwo iwe-owo to peye.
Ohun elo iṣẹ-ṣiṣe
Wa iwe adehun apẹẹrẹ ti o ni ailagbara ti a mọ (fun awọn idi eto-ẹkọ, awọn apẹẹrẹ ti “awọn iwe adehun ti o ni ipalara” wa ni orisun ṣiṣi). Waye itọsi “iṣayẹwo ti o da lori ẹka” si AI. Ṣakiyesi boya AI: (1) rii ailagbara gidi, (2) ṣe agbejade awọn awari iro / eke, (3) ṣe awọn idajọ pipe bii “ailewu.” Lẹhinna ṣe afiwe rẹ pẹlu ohun elo itupalẹ aimi.
akojọ ayẹwo
- [] Beere lọwọ AI "Ṣe o ailewu?" Dipo, Mo ni ọlọjẹ ti o da lori ẹka.
- [] Mo tọju wiwa kọọkan bi arosọ.
- [] Mo ti ṣe ayẹwo iṣowo kannaa ara mi / egbe.
- [] Mo ṣe agbekọja rẹ pẹlu ohun elo itupalẹ aimi ominira.
- [] Mo ti jẹrisi pe AI ko ṣẹda awọn awari.
- [] Mo ti pin awọn awari naa ni ibamu si ipele ti bi o ṣe le to.
- [] Mo gba pe ifọwọsi ipari wa pẹlu ẹniti nṣe ayẹwo iwe-owo to peye.