Qligħ:
- Kapaċità li tnaqqas bug għall-iżgħar istanza riproduċibbli u tmexxih għal AI bi prova sħiħa
- Kapaċità li tittestja ipoteżi bbażati fuq l-evidenza bl-irħas kontroll u ssib il-kawża ewlenija
- Kapaċità li ssolvi l-kawża ewlenija u tiżguraha b'test ta 'rigressjoni aktar milli patching is-sintomu
Id-debugging huwa l-proċess li wieħed jiskopri għaliex softwer iġib ruħu b'mod mhux mistenni u jiffissah. Huwa l-impjieg fejn żviluppatur iqatta' l-aktar ħin u jgħejja l-aktar; Għax ħafna drabi l-iżball ma jkunx fejn jidher, iżda huwa moħbi ftit passi wara. L-AI hija sieħba ta' ħsieb qawwi li tħaffef din ir-riċerka — iżda biss jekk tagħtiha l-evidenza t-tajba. Id-debugging mingħajr evidenza huwa l-qasam fejn l-AI tipproduċi l-aktar alluċinazzjonijiet.
F'din l-unità, aħna nistabbilixxu fluss dixxiplinat mill-ġenerazzjoni tal-iżball biex naslu għall-kawża ewlenija: niċċaraw is-sintomu, niġbru evidenza (messaġġ ta 'żball, traċċa tal-munzell, log, dħul), niġġeneraw ipoteżi, tittestja l-ipoteżi, u tivvalida l-iffissar. L-AI tgħin f'kull pass; iżda d-deċiżjoni "fissa" tittieħed billi wieħed jara li l-bug fil-fatt spiċċa.
Għaliex l-Evidenza Hija Kollox?
LLM ma jarax żball il-mod kif tagħmel; Jaf biss dak li tgħidlu. Sentenza bħal "The application crashes" tagħti lill-mudell kważi l-ebda informazzjoni, u l-mudell jimla l-vojt bi tbassir - jiġifieri, alluċinazzjoni. Min-naħa tagħhom, il-messaġġ ta 'żball sħiħ, traċċa munzell - tqassim ta' liema funzjoni sejħiet l-iżball seħħet permezz, l-input li wassal l-iżball, u dak li kien mistenni, eċċ Minħabba l-imġieba osservata, il-mudell jista 'jikklassifika l-probabbiltajiet veri.
Fid-debugging, aħseb fl-AI bħala assistent għal ditektif: aktar ma tippreżenta evidenza, iktar tkun preċiża l-ipoteżi li tiġġenera. Jekk ma jkun hemm l-ebda evidenza, l-assistent se biss raden u jista 'jwassalk fuq triq ħażina.
Tip: Qabel ma tittrasferixxi bug għall-AI, naqqasha għall-iżgħar eżempju riproduċibbli. L-iżgħar kodiċi u input li jqanqal l-iżball jagħmel l-affarijiet radikalment aktar faċli kemm għalik kif ukoll għall-mudell; ħafna drabi waqt dan it-tnaqqis issib il-kawża lilek innifsek.
Pass pass: Fluss tal-Analiżi tal-Kawża Għerq
- Iċċara s-sintomu. "X'qed jiġri, x'stennejt li jiġri?" Ikteb it-tnejn f'sentenza waħda.
- Iġbor evidenza. Messaġġ sħiħ ta 'żball, traċċa tal-munzell, linji ta' log rilevanti, dħul li jqanqal, informazzjoni dwar il-verżjoni.
- Iġġenera l-ipoteżi. Mill-AI "3 kawżi possibbli li jispjegaw dan is-sintomu u kif nittestja għal kull waħda?" staqsi.
- Ittestja l-orħos ipoteżi l-ewwel. Żid log, ipprintja valur, agħmel test. L-evidenza tikkonferma l-ipoteżi?
- Waħħal il-kawża ewlenija, mhux is-sintomu. Minflok issikket is-sintomu b'garża, indirizza l-kawża ewlenija.
- Ivvalida u żid l-ittestjar tar-rigressjoni. Ara l-iżball jisparixxi; Imbagħad ikteb test li se jaqbad dak l-iżball sabiex ma jiġix lura.
Tliet Każijiet Mini
Każ 1 — It-traċċa tal-munzell wasslet għall-fajl korrett. Applikazzjoni kienet qed tirritorna żball 500 fuq ċerti talbiet. L-iżviluppatur ta t-traċċa tal-munzell sħiħ u t-talba li tqanqal lill-AI; Il-mudell ipotizzat li l-iżball kien ikkawżat minn valur Xejn f'saff ta 'parsing tad-data. L-iżviluppatur żied log ma 'dik il-linja, ivverifikaha u solvuha fi 15-il minuta; 2 sigħat ġew moħlija l-ġurnata ta 'qabel b'esperimenti mhux ippruvati.
Każ 2 — Alluċinazzjoni wasslet għal triq ħażina. Iżviluppatur ieħor sempliċement kiteb "konnessjoni tad-database qed tinżel". L-AI akkużat iffissar ta’ pool ta’ konnessjoni mingħajr ebda evidenza; L-iżviluppatur qatta' 40 minuta tlesti ma' dan l-issettjar. Il-kawża reali kienet timeout min-naħa tan-netwerk u ġiet żvelata biss billi tħares lejn il-zkuk. Lezzjoni: ipoteżi meħuda mingħajr evidenza hija biss probabbli, mhux affidabbli.
Każ 3 — Żball flaky maqbud. Kien hemm test li kultant falla. L-AI ingħatat il-kodiċi tat-test, il-messaġġ tal-falliment, u l-informazzjoni "xi kultant tgħaddi, xi drabi tfalli"; il-mudell indika dipendenza ta' ħin/ordni kondiviża tat-testijiet. Ir-reviżjoni kkonfermat li t-test kien ibbażat fuq il-ħin lokali tas-sistema. Ladarba l-arloġġ ġie ffissat (mocked), it-test sar stabbli.
Erba' Mudelli Kopjabbli
Ġenerazzjoni ta' ipoteżi bbażata fuq l-evidenza:
Qed niddibaggja bug. Evidenza hawn taħt.- Imġieba mistennija: {{mistennija}}- Imġieba osservata: {{osservata}}- Messaġġ ta' żball / traċċa tal-munzell: {{traċċa}}- Input li jqanqal: {{input}}- Ambjent/verżjoni: {{verżjoni}} Elenka t-3 kawżi ewlenin AKTAR PROBABBLI li jispjegaw dan is-sintomu. Għal kull wieħed: kif nista' nittestja (l-irħas kontroll) u kif nirranġah jekk hu veru. Jekk l-evidenza ma tkunx biżżejjed, għidli liema informazzjoni addizzjonali għandek bżonn.
Interpretazzjoni tat-traċċa tal-munzell:
Aqra din it-traċċa tal-munzell. Iddistingwi bejn liema linja l-iżball PROBABBLI jibda minn (l-għerq) u liema linji huma biss kontinwazzjonijiet tal-katina. Issuġġerixxi 1-2 postijiet biex tħares l-ewwel. Kodiċi relatat:{{code}}Traċċa:{{traċċa}}
Tnaqqis minimu ta' repro:
Il-kodiċi hawn taħt jipproduċi żball. Naqqasha għall-iżgħar istanza li għadha tikkawża l-iżball iżda jarmi xi ħaġa mhux meħtieġa. Tassumux li kull biċċa li tneħħi ma taffettwax l-iżball, imma żid nota li tgħid "jekk l-iżball jisparixxi meta tneħħi dan, hu għalhekk li".{{code}}
Validazzjoni ta' wara l-korrezzjoni u ttestjar ta' rigressjoni:
Assumi li l-kawża ewlenija hija {{kawża}} u nagħmel dan li ġej: {{iffissa}}.1) Din it-tiswija fil-fatt tiffissa s-sintomu, se jkollha xi effetti sekondarji?2) Ikteb test ta' rigressjoni li se jaqbad dan il-bug fil-futur.
Pront dgħajjef / Pront qawwi
Dgħajjef: "Il-kodiċi ma jaħdimx, għaliex?"
Qawwija: "Node 20 / Express. POST / ordnijiet jirritorna 500 meta l-oġġetti huma string vojta fil-ġisem; kellu rritorna 400. Traċċa munzell: TypeError: Ma tistax taqra proprjetajiet ta 'undefined (qari '0') - mehmuża hija t-traċċa sħiħa u l-handler assoċjat. Agħtini t-3 l-aktar kodiċi li x'aktarx tispjega dan is-sintomu u tikkawża + dan it-test.
Verżjoni qawwija; Jagħti l-ambjent, l-endpoint, l-input tal-bidu, it-tip eżatt ta’ żball, u l-imġieba mistennija. Il-mudell ma jistax jagħmel aktar tbassir, iżda analiżi.
pass
Il-kontribuzzjoni tal-AI
kontroll tiegħek
ġbir ta’ evidenza
Liema evidenza hija meħtieġa, ifakkar
Verament jiġbor evidenza
ġenerazzjoni ta' ipoteżi
Elenka r-raġunijiet possibbli
Jipprijoritizza bil-kuntest
ittestjar tal-ipoteżi
Jirrakkomanda metodu tat-test
Jopera u josserva personalment
korrezzjoni
garża jirrakkomanda
Issolvi l-kawża ewlenija? Huwa veru.
rigressjoni
jikteb test
Jivverifika li t-test ikun miksur
Issolvi l-Kawża Għerq, Mhux Is-Sintomu
Ħafna mill-ħin l-AI se tissuġġerixxi garża li malajr isikket is-sintomu: żid ipprova/qabda, poġġi kontroll null, jibla 'l-iżball. Dan kultant huwa minnu, ħafna drabi perikoluż; għax il-kawża oriġinali tibqa’ f’postha u terġa’ tfaċċa minn x’imkien ieħor. Ma’ kull soluzzjoni, staqsi lilek innifsek: “Dan jiffissa l-kawża tal-iżball, jew jagħmilha inviżibbli?” Ladarba ssib il-kawża ewlenija, is-soluzzjoni hija ġeneralment iżgħar, aktar robusta u permanenti.
Attenzjoni: Li tibla' eċċezzjoni fis-skiet (qabda vojta) ma ssolvix l-iżball; sempliċement jaħbi u jagħmel dijanjosi futura impossibbli. Jekk l-AI tissuġġerixxi tali "soluzzjoni", taċċettahiex mingħajr ma tiddubita l-kawża ewlenija.
Żbalji komuni
- Tistaqsi mistoqsijiet mingħajr evidenza. Sentenzi ambigwi jimbuttaw lill-mudell fl-alluċinazzjoni; Agħti żball sħiħ, traċċa u input.
- Qfil fuq l-ewwel ipoteżi. L-ewwel suġġeriment tal-AI jista 'ma jkunx l-aktar probabbli; Ibda bl-orħos ipoteżi kontrollabbli.
- Patching is-sintomu u nieqsa l-kawża ewlenija. L-iżball imsikkta jerġa' lura.
- Jingħalqu l-iffissar mingħajr ma tivverifikaha. Ara f'kondizzjoni bħall-produzzjoni li l-iżball fil-fatt jisparixxi.
- Mhux bil-miktub testijiet ta 'rigressjoni. Jekk ma jiżdiedu l-ebda testijiet, l-istess żball jerġa’ lura fis-skiet f’verżjonijiet aktar tard.
Fil-qosor
Fid-debugging, il-qawwa tal-AI hija direttament proporzjonali għall-evidenza li tagħtiha: mingħajr il-messaġġ ta 'żball sħiħ, traċċa tal-munzell, input li jqanqal, u mġiba mistennija, il-mudell jispekula biss. Fluss dixxiplinat—iċċara s-sintomi, tiġbor evidenza, tiġġenera ipoteżi, ittestja bl-irħas kontroll, tiffissa l-kawża ewlenija, tivverifika, u żżid l-ittestjar tar-rigressjoni—tagħlaq il-bug kemm malajr kif ukoll b’mod permanenti. AI huwa ġeneratur ta' ipoteżi; Int dak li jiddeċiedi li l-bug huwa fil-fatt solvut.
Kompitu ta' applikazzjoni
Agħżel bug reali li ltqajt magħhom dan l-aħħar (jew irriproduċi bug tat-test). Agħmel l-ewwel pass ta' "riproduzzjoni minima"; Neħħi l-iżgħar kodiċi u input li jqanqal l-iżball. Imbagħad ikseb 3 kawżi possibbli u metodi ta 'ttestjar mill-AI bil-mudell ta' "ġenerazzjoni ta 'ipoteżi bbażata fuq l-evidenza". Ittestja l-orħos ipoteżi lilek innifsek, sib il-kawża ewlenija, irranġaha, u fl-aħħar ikteb test ta 'rigressjoni li se jaqbad dan il-bug fil-futur u tivverifika li t-test huwa fil-fatt miksur.
lista ta' kontroll
- [ ] Naqqas l-iżball għall-iżgħar kampjun riproduċibbli qabel ma nċaqlaq lejn l-AI.
- [ ] Qed inżid il-messaġġ ta' żball sħiħ, it-traċċa tal-munzell, l-input u l-imġiba mistennija mal-pront.
- [ ] Nibda bl-orħos wieħed kontrollabbli, mingħajr ma nsakkar f'ipoteżi waħda.
- [ ] Jien nivverifika li solvujt il-kawża ewlenija aktar milli nagħmel pats fuq is-sintomu.
- [ ] Osserva li l-iffissar fil-fatt jiffissa l-bug.
- [ ] Inżid test ta' rigressjoni għal kull bug solvut.