Fitimet:
- Aftësia për të reduktuar një gabim në shembullin më të vogël të riprodhueshëm dhe për ta zhvendosur atë në AI me prova të plotë
- Aftësia për të testuar hipotezat e bazuara në prova me kontrollin më të lirë dhe për të gjetur shkakun rrënjësor
- Aftësia për të zgjidhur shkakun rrënjësor dhe për ta siguruar atë me një test regresioni në vend që të korrigjojë simptomat
Korrigjimi është procesi i gjetjes së arsyes se pse një softuer sillet papritur dhe rregullimi i tij. Është puna ku një zhvillues shpenzon më shumë kohë dhe lodhet më shumë; Sepse në shumicën e rasteve gabimi nuk është aty ku duket, por fshihet disa hapa pas. Inteligjenca artificiale është një partner i fuqishëm i të menduarit që e përshpejton këtë kërkim - por vetëm nëse i jepni provat e duhura. Korrigjimi pa prova është zona ku AI prodhon më shumë halucinacione.
Në këtë njësi, ne vendosim një rrjedhë të disiplinuar nga gjenerimi i gabimit deri tek shkaku kryesor: sqarimi i simptomave, mbledhja e provave (mesazhi i gabimit, gjurmimi i stivës, regjistri, hyrja), gjenerimi i një hipoteze, testimi i hipotezës dhe vërtetimi i rregullimit. AI ndihmon në çdo hap; por vendimi "i rregulluar" merret duke parë që gabimi në të vërtetë është zhdukur.
Pse provat janë gjithçka?
Një LLM nuk e sheh gabimin si ju; Ai e di vetëm atë që ju i thoni. Një fjali si "Aplikacioni rrëzohet" nuk i jep modelit pothuajse asnjë informacion dhe modeli e mbush boshllëkun me një parashikim - domethënë një halucinacion. Nga ana tjetër, mesazhi i plotë i gabimit, gjurmimi i stivës - një ndarje e të cilit funksion thërret gabimin e ndodhur, hyrjen që shkaktoi gabimin dhe çfarë pritej, etj. Duke pasur parasysh sjelljen e vëzhguar, modeli mund të rendit probabilitetet e vërteta.
Në korrigjimin e gabimeve, mendoni për AI si një ndihmës të një detektivi: sa më shumë prova të paraqisni, aq më e saktë është hipoteza që gjeneron. Nëse nuk ka prova, asistenti vetëm do të hamendësojë dhe mund t'ju çojë në rrugën e gabuar.
Këshillë: Përpara se të transferoni një gabim në AI, zvogëlojeni atë në shembullin më të vogël të riprodhueshëm. Kodi dhe hyrja më e vogël që shkakton gabimin i bën gjërat rrënjësisht më të lehta si për ju ashtu edhe për modelin; më shpesh gjatë këtij reduktimi e gjeni vetë shkakun.
Hap pas hapi: Rrjedha e analizës së shkakut rrënjësor
- Sqaroni simptomat. "Çfarë po ndodh, çfarë prisnit të ndodhte?" Shkruani të dyja në një fjali.
- Mblidhni prova. Mesazhi i plotë i gabimit, gjurmimi i stivës, linjat përkatëse të regjistrit, hyrja e aktivizimit, informacioni i versionit.
- Të krijohet hipoteza. Nga AI "3 shkaqe të mundshme që shpjegojnë këtë simptomë dhe si ta testoj për secilën?" pyesni.
- Testoni së pari hipotezën më të lirë. Shtoni një regjistër, printoni një vlerë, kryeni një test. A e konfirmojnë provat hipotezën?
- Rregulloni shkakun rrënjësor, jo simptomat. Në vend që të heshtni simptomat me një copë toke, trajtoni shkakun rrënjësor.
- Vërtetoni dhe shtoni testimin e regresionit. Shihni gabimin të zhduket; Më pas shkruani një test që do ta kapë atë gabim në mënyrë që të mos kthehet.
Tre Mini Rastet
Rasti 1 - Gjurma e stivës çoi në skedarin e saktë. Një aplikacion po kthente një gabim 500 për disa kërkesa. Zhvilluesi i dha AI gjurmën e plotë të stivës dhe kërkesën e nxitjes; Modeli hipotezoi se gabimi ishte shkaktuar nga një vlerë None në një shtresë të analizës së datave. Zhvilluesi shtoi një regjistër në atë linjë, e verifikoi dhe e zgjidhi në 15 minuta; 2 orë u humbën një ditë më parë me eksperimente të paprovuara.
Rasti 2 - Halucinacionet çuan në rrugën e gabuar. Një zhvillues tjetër thjesht shkroi "lidhja e bazës së të dhënave po bie". AI akuzoi një vendosje të pishinës së lidhjes pa asnjë provë; Zhvilluesi shpenzoi 40 minuta duke ndërhyrë me këtë cilësim. Shkaku i vërtetë ishte një kohëzgjatje në anën e rrjetit dhe u zbulua vetëm duke parë regjistrat. Mësimi: një hipotezë e marrë pa prova është vetëm e mundshme, jo e besueshme.
Rasti 3 - U kap gabimi i krisur. Kishte një provë që herë pas here dështonte. AI-së iu dha kodi i testimit, mesazhi i dështimit dhe informacioni "nganjëherë kalon, ndonjëherë dështon"; modeli tregoi një varësi të përbashkët të kohës/rendit të testeve. Rishikimi konfirmoi se testi bazohej në kohën lokale të sistemit. Pasi ora rregullohej (talleshin), testi u bë i qëndrueshëm.
Katër modele të kopjueshme
Gjenerimi i hipotezave të bazuara në prova:
Unë jam duke korrigjuar një gabim. Dëshmia më poshtë.- Sjellja e pritshme: {{ e pritshme}}- Sjellja e vëzhguar: {{ e vëzhguar}}- Mesazhi i gabimit / gjurmimi i stivës: {{gjurmë}}- Hyrja nxitëse: {{hyrje}}- Mjedisi/versioni: {{version}}Rindisni 3 shkaqet ME MË MË GJITHA rrënjë që shpjegojnë këtë simptomë. Për secilin: si ta testoj (kontrollin më të lirë) dhe si ta rregulloj nëse është e vërtetë. Nëse provat janë të pamjaftueshme, më tregoni se çfarë informacioni shtesë ju nevojitet.
Interpretimi i gjurmës së pirgut:
Lexoni këtë gjurmë të pirgut. Dalloni ndërmjet cilës rresht që gabimi fillon me gjasë (rrënja) dhe cilat rreshta janë vetëm vazhdimësi e zinxhirit. Sugjeroni 1-2 vende për të parë së pari. Kodi i ngjashëm:{{code}}Gjurmimi:{{trace}}
Zbritja minimale repro:
Kodi i mëposhtëm prodhon një gabim. Reduktojeni atë në shembullin MË I VOGËL që ende shkakton gabimin, por hedh poshtë çdo gjë të panevojshme. Mos supozoni se çdo pjesë që hiqni nuk ndikon në gabim, por shtoni një shënim duke thënë "nëse gabimi zhduket kur e hiqni këtë, kjo është arsyeja pse".{{code}}
Vlefshmëria pas korrigjimit dhe testimi i regresionit:
Supozoni se shkaku kryesor është {{shkaku}} dhe unë bëj rregullimin e mëposhtëm: {{ rregulloj}}.1) A e rregullon ky rregullim në të vërtetë simptomat, a do të ketë ndonjë efekt anësor? 2) Shkruani një test regresioni që do ta kapë këtë gabim në të ardhmen.
Prompt i dobët / Prompt i fortë
I dobët: "Kodi nuk funksionon, pse?"
Strong: "Nyja 20 / Express. POST /orders kthen 500 kur artikujt janë një varg bosh në trup; duhet të kishte kthyer 400. Gjurma e stivës: Lloji Gabim: Nuk mund të lexohen vetitë e të papërcaktuara (duke lexuar '0') — bashkangjitur është gjurma e plotë dhe mbajtësi i lidhur. Më jep 3 kodin më të mundshëm të symp-it që shkakton këtë test +.
Version i fuqishëm; Ai jep mjedisin, pikën përfundimtare, hyrjen e shkaktimit, llojin e saktë të gabimit dhe sjelljen e pritur. Modeli nuk mund të bëjë më parashikime, por analiza.
hap
Kontributi i AI
kontrollin tuaj
mbledhjen e provave
Çfarë provash nevojiten, kujton
Vërtet mbledh prova
gjenerimi i hipotezave
Listoni arsyet e mundshme
Prioritet me kontekst
testimi i hipotezave
Rekomandon metodën e testimit
Vepron dhe vëzhgon personalisht
korrigjim
rekomandon patch
A e zgjidh shkakun rrënjësor? Është e vërtetë.
regresioni
shkruan një test
Verifikon që testi është i prishur
Zgjidhja e shkakut rrënjësor, jo e simptomave
Shumicën e kohës, AI do të sugjerojë një rregullim që e heshton shpejt simptomën: shtoni një provë/kap, vendosni një kontroll null, gëlltitni gabimin. Kjo ndonjëherë është e vërtetë, shpesh e rrezikshme; sepse shkaku fillestar mbetet në vend dhe shpërthen sërish nga diku tjetër. Me çdo rregullim, pyesni veten: "A e rregullon kjo shkakun e gabimit, apo e bën atë të padukshëm?" Pasi të gjeni shkakun rrënjësor, rregullimi është zakonisht më i vogël, më i fortë dhe i përhershëm.
Kujdes: gëlltitja në heshtje e një përjashtimi (kapje bosh) nuk e zgjidh gabimin; ai thjesht fsheh dhe e bën të pamundur diagnozën e ardhshme. Nëse AI sugjeron një "zgjidhje" të tillë, mos e pranoni pa vënë në dyshim shkakun rrënjësor.
Gabimet e zakonshme
- Bërja e pyetjeve pa prova. Fjalitë e paqarta e shtyjnë modelin në halucinacione; Jepni gabimin e plotë, gjurmimin dhe hyrjen.
- Duke u mbyllur në hipotezën e parë. Sugjerimi i parë i AI mund të mos jetë më i mundshmi; Filloni me hipotezën më të lirë të kontrollueshme.
- Përmirësimi i simptomave dhe mungesa e shkakut rrënjësor. Gabimi i heshtur kthehet.
- Mbyllja e rregullimit pa e verifikuar atë. Shihni në gjendje të ngjashme me prodhimin që gabimi në të vërtetë zhduket.
- Mos shkrimi i testeve të regresionit. Nëse nuk shtohen teste, i njëjti gabim do të kthehet në heshtje në versionet e mëvonshme.
Në përmbledhje
Në korrigjimin e gabimeve, fuqia e AI është drejtpërdrejt proporcionale me provat që ju i jepni: pa mesazhin e plotë të gabimit, gjurmën e stivës, hyrjen e nxitjes dhe sjelljen e pritshme, modeli thjesht spekulon. Rrjedha e disiplinuar - sqarimi i simptomave, mbledhja e dëshmive, gjenerimi i hipotezave, testimi me kontrollin më të lirë, rregullimi i shkakut rrënjësor, verifikimi dhe shtimi i testimit të regresionit - e mbyll gabimin shpejt dhe përgjithmonë. AI është një gjenerues hipotezash; Ju jeni ai që vendos që problemi është zgjidhur në të vërtetë.
Detyra e aplikimit
Zgjidhni një defekt të vërtetë që keni hasur kohët e fundit (ose riprodhoni një gabim provë). Kryeni fillimisht hapin e "riprodhimit minimal"; Hiq kodin dhe hyrjen më të vogël që shkakton gabimin. Më pas merrni 3 shkaqe të mundshme dhe metoda testimi nga AI me shabllonin "gjenerimi i hipotezave të bazuara në prova". Testoni vetë hipotezën më të lirë, gjeni shkakun rrënjësor, rregulloni atë dhe në fund shkruani një test regresioni që do ta kapë këtë gabim në të ardhmen dhe do të verifikojë nëse testi është në të vërtetë i prishur.
listë kontrolli
- [ ] Unë e zvogëloj gabimin në mostrën më të vogël të riprodhueshme përpara se ta transferoj në AI.
- [ ] Po shtoj mesazhin e plotë të gabimit, gjurmën e stivës, hyrjen dhe sjelljen e pritur në prompt.
- [ ] Filloj me atë më të lirë të kontrollueshme, pa u mbyllur në një hipotezë të vetme.
- [ ] Unë verifikoj që e kam zgjidhur shkakun rrënjësor në vend që ta korrigjoj simptomën.
- [ ] Unë vërej se rregullimi në të vërtetë rregullon defektin.
- [ ] Unë shtoj një test regresioni për çdo gabim të zgjidhur.