Qazanclar:
- Bir səhvi ən kiçik təkrarlana bilən nümunəyə endirmək və tam sübutla onu AI-yə köçürmək bacarığı
- Ən ucuz nəzarət ilə sübuta əsaslanan fərziyyələri sınamaq və əsas səbəbi tapmaq bacarığı
- Əsas səbəbi həll etmək və simptomu yamaqdansa, reqressiya testi ilə təmin etmək bacarığı
Sazlama proqram təminatının niyə gözlənilmədən davrandığını öyrənmək və onu düzəltmək prosesidir. Bu, tərtibatçının ən çox vaxt sərf etdiyi və ən çox yorulduğu işdir; Çünki çox vaxt səhv göründüyü yerdə deyil, bir neçə addım arxada gizlənir. Süni intellekt bu tədqiqatı sürətləndirən güclü düşünən tərəfdaşdır – ancaq ona düzgün dəlil versəniz. Süni intellektin ən çox halüsinasiyalar yaratdığı sahə sübut olmadan sazlamadır.
Bu bölmədə biz səhvi yaratmaqdan kök səbəbə çatmağa qədər nizamlı bir axın qururuq: simptomun aydınlaşdırılması, sübutların toplanması (səhv mesajı, yığın izi, jurnal, giriş), fərziyyə yaratmaq, fərziyyəni yoxlamaq və düzəlişi təsdiqləmək. AI hər addımda kömək edir; lakin "sabit" qərar, səhvin əslində aradan qalxdığını görərək verilir.
Niyə sübut hər şeydir?
LLM səhvi sizin etdiyiniz kimi görmür; O, yalnız ona nə dediyinizi bilir. "Tətbiq qəzaya uğradı" kimi bir cümlə modelə demək olar ki, heç bir məlumat vermir və model boşluqları bir proqnozla, yəni halüsinasiya ilə doldurur. Öz növbəsində, tam xəta mesajı, stek izi — hansı funksiyanın xətanın baş verdiyini çağıran bölgüsü, xətaya səbəb olan giriş və gözlənilənlər və s. Müşahidə olunan davranışı nəzərə alaraq, model həqiqi ehtimalları sıralaya bilər.
Sazlama zamanı AI-ni bir detektivin köməkçisi kimi düşünün: nə qədər çox sübut təqdim etsəniz, onun yaratdığı fərziyyə bir o qədər dəqiq olar. Heç bir sübut yoxdursa, köməkçi yalnız təxmin edəcək və sizi yanlış yola apara bilər.
İpucu: Bir səhvi AI-yə köçürməzdən əvvəl onu ən kiçik təkrarlana bilən nümunəyə endirin. Xətanı tetikleyen ən kiçik kod və giriş həm sizin, həm də model üçün işləri kökündən asanlaşdırır; çox vaxt bu azalma zamanı səbəbi özünüz tapırsınız.
Addım-addım: Kök Səbəb Analizi axını
- Semptomu aydınlaşdırın. "Nə baş verir, nə olacağını gözləyirdin?" İkisini bir cümlə ilə yazın.
- Sübut toplayın. Tam xəta mesajı, yığın izi, müvafiq log xətləri, tetikleyici giriş, versiya məlumatı.
- Hipotezi yaradın. AI-dən "Bu simptomu izah edən 3 mümkün səbəb və hər biri üçün necə test edə bilərəm?" soruş.
- Əvvəlcə ən ucuz hipotezi yoxlayın. Günlük əlavə edin, dəyəri çap edin, test edin. Sübutlar fərziyyəni təsdiq edirmi?
- Semptomu deyil, kök səbəbini həll edin. Simptomu bir yamaq ilə susdurmaq əvəzinə, kök səbəbi həll edin.
- Reqressiya testini təsdiqləyin və əlavə edin. Xətanın yox olmasına baxın; Sonra həmin səhvi tutacaq bir test yazın ki, geri qayıtmasın.
Üç mini qutu
Case 1 - Yığın izi düzgün fayla gətirib çıxardı. Tətbiq müəyyən sorğularda 500 xətası qaytarırdı. Tərtibatçı süni intellektə tam stack izini və tetikleme sorğusu verdi; Model səhvin tarix təhlili qatında None dəyərinin səbəb olduğunu fərz etdi. Tərtibatçı həmin xəttə bir jurnal əlavə etdi, onu yoxladı və 15 dəqiqə ərzində həll etdi; Sübut edilməmiş təcrübələrlə bir gün əvvəl 2 saat boş yerə sərf olundu.
2-ci hal - Halüsinasiya yanlış yola gətirib çıxardı. Başqa bir tərtibatçı sadəcə olaraq "verilənlər bazası bağlantısı kəsilir" yazdı. Süni intellekt heç bir sübut olmadan bir əlaqə hovuzunun qurulmasını ittiham etdi; Tərtibatçı bu parametrlə məşğul olmağa 40 dəqiqə sərf etdi. Əsl səbəb şəbəkə tərəfində vaxt aşımı idi və yalnız qeydlərə baxmaqla aşkar edilmişdir. Dərs: sübut olmadan qəbul edilən fərziyyə yalnız ehtimaldır, etibarlı deyil.
3-cü hal - Qıvrımlı xəta tutuldu. Bəzən uğursuz olan bir sınaq var idi. AI-yə test kodu, uğursuzluq mesajı və "bəzən keçir, bəzən uğursuz olur" məlumatı verildi; model testlərin paylaşılan vaxt/sifariş asılılığını göstərdi. Baxış, testin sistemin yerli vaxtına əsaslandığını təsdiqlədi. Saat düzəldildikdən (lağa qoyulduqdan sonra) test sabitləşdi.
Dörd Kopyalana bilən Şablon
Sübut əsaslı hipotezin yaradılması:
Mən səhvi aradan qaldırıram. Aşağıdakı sübutlar.- Gözlənilən davranış: {{gözlənilən}}- Müşahidə olunan davranış: {{müşahidə edilən}}- Xəta mesajı / yığın izi: {{trace}}- Tətikləmə daxiletmə: {{giriş}}- Mühit/versiya: {{versiya}}Bu simptomu izah edən 3 ƏN OLUNAN kök səbəbləri sadalayın. Hər biri üçün: necə test edə bilərəm (ən ucuz yoxlama) və doğrudursa, onu necə düzəltmək olar. Əgər sübut kifayət deyilsə, mənə hansı əlavə məlumat lazım olduğunu deyin.
Yığın izinin şərh edilməsi:
Bu yığın izini oxuyun. Hansı sətirdən (kökdən) səhvin başlandığını və hansı xətlərin zəncirin yalnız davamı olduğunu ayırd edin. Əvvəlcə baxmaq üçün 1-2 yer təklif edin. Əlaqədar kod:{{code}}İz:{{trace}}
Minimum təkrar çıxma:
Aşağıdakı kod xəta yaradır. Onu hələ də xətanı tetikleyen, lakin lazımsız hər hansı bir şeyi rədd edən ən kiçik nümunəyə qədər azaldın. Çıxardığınız hər bir parçanın xətaya təsir etmədiyini düşünməyin, ancaq "bunu sildiyiniz zaman xəta aradan qalxarsa, buna görədir" deyə qeyd əlavə edin.{{code}}
Düzəlişdən sonrakı doğrulama və reqressiya testi:
Fərz edək ki, əsas səbəb {{cause}} və mən aşağıdakı düzəlişi edirəm: {{fix}}.1) Bu düzəliş həqiqətən simptomu düzəldirmi, onun hər hansı yan təsiri olacaqmı?2) Gələcəkdə bu səhvi tutacaq reqressiya testi yazın.
Zəif məlumat / Güclü göstəriş
Zəif: "Kod işləmir, niyə?"
Güclü: "Node 20 / Express. POST /sifarişlər elementlər bədəndə boş bir sətir olduqda 500 qaytarır; 400 qaytarmalı idi. Yığın izi: TypeError: Müəyyən edilməmiş xüsusiyyətləri oxumaq mümkün deyil ("0" oxunur) - tam iz və əlaqəli işləyici əlavə edilmişdir. Bunun ən çox ehtimal olunan 3 testi və hər bir testin səbəbini izah edin. + kod]"
Güclü versiya; O, ətraf mühiti, son nöqtəni, tetikleyici girişini, dəqiq səhv tipini və gözlənilən davranışı verir. Model artıq proqnozlar deyil, təhlil edə bilər.
addım
AI-nin töhfəsi
sənin nəzarətin
sübutların toplanması
Nə dəlil lazım olduğunu xatırladır
Həqiqətən dəlil toplayır
hipotezin yaranması
Mümkün səbəbləri sadalayın
Kontekstlə prioritetləşdirir
hipotez testi
Test üsulunu tövsiyə edir
Şəxsən fəaliyyət göstərir və müşahidə edir
korreksiya
yamaq tövsiyə edir
Kök səbəbi həll edirmi? Bu doğrudur.
reqressiya
test yazır
Testin pozulduğunu yoxlayır
Semptomu deyil, kök səbəbini həll etmək
Çox vaxt süni intellekt simptomu tez susduran yamaq təklif edəcək: cəhd/tutmaq əlavə edin, sıfır yoxlayın, xətanı udun. Bu bəzən doğrudur, çox vaxt təhlükəlidir; çünki ilkin səbəb yerində qalır və başqa yerdən yenidən püskürür. Hər bir düzəlişlə özünüzdən soruşun: "Bu, xətanın səbəbini həll edir, yoxsa onu görünməz edir?" Kök səbəbi tapdıqdan sonra düzəliş adətən daha kiçik, daha möhkəm və qalıcı olur.
Diqqət: İstisnanın səssizcə udulması (boş tutma) səhvi həll etmir; o, sadəcə olaraq gizlədir və gələcək diaqnozu qeyri-mümkün edir. Əgər süni intellekt belə bir “həll” təklif edirsə, əsas səbəbi sorğulamadan onu qəbul etməyin.
Ümumi səhvlər
- Sübutsuz sual vermək. Birmənalı olmayan cümlələr modeli hallüsinasiyaya itələyir; Tam xəta, iz və daxiletmə verin.
- Birinci fərziyyəyə bağlanmaq. Süni intellektin ilk təklifi çox güman olmaya bilər; Ən ucuz idarə olunan fərziyyə ilə başlayın.
- Simptomun aradan qaldırılması və kök səbəbinin aradan qaldırılması. Susdurulmuş xəta geri qayıdır.
- Təsdiq etmədən düzəlişin bağlanması. İstehsal vəziyyətində səhvin əslində yox olduğunu görün.
- Reqressiya testləri yazmamaq. Heç bir test əlavə edilmədikdə, eyni xəta sonrakı versiyalarda səssizcə qayıdacaq.
Xülasə
Sazlama zamanı AI-nin gücü ona verdiyiniz sübutlarla birbaşa mütənasibdir: tam səhv mesajı, yığın izi, tetikleyici giriş və gözlənilən davranış olmadan, model sadəcə spekulyasiya edir. İntizamlı axın - simptomu aydınlaşdırın, sübut toplayın, fərziyyə yaradın, ən ucuz nəzarətlə sınaqdan keçirin, kök səbəbi düzəldin, yoxlayın və reqressiya testi əlavə edin - səhvi həm tez, həm də daimi olaraq bağlayır. AI bir fərziyyə generatorudur; Səhvlərin əslində həll olunduğuna qərar verən sizsiniz.
Tətbiq tapşırığı
Bu yaxınlarda qarşılaşdığınız real səhvi seçin (və ya sınaq səhvini təkrarlayın). Əvvəlcə "minimum reproduksiya" addımını edin; Xətanı tetikleyen ən kiçik kodu və girişi çıxarın. Sonra “sübut əsaslı fərziyyə yaratmaq” şablonu ilə AI-dən 3 mümkün səbəb və sınaq üsullarını əldə edin. Ən ucuz fərziyyəni özünüz yoxlayın, kök səbəbini tapın, düzəldin və nəhayət, gələcəkdə bu səhvi tutacaq və testin həqiqətən pozulduğunu təsdiq edəcək bir reqressiya testi yazın.
yoxlama siyahısı
- [ ] Mən onu AI-yə köçürməzdən əvvəl səhvi ən kiçik təkrarlana bilən nümunəyə qədər azaldıram.
- [ ] Mən sorğuya tam xəta mesajı, yığın izi, daxiletmə və gözlənilən davranışı əlavə edirəm.
- [ ] Mən tək bir fərziyyəyə bağlanmadan ən ucuz idarə olunandan başlayıram.
- [ ] Simptomu yamaqdansa, əsas səbəbi həll etdiyimi təsdiq edirəm.
- [ ] Müşahidə edirəm ki, düzəliş həqiqətən səhvi düzəldir.
- [ ] Hər həll edilmiş səhv üçün reqressiya testi əlavə edirəm.