Qazanclar:
- Qərəzin məlumatlardan (tarixi, təmsil, ölçmə, toplama) gəldiyini başa düşmək və alt qruplar əsasında modeli qiymətləndirmək yolu ilə gizli ayrı-seçkiliyi aşkar etmək bacarığı
- Model kartı ilə yüksək təsirli qərarlarda izahlılığı, insan nəzarətini və hesabatlılığı və sənəd şəffaflığını təmin etmək bacarığı
- Ən kiçik adekvat model, tez qısaltma, keş və partiya ilə keyfiyyətdən ödün vermədən maliyyə və ekoloji xərcləri idarə etmək bacarığı
Model texniki cəhətdən mükəmməl işləyə bilər, lakin yenə də səhv ola bilər - əgər bəzi insanlar üçün ədalətsizdirsə, izaholunmazdırsa və ya qeyri-davamlı xərclər yaradırsa. Bu bölmədə biz ML mühəndisliyinin üç "görünməz", lakin həlledici ölçülərini əhatə edirik: qərəz və ədalətlilik, etika və şəffaflıq, xərc və davamlılıq. Bunlar sonradan əlavə edilən bəzək əşyaları deyil, mühəndislik keyfiyyətinin tərkib hissələridir.
Qərəz haradan gəlir?
Modelin qərəzliliyi (modelin müəyyən qruplara sistemli şəkildə fərqli/ədalətsiz yanaşması) adətən modeldən deyil, verilənlərdən irəli gəlir. Mənbələr:
- Tarixi qərəz: Məlumat keçmiş ədalətsizliyi əks etdirir. Əgər konkret qrupa keçmişdə daha az kredit verilmişdirsə, bu məlumat əsasında təlim keçmiş model bu ayrı-seçkiliyi öyrənəcək və davam etdirəcək.
- Nümayəndəliyin qərəzliliyi: Bəzi qruplar məlumatlarda az təmsil olunur; model onlar üçün zəif işləyir (məsələn, kiçik bir demoqrafik nümunədə aşağı dəqiqlik).
- Ölçmə qərəzi: Etiketlərin özləri qərəzlidir (məsələn, “yaxşı işçi” tərifi keçmiş yüksəliş qərarlarına əsaslanırsa).
- Toplama qərəzi: Məlumatlar müəyyən bir kanaldan gəldiyi üçün kainatı təmsil etmir.
Model təkcə bu qərəzləri öyrənmir; avtomatlaşdıraraq genişlənir. Bir insanın qərəzli qərarı digərinə təsir edir; Qərəzli modelin hökmü milyonlarladır.
Diqqət: "Model neytraldır, çünki bu, sadəcə riyaziyyatdır" demək kimi səhvə qapılmayın. Model məlumatlarda insan meylini öyrənir və avtomatlaşdırır. Neytrallıq defolt deyil, ölçülməli və təmin edilməli olan nəticədir.
ədalətin ölçülməsi
Ədaləti idarə etmək üçün ilk növbədə onu ölçmək lazımdır. Bunu etmək üçün modeli alt qrup əsasında qiymətləndirin: müxtəlif demoqrafik qruplar üzrə dəqiqlik, geri çağırma, yanlış müsbət nisbət kimi göstəricilər bərabərdirmi? Ədalətin bir neçə anlayışı:
- Qrup ədalətliliyi: Model müxtəlif qruplara oxşar nisbətlərdə düzgün/yanlış yanaşırmı?
- İmkanların bərabərliyi: Model bütün qruplarda həqiqətən müsbət olanları bərabər şəkildə əhatə edirmi (bərabər geri çağırma)?
Vacib fakt: ədalətin müxtəlif tərifləri eyni vaxtda təmin olunmaya bilər (bu, riyazi nəticədir). Bu kontekstdə ədalətin hansı tərifinin üstünlük təşkil etməsi texniki deyil, etik və işgüzar qərardır və maraqlı tərəflərlə birlikdə qəbul edilir.
Zəif yanaşma / Güclü yanaşma
Zəif: “Modelin ümumi dəqiqliyi 88% təşkil edir, bu, ədalətlidir”.
Güçlü: "Ümumi dəqiqlik 88% idi, lakin biz onu alt qruplara ayırdığımız zaman geri çağırma bir qrupda 91%, digər qrupda isə 67% idi — model sistematik olaraq həmin qrupda yox idi. Səbəbini sənədləşdirdik (təmsil edilməməsi), həmin qrup üçün məlumat topladıq və ədalətli geri çağırma məqsədi ilə hansının prioritet olacağına qərar verdik."
Fərq: güclü yanaşma ümumi metrikanın arxasında gizlənmir, alt qrupları ayırır və ədalətə açıq qərar kimi yanaşır.
Etika və şəffaflıq
Məsul AI-nin əsas prinsipləri bunlardır:
- İzahlılıq: Modelin niyə belə qərar verdiyini izah etmək olarmı? Yüksək təsirli qərarlarda (kredit, işə qəbul, səhiyyə) izahat almaq hüququ vardır. İzah olunmayan model bu sahələrdə istifadə edilməməli və ya izah edilə bilən bir üsulla dəstəklənməlidir.
- İnsan nəzarəti: Yüksək təsirli qərarlar avtomatik qəbul edilməməlidir; Model təklif edir, insan təsdiqləyir.
- Hesabatlılıq: Model səhv etdikdə kimin məsuliyyət daşıdığı aydın olmalıdır. “Model qərar verdi” bəhanə deyil.
- Şəffaflıq: İstifadəçi süni intellektlə qarşılıqlı əlaqədə olduqlarını və məlumatlarının necə istifadə edildiyini bilməlidir.
Bir çox ölkələrdə və sektorlarda bu prinsiplər qanunvericiliyə də daxil edilmişdir (yüksək riskli AI sistemləri üçün şəffaflıq, audit və insan nəzarəti öhdəlikləri). Mühəndis öz sahəsinin qaydalarını bilməyə cavabdehdir.
İpucu: Hər bir yüksək təsirə malik model üçün "model kartı" saxlayın: model nə edir, hansı data üzərində təlim keçib, hansı qruplarda nə qədər yaxşı/zəif işləyir, onun məlum məhdudiyyətləri nədir. Bu sənəd həm şəffaflıq, həm də hesabatlılıq vasitəsidir.
Xərc və davamlılıq
AI ucuz deyil. Xərclər iki ölçüdə idarə olunur:
Maliyyə dəyəri:
- Token dəyəri (LLM): Hər sorğu və cavab xərcləri token; Həcmi artdıqca hesab da artır. Lazımsız uzun sorğular, həddindən artıq böyük model seçimi və nəzarətsiz agent döngələri (vahid 5) xərcləri artırır.
- Təlim və hostinq: İncə tənzimləmə və model təqdimatı aparat xərclərinə səbəb olur.
- Optimallaşdırma: Kiçik bir model kifayətdirsə, böyük modeldən istifadə etməyin; önbelleğe tez-tez verilən suallar; əmri qısaltmaq; Emal edilə bilənləri yığın.
Ətraf mühitin dəyəri: Böyük model təlimi və nəticə çıxarmaq əhəmiyyətli enerji sərf edir. Davamlılıq lazımsız hesablamalardan (düzgün ölçü modeli, səmərəli arxitektura) qaçmağı peşəkar məsuliyyətə çevirir.
İpucu: Xərclərin optimallaşdırılmasının birinci qaydası: "Bu iş üçün ən kiçik adekvat model hansıdır?" Ən güclü modeli hər yerə qoymaq, mismarı balyozla döymək kimidir - bahalı və lazımsız.
üç mini qutu
1-ci hal - Gizli ayrı-seçkilik. İşə qəbul seçiminin modeli ümumilikdə yaxşı görünürdü. Alt qrup təhlili müəyyən etdi ki, model sistematik olaraq qadın namizədləri vurğulayır, çünki tarixi məlumatlar kişilərin üstünlük təşkil etdiyinə görə - o, tarixi qərəzliyi öyrənmişdir. Model dayandırıldı, məlumat balanslaşdırıldı və ədalətlilik göstəriciləri izlənildi. Ümumi salehlik gizli ayrı-seçkiliyi ört-basdır etdi.
2-ci hal - Səbəbsiz rədd. Kredit modeli müraciətləri rədd edirdi, lakin heç kim bunun səbəbini izah edə bilmədi. Müştəri hüquqi izahat tələb etdikdə komanda cavab verə bilməyib. Model izah edilə bilən metod əlavə edilənə və hər bir rədd cavabı üçün əsaslandırılana qədər yüksək təsirli qərarlarda istifadədən çıxarıldı. Dərs: izahlılıq yüksək təsirli qərar qəbul etmək üçün vacibdir.
Case 3 - Bill şoku. Bir komanda hər sorğu üçün ən böyük LLM və çox uzun sorğulardan istifadə edirdi. Aylıq hesab gözlənilmədən artıb. Təhlildən sonra: sorğuların əksəriyyəti kiçik bir modellə həll edilə bilər, göstərişlərin yarısı lazımsız idi və tez-tez verilən suallar keşdə saxlanıla bilər. Bu üç optimallaşdırma keyfiyyətə xələl gətirmədən xərcləri əhəmiyyətli dərəcədə azaldıb. Dərs: ən güclü model hər yerdə lazım deyil.
Kopyalana bilən şablonlar
Bu modeli qərəz/ədalət baxımından qiymətləndirməyə kömək edin. Hansı alt qrupları (demoqrafik/seqment) bölməli və ölçməliyəm? Hansı ölçüləri (dəqiqlik, geri çağırma, qrup üzrə yanlış müsbət nisbət) müqayisə etməliyəm? Ədalətin fərqli tərifləri ziddiyyət təşkil edə bilərmi, hansını bu kontekstdə prioritet etməliyəm və niyə? Model/qərar konteksti: [izahat]
Bu yüksək təsirli model üçün qaralama model kartı hazırlayın. Buraya aşağıdakılar daxil edilməlidir: məqsəd, təlim məlumatları və tarix, alt qruplarda performans, məlum məhdudiyyətlər, uyğun/uyğun olmayan istifadə, izah oluna bilən status, insan nəzarəti nöqtəsi. Model: [təsvir]
Keyfiyyətə xələl gətirmədən bu LLM tətbiqinin dəyərini azaltmağa kömək edin.Mövcuddur: model ölçüsü, orta sorğu uzunluğu, sorğunun həcmi, keş varmı?Qiymətləndirin:1) Daha kiçik model kifayətdirmi (hansı tapşırıqlar üçün)?2) Sorğu qısaldıla bilərmi?3) Tez-tez edilən sorğular keşləşdirilə bilərmi?4) Hər bir partiyanın təsiri üçün iş varmı?Təklif yazın.
Bu yüksək təsirli qərar sistemi üçün etika/məsuliyyət yoxlama siyahısı hazırlayın.- İzahlılıq: qərarın əsaslandırılması hazırlana bilərmi?- İnsan nəzarəti: yüksək təsirli qərar təsdiq edilməlidirmi?- Hesabatlılıq: səhv baş verdikdə kim cavabdehlik daşıyır?- Şəffaflıq: istifadəçi süni intellektdən istifadə edildiyini bilirmi?- Tənzimləmə: hüquqi öhdəliklər hansılardır?
Qərəz mənbə cədvəli
Mənbə
simptom
ehtiyat
tarixi qərəz
Keçmiş ayrı-seçkilik davam edir
Məlumat auditi + ədalət metrikası
təmsilçilik meyli
Kiçik nümunə qrupunda aşağı dəqiqlik
Alt qrup təhlili + balanslaşdırma
ölçmə meyli
qərəzli etiketlər
Etiket prosesinin nəzərdən keçirilməsi
Aqreqasiya meyli
Kainat təmsil olunmur
Resursların diversifikasiyası
Ümumi səhvlər
- Ümumi metrikaya əsaslanaraq. Gizli ayrı-seçkilik alt qrup təhlili olmadan görünə bilməz.
- "Model neytral" fərz etsək. Model məlumatlarda qərəzliyi öyrənir və gücləndirir.
- Yüksək təsirli qərarı izah olunmayan modelə buraxın. Hüquqi və etik risk.
- İnsan nəzarətindən yan keçmək. “Model qərar verdi” bəhanə deyil.
- Ən böyük modeli hər yerdə yerləşdirmək. Lazımsız xərclər və enerji.
- Xərc izləmir. Hesab səssizcə şişir.
Xülasə
Texniki cəhətdən düzgün model ədalətli, izah edilə bilən və davamlı deyilsə, yenə də uğursuzluqdur. Qərəz əsasən məlumatlardan gəlir və model onu miqyasda böyüdür; Ədalətliliyi alt qruplar üzrə ölçün və ədalətliliyin hansı tərifinə üstünlük veriləcəyini maraqlı tərəflərlə razılaşdırın. Yüksək təsirli qərarlarda izahat, insan nəzarəti və hesabatlılıq vacibdir; Model kartı ilə sənəd şəffaflığı. Xərcləri və enerjini idarə edin: ən kiçik adekvat modeli seçin, tezliyi qısaldın, keş və partiyadan istifadə edin. Bu ölçülər mühəndislik keyfiyyətinin ayrılmaz hissəsidir, sonradan əlavə edilən fırfırlar deyil.
Tətbiq tapşırığı
Modeli ən azı iki alt qrupa bölün və qrup əsasında geri çağırma və yanlış müsbət nisbəti müqayisə edin; Əhəmiyyətli fərq varsa, səbəbini və ehtiyat tədbirini yazın. Yüksək təsirli model üçün qısa bir model kartı hazırlayın (məqsəd, məlumat, alt qrup performansı, sərhədlər, izahat). LLM-nin həyata keçirilməsi xərclərini azaltmaq və onların təxmin edilən təsirini yazmaq üçün ən azı iki konkret optimallaşdırma (minimum / tez kəsilmə / keş / toplu) müəyyən edin.
yoxlama siyahısı
- [ ] Mən modeli alt qruplar əsasında qiymətləndirdim, ümumi metrikaya etibar etmədim.
- [ ] Mən maraqlı tərəflərlə ədalətin hansı tərifinə üstünlük verəcəyimə qərar verdim.
- [ ] Yüksək təsirli qərar izah edilə bilər və insanların təsdiqinə tabedir.
- [ ] Şəffaflığı və sərhədləri naxış kartı ilə sənədləşdirdim.
- [ ] Mən ən kiçik adekvat modeli seçdim; Mən təklif/keş/topu optimallaşdırdım.
- [ ] Mən xərclərə və enerji təsirinə nəzarət edirəm.