Câștiguri:
- Abilitatea de a detecta discriminarea ascunsă prin înțelegerea faptului că părtinirea provine din date (istorice, reprezentative, de măsurare, agregare) și evaluând modelul pe baza subgrupurilor
- Abilitatea de a oferi explicabilitate, supraveghere umană și responsabilitate în decizii cu impact ridicat și transparență a documentelor cu un card model
- Abilitatea de a gestiona costurile financiare și de mediu fără a compromite calitatea cu cel mai mic model adecvat, scurtare promptă, cache și lot
Un model poate funcționa perfect din punct de vedere tehnic, dar totuși să fie greșit – dacă este nedrept pentru unii oameni, inexplicabil sau produce costuri nesustenabile. În această unitate, acoperim trei dimensiuni „invizibile”, dar decisive ale ingineriei ML: părtinire și corectitudine, etică și transparență, cost și durabilitate. Acestea nu sunt ornamente adăugate mai târziu, ci părți integrante ale calității inginerești.
De unde vine prejudecata?
Prejudecățile modelului (tratarea sistematică de către model a anumitor grupuri în mod diferit/nedrept) provine de obicei din date, nu din model. Surse:
- Prejudecăți istorice: datele reflectă nedreptatea trecută. Dacă unui anumit grup i s-a acordat mai puțin credit în trecut, modelul instruit pe acele date va învăța și va perpetua această discriminare.
- Prejudecăți de reprezentare: Unele grupuri sunt subreprezentate în date; modelul are performanțe slabe pentru ei (de exemplu, precizie scăzută într-un eșantion demografic mic).
- Prejudecăți de măsurare: etichetele în sine sunt părtinitoare (de exemplu, dacă definiția unui „angajat bun” se bazează pe deciziile anterioare de promovare).
- Prejudecăți de agregare: deoarece datele provin de la un anumit canal, nu sunt reprezentative pentru univers.
Modelul nu doar învață aceste părtiniri; se extinde prin automatizarea acestuia. Decizia părtinitoare a unei persoane afectează o altă persoană; Verdictul unui model părtinitor este de milioane.
Atenție: nu cădeți în greșeala de a spune „modelul este neutru pentru că este doar matematică”. Modelul învață și automatizează părtinirea umană în date. Neutralitatea nu este un implicit, ci un rezultat care trebuie măsurat și asigurat.
măsurarea dreptății
Pentru a gestiona justiția, este necesar să o măsori mai întâi. Pentru a face acest lucru, evaluați modelul pe bază de subgrup: sunt metrici precum acuratețea, reamintirea, rata fals pozitive egale în diferite grupuri demografice? Câteva concepte de justiție:
- Corectitudinea grupului: Modelul tratează diferite grupuri corect/incorect la rate similare?
- Egalitatea de șanse: modelul le surprinde pe cele cu adevărat pozitive în mod egal în toate grupurile (reamintire egală)?
Fapt important: este posibil ca diferite definiții ale justiției să nu fie satisfăcute în același timp (aceasta este o consecință matematică). Definiția justiției care are prioritate în acest context este o decizie etică și de afaceri, nu una tehnică și se face împreună cu părțile interesate.
Abordare slabă / Abordare puternică
Slab: „Precizia generală a modelului este de 88%, ceea ce este corect”.
Güçlü: „Acuratețea totală a fost de 88%, dar când am împărțit-o în subgrupe, reamintirea a fost de 91% într-un grup și 67% într-un alt grup — modelul lipsea în mod sistematic acelui grup. Am documentat motivul (lipsa reprezentării), am colectat date pentru acel grup și le-am reevaluat cu definiția egală a părților interesate, cu obiectivul de corectitudine.
Diferența: abordarea puternică nu se ascunde în spatele metricii generale, ea separă subgrupurile și tratează corectitudinea ca pe o decizie deschisă.
Etica și transparența
Principiile de bază ale IA responsabilă sunt:
- Explicabilitate: Se poate explica de ce modelul a luat această decizie? În deciziile de mare impact (credit, angajare, asistență medicală) cineva are dreptul la o explicație. Modelul neexplicat nu trebuie utilizat în aceste domenii sau ar trebui să fie susținut de o metodă explicabilă.
- Supravegherea umană: deciziile cu impact ridicat nu ar trebui luate automat; Modelul sugerează, omul confirmă.
- Responsabilitate: Ar trebui să fie clar cine este responsabil atunci când modelul face o eroare. „Modelul a decis” nu este o scuză.
- Transparență: utilizatorul ar trebui să știe că interacționează cu o IA și cum sunt utilizate datele sale.
În multe țări și sectoare, aceste principii sunt, de asemenea, încorporate în legislație (obligații de transparență, audit și supraveghere umană pentru sistemele AI cu risc ridicat). Inginerul este responsabil pentru cunoașterea reglementărilor domeniului său.
Sfat: Păstrați o „fișă de model” pentru fiecare model de mare impact: ce face modelul, ce date a fost instruit, cât de bine/prost funcționează în ce grupuri, care sunt limitele cunoscute. Acest document este atât un instrument de transparență, cât și de responsabilitate.
Cost și durabilitate
AI nu este ieftin. Costul este gestionat în două dimensiuni:
Cost financiar:
- Costul simbolului (LLM): Fiecare cerere și răspuns costă simboluri; Pe măsură ce volumul crește, factura crește. Solicitările inutil de lungi, selecția de modele prea mare și buclele de agenți necontrolate (unitatea 5) măresc costul.
- Instruire și găzduire: Reglajul fin și prezentarea modelului implică costuri hardware.
- Optimizare: Nu folosiți un model mare dacă este suficient un model mic; cache întrebări frecvente; scurtarea promptului; Lot ce poate fi procesat.
Costul mediului: antrenamentul și inferența modelelor mari consumă energie semnificativă. Sustenabilitatea face ca evitarea calculelor inutile (model de dimensiune corectă, arhitectură eficientă) să devină o responsabilitate profesională.
Sfat: Prima regulă de optimizare a costurilor: „Care este cel mai mic model adecvat pentru acest loc de muncă?” A pune peste tot cel mai puternic model este ca și cum ai bătu un cui cu un baros - costisitor și inutil.
trei mini cutii
Cazul 1 - Discriminare ascunsă. Un model de screening de recrutare a arătat bine în general. Analiza subgrupurilor a constatat că modelul a subliniat în mod sistematic candidații de sex feminin, deoarece datele istorice erau dominate de bărbați – a învățat părtinire istorică. Modelul a fost oprit, datele echilibrate și valorile de corectitudine monitorizate. Dreptatea generală a acoperit discriminarea ascunsă.
Cazul 2 - Respingere inexplicabilă. Un model de credit respingea cererile, dar nimeni nu putea explica de ce. Când un client a solicitat clarificări juridice, echipa nu a putut răspunde. Modelul a fost retras din utilizarea în deciziile cu impact ridicat până când a fost adăugată o metodă explicabilă și a fost produsă justificarea pentru fiecare respingere. Lecție: explicabilitatea este esențială în luarea deciziilor cu impact ridicat.
Cazul 3 - Bill șoc. O echipă folosea cel mai mare LLM și solicitări foarte lungi pentru fiecare cerere. Factura lunară a crescut în mod neașteptat. Analiză ulterioară: majoritatea solicitărilor puteau fi rezolvate cu un model mic, jumătate dintre solicitări au fost redundante și întrebările frecvente puteau fi stocate în cache. Aceste trei optimizări au redus semnificativ costul, fără a compromite calitatea. Lecție: cel mai puternic model nu este necesar peste tot.
Șabloane copiabile
Ajutați-mă să evaluez acest model pentru părtinire/echitate. Ce subgrupuri (demografice/segment) ar trebui să împart și să măsoare? Ce valori (acuratețe, reamintire, rata fals pozitive pe grup) ar trebui să compar? Pot intra în conflict diferite definiții ale corectitudinii, pe care ar trebui să le acord prioritate în acest context și de ce? Model/context de decizie: [explicație]
Produceți o schiță de card de model pentru acest model de mare impact. Ar trebui să includă: scopul, datele și data antrenamentului, performanța în subgrupe, limitele cunoscute, utilizarea adecvată/nepotrivită, starea de explicabilitate, punctul de supraveghere umană. Model: [descriere]
Ajutați-mă să reduc costul acestei implementări LLM, fără a compromite calitatea. Disponibil: dimensiunea modelului, lungimea medie a promptului, volumul solicitărilor, există cache? Evaluați:1) Este suficient modelul mai mic (pentru ce sarcini)?2) Promptul poate fi scurtat?3) Pot fi stocate în cache solicitările frecvente?4) Există lucrări disponibile pentru lot? Notați impactul estimat al fiecărei sugestii.
Produceți o listă de verificare a eticii/responsabilității pentru acest sistem de decizie cu impact mare.- Explicabilitate: poate fi produsă justificarea deciziei?- Supraveghere umană: decizia cu impact mare este supusă aprobării?- Responsabilitate: cine este responsabil în caz de eroare?- Transparență: știe utilizatorul că se folosește IA?- Regulament: care sunt obligațiile legale implicate? Sistem: [descriere]
Tabel sursă de părtinire
Sursa
simptom
precauție
părtinire istorică
Discriminarea din trecut continuă
Auditul datelor + metrica corectitudinii
părtinire de reprezentare
Precizie scăzută în grupul mic de eșantion
Analiza subgrupului + echilibrare
bias de măsurare
etichete părtinitoare
Revizuirea procesului de etichetare
Prejudecata de agregare
Universul nu este reprezentat
Diversificarea resurselor
Greșeli comune
- Bazându-se pe metrica generală. Discriminarea ascunsă nu poate fi văzută fără analiza de subgrup.
- Presupunând „model neutru”. Modelul învață și amplifică părtinirea datelor.
- Lăsând decizia cu impact ridicat în seama modelului inexplicabil. Risc juridic și etic.
- Ocolind supravegherea umană. „Modelul a decis” nu este o scuză.
- Punerea celui mai mare model peste tot. Costuri și energie inutile.
- Costul nu este de urmărire. Nota se umflă în tăcere.
Pe scurt
Un model tehnic corect este încă un eșec dacă nu este corect, explicabil și durabil. Prejudecățile provine în mare parte din date, iar modelul le mărește la scară; Măsurați corectitudinea pe subgrupuri și conveniți cu părțile interesate asupra definiției echității pe care să o acordați prioritate. Explicabilitatea, supravegherea umană și responsabilitatea sunt esențiale în deciziile cu impact ridicat; Transparența documentelor cu cardul model. Gestionați costurile și energia: alegeți cel mai mic model adecvat, scurtați promptul, utilizați memoria cache și lotul. Aceste dimensiuni sunt părți integrante ale calității inginerești, nu bibelouri adăugate mai târziu.
Sarcina de aplicare
Împărțiți un model în cel puțin două subgrupe și comparați rata de reamintire și de fals pozitive pe o bază de grup; Dacă există o diferență semnificativă, scrieți motivul și o precauție. Elaborați un scurt model de card pentru un model cu impact mare (scop, date, performanță subgrup, limite, explicabilitate). Identificați cel puțin două optimizări concrete (minim / trunchiere promptă / cache / lot) pentru a reduce costul implementării unui LLM și notați impactul estimat al acestora.
lista de verificare
- [ ] Am evaluat modelul pe baza subgrupurilor, nu m-am bazat pe metrica generală.
- [ ] Am decis împreună cu părțile interesate ce definiție a justiției voi acorda prioritate.
- [ ] Decizia cu impact ridicat este explicabilă și este supusă aprobării umane.
- [ ] Am documentat transparența și limitele cu cardul de model.
- [ ] Am ales cel mai mic model adecvat; Am optimizat prompt/cache/batch.
- [ ] Monitorizez costul și impactul energetic.