Nyereség:
- Képes a rejtett diszkrimináció észlelésére azáltal, hogy megérti, hogy az elfogultság adatokból (történeti, reprezentációs, mérési, összesítési) származik, és alcsoportok alapján értékeli a modellt
- Képes magyarázhatóságot, emberi felügyeletet és elszámoltathatóságot biztosítani a nagy hatású döntéseknél, valamint dokumentálni az átláthatóságot egy modellkártyával
- Képes kezelni a pénzügyi és környezeti költségeket a minőség feláldozása nélkül a legkisebb megfelelő modellel, azonnali rövidítéssel, gyorsítótárral és köteggel
Lehet, hogy egy modell műszakilag tökéletesen működik, de akkor is hibás – ha tisztességtelen néhány ember számára, megmagyarázhatatlan, vagy fenntarthatatlan költségekkel jár. Ebben az egységben az ML tervezés három „láthatatlan”, de meghatározó dimenzióját fedjük le: elfogultság és tisztesség, etika és átláthatóság, költség és fenntarthatóság. Ezek nem később hozzáadott díszek, hanem a mérnöki minőség szerves részei.
Honnan ered az előítélet?
A modell torzítása (a modell szisztematikus kezelése bizonyos csoportokkal eltérően/tisztességtelenül) általában az adatokból ered, nem a modellből. Források:
- Történelmi elfogultság: Az adatok a múlt igazságtalanságát tükrözik. Ha egy adott csoport a múltban kevesebb kreditet kapott, az ezen adatok alapján kiképzett modell megtanulja és állandósítja ezt a diszkriminációt.
- Reprezentációs torzítás: Egyes csoportok alulreprezentáltak az adatokban; a modell gyengén teljesít náluk (pl. alacsony a pontosság egy kis demográfiai mintán).
- Mérési elfogultság: Maguk a címkék elfogultak (például, ha a „jó alkalmazott” meghatározása korábbi előléptetési döntéseken alapul).
- Aggregációs torzítás: Mivel az adatok egy adott csatornából származnak, nem reprezentálják az univerzumot.
A modell nem csak megtanulja ezeket a torzításokat; automatizálásával skálázódik. Egy személy elfogult döntése hatással van egy másik személyre; Az elfogult modell ítélete milliók.
Vigyázat: Ne essen abba a hibába, hogy „a modell semleges, mert csak matematika”. A modell megtanulja és automatizálja az adatok emberi torzítását. A semlegesség nem alapértelmezés, hanem eredmény, amelyet mérni kell és biztosítani kell.
az igazságosság mérése
Az igazságszolgáltatáshoz először mérni kell azt. Ehhez értékelje ki a modellt alcsoportonként: az olyan mérőszámok, mint a pontosság, felidézés, téves pozitív arány, azonosak-e a különböző demográfiai csoportokban? Az igazságosság néhány fogalma:
- Csoport méltányosság: A modell különböző csoportokat helyesen/helytelenül, hasonló arányban kezel?
- Esélyegyenlőség: A modell minden csoportban egyformán ragadja meg az igazán pozitívakat (egyenlő visszaemlékezés)?
Fontos tény: előfordulhat, hogy az igazságosság különböző definíciói nem teljesülnek egyszerre (ez matematikai következmény). Az, hogy az igazságosság definíciója ebben az összefüggésben prioritást élvez, etikai és üzleti döntés, nem pedig technikai, és az érintettekkel együtt születik.
Gyenge megközelítés / Erős megközelítés
Gyenge: "A modell általános pontossága 88%, ami tisztességes."
Güçlü: "Az általános pontosság 88% volt, de amikor alcsoportokra osztottuk, a visszahívás 91% volt az egyik csoportban és 67% egy másik csoportban – a modellből szisztematikusan hiányzott ez a csoport. Dokumentáltuk az okot (a reprezentáció hiánya), adatokat gyűjtöttünk a csoportról, és újraértékeltük az egyenlő visszahívás céljával. A méltányosság definíciójával határoztuk meg, hogy melyiket részesítjük előnyben."
A különbség: az erős megközelítés nem bújik meg az általános mérőszám mögé, alcsoportokat különít el, és a méltányosságot nyitott döntésként kezeli.
Etika és átláthatóság
A felelős AI alapelvei a következők:
- Magyarázat: Megmagyarázható, hogy a modell miért döntött így? A nagy hatású döntéseknél (hitel, felvétel, egészségügy) joga van magyarázathoz. A megmagyarázhatatlan modellt nem szabad ezeken a területeken használni, vagy magyarázható módszerrel kell alátámasztani.
- Emberi felügyelet: A nagy hatású döntéseket nem szabad automatikusan meghozni; A modell sugall, az ember megerősít.
- Elszámoltathatóság: Világosnak kell lennie, hogy ki a felelős, ha a modell hibát követ el. A „modell döntött” nem kifogás.
- Átláthatóság: A felhasználónak tudnia kell, hogy interakcióba lép egy MI-vel, és tudnia kell, hogyan használják fel adataikat.
Számos országban és ágazatban ezek az elvek a jogszabályokba is beágyazódnak (átláthatósági, auditálási és emberi felügyeleti kötelezettségek a magas kockázatú AI-rendszereknél). A mérnök felelős azért, hogy ismerje szakterülete előírásait.
Tipp: Tartson egy "modellkártyát" minden nagy hatású modellhez: mit csinál a modell, milyen adatokra képezték ki, milyen csoportokban mennyire jól/rosszul működik, mik az ismert határai. Ez a dokumentum egyben az átláthatóság és az elszámoltathatóság eszköze is.
Költség és fenntarthatóság
Az AI nem olcsó. A költségek kezelése két dimenzióban történik:
Pénzügyi költség:
- Token költség (LLM): Minden kérés és válasz költsége token; A mennyiség növekedésével a számla is nő. A szükségtelenül hosszú promptok, a túl nagy modellválaszték és az ellenőrizetlen ügynökhurkok (5. egység) megnövelik a költségeket.
- Képzés és tárhely: A finomhangolás és a modellbemutató hardverköltségekkel jár.
- Optimalizálás: Ne használjon nagy modellt, ha egy kis modell is elegendő; a gyakran ismételt kérdések gyorsítótárazása; rövidítse le a promptot; A feldolgozható tételeket.
Környezetvédelmi költségek: A nagy modellképzés és következtetések jelentős energiát fogyasztanak. A fenntarthatóság szakmai felelősséggé teszi a felesleges számítások (helyes méretmodell, hatékony architektúra) elkerülését.
Tipp: A költségoptimalizálás első szabálya: "Mi a legkisebb megfelelő modell ehhez a munkához?" A legerősebb modell elhelyezése mindenhol olyan, mintha kalapáccsal beütnénk egy szöget – drága és szükségtelen.
három mini tok
1. eset – Rejtett diszkrimináció. A toborzási szűrési modell összességében jól nézett ki. Az alcsoport-elemzés azt találta, hogy a modell szisztematikusan aláhúzta a női jelölteket, mivel a korábbi adatokban férfiak domináltak – a korábbi elfogultság tanult. A modellt leállították, az adatokat kiegyensúlyozták, és a méltányossági mutatókat figyelték. Az általános igazságosság elfedte a rejtett megkülönböztetést.
2. eset – Megmagyarázhatatlan elutasítás. Egy hitelmodell elutasította a kérelmeket, de senki sem tudta megmagyarázni, miért. Amikor egy ügyfél jogi felvilágosítást kért, a csapat nem tudott válaszolni. A modellt kivonták a nagy hatású döntések használatából mindaddig, amíg egy magyarázható módszert nem adtak hozzá, és minden elutasításhoz nem készült indoklás. Tanulság: A megmagyarázhatóság elengedhetetlen a nagy hatású döntéshozatalban.
3. eset – Bill sokk. Az egyik csapat a legnagyobb LLM-et és nagyon hosszú promptokat használt minden kérésnél. A havi számla váratlanul megnőtt. Hozzászólás elemzése: a legtöbb kérés megoldható volt egy kis modellel, a promptok fele redundáns volt, és a gyakori kérdések gyorsítótárazhatók. Ez a három optimalizálás jelentősen csökkentette a költségeket anélkül, hogy a minőség rovására menne. Tanulság: a legerősebb modell nem mindenhol szükséges.
Másolható sablonok
Segítsen értékelni ezt a modellt elfogultság/tisztességesség szempontjából. Mely alcsoportokat (demográfiai/szegmens) kell felosztanom és mérni? Milyen mutatókat (pontosság, visszahívás, téves pozitív arány csoportonként) hasonlítsak össze? Összeütközésbe kerülhetnek a méltányosság különböző definíciói, melyiket kell előnyben részesítenem ebben az összefüggésben, és miért? Modell/döntési kontextus: [magyarázat]
Készítsen modellkártya-vázlatot ehhez a nagy hatású modellhez. Tartalmaznia kell a következőket: cél, képzési adatok és dátum, teljesítmény alcsoportokban, ismert határok, megfelelő/nem megfelelő használat, magyarázhatóság állapota, emberi felügyeleti pont. Modell: [leírás]
Segítsen csökkenteni ennek az LLM-megvalósításnak a költségeit a minőség rovására.Elérhető: modell mérete, átlagos prompt hossza, kérés mennyisége, van-e gyorsítótár?Kiértékelés:1) Elég-e a kisebb modell (mely feladatokhoz)?2) Lerövidíthető-e a prompt?3) Gyorsítótárazhatók-e a gyakori kérések?4) Van-e munka a köteghez?Jegyezze fel az egyes javaslatok becsült hatását.
Készítsen etikai/felelősségi ellenőrzőlistát ehhez a nagy hatású döntési rendszerhez.- Magyarázhatóság: elkészíthető-e a döntés indoklása?- Emberi felügyelet: jóvá kell-e hagyni a nagy hatású döntést?- Elszámoltathatóság: hiba esetén ki a felelős?- Átláthatóság: tudja-e a felhasználó, hogy mesterséges intelligenciát használnak?- Szabályozás: melyek a jogi kötelezettségek: [leírás]
Elfogultsági forrástábla
Forrás
tünet
elővigyázatosság
történelmi elfogultság
A korábbi diszkrimináció folytatódik
Adataudit + méltányossági mérőszám
reprezentációs elfogultság
Alacsony pontosság kis mintacsoportban
Alcsoport elemzés + egyensúlyozás
mérési torzítás
elfogult címkék
A címkézési folyamat felülvizsgálata
Aggregációs torzítás
Az univerzum nincs ábrázolva
Az erőforrások diverzifikációja
Gyakori hibák
- Az általános mérőszámra támaszkodva. A rejtett diszkrimináció nem látható alcsoport-elemzés nélkül.
- Feltéve, hogy "modellsemleges". A modell megtanulja és felerősíti az adatok torzítását.
- A nagy hatású döntést a megmagyarázhatatlan modellre hagyva. Jogi és etikai kockázat.
- Az emberi felügyelet megkerülése. "A modell döntött" nem mentség.
- Mindenhol a legnagyobb modellt helyezzük el. Felesleges költség és energia.
- Nem követi nyomon a költségeket. A számla némán dagad.
Összefoglalva
A műszakilag helyes modell akkor is kudarc, ha nem igazságos, magyarázható és fenntartható. A torzítás többnyire az adatokból származik, és a modell léptékben felnagyítja azokat; Mérje meg a méltányosságot alcsoportonként, és állapodjon meg az érdekelt felekkel, hogy a méltányosság melyik definícióját részesítse előnyben. A megmagyarázhatóság, az emberi felügyelet és az elszámoltathatóság elengedhetetlen a nagy hatású döntésekben; Dokumentum átlátszóság modellkártyával. Kezelje a költségeket és az energiát: válassza ki a legkisebb megfelelő modellt, rövidítse le a promptot, használja a gyorsítótárat és a kötegelt. Ezek a méretek a mérnöki minőség szerves részét képezik, nem később hozzáadott sallangok.
Pályázati feladat
Ossza fel a modellt legalább két alcsoportra, és hasonlítsa össze a visszahívási és a hamis pozitív arányt csoportonként; Ha jelentős eltérés van, írja le az okot és az óvintézkedést. Készítsen egy rövid modellkártyát egy nagy hatású modellhez (cél, adatok, alcsoport teljesítménye, határok, magyarázhatóság). Határozzon meg legalább két konkrét optimalizálást (minimális / azonnali csonkítás / gyorsítótár / köteg), hogy csökkentse az LLM megvalósításának költségeit, és írja le a becsült hatásukat.
ellenőrző lista
- [ ] A modellt alcsoportok alapján értékeltem, nem támaszkodtam az általános mérőszámra.
- [ ] Az érintettekkel együtt eldöntöttem, hogy az igazságosság melyik definícióját részesítem előnyben.
- [ ] A nagy hatású döntés megmagyarázható és emberi jóváhagyástól függ.
- [ ] A mintakártyával dokumentáltam az átlátszóságot és a határokat.
- [ ] A legkisebb megfelelő modellt választottam; Optimalizáltam a prompt/cache/batch.
- [ ] Figyelem a költség- és energiahatást.