Aplikacija od konca do konca: vrednotenje, validacija, etika in meje

Dobički:

• Možnost nastavitve majhnega testnega niza (eval), ki ocenjuje model z vašimi lastnimi podatki
• V potek dela vdelajte človeško preverjanje, omejitve in politiko odgovorne uporabe
• Prepoznajte halucinacije, zasebnost in etična tveganja ter izvajajte ukrepe za ublažitev

Izbrali ste pravi model; Je delo opravljeno? Ne, pravo delo se začne zdaj. Umestitev modela v vaše podjetje se zmanjša na to, da ga preizkusite glede na lastne podatke, potrdite njegove rezultate in ga odgovorno oblikujete. Ta končna enota spremeni celoten modul v aplikacijo od konca do konca: naučili se boste, kako nastaviti majhen testni paket (eval), vdelati človeško preverjanje v delovni tok, obvladovati halucinacije in tveganja zasebnosti ter začrtati etične meje. Ko bo enota končana, boste lahko ne le izbrali model, ampak ga boste tudi samozavestno naročali.

Vrednotenje (Eval): testiranje z lastnimi podatki

Zdaj veste, da lahko le vaši dejanski podatki, ne oglasi, povedo, ali model ustreza vašemu podjetju. Način za merjenje tega je vzpostavitev ocenjevalnega niza (eval): majhna zbirka vzorcev iz vašega dela, za katere je znan pravilen odgovor.

Preprosto vrednotenje je nastavljeno takole:

1. Zberite 10-30 pravih vzorcev. Izberite vložke, ki so tipični za vaše delo (mešajte težko in enostavno).
2. Določite "pravilen/pričakovan rezultat" za vsak primer. Kaj bi odgovoril strokovnjak?
3. Vodite kandidate skozi iste primere. Preizkusite modele, ki jih primerjate, enega za drugim z istim kompletom.
4. Ocenite rezultate. V koliko primerih je res? Kje se je zmotil? Ali so napake sprejemljive?
5. Primerjaj in izberi. Ne izberite najvišjega skupnega rezultata, ampak tistega, ki je najbolj zanesljiv v najbolj kritičnih primerih za vas.

Nasvet: ne zaupajte slepo lestvicam najboljših. Model je lahko globalno uvrščen na prvo mesto, vendar je v vaših posebnih turških pravnih besedilih slabši od drugouvrščenega modela. Vaša lastna ocena 20 vzorcev je vredna več kot stotine javnih testov.

Halucinacije: Modelovo najbolj zahrbtno tveganje

Halucinacija je, ko model proizvede informacije, ki dejansko niso resnične, v samozavestnem jeziku. Namesto da bi rekel »ne vem«, bi lahko model proizvedel neobstoječ del zakonodaje, izmišljeno statistiko ali napačen datum; Še več, to počne v izjemno prepričljivem jeziku. To je najnevarnejši vidik umetne inteligence, ker se napaka maskira v resnico.

Halucinacij ne morete popolnoma odpraviti, lahko pa jih zmanjšate in ujamete:

• Temeljite na viru: Prosite model, naj generira odgovore iz dokumentov, ki jih posredujete, ne iz lastnega "pomnilnika" (logika RAG).
• Zahtevajte vire: Recite: "Poleg vsake trditve napišite dokument/razdelek, na katerem temelji"; Če ne more navesti vira, bodite sumljivi.
• Pripraviti ljudi, da povedo, da niso prepričani: Navodilo "Če niste prepričani, napišite 'ni jasno'" zmanjša prileganje modelu.
• Človeško preverjanje: kritične izhode mora preveriti človek.

Pozor: Nikoli ne uporabljajte rezultatov modela, ne da bi jih preverili za pravne, zdravstvene ali finančne odločitve. »Zakonski člen« ali »informacija o odmerku«, ki jo ustvari model, je lahko popolnoma izmišljen. Na teh področjih je AI osnutek/predhodno orodje; Zadnjo besedo ima vedno sposobna oseba.

Zahteva za človeško preverjanje

Umetna inteligenca najbolje deluje kot orodje, ki pospešuje ljudi, ne pa jih odpravlja brez dela. Pravilna nastavitev je naslednja: izdela ali predhodno kvalificira osnutek modela; človek pregleda, popravi in ​​odobri. Kako strogo mora biti preverjanje, je odvisno od cene napake.

Iskanje

Cena napake

človeško preverjanje

Osnutek opisa izdelka

nizka

Dovolj je vzorčna kontrola

Odgovor stranke po e-pošti

srednje

Pregled pred oddajo

Analiza pogodbenega tveganja

visoka

Strokovna potrditev po členih

Medicinski/finančni nasvet

zelo visoko

Popolno strokovno preverjanje, samo podpora AI

Ta tabela vzpostavlja ravnotežje med "ročnim preverjanjem vsakega izhoda" in "sploh brez preverjanja". Medtem ko vzorčna kontrola zadostuje za nizkocenovna opravila, je treba pri dragih opravilih preveriti vsak rezultat.

Etična in odgovorna uporaba

Čeprav se zdi, da je izbira modela tehnična odločitev, za njo stojijo etične odgovornosti:

• Preglednost: sporočite svojim strankam ali zaposlenim, da uporabljate AI na ustreznih mestih. Stranka ima pravico vedeti, ali se pogovarja s človekom ali AI.
• Pristranskost: modeli lahko podedujejo pristranskost iz podatkov, na podlagi katerih so usposobljeni. Spremljajte poštenost rezultatov na občutljivih področjih, kot sta zaposlovanje in bonitetna ocena.
• Zasebnost: načela varstva podatkov, ki ste se jih naučili v 8. enoti, vključite v potek dela; Ne pošiljajte osebnih podatkov nepremišljeno.
• Odgovornost: Ko pride do napake, obramba "AI je uspela" ni dovolj. Odgovornost nosi ustanova, ki uporablja vozilo. Torej postopki preverjanja dokumentov.

Namig: V svoj potek dela zapišite majhen »pravilnik o odgovorni uporabi«: katera delovna mesta lahko uporabljajo AI, katerih podatkov ni mogoče poslati, kdo jih bo preverjal in kako bodo poročane napake. Ta enostranski dokument preprečuje večje težave v prihodnosti.

Trije realni primeri

1. primer – obžalovanje brez ugotavljanja vrednosti. Zavarovalniška ekipa začne povzemati zahtevke, ne da bi preizkusila najbolj priljubljen model. Po dveh tednih ugotovijo, da se model pogosto zmoti v turškem tehničnem izrazu in nekatere zneske napačno prebere. Ko nastavijo vrednotenje 20 vzorcev in primerjajo tri modele, preklopijo na model, ki ni najbolj priljubljen, vendar je bolj natančen v turških tehničnih besedilih. Izguba: dva tedna in delo pri lektoriranju. Lekcija: najprej eval, nato razmesti.

Primer 2 — Postopek, ki zajame halucinacije. Pravni pomočnik vidi na vzorčnem izpisu referenco "odločba vrhovnega sodišča". Ker ima njihov postopek pravilo "preveri vsako referenco", poišče odločitev in ugotovi, da taka odločitev ne obstaja; Izmislil si je model. Zahvaljujoč človeškemu preverjanju izmišljene informacije nikoli ne pridejo do stranke. Brez pravila preverjanja bi lahko bila izguba ugleda resna.

Primer 3 – Zaupanje s preglednostjo. Podjetje za e-trgovino pripravi odgovore podpore strankam z AI, vendar pod vsak odgovor doda opombo: "Ta odgovor je bil pripravljen s podporo za umetno inteligenco in ga je pregledal eden od naših predstavnikov." Stranke so bolj zadovoljne tako s hitrim odzivom kot z zaupanjem, ko vidijo angažiranega človeka. Transparentnost ni slabost, ki bi jo morali skrivati, ampak vir zaupanja.

Šibek poziv/močan poziv: preverljiv rezultat

Šibek poziv:

Povejte mi o tveganih klavzulah te pogodbe.

Lahko se prilega modelu; brez vira, brez znaka negotovosti.

Močan poziv:

Vaša vloga: pogodbeni analitik (končna odločitev je v pristojnosti odvetnika). Naloga: Označite potencialno tvegane klavzule v naslednji pogodbi. Za vsako ugotovitev: (1) številka člena in dobesedni citat, (2) zakaj je tvegano, (3) vaša stopnja zaupanja (visoka/srednja/nizka). Zanašajte se samo na klavzule v besedilu; Ne izmišljajte ničesar, česar ni v besedilu. Kjer niste prepričani, napišite "potrebna je potrditev odvetnika". [pogodba]

Močna takojšnja povezava vsake trditve z virom (številka članka + citat), zahteva stopnjo zaupanja in prepoveduje izmišljotine; Zaradi tega je halucinacija ulovljiva.

Predloge, ki jih je mogoče kopirati

1. Eval scenografija:

Oblikujte evalvacijski niz za naslednjo nalogo [NALOGA]. Predlagajte 15 vzorčnih vnosov (mešanih lahkih-srednje-težkih), kako bi za vsakega definirali "pričakovan pravilen izhod" in določite merilo točkovanja (1-5).

2. Obloga za zmanjšanje halucinacij:

Prepišite naslednji poziv, da zmanjšate proizvodnjo: "[PROMPT]". Dodajte pravila za navajanje virov, določanje stopenj zaupanja in »povejte mi, če niste prepričani«.

3. Načrt poteka preverjanja:

V naslednjem poteku dela [WORKFLOW] Oblikujte korak človeškega preverjanja za izhod umetne inteligence. Določite, kako strogo mora biti preverjanje na podlagi stroškov napake; napiši kdo bo kaj preverjal, kdaj.

4. Osnutek politike odgovorne uporabe:

Pripravite enostransko "politiko odgovorne uporabe umetne inteligence" za ekipo v [INDUSTRIJA]. Vključite naslednje naslove: dovoljene uporabe, prepovedani podatki, odgovornost za preverjanje, poročanje o preglednosti, poročanje o napakah.

Pogoste napake

• Uvajanje brez Eval: Zagon modela, ne da bi ga preizkusili z lastnimi podatki in opazili napake, potem ko se odražajo v stranki/opravilu.
• Zanašanje na halucinacije: uporaba samozavestnega jezika modela kot resnice brez preverjanja referenc.
• Zaobiti človeško preverjanje: izhod ni preverjen pri odločitvah z visokimi stroški; Naslanja se na obrambo "AI je to storila".
• Izogibanje preglednosti: Skrivanje vaše uporabe AI; doživlja izgubo zaupanja, ko se to zgodi.
• Ignoriranje etike in pristranskosti: uporaba občutljivih odločitev (zaposlovanje, kredit) brez spremljanja poštenosti rezultatov.

Če povzamem

• Pred uvedbo modela nastavite majhen nabor eval z lastnimi podatki in preizkusite kandidate; skupne uvrstitve ne predstavljajo vašega podjetja.
• Halucinacija je modelovo samozavestno ustvarjanje lažnega jezika; Zajeto z dodelitvijo vira, stopnjo zaupanja in človeškim preverjanjem.
• Strogost človeškega preverjanja je prilagojena glede na ceno napake; Na kritičnih področjih je AI le podpora, odločitev je človekova.
• Preglednost, nadzor pristranskosti, zaupnost in odgovornost; so štirje stebri odgovorne uporabe umetne inteligence. Politika ene strani preprečuje velika tveganja.

Aplikacijska naloga

Nastavite ocenjevalni niz 15 primerov s predlogo 1 v tej enoti (eval set design) za kandidatne modele, ki ste jih izbrali v celotnem modulu, in primerjajte vsaj dva modela s tem nizom. Nato oblikujte, kako bodo izhod preverili ljudje s predlogo 3 (potek preverjanja) in osnutek enostranskega pravilnika za vašo ekipo s predlogo 4 (politika odgovorne uporabe). Ti trije rezultati spremenijo celoten modul v uporaben načrt uvajanja.

kontrolni seznam

• [ ] Z lastnimi podatki lahko nastavim majhen nabor eval in primerjam modele.
• [ ] Znam prepoznati halucinacije in uporabiti omilitvene in zaustavitvene ukrepe.
• [ ] Strogost človeškega preverjanja lahko prilagodim glede na ceno napake.
• [ ] V potek dela lahko vključim načela preglednosti, pristranskosti, zaupnosti in odgovornosti.
• [ ] Na eni strani lahko pripravim politiko odgovorne uporabe umetne inteligence.

Modulni izpit

1. Kakšna je razlika med 'ponudnikom' AI in 'model družino'?

• A) Ponudnik je podjetje, ki razvija model, družina modelov pa je skupina modelov tega podjetja pod blagovno znamko ✔
• B) Sta popolnoma ista stvar in se uporabljata zamenljivo
• C) Ponudnik je cena modela, družina modelov je hitrost modela.
• D) Družina modelov se nanaša na podjetje, dobavitelj se nanaša na eno različico modela

Opis: Ponudnik je podjetje, ki je razvilo model (npr. Anthropic); Družina modelov je skupina modelov, ki jih to podjetje zbira pod blagovno znamko (na primer Claude). Modelska različica je posebna različica znotraj družine.

2. Kako najnatančneje definirati 'uteži' modela?

• A) To je število žetonov, ki jih lahko model proizvede na minuto
• B) Gre za milijarde numeričnih parametrov, ki se jih model nauči med usposabljanjem in shrani svoje informacije. ✔
• C) To je mesečna naročnina modela
• D) To je število jezikov, ki jih podpira model

Opis: uteži so milijarde numeričnih parametrov, ki se jih model nauči med treningom; Tam je shranjeno 'vse, kar model ve'. Razlika med zaprto in eksplicitno težo je odvisna od tega, ali je te parametre mogoče prenesti in zagnati.

3. Katera trditev o "odprti teži" in "odprti kodi" drži?

• A) Gre za povsem enaka koncepta in oba omogočata neomejeno komercialno uporabo
• B) Odprta teža vedno objavi tudi podatke o vadbi
• C) To ni isto; Pri odprtem tehtanju se običajno delijo samo parametri in licenčni pogoji lahko omejujejo komercialno uporabo ✔
• D) Odprtokodnih modelov ni mogoče prenesti, odprte modele teže je mogoče prenesti

Pojasnilo: Pri odprtem uteževanju so v skupni rabi samo parametri modela; podatki o usposabljanju in postopki pogosto niso razkriti, nekatere licence pa omejujejo komercialno uporabo. Torej "odprta teža" ni popolnoma enaka kot "odprta koda".

4. Kaj od naslednjega je najbolj odločilna modelna lastnost pravne ekipe, ki bere in analizira dolgoročne pogodbe?

• A) Imeti najnižjo ceno žetona
• B) Sposobnost vizualne (multimodalne) obdelave
• C) Imeti licenco za odprto težo
• D) Imeti široko kontekstno okno ✔

Pojasnilo: Model potrebuje veliko kontekstno okno za obdelavo dolgih dokumentov kot celote; Kontekstno okno je skupna količina žetonov, ki jih lahko model hkrati zapomni.

5. Kaj je res glede določanja cen žetonov za modele zaprte teže?

• A) Izhodni žeton je običajno bistveno dražji od vhodnega žetona ✔
• B) Input in output sta vedno popolnoma enaki ceni
• C) Zaračunana je samo fiksna mesečna naročnina, znesek uporabe ni pomemben
• D) Vhodni žeton je vedno mnogokrat dražji od izhoda

Pojasnilo: Cena se izračuna na žeton in izhodni žeton, ki ga proizvede model, je običajno nekajkrat dražji od vhodnega žetona, ki ga pošljete. Zato dolgi in nepotrebni izpisi hitro povečajo stroške.

6. Katera funkcija v modelu je bistvena za računovodsko ekipo, ki želi samodejno izvleči podatke iz slik računov?

• A) Najširše možno kontekstno okno
• B) Multimodalnost (sposobnost vizualne obdelave) ✔
• C) Dovoljenje za odprto težo
• D) Najvišja stopnja sklepanja

Pojasnilo: Za razumevanje vizualne vsebine mora biti model sposoben obdelovati slike in besedilo, to pomeni, da mora biti multimodalen. Multimodalnost je zmožnost modela, da obravnava več vrst podatkov, kot so besedilo, slike in včasih zvok.

7. Katera je najbolj logična izbira za obsežno, preprosto nalogo (npr. pozitivno/negativno razvrščanje na tisoče ocen)?

• A) Vedno najmočnejši in najdražji model sklepanja
• B) Model, ki deluje samo na odprti teži in na svojem strežniku
• C) Lahek in poceni model, ker je naloga preprosta in obseg velik ✔
• D) Model z najširšim kontekstnim oknom

Opis: lahek, poceni model je kos preprostim in obsežnim opravilom; Uporaba najmočnejšega in najdražjega modela tukaj ustvarja nepotrebne stroške. Pravilen pristop je uskladiti težavnost naloge s stopnjo modela.

8. Kaj sproži pošiljanje besedila z osebnimi podatki tujemu ponudniku AI v smislu KVKK?

• A) Ne ustvarja nobene pravne odgovornosti
• B) Pomembno le, če je ponudnik v EU, v nobenem drugem primeru
• C) Strogo je prepovedano v vseh okoliščinah, ne glede na to, ali so podatki anonimni ali ne
• D) Prenos podatkov v tujino je upoštevan in zanj veljajo posebni pogoji KVKK ✔

Pojasnilo: Podatki o delovanju na strežnikih ponudnika v tujini se štejejo za 'prenos podatkov v tujino' in zanje glede tega veljajo posebni pogoji KVKK (kot so izrecna privolitev, odločitev o ustreznosti, ustrezna zagotovila).

9. Kaj počne način 'utemeljevanja' modela in kako vpliva na stroške?

• A) Poveča natančnost pri kompleksnih problemih, vendar poveča stroške in zamudo, saj ustvari več žetonov ✔
• B) Model je vedno prost
• C) Samo poveča število jezikov, ki jih podpira model
• D) Vedno skrajšajte odgovore in zmanjšajte stroške

Opis: način razmišljanja omogoča modelu, da "razmišlja" korak za korakom, preden poda odgovor; Poveča natančnost pri večstopenjskih in zapletenih problemih, vendar tudi poveča stroške in zamudo, ker ustvari več žetonov.

10. Kateri je najbolj zanesljiv pristop pri ocenjevanju (ocenjevanju) modela za lastno podjetje?

• A) Samo izbira najbolj priljubljenega modela in njegova uporaba brez testiranja
• B) Nastavite majhen testni niz svojih resničnih nalog in z njim primerjajte modele ✔
• C) Samo pogled na primerjalno oceno, omenjeno v oglasih
• D) Samodejno sprejme model z najvišjim kontekstnim oknom kot najboljšega

Pojasnilo: Namesto da se slepo zanašate na lestvice najboljših, boste z ustvarjanjem majhnega testnega niza lastnih resničnih nalog in primerjavo modelov v tem nizu razkrili tistega, ki resnično ustreza vašemu poslu.

11. Kako naj vedenje, da izhodni podatki modela vsebujejo 'halucinacije', oblikuje vaš potek dela?

• A) Rezultat je vedno pravilen in objavljen neposredno
• B) Halucinacije so vidne samo pri brezplačnih modelih, ne pa pri plačljivih
• C) Pri kritičnih odločitvah mora izhod preveriti človek in viri morajo biti potrjeni ✔
• D) Halucinacijo je mogoče popolnoma odpraviti s preprosto zamenjavo modela

Pojasnilo: Halucinacija je, ko model proizvede informacije, ki dejansko niso resnične, v samozavestnem jeziku. Zaradi tega tveganja bi bilo treba zahtevati preverjanje rezultatov s strani človeka, zlasti za pravne, zdravstvene in finančne odločitve.

12. Kakšna je osnovna logika pristopa 'model portfelja', ki so ga sprejele zrele institucije?

• A) Zagotoviti enostavnost tako, da vsako delo opravi en sam, najdražji model.
• B) Uporaba samo najcenejšega modela in popolno ignoriranje kakovosti
• C) Ne uporabljajte nobenih modelov in vse delo opravite ročno
• D) Optimizacija stroškov in zmanjšanje odvisnosti od enega ponudnika z uporabo različnih modelov glede na nalogo ✔

Opis: portfelj modelov je namenjen uporabi različnih modelov glede na nalogo: poceni model za preprosta in obsežna dela, zmogljiv model za kompleksna dela, model odprte teže/regionalni model za zaupne podatke. To optimizira stroške in zmanjša odvisnost od enega samega ponudnika.

13. Zakaj sta lahko država izvora in politika hrambe podatkov merilo za izbiro modela?

• A) Ker neposredno vpliva na regulativne zahteve, zahteve glede suverenosti podatkov in zasebnosti ✔
• B) Samo zato, ker določa odzivno hitrost modela
• C) Ker določa formate datotek, ki jih podpira model
• D) Ker nima praktičnega učinka, je le marketinška podrobnost

Opis: država, kjer se nahaja razvijalec modela in kje/koliko podatkov je shranjenih; Odločilen je z vidika pravne ureditve, suverenosti podatkov in zasebnosti. Na primer, za organizacijo, ki želi gostovati v EU, postane pomemben regionalni ponudnik ali možnost brez shranjevanja.

14. Kateri najbolje pojasni, zakaj je iskanje 'edinega najboljšega modela' v nalogi zavajajoče?

• A) Vsi modeli imajo dejansko popolnoma enake zmogljivosti
• B) Modeli so močni v različnih velikostih, tako da je 'najboljši' odvisen od zahtev delovnega mesta ✔
• C) Najdražji model je samodejno najboljši pri vsaki nalogi
• D) Izbira modela mora biti povsem naključna

Opis: modeli so močni v različnih dimenzijah, kot so hitrost, stroški, kontekst, multimodalnost, zasebnost in sklepanje. Model, ki je vodilni na eni dimenziji, je lahko šibak na drugi; zato je 'najboljši' vedno odvisen od zahtev delovnega mesta.