Pelnas:
- Galimybė sukurti nedidelį testų rinkinį (eval), kuris įvertina modelį pagal jūsų duomenis
- Į darbo eigą įtraukite žmogaus patikrinimą, apribojimus ir atsakingo naudojimo politiką
- Atpažinkite haliucinacijas, privatumą ir etinę riziką ir imkitės švelninimo priemonių
Jūs pasirinkote tinkamą modelį; Ar darbas atliktas? Ne, tikrasis darbas prasideda dabar. Modelio įdiegimas į savo verslą reiškia, kad jį reikia išbandyti pagal savo duomenis, patvirtinti jo išvestį ir atsakingai ją suformuluoti. Šis paskutinis modulis paverčia visą modulį visapusiška programa: išmoksite sukurti nedidelį testų rinkinį (eval), įtraukti žmogaus patikrinimą į darbo eigą, valdyti haliucinacijų ir privatumo riziką bei nubrėžti etines ribas. Kai įrenginys bus baigtas, galėsite ne tik pasirinkti modelį, bet ir drąsiai jį paleisti.
Įvertinimas (Eval): Testavimas naudojant savo duomenis
Dabar žinote, kad tik jūsų faktiniai duomenys, o ne skelbimai, gali nustatyti, ar modelis tinka jūsų verslui. Būdas tai išmatuoti – sudaryti vertinimo rinkinį (eval): nedidelę jūsų darbo pavyzdžių rinkinį, kurio teisingas atsakymas žinomas.
Paprastas įvertinimas nustatomas taip:
- Surinkite 10–30 tikrų pavyzdžių. Pasirinkite įvestis, būdingas jūsų darbui (sumaišykite sudėtingą ir lengvą).
- Kiekvienam pavyzdžiui nustatykite „teisingą / numatomą išvestį“. Ką atsakytų ekspertas?
- Pateikite kandidatus tais pačiais pavyzdžiais. Išbandykite modelius, kuriuos lyginate po vieną su tuo pačiu rinkiniu.
- Įvertinkite rezultatus. Kiek pavyzdžių tai tiesa? Kur jis suklydo? Ar klaidos yra priimtinos?
- Palyginkite ir išsirinkite. Pasirinkite ne aukščiausią bendrą balą, o patikimiausią jums kritiškiausiuose pavyzdžiuose.
Patarimas: aklai nepasitikėkite pirmaujančiųjų sąrašais. Modelis gali būti pirmoje vietoje visame pasaulyje, bet prastesnis nei antroje vietoje esantis modelis jūsų konkrečiuose Turkijos teisiniuose tekstuose. Jūsų atliktas 20 mėginių įvertinimas yra vertas daugiau nei šimtai viešų testų.
Haliucinacijos: klastingiausia modelio rizika
Haliucinacija yra tada, kai modelis pateikia informaciją, kuri iš tikrųjų nėra tiesa, patikima kalba. Užuot sakęs „nežinau“, modelis gali sukurti neegzistuojantį teisės aktą, išgalvotą statistiką arba klaidingą datą; Be to, jis tai daro itin įtikinama kalba. Tai yra pavojingiausias AI aspektas, nes klaida maskuojasi kaip tiesa.
Jūs negalite visiškai pašalinti haliucinacijos, bet galite ją sumažinti ir sugauti:
- Remkitės šaltiniu: paprašykite modelio sugeneruoti atsakymus iš jūsų pateiktų dokumentų, o ne iš savo „atminties“ (RAG logika).
- Prašymo šaltiniai: Pasakykite: „Šalia kiekvienos pretenzijos parašykite dokumentą/skiltį, kuria ji grindžiama“; Jei jis negali nurodyti šaltinio, būkite įtarus.
- Priversti žmones pasakyti, kad jie nėra tikri: nurodymas „Jei nesate tikri, parašykite „neaišku““ sumažina modelio pritaikymą.
- Žmogaus patikrinimas: svarbiausius rezultatus turi patikrinti žmogus.
Įspėjimas: niekada nenaudokite modelio išvesties nepatvirtinusios jos teisiniams, medicininiams ar finansiniams sprendimams. Modelio sukurtas „teisės straipsnis“ arba „informacija apie dozę“ gali būti visiškai sufabrikuotas. Šiose srityse dirbtinis intelektas yra juodraštis / preliminarus įrankis; Kompetentingas žmogus visada turi paskutinį žodį.
Žmogaus patikrinimo reikalavimas
Dirbtinis intelektas geriausiai veikia kaip įrankis, kuris pagreitina žmones, o ne išstumia iš darbo. Teisinga sąranka yra tokia: sukuria arba iš anksto kvalifikuoja modelio projektą; žmogus peržiūri, pataiso ir patvirtina. Kiek griežtas turi būti patikrinimas, priklauso nuo klaidos kainos.
Quest
Klaidos kaina
žmogaus patikrinimas
Prekės aprašymo juodraštis
žemas
Pakanka mėginio kontrolės
Kliento atsakymas el
vidutinis
Peržiūra prieš pateikimą
Sutarties rizikos analizė
aukštas
Straipsnis pagal straipsnį eksperto patvirtinimas
Medicinos/finansinės konsultacijos
labai aukštas
Visiškas ekspertų patikrinimas, tik AI palaikymas
Šioje lentelėje pasiekiama pusiausvyra tarp „rankiniu būdu tikrinti kiekvieną išvestį“ ir „netikrinti iš viso“. Nors pavyzdinės kontrolės pakanka nebrangiems darbams, kiekviena išvestis turi būti patikrinta, kai atliekamos didelės kainos.
Etiškas ir atsakingas naudojimas
Nors modelio pasirinkimas gali atrodyti kaip techninis sprendimas, už jo slypi etinė atsakomybė:
- Skaidrumas: praneškite savo klientams ar darbuotojams, kad naudojate dirbtinį intelektą tinkamose vietose. Klientas turi teisę žinoti, ar jis kalbasi su žmogumi, ar su dirbtiniu intelektu.
- Šališkumas: modeliai gali paveldėti šališkumą iš duomenų, kuriais remdamiesi jie yra mokomi. Stebėkite rezultatų teisingumą tokiose jautriose srityse kaip įdarbinimas ir kredito vertinimas.
- Privatumas: į darbo eigą įtraukite duomenų apsaugos principus, kuriuos išmokote 8 skyriuje; Nesiųskite asmens duomenų neapgalvotai.
- Atsakomybė: kai įvyksta klaida, „AI padarė tai“ gynybos nepakanka. Atsakomybė tenka transporto priemonę naudojančiai institucijai. Taigi dokumentų tikrinimo procesai.
Patarimas: į savo darbo eigą įrašykite nedidelę „atsakingo naudojimo politiką“: kokiose užduotyse galima naudoti AI, kokių duomenų negalima siųsti, kas juos patikrins ir kaip bus pranešama apie klaidas. Šis vieno puslapio dokumentas padės išvengti didelių problemų ateityje.
Trys tikroviški atvejai
1 atvejis – apgailestavimas nenustačius eval. Draudimo komanda pradeda apibendrinti pretenzijas, neišbandydama populiariausio modelio. Po dviejų savaičių jie supranta, kad modelis dažnai daro klaidų turkiškai kalbant ir neteisingai nuskaito kai kurias sumas. Kai jie nustato 20 pavyzdžių įvertinimą ir palygina tris modelius, jie pereina prie modelio, kuris nėra pats populiariausias, bet tikslesnis turkiškuose techniniuose tekstuose. Netektis: dvi savaitės ir korektūros darbas. Pamoka: pirmiausia įvertinkite, vėliau dislokuokite.
2 atvejis – procesas, kuris užfiksuoja haliucinacijas. Pagalbinis advokatas modelio spaudinyje mato nuorodą „Aukščiausiojo teismo sprendimas“. Kadangi jų procesas turi taisyklę „Patikrinti kiekvieną nuorodą“, jis ieško sprendimo ir nustato, kad tokio sprendimo nėra; Jis sukūrė modelį. Žmogaus patikrinimo dėka išgalvota informacija niekada nepasiekia kliento. Be patikrinimo taisyklės reputacijos praradimas galėjo būti rimtas.
3 atvejis. Pasitikėkite skaidrumu. Elektroninės prekybos įmonė teikia klientų aptarnavimo atsakymus naudodama AI, tačiau po kiekvienu atsakymu prideda pastabą: „Šis atsakymas buvo parengtas naudojant dirbtinio intelekto palaikymą ir jį peržiūrėjo vienas iš mūsų atstovų“. Klientai yra labiau patenkinti tiek greitu atsakymu, tiek pasitikėjimu matydami įsitraukusį žmogų. Skaidrumas yra ne silpnybė, kurią reikia slėpti, o pasitikėjimo šaltinis.
Silpna raginimas / Stiprus raginimas: patikrinama išvestis
Silpnas raginimas:
Papasakokite apie rizikingas šios sutarties sąlygas.
Tinka modeliui; jokio šaltinio, jokio netikrumo ženklo.
Galingas raginimas:
Jūsų vaidmuo: sutarčių analitikas (galutinis sprendimas priklauso advokatui). Užduotis: Pabrėžkite potencialiai rizikingas šios sutarties sąlygas. Kiekvienai išvadai: (1) sakinio numeris ir pažodinė citata, (2) kodėl tai rizikinga, (3) jūsų pasitikėjimo lygis (aukštas/vidutinis/žemas). Pasikliaukite tik teksto sakiniais; Nekurkite nieko, ko nėra tekste. Jei nesate tikri, parašykite „reikalingas advokato patvirtinimas“. [sutartis]
Stiprus raginimas kiekvieną teiginį susieja su šaltiniu (straipsnio numeris + citata), reikalauja patikimumo lygio ir draudžia sugalvoti; Dėl to haliucinacijos yra pagaunamos.
Kopijuojami šablonai
1. Eval scenografija:
Sukurkite vertinimo rinkinį tokiai užduočiai [UŽDUOTIS]. Pasiūlykite 15 įvesties pavyzdžių (mišrus lengvas-vidutinis-sunkus), kaip kiekvienam būtų apibrėžta "tikėtina teisinga išvestis" ir nustatykite vertinimo kriterijų (1-5).
2. Haliucinacijas mažinantis įvyniojimas:
Perrašykite šį raginimą, kad sumažintumėte gamybą: „[PROMPT]“. Pridėkite šaltinių citavimo taisykles, nurodykite pasitikėjimo lygius ir „pasakykite man, jei nesate tikri“.
3. Patikrinimo srauto dizainas:
Toliau pateiktoje darbo eigoje [WORKFLOW] Sukurkite AI išvesties žmogaus patikrinimo veiksmą. Nustatykite, kiek griežtas patikrinimas turėtų būti pagrįstas klaidos kaina; parašyk kas ką, kada patikrins.
4. Atsakingo naudojimo politikos projektas:
Sukurkite vieno puslapio „atsakingo AI naudojimo politikos“ projektą [INDUSTRY] komandai. Įtraukite šias antraštes: leistinas naudojimas, draudžiami duomenys, atsakomybė už patikrinimą, skaidrumo ataskaitos, klaidų pranešimai.
Dažnos klaidos
- Diegimas be Eval: modelio paleidimas neišbandžius jo su savo duomenimis ir pastebėjus klaidas, kai jos atsispindi kliente/darbe.
- Pasikliauti haliucinacijomis: patikimos modelio kalbos naudojimas kaip tiesa, nepatikrinus nuorodų.
- Žmogaus patikrinimo aplenkimas: paliekant nekontroliuojamą išvestį priimant sprendimus dėl didelių sąnaudų; Remdamiesi „AI padarė tai“ gynyba.
- Skaidrumo vengimas: AI slėpimas; patiria pasitikėjimo praradimą, kai tai įvyksta.
- Etikos ir šališkumo nepaisymas: jautrių sprendimų (įdarbinimo, kreditų) naudojimas neprižiūrint rezultato teisingumo.
Apibendrinant
- Prieš diegdami modelį, sukurkite nedidelį įvertinimo rinkinį su savo duomenimis ir išbandykite kandidatus; bendras reitingas neatspindi jūsų verslo.
- Haliucinacijos yra modelio įsitikinimas melagingos kalbos kūrimas; Užfiksuota pagal šaltinio priskyrimą, pasitikėjimo lygį ir žmogaus patikrinimą.
- Žmogaus tikrinimo griežtumas koreguojamas pagal klaidos kainą; Kritinėse srityse AI yra tik palaikymas, sprendimas priklauso nuo žmogaus.
- Skaidrumas, šališkumo kontrolė, konfidencialumas ir atskaitomybė; yra keturi atsakingo AI naudojimo ramsčiai. Vieno puslapio politika apsaugo nuo didelių pavojų.
Taikymo užduotis
Sukurkite 15 pavyzdžių vertinimo rinkinį su 1 šablonu šiame vienete (eval set design) kandidato modeliui (-iams), kurį (-ius) pasirinkote visame modulyje, ir palyginkite bent du modelius su šiuo rinkiniu. Tada sukurkite, kaip žmonės patikrins išvestį naudodami 3 šabloną (patvirtinimo eiga), ir sukurkite vieno puslapio strategijos projektą savo komandai naudodami 4 šabloną (atsakingo naudojimo politika). Šie trys rezultatai paverčia visą modulį veikiančiu diegimo planu.
kontrolinis sąrašas
- [ ] Turėdamas savo duomenis galiu sudaryti nedidelį eval rinkinį ir palyginti modelius.
- [ ] Gebu atpažinti haliucinacijas ir taikyti lengvinančias bei sulaikymo priemones.
- [ ] Galiu pakoreguoti žmogaus tikrinimo griežtumą pagal klaidos kainą.
- [ ] Galiu į darbo eigą įtraukti skaidrumo, šališkumo, konfidencialumo ir atskaitomybės principus.
- [ ] Galiu parengti vieno puslapio atsakingo AI naudojimo politiką.
Modulio egzaminas
1. Kuo skiriasi AI „teikėjas“ ir „pavyzdinė šeima“?
- A) Teikėjas yra įmonė, kurianti modelį, o modelių šeima yra tos įmonės modelių grupė su prekės ženklu ✔
- B) Jie yra visiškai tas pats dalykas ir naudojami pakaitomis
- C) Tiekėjas yra modelio kaina, modelių šeima yra modelio greitis.
- D) Modelių šeima nurodo įmonę, tiekėjas – vieno modelio versiją
Aprašymas: teikėjas yra modelį sukūrusi įmonė (pvz., Anthropic); Modelių šeima yra modelių grupė, kurią ta įmonė renka pagal prekės ženklą (pavyzdžiui, Claude). Modelio versija yra konkreti šeimos versija.
2. Kaip galima tiksliausiai apibrėžti modelio „svorius“?
- A) Tai yra žetonų, kuriuos modelis gali pagaminti per minutę, skaičius
- B) Tai yra milijardai skaitmeninių parametrų, kuriuos modelis išmoksta treniruotės metu ir išsaugo savo informaciją. ✔
- C) Tai yra mėnesinis modelio abonentinis mokestis
- D) Tai modelio palaikomų kalbų skaičius
Aprašymas: Svoriai yra milijardai skaitmeninių parametrų, kuriuos modelis išmoksta treniruotės metu; Čia saugoma „viskas, ką modelis žino“. Uždaras / aiškus svorio skirtumas priklauso nuo to, ar šiuos parametrus galima atsisiųsti ir paleisti.
3. Kuris teiginys yra teisingas apie „atvirąjį svorį“ ir „atvirąjį kodą“?
- A) Tai visiškai tos pačios sąvokos ir abi neribotos komercinės paskirties
- B) Atviras svoris visada paviešina ir treniruočių duomenis
- C) Tai nėra tas pats dalykas; Atvirajame svoryje paprastai bendrinami tik parametrai, o licencijos sąlygos gali apriboti komercinį naudojimą ✔
- D) Atvirojo kodo modelių atsisiųsti negalima, galima atsisiųsti atvirojo svorio modelius
Paaiškinimas: Atvirajame svoryje bendrinami tik modelio parametrai; mokymo duomenys ir procesas dažnai neatskleidžiami, o kai kurios licencijos riboja komercinį naudojimą. Taigi „atviras svoris“ nėra visiškai tas pats, kas „atviras kodas“.
4. Kuri iš toliau nurodytų modelių yra svarbiausia teisininkų komandai, kuri skaito ir analizuoja ilgas sutartis?
- A) Turėdami mažiausią žetonų kainą
- B) turėti vizualinį (multimodalinį) apdorojimo gebėjimą
- C) turėti atvirą svorio licenciją
- D) Turėti platų konteksto langą ✔
Paaiškinimas: modeliui reikalingas didelis konteksto langas, kad būtų galima apdoroti ilgus dokumentus kaip visumą; Konteksto langas yra bendras žetonų kiekis, kurį modelis gali turėti omenyje vienu metu.
5. Kas yra tiesa apie uždaro svorio modelių žetonų kainodarą?
- A) Išvesties prieigos raktas paprastai yra žymiai brangesnis nei įvesties prieigos raktas ✔
- B) Įvesties ir išvesties kaina visada lygiai tokia pati
- C) Mokamas tik fiksuotas mėnesinis mokestis, naudojimo suma nėra svarbi
- D) Įvesties prieigos raktas visada yra daug kartų brangesnis nei išvestis
Paaiškinimas: Kaina skaičiuojama už prieigos raktą, o modelio sukurtas išvesties prieigos raktas paprastai yra kelis kartus brangesnis nei siunčiamas įvesties prieigos raktas. Todėl ilgi ir nereikalingi spaudiniai sparčiai didina išlaidas.
6. Kuri modelio funkcija yra būtina apskaitos komandai, kuri nori automatiškai išgauti duomenis iš sąskaitos faktūros vaizdų?
- A) Platesnis įmanomas konteksto langas
- B) Multimodalumas (vaizdo apdorojimo galimybė) ✔
- C) Atvira svorio licencija
- D) Aukščiausio lygio samprotavimas
Paaiškinimas: Kad suprastų vaizdinį turinį, modelis turi gebėti apdoroti vaizdus ir tekstą, tai yra, jis turi būti daugiarūšis. Multimodalumas – tai modelio galimybė apdoroti kelių tipų duomenis, tokius kaip tekstas, vaizdai ir kartais garsas.
7. Koks yra logiškiausias pasirinkimas didelės apimties, nesudėtingai užduočiai (pvz., teigiama / neigiama tūkstančių apžvalgų klasifikacija)?
- A) Visada stipriausias ir brangiausias samprotavimo modelis
- B) Modelis, veikiantis tik atvirame svoryje ir savo serveryje
- C) Lengvas ir nebrangus modelis, nes užduotis paprasta, o apimtis didelė ✔
- D) Modelis su plačiausiu konteksto langu
Aprašymas: Lengvas, nebrangus modelis puikiai tinka paprastoms didelės apimties užduotims atlikti; Naudojant patį galingiausią ir brangiausią modelį čia atsiranda nereikalingų išlaidų. Teisingas požiūris yra suderinti užduoties sudėtingumą su modelio pakopa.
8. Kas sukelia teksto, kuriame yra asmens duomenų, siuntimą užsienyje veikiančiam AI teikėjui, vertinant pagal KVKK?
- A) Tai nesukelia jokios teisinės atsakomybės
- B) Svarbu tik tuo atveju, jei teikėjas yra ES, jokiu kitu atveju
- C) Tai griežtai draudžiama bet kokiomis aplinkybėmis, nepaisant to, ar duomenys anonimiški, ar ne
- D) Duomenų perdavimas į užsienį yra svarstomas ir jam taikomos specialios KVKK ✔ sąlygos
Paaiškinimas: Operatyviniai duomenys teikėjo serveriuose užsienyje yra laikomi „duomenų perdavimu į užsienį“ ir jiems taikomos specialios KVKK sąlygos šiuo klausimu (pvz., aiškus sutikimas, sprendimas dėl tinkamumo, atitinkamos garantijos).
9. Ką veikia modelio „samprotavimo“ režimas ir kaip jis veikia sąnaudas?
- A) Tai padidina sudėtingų problemų tikslumą, tačiau padidina išlaidas ir delsą, nes sukuria daugiau žetonų ✔
- B) Visada padaro modelį laisvą
- C) Tik padidina modelio palaikomų kalbų skaičių
- D) Visada trumpinkite atsakymus ir sumažinkite išlaidas
Aprašymas: Samprotavimo režimas leidžia modeliui žingsnis po žingsnio „mąstyti“ prieš pateikiant atsakymą; Tai padidina kelių etapų ir sudėtingų problemų tikslumą, bet taip pat padidina išlaidas ir delsą, nes sukuria daugiau žetonų.
10. Koks yra patikimiausias metodas vertinant (vertinant) savo verslo modelį?
- A) Tiesiog pasirenkamas populiariausias modelis ir naudojamas be bandymų
- B) Sudarykite nedidelį savo tikrų užduočių testų rinkinį ir palyginkite su juo modelius ✔
- C) Tiesiog pažvelgus į skelbimuose minimą lyginamąjį balą
- D) Automatiškai priimti modelį su aukščiausiu konteksto langu kaip geriausią
Paaiškinimas: užuot aklai pasikliavę pirmaujančiųjų sąrašais, sukūrę nedidelį savo tikrų užduočių testų rinkinį ir palyginę šio rinkinio modelius, atsiras tas, kuris tikrai tinka jūsų verslui.
11. Kaip žinojimas, kad modelio išvestyje gali būti „haliucinacijų“, turėtų formuoti jūsų darbo eigą?
- A) Išvestis visada turėtų būti laikoma teisinga ir skelbiama tiesiogiai
- B) Haliucinacijos matomos tik nemokamuose modeliuose, o ne mokamuose modeliuose
- C) Priimant kritinius sprendimus, išvestis turi būti patikrinta žmogaus ir patvirtinti šaltiniai ✔
- D) Haliucinacijas galima visiškai pašalinti tiesiog pakeitus modelį
Paaiškinimas: Haliucinacija yra tada, kai modelis pateikia informaciją, kuri iš tikrųjų nėra tiesa, patikima kalba. Dėl šios rizikos turėtų būti reikalaujama, kad žmogus patikrintų rezultatus, ypač priimant teisinius, medicininius ir finansinius sprendimus.
12. Kokia yra pagrindinė brandžių institucijų taikomo modelio portfelio metodo logika?
- A) Užtikrinti paprastumą, kiekvieną darbą atliekant vienu brangiausiu modeliu.
- B) Naudojant tik pigiausią modelį ir visiškai ignoruojant kokybę
- C) Nenaudokite modelių ir atlikite visus darbus rankiniu būdu
- D) Sąnaudų optimizavimas ir priklausomybės nuo vieno tiekėjo mažinimas naudojant skirtingus modelius pagal užduotį ✔
Aprašymas: Modelių portfelyje naudojami skirtingi modeliai pagal užduotį: pigus modelis paprastiems ir didelių gabaritų darbams, galingas modelis sudėtingiems darbams, atviras svorio / regioninis modelis konfidencialiems duomenims. Tai optimizuoja išlaidas ir sumažina priklausomybę nuo vieno tiekėjo.
13. Kodėl kilmės šalis ir duomenų saugojimo politika gali būti modelio atrankos kriterijus?
- A) Kadangi tai tiesiogiai veikia reguliavimo, duomenų suverenumo ir privatumo reikalavimus ✔
- B) Tik todėl, kad tai lemia modelio reakcijos greitį
- C) Nes ji nustato modelio palaikomus failų formatus
- D) Kadangi tai neturi praktinio poveikio, tai tik rinkodaros detalė
Aprašymas: Šalis, kurioje yra modelio kūrėjas ir kur/kiek saugoma duomenų; Ji yra lemiama teisinio reguliavimo, duomenų suverenumo ir privatumo požiūriu. Pvz., organizacijai, norinčiai priglobti ES, svarbus tampa regioninis teikėjas arba nulinės saugyklos parinktis.
14. Kas geriausiai paaiškina, kodėl užduotyje ieškoti „vieno geriausio modelio“ yra klaidinanti?
- A) Visi modeliai turi lygiai tokias pačias galimybes
- B) Modeliai yra tvirti įvairių dydžių, todėl „geriausias“ priklauso nuo darbo reikalavimo ✔
- C) Brangiausias modelis automatiškai yra geriausias atliekant kiekvieną užduotį
- D) Modelis turėtų būti pasirenkamas visiškai atsitiktinai
Aprašymas: modeliai pasižymi įvairiais aspektais, tokiais kaip greitis, kaina, kontekstas, daugiarūšiškumas, privatumas ir argumentai. Modelis, kuris yra lyderis vienoje dimensijoje, gali būti silpnas kitoje; todėl „geriausias“ visada priklauso nuo darbo reikalavimo.