Ieguvumi:
- Iespēja izveidot nelielu testa kopu (eval), kas novērtē modeli ar jūsu datiem
- Iekļaujiet darbplūsmā cilvēka verifikāciju, ierobežojumus un atbildīgas lietošanas politiku
- Atzīt halucinācijas, privātuma un ētiskus riskus un īstenot to mazinošus pasākumus
Jūs esat izvēlējies pareizo modeli; Vai darbs ir paveikts? Nē, īstais darbs sākas tagad. Modeļa ieviešana jūsu biznesā ir saistīta ar tā pārbaudi, salīdzinot ar saviem datiem, apstiprinot tā rezultātus un atbildīgi veidojot to. Šī pēdējā vienība pārvērš visu moduli par visaptverošu lietojumprogrammu: jūs uzzināsit, kā izveidot nelielu testa komplektu (eval), iestrādāt cilvēka verifikāciju darbplūsmā, pārvaldīt halucinācijas un privātuma riskus un novilkt ētiskas robežas. Kad iekārta būs pabeigta, jūs varēsiet ne tikai izvēlēties modeli, bet arī droši to nodot ekspluatācijā.
Novērtējums (Eval): testēšana ar saviem datiem
Tagad jūs zināt, ka tikai jūsu faktiskie dati, nevis reklāmas, var noteikt, vai modelis ir piemērots jūsu uzņēmumam. Veids, kā to izmērīt, ir izveidot novērtējuma kopu (eval): nelielu jūsu darba paraugu kolekciju, uz kuru ir zināma pareizā atbilde.
Vienkārša novērtēšana ir iestatīta šādi:
- Savāc 10-30 reālus paraugus. Izvēlieties ievades datus, kas ir raksturīgi jūsu darbam (jauc sarežģīto un vieglo).
- Katram piemēram nosakiet "pareizo/paredzamo izvadi". Ko eksperts atbildētu?
- Izpildiet kandidātus, izmantojot tos pašus piemērus. Pa vienam pārbaudiet modeļus, kurus jūs salīdzināt, ar vienu un to pašu komplektu.
- Novērtējiet rezultātus. Cik piemēros tā ir taisnība? Kur viņš kļūdījās? Vai kļūdas ir pieņemamas?
- Salīdziniet un izvēlieties. Izvēlieties nevis augstāko kopējo punktu skaitu, bet gan to, kas ir visuzticamākais jums viskritiskākajos piemēros.
Padoms: akli neuzticieties uzvarētāju sarakstiem. Modelis var ieņemt pirmo vietu pasaulē, taču jūsu konkrētajos Turcijas juridiskajos tekstos tas darbojas sliktāk nekā otrās vietas modelis. Jūsu 20 paraugu novērtējums ir vairāk vērts nekā simtiem publisko testu.
Halucinācijas: modeļa vismānīgākais risks
Halucinācijas ir tad, kad modelis sniedz informāciju, kas patiesībā nav patiesa, pārliecinošā valodā. Tā vietā, lai teiktu “es nezinu”, modelis var radīt neeksistējošu tiesību aktu, izdomātu statistiku vai nepatiesu datumu; Turklāt viņš to dara ārkārtīgi pārliecinošā valodā. Šis ir visbīstamākais AI aspekts, jo kļūda tiek maskēta kā patiesība.
Jūs nevarat pilnībā novērst halucinācijas, bet varat to samazināt un noķert:
- Pamatojiet to uz avotu: lūdziet modelim ģenerēt atbildes no jūsu iesniegtajiem dokumentiem, nevis no savas "atmiņas" (RAG loģika).
- Pieprasījuma avoti: sakiet: "Blakus katrai pretenzijai uzrakstiet dokumentu/sadaļu, uz kuru tā ir balstīta"; Ja viņš nevar norādīt avotu, esiet aizdomīgs.
- Likt cilvēkiem pateikt, ka viņi nav pārliecināti: norādījums “Ja neesat pārliecināts, ierakstiet “nav skaidrs”” samazina modeļa pielāgošanu.
- Cilvēka pārbaude: kritiskie rezultāti ir jāpārbauda cilvēkam.
Uzmanību! Nekad neizmantojiet modeļa izvadi, ja tas nav apstiprināts juridiskiem, medicīniskiem vai finansiāliem lēmumiem. Modeļa radītais "likuma pants" vai "informācija par devu" var būt pilnībā izdomāts. Šajās jomās AI ir uzmetuma/iepriekšēja rīks; Kompetentam cilvēkam vienmēr ir pēdējais vārds.
Prasība cilvēka verifikācijai
Mākslīgais intelekts vislabāk darbojas kā rīks, kas cilvēkus paātrina, nevis liek no darba. Pareizā iestatīšana ir šāda: izveido vai iepriekš kvalificē modeļa uzmetumu; cilvēks pārskata, labo un apstiprina. Tas, cik stingrai ir jābūt verifikācijai, ir atkarīgs no kļūdas izmaksām.
Meklējumi
Kļūdas izmaksas
cilvēka pārbaude
Produkta apraksta melnraksts
zems
Pietiek ar paraugu kontroli
Klienta e-pasta atbilde
vidējs
Pārskatīšana pirms iesniegšanas
Līguma riska analīze
augsts
Pa rakstiem eksperta apstiprinājums
Medicīnas/finanšu konsultācijas
ļoti augsts
Pilna ekspertu pārbaude, tikai AI atbalsts
Šī tabula rada līdzsvaru starp "manuāli pārbaudīt katru izvadi" un "nepārbaudīt vispār". Lai gan parauga kontrole ir pietiekama zemu izmaksu darbiem, katra produkcija ir jāpārbauda augstas cenas darbiem.
Ētiska un atbildīga lietošana
Lai gan modeļa izvēle var šķist tehnisks lēmums, aiz tā slēpjas ētiski pienākumi:
- Pārredzamība: dariet saviem klientiem vai darbiniekiem zināmu, ka izmantojat mākslīgo intelektu atbilstošās vietās. Klientam ir tiesības zināt, vai viņš runā ar cilvēku vai AI.
- Neobjektivitāte: modeļi var mantot novirzi no datiem, uz kuriem tie ir apmācīti. Pārraugiet rezultātu godīgumu tādās jutīgās jomās kā personāla atlase un kredītvērtējums.
- Konfidencialitāte: ievietojiet datu aizsardzības principus, kurus apguvāt 8. nodaļā, darbplūsmā; Nesūtiet personas datus neapdomīgi.
- Atbildība: ja notiek kļūda, ar "AI izdarīja" aizsardzību nepietiek. Atbildība ir iestādei, kas izmanto transportlīdzekli. Tātad dokumentu pārbaudes procesi.
Padoms. Ierakstiet savā darbplūsmā nelielu “atbildīgas lietošanas politiku”: kādi darbi var izmantot AI, kādus datus nevar nosūtīt, kas tos pārbaudīs un kā tiks ziņots par kļūdām. Šis vienas lapas dokuments novērš lielas problēmas nākotnē.
Trīs reāli gadījumi
1. gadījums — nožēla, nenosakot eval. Apdrošināšanas komanda sāk atlīdzību apkopošanu, nepārbaudot populārāko modeli. Pēc divām nedēļām viņi saprot, ka modelis bieži pieļauj kļūdas turku tehniskajā terminā un nepareizi nolasa dažas summas. Kad viņi izveido 20 paraugu izvērtējumu un salīdzina trīs modeļus, viņi pāriet uz modeli, kas nav vispopulārākais, bet ir precīzāks turku tehniskajos tekstos. Zaudējums: divas nedēļas un korektūras darbs. Nodarbība: vispirms novērtē, vēlāk izvieto.
2. gadījums — process, kas uztver halucinācijas. Juridiskās palīdzības pārstāvis modeļa izdrukā redz norādi "Augstākās tiesas lēmums". Tā kā viņu procesā ir noteikums "pārbaudīt katru atsauci", viņš meklē lēmumu un konstatē, ka šāda lēmuma nav; Viņš izveidoja modeli. Pateicoties cilvēka pārbaudei, safabricēta informācija nekad nenonāk pie klienta. Bez pārbaudes noteikuma reputācijas zaudēšana varēja būt nopietna.
3. gadījums — uzticieties pārredzamībai. E-komercijas uzņēmums sagatavo klientu atbalsta atbildes, izmantojot AI, bet zem katras atbildes pievieno piezīmi: "Šī atbilde tika sagatavota ar mākslīgā intelekta atbalstu, un to pārskatīja viens no mūsu pārstāvjiem." Klienti ir vairāk apmierināti gan ar ātro reakciju, gan pārliecību, redzot cilvēka iesaistīšanos. Pārredzamība nav vājums, ko slēpt, bet gan uzticības avots.
Vāja uzvedne / spēcīga uzvedne: pārbaudāma izvade
Vāja uzvedne:
Pastāstiet man par šī līguma riskantajiem punktiem.
Var derēt modelim; nav avota, nav nedrošības pazīmju.
Spēcīga uzvedne:
Jūsu loma: līgumu analītiķis (galīgais lēmums ir juristam). Uzdevums: Izceliet potenciāli riskantos punktus šādā līgumā. Katram konstatējumam: (1) klauzulas numurs un burtisks citāts, (2) kāpēc tas ir riskanti, (3) jūsu ticamības līmenis (augsts/vidējs/zems). Paļauties tikai uz klauzulām tekstā; Nevajag izdomāt neko, kas nav tekstā. Ja neesat pārliecināts, rakstiet "nepieciešams jurista apstiprinājums". [līgums]
Spēcīga uzvedne saista katru apgalvojumu ar avotu (raksta numurs + atsauce), prasa ticamības līmeni un aizliedz izdomāšanu; Tas padara halucinācijas uztveramas.
Kopējamas veidnes
1. Eval scenogrāfija:
Izveidojiet vērtēšanas kopu šādam uzdevumam [UZDEVUMS]. Iesakiet 15 ievades paraugus (jaukts viegls-vidēji-sarežģīts), kā katram tiktu definēta "paredzamā pareizā izvade", un nosakiet vērtēšanas kritēriju (1-5).
2. Halucinācijas mazinošs iesaiņojums:
Pārrakstiet šo uzvedni, lai samazinātu izgatavošanu: "[PROMPT]". Pievienojiet noteikumus par avotu atsaukšanu, uzticamības līmeņu norādīšanu un "pastāstiet man, ja neesat pārliecināts".
3. Verifikācijas plūsmas dizains:
Šajā darbplūsmā [WORKFLOW] AI izvadei izveidojiet cilvēka verifikācijas soli. Nosakiet, cik stingrai pārbaudei jābūt, pamatojoties uz kļūdas izmaksām; uzraksti kas ko, kad pārbaudīs.
4. Atbildīgas lietošanas politikas projekts:
Izstrādājiet vienas lapas “atbildīgas AI lietošanas politiku” komandai nozarē [INDUSTRY]. Iekļaujiet šādus virsrakstus: atļautie lietojumi, aizliegtie dati, atbildība par verifikāciju, pārskatāmības ziņošana, kļūdu ziņošana.
Biežas kļūdas
- Izvietošana bez Eval: modeļa palaišana, nepārbaudot to ar saviem datiem un pamanot kļūdas pēc tam, kad tās ir atspoguļotas klientā/darbā.
- Paļaušanās uz halucinācijām: modeļa pārliecinošās valodas izmantošana kā patiesība, nepārbaudot atsauces.
- Cilvēka verifikācijas apiešana: izlaides atstāšana nekontrolēta, pieņemot lēmumus par augstām izmaksām; Balstoties uz “AI izdarīja to” aizsardzību.
- Izvairīšanās no caurspīdīguma: AI slēpšana; pārliecības zudums, kad tas notiek.
- Ētikas un neobjektivitātes ignorēšana: sensitīvu lēmumu izmantošana (nomāšana, kredīts), neuzraugot rezultātu godīgumu.
Rezumējot
- Pirms modeļa izvietošanas izveidojiet nelielu eval kopu ar saviem datiem un pārbaudiet kandidātus; kopvērtējums neatspoguļo jūsu uzņēmumu.
- Halucinācijas ir modeles pārliecinoša viltus valoda; Tverts, izmantojot avota attiecinājumu, uzticamības līmeni un cilvēka verifikāciju.
- Cilvēka veiktās pārbaudes stingrība tiek pielāgota atkarībā no kļūdas izmaksām; Kritiskās jomās AI ir tikai atbalsts, lēmums ir cilvēka ziņā.
- Pārredzamība, aizspriedumu kontrole, konfidencialitāte un atbildība; ir četri atbildīgas AI izmantošanas pīlāri. Vienas lapas politika novērš lielus riskus.
Lietojumprogrammas uzdevums
Iestatiet 15 piemēru novērtējuma kopu ar 1. veidni šajā vienībā (eval set design) kandidāta modelim(-iem), ko atlasījāt visā modulī, un salīdziniet vismaz divus modeļus ar šo komplektu. Pēc tam izstrādājiet, kā cilvēki pārbaudīs rezultātu, izmantojot 3. veidni (validācijas plūsma), un izveidojiet savai komandai vienas lapas politiku ar 4. veidni (atbildīgas lietošanas politika). Šie trīs rezultāti pārvērš visu moduli par praktiski izmantojamu izvietošanas plānu.
kontrolsaraksts
- [ ] Izmantojot savus datus, es varu izveidot nelielu eval komplektu un salīdzināt modeļus.
- [ ] Es varu atpazīt halucinācijas un piemērot mīkstināšanas un apcietināšanas pasākumus.
- [ ] Es varu pielāgot cilvēka veiktās pārbaudes stingrību, pamatojoties uz kļūdu izmaksām.
- [ ] Darbplūsmā varu iestrādāt caurspīdīguma, neobjektivitātes, konfidencialitātes un pārskatatbildības principus.
- [ ] Es varu izstrādāt vienas lapas atbildīgas AI lietošanas politiku.
Moduļa eksāmens
1. Kāda ir atšķirība starp mākslīgā intelekta pakalpojumu sniedzēju un modeļa saimi?
- A) Pakalpojumu sniedzējs ir uzņēmums, kas izstrādā modeli, un modeļu saime ir šī uzņēmuma modeļu grupa ar zīmolu ✔
- B) Tie ir tieši viens un tas pats un tiek lietoti savstarpēji aizstājami
- C) nodrošinātājs ir modeļa cena, modeļu saime ir modeļa ātrums.
- D) Modeļu saime attiecas uz uzņēmumu, piegādātājs attiecas uz viena modeļa versiju
Apraksts: nodrošinātājs ir uzņēmums, kas izstrādājis modeli (piemēram, Anthropic); Modeļu ģimene ir modeļu grupa, ko uzņēmums apkopo ar zīmolu (piemēram, Claude). Modeļa versija ir konkrēta versija ģimenē.
2. Kā visprecīzāk var definēt modeļa “svarus”?
- A) Tas ir žetonu skaits, ko modelis var radīt minūtē
- B) Tas ir miljardiem skaitlisko parametru, ko modelis mācās apmācības laikā un saglabā savu informāciju. ✔
- C) Tā ir modeļa ikmēneša abonēšanas maksa
- D) Tas ir modeļa atbalstīto valodu skaits
Apraksts: Svari ir miljardiem skaitlisku parametru, ko modelis mācās treniņa laikā; Tajā tiek glabāts “viss, ko modelis zina”. Slēgtā/precīzā svara atšķirība ir atkarīga no tā, vai šos parametrus var lejupielādēt un palaist.
3. Kurš apgalvojums ir patiess par “atvērtā svara” un “atvērtā koda”?
- A) Tie ir tieši tādi paši jēdzieni, un abi ir paredzēti neierobežotai komerciālai lietošanai
- B) Atvērtais svars vienmēr publisko arī treniņu datus
- C) tā nav viena un tā pati lieta; Atvērtā svēršanā parasti tiek koplietoti tikai parametri, un licences noteikumi var ierobežot komerciālu izmantošanu ✔
- D) Atvērtā koda modeļus nevar lejupielādēt, var lejupielādēt atvērtā koda modeļus
Paskaidrojums. Atvērtā svēršanā tiek koplietoti tikai modeļa parametri; apmācības dati un process bieži netiek izpausts, un dažas licences ierobežo komerciālu izmantošanu. Tātad “atvērtais svars” nav gluži tas pats, kas “atvērtais kods”.
4. Kura no tālāk norādītajām ir visnozīmīgākā modeļa iezīme juridiskai komandai, kas lasa un analizē garos līgumus?
- A) ar zemāko žetonu cenu
- B) ar vizuālu (multimodālu) apstrādes spēju
- C) Atvērta svara licence
- D) Ar plašu konteksta logu ✔
Paskaidrojums. Modelim ir nepieciešams liels konteksta logs, lai apstrādātu garus dokumentus kopumā; Konteksta logs ir kopējais marķieru skaits, ko modelis var paturēt prātā vienlaikus.
5. Kas attiecas uz marķieru cenām slēgta svara modeļiem?
- A) Izvades marķieris parasti ir ievērojami dārgāks nekā ievades marķieris ✔
- B) Ievades un izvades cena vienmēr ir tieši tāda pati
- C) Tiek iekasēta tikai fiksēta ikmēneša maksa, lietošanas apjomam nav nozīmes
- D) Ievades marķieris vienmēr ir daudzkārt dārgāks par izvadi
Paskaidrojums: cena tiek aprēķināta par vienu marķieri, un modeļa radītais izvades marķieris parasti ir vairākas reizes dārgāks nekā jūsu nosūtītais ievades marķieris. Tāpēc garas un nevajadzīgas izdrukas strauji palielina izmaksas.
6. Kura modeļa funkcija ir būtiska grāmatvedības komandai, kas vēlas automātiski iegūt datus no rēķinu attēliem?
- A) Plašākais iespējamais konteksta logs
- B) Multimodalitāte (vizuālās apstrādes spēja) ✔
- C) Atvērtā svara licence
- D) Augstākais argumentācijas līmenis
Paskaidrojums: Lai saprastu vizuālo saturu, modelim jāspēj apstrādāt attēlus, kā arī tekstu, tas ir, tam jābūt multimodālam. Multimodalitāte ir modeļa spēja apstrādāt vairāku veidu datus, piemēram, tekstu, attēlus un dažreiz arī audio.
7. Kāda ir loģiskākā izvēle liela apjoma, vienkāršam uzdevumam (piemēram, tūkstošiem atsauksmju pozitīva/negatīva klasifikācija)?
- A) Vienmēr spēcīgākais un dārgākais argumentācijas modelis
- B) Modelis, kas darbojas tikai uz atvērta svara un uz sava servera
- C) Viegls un zemu izmaksu modelis, jo uzdevums ir vienkāršs un skaļums liels ✔
- D) Modelis ar visplašāko konteksta logu
Apraksts: viegls, zemu izmaksu modelis ir piemērots vienkāršiem, liela apjoma uzdevumiem; Jaudīgākā un dārgākā modeļa izmantošana šeit rada nevajadzīgas izmaksas. Pareizā pieeja ir saskaņot uzdevuma grūtības pakāpi ar modeļa līmeni.
8. Kas izraisa personas datus saturoša teksta sūtīšanu ārvalstīs reģistrētam mākslīgā intelekta pakalpojumu sniedzējam, kas izteikts KVKK izteiksmē?
- A) Tas nerada nekādu juridisku atbildību
- B) Svarīgi tikai tad, ja pakalpojumu sniedzējs atrodas ES, nevienā citā gadījumā
- C) Tas ir stingri aizliegts jebkuros apstākļos, neatkarīgi no tā, vai dati ir anonīmi vai nē
- D) Tiek apsvērta datu pārsūtīšana uz ārzemēm, un uz to attiecas KVKK ✔ īpašie nosacījumi
Paskaidrojums: darbības dati pakalpojumu sniedzēja serveros ārvalstīs tiek uzskatīti par “datu pārsūtīšanu uz ārzemēm”, un uz tiem attiecas īpašie KVKK nosacījumi šajā jomā (piemēram, nepārprotama piekrišana, lēmums par atbilstību, atbilstošas garantijas).
9. Ko dara modeļa “spriešanas” režīms un kā tas ietekmē izmaksas?
- A) Tas palielina sarežģītu problēmu precizitāti, bet palielina izmaksas un aizkavi, jo tiek ģenerēts vairāk marķieru ✔
- B) Vienmēr padara modeli brīvu
- C) Tikai palielina modeļa atbalstīto valodu skaitu
- D) Vienmēr saīsiniet atbildes un samaziniet izmaksas
Apraksts: Spriešanas režīms ļauj modelim soli pa solim 'domāt' pirms atbildes sniegšanas; Tas palielina precizitāti daudzpakāpju un sarežģītās problēmās, bet arī palielina izmaksas un aizkavi, jo ģenerē vairāk marķieru.
10. Kāda ir visuzticamākā pieeja, izvērtējot (vērtējot) sava biznesa modeli?
- A) Vienkārši izvēlieties populārāko modeli un izmantojiet to bez pārbaudes
- B) Izveidojiet nelielu savu reālo uzdevumu testa komplektu un salīdziniet modeļus ar to ✔
- C) Paskatoties uz reklāmās minēto etalona rezultātu
- D) Automātiski pieņemt modeli ar augstāko konteksta logu kā labāko
Paskaidrojums: tā vietā, lai akli paļautos uz līderu sarakstiem, izveidojot nelielu testa kopu ar saviem patiesajiem uzdevumiem un salīdzinot modeļus šajā komplektā, tiks atklāts tas, kas patiešām ir piemērots jūsu uzņēmumam.
11. Kā zināšanām, ka modeļa iznākumā var būt “halucinācijas”, būtu jāveido jūsu darbplūsma?
- A) Iznākums vienmēr ir jāuzskata par pareizu un jāpublicē tieši
- B) Halucinācijas ir redzamas tikai bezmaksas modeļos, nevis maksas modeļos
- C) Kritiskos lēmumos iznākums ir jāpārbauda cilvēkam un jāapstiprina avoti ✔
- D) Halucinācijas var pilnībā novērst, vienkārši mainot modeli
Paskaidrojums: halucinācijas ir tad, kad modelis sniedz informāciju, kas patiesībā nav patiesa, pārliecinošā valodā. Šī riska dēļ ir jāpieprasa cilvēka veiktās produkcijas pārbaude, jo īpaši juridisku, medicīnisku un finansiālu lēmumu gadījumā.
12. Kāda ir “modeļa portfeļa” pieejas pamatloģika, ko izmanto nobriedušas iestādes?
- A) Lai nodrošinātu vienkāršību, katru darbu paveicot ar vienu visdārgāko modeli.
- B) Izmantojot tikai lētāko modeli un pilnībā ignorējot kvalitāti
- C) Neizmantojiet modeļus un visu darbu veiciet manuāli
- D) Izmaksu optimizēšana un atkarības samazināšana no viena pakalpojumu sniedzēja, izmantojot dažādus modeļus atbilstoši uzdevumam ✔
Apraksts: Modeļu portfolio paredzēts izmantot dažādus modeļus atbilstoši uzdevumam: lēts modelis vienkāršiem un apjomīgiem darbiem, jaudīgs modelis sarežģītiem darbiem, atvērts svara/reģionālais modelis konfidenciāliem datiem. Tas gan optimizē izmaksas, gan samazina atkarību no viena pakalpojumu sniedzēja.
13. Kāpēc modeļa izvēles kritērijs varētu būt izcelsmes valsts un datu saglabāšanas politika?
- A) Tā kā tas tieši ietekmē normatīvās, datu suverenitātes un privātuma prasības ✔
- B) Tikai tāpēc, ka tas nosaka modeļa reakcijas ātrumu
- C) Jo tas nosaka modeļa atbalstītos failu formātus
- D) Tā kā tam nav praktiskas ietekmes, tā ir tikai mārketinga detaļa
Apraksts: Valsts, kurā atrodas modeļa izstrādātājs un kur/cik datu tiek glabāts; Tas ir izšķirošs tiesiskā regulējuma, datu suverenitātes un privātuma ziņā. Piemēram, organizācijai, kas vēlas mitināt ES, reģionālais pakalpojumu sniedzējs vai nulles krātuves iespēja kļūst svarīga.
14. Kas vislabāk izskaidro, kāpēc uzdevumā meklēt “vienu labāko modeli” ir maldinoši?
- A) Visiem modeļiem faktiski ir tieši tādas pašas iespējas
- B) Modeļi ir spēcīgi dažādos izmēros, tāpēc “labākais” ir atkarīgs no darba prasībām ✔
- C) Dārgākais modelis automātiski ir labākais katrā uzdevumā
- D) Modeļa izvēle jāveic pilnīgi nejauši
Apraksts: modeļi ir spēcīgi dažādās dimensijās, piemēram, ātrumā, izmaksās, kontekstā, multimodalitātē, privātumā un argumentācijā. Modelis, kas ir līderis vienā dimensijā, var būt vājš citā; tāpēc “labākais” vienmēr ir atkarīgs no darba prasībām.