Umsókn frá enda til enda: Mat, staðfesting, siðfræði og mörk

Hagnaður:

• Geta til að setja upp lítið prófunarsett (eval) sem metur líkan með eigin gögnum
• Fella mannlega sannprófun, takmörk og stefnu um ábyrga notkun í verkflæði
• Viðurkenna ofskynjanir, friðhelgi einkalífsins og siðferðilega áhættu og framkvæma mótvægisaðgerðir

Þú hefur valið réttu líkanið; Er verkinu lokið? Nei, alvöru vinnan byrjar núna. Að setja líkan inn í fyrirtækið þitt snýst um að prófa það gegn eigin gögnum, staðfesta framleiðsla þess og ramma það inn á ábyrgan hátt. Þessi lokaeining breytir allri einingunni í end-til-enda forrit: þú munt læra hvernig á að setja upp lítið prófunarsvíta (eval), fella mannlega sannprófun inn í verkflæðið, stjórna ofskynjunum og áhættum fyrir persónuvernd og draga siðferðileg mörk. Þegar einingin er tilbúin muntu vera í stakk búinn til að velja ekki aðeins gerð heldur einnig taka hana í notkun með sjálfstrausti.

Mat (Eval): Próf með eigin gögnum

Nú veistu að aðeins raunveruleg gögn þín, ekki auglýsingar, geta sagt til um hvort líkan passar við fyrirtæki þitt. Leiðin til að mæla þetta er að setja upp matssett (eval): lítið safn sýnishorna úr verkum þínum þar sem rétt svar er þekkt fyrir.

Einföld úttekt er sett upp svona:

1. Safnaðu 10-30 raunverulegum sýnum. Veldu aðföng sem eru dæmigerð fyrir starf þitt (blönduðu erfitt og auðvelt).
2. Ákvarðu „rétt/vænt framleiðsla“ fyrir hvert dæmi. Hverju myndi sérfræðingur svara?
3. Keyrðu frambjóðendur í gegnum sömu dæmin. Prófaðu módelin sem þú ert að bera saman eitt í einu með sama settinu.
4. Skora úrslitin. Í hversu mörgum dæmum er það satt? Hvar fór hann úrskeiðis? Eru mistök ásættanleg?
5. Berðu saman og veldu. Veldu ekki hæstu heildareinkunnina, heldur þann sem er áreiðanlegastur í mikilvægustu dæmunum fyrir þig.

Ábending: Ekki treysta stigatöflunum í blindni. Líkan getur verið í fyrsta sæti á heimsvísu, en staðið sig verr en líkanið í öðru sæti í sérstökum tyrkneskum lagatextum þínum. Þitt eigið mat á 20 sýnum er meira virði en hundruð opinberra prófa.

Ofskynjanir: skaðlegasta áhættan fyrirsætunnar

Ofskynjanir er þegar líkanið framleiðir upplýsingar sem eru í raun ekki sannar, á öruggu tungumáli. Í stað þess að segja „ég veit það ekki,“ gæti líkanið framkallað lagasetningu sem ekki er til, tilbúna tölfræði eða ranga dagsetningu; Þar að auki gerir hann þetta á einstaklega sannfærandi tungumáli. Þetta er hættulegasti þáttur gervigreindar vegna þess að villur líkjast sannleika.

Þú getur ekki útrýmt ofskynjunum alveg, en þú getur dregið úr henni og náð henni:

• Byggðu það á upprunanum: Biddu líkanið um að búa til svör úr skjölunum sem þú gefur upp, ekki úr eigin „minni“ (RAG rökfræði).
• Biðja um heimildir: Segðu: "Við hlið hverrar kröfu, skrifaðu skjalið/hlutann sem hún er byggð á"; Ef hann getur ekki gefið upp heimild, vertu tortrygginn.
• Að fá fólk til að segja að það sé ekki viss: Leiðbeiningin „Ef þú ert ekki viss, skrifaðu „ekki skýrt““ dregur úr módelfestingu.
• Mannleg sannprófun: Mikilvægar niðurstöður verða að vera sannprófaðar af manni.

Varúð: Notaðu aldrei úttak líkansins án þess að staðfesta það fyrir lagalegar, læknisfræðilegar eða fjárhagslegar ákvarðanir. „Lagagrein“ eða „skammtaupplýsingar“ sem líkanið framleiðir getur verið algjörlega tilbúið. Á þessum sviðum er gervigreind drög/bráðabirgðatæki; Hæfn manneskja á alltaf síðasta orðið.

Krafa um sannprófun manna

Gervigreind virkar best sem tæki sem flýtir fyrir fólki, ekki setur það úr vinnu. Rétt uppsetning er sem hér segir: framleiðir eða forhæfir drög að líkaninu; manneskjan skoðar, leiðréttir og samþykkir. Hversu ströng sannprófunin þarf að vera fer eftir kostnaði við villuna.

Leit

Villukostnaður

sannprófun manna

Drög að vörulýsingu

lágt

Sýnastjórnun er nóg

Svar viðskiptavinar í tölvupósti

miðlungs

Yfirferð fyrir framlagningu

Áhættugreining samninga

hátt

Grein fyrir grein staðfesting sérfræðinga

Læknis-/fjármálaráðgjöf

mjög hátt

Full sannprófun sérfræðinga, aðeins stuðningur við gervigreind

Þessi tafla nær jafnvægi á milli "handvirkt athuga hvert úttak" og "alls ekki athuga." Þó að sýnishornsstýring sé nægjanleg fyrir störf með litlum tilkostnaði, verður að sannreyna hvert framlag fyrir dýr störf.

Siðferðileg og ábyrg notkun

Þó að val á gerðum kunni að virðast vera tæknileg ákvörðun, þá eru siðferðilegar skyldur á bak við það:

• Gagnsæi: Láttu viðskiptavini þína eða starfsmenn vita að þú notar gervigreind á viðeigandi stöðum. Viðskiptavinur á rétt á að vita hvort hann er að tala við mann eða gervigreind.
• Hlutdrægni: Líkön geta erft hlutdrægni frá gögnunum sem þau eru þjálfuð á. Fylgstu með sanngirni niðurstaðna á viðkvæmum sviðum eins og ráðningum og lánshæfismati.
• Persónuvernd: Fella gagnaverndarreglurnar sem þú lærðir í einingu 8 inn í verkflæðið; Ekki senda persónuupplýsingar kæruleysislega.
• Ábyrgð: Þegar mistök eiga sér stað er vörnin „AI gerði það“ ekki nóg. Ábyrgðin er hjá stofnuninni sem notar ökutækið. Svo staðfestingarferli skjalsins.

Ábending: Skrifaðu smá „ábyrga notkunarstefnu“ inn í verkflæðið þitt: hvaða störf geta notað gervigreind, hvaða gögn er ekki hægt að senda, hver mun staðfesta þau og hvernig villur verða tilkynntar. Þetta skjal á einni síðu kemur í veg fyrir meiriháttar vandamál í framtíðinni.

Þrjú raunhæf mál

Mál 1 - Eftirsjá án þess að staðfesta eval. Tryggingateymi byrjar að taka saman kröfur án þess að prófa vinsælustu gerðina. Eftir tvær vikur átta þeir sig á því að líkanið gerir oft mistök á tyrkneskum tæknilegum orðum og les sumar upphæðir rangt. Þegar þeir setja upp 20 sýnishorn og bera saman gerðirnar þrjár skipta þeir yfir í líkanið sem er ekki vinsælast en er nákvæmara í tyrkneskum tæknitextum. Tapið: tvær vikur og prófarkalestur. Lexía: meta fyrst, dreifa síðar.

Tilfelli 2 — Ferlið sem fangar ofskynjanir. Lögfræðingur sér tilvísun í „hæstaréttardóm“ í útprentun líkansins. Þar sem ferli þeirra hefur reglu um „staðfesta hverja tilvísun“, leitar hann að ákvörðuninni og kemst að því að engin slík ákvörðun er til; Hann bjó til fyrirmynd. Þökk sé mannlegri sannprófun ná tilbúnar upplýsingar aldrei til viðskiptavinarins. Án sannprófunarreglunnar hefði mannorðstapið getað orðið alvarlegt.

Mál 3 — Traust með gagnsæi. Rafrænt viðskiptafyrirtæki framleiðir svör við þjónustuveri með gervigreind, en bætir við athugasemd við hvert svar: "Þetta svar var útbúið með stuðningi við gervigreind og var skoðað af einum af fulltrúum okkar." Viðskiptavinir eru ánægðari með bæði skjót viðbrögð og sjálfstraust þess að sjá manneskju trúlofuð. Gagnsæi er ekki veikleiki til að fela, heldur uppspretta trausts.

Veik kvaðning / sterk kvaðning: Sannanleg framleiðsla

Veik kvaðning:

Segðu mér frá áhættusömum ákvæðum þessa samnings.

Getur passað fyrirmynd; engin heimild, engin merki um óvissu.

Öflug tilvitnun:

Hlutverk þitt: samningssérfræðingur (endanleg ákvörðun er í höndum lögfræðings). Verkefni: Leggðu áherslu á hugsanlega áhættusöm ákvæði í eftirfarandi samningi. Fyrir hverja niðurstöðu: (1) ákvæðisnúmer og orðrétt tilvitnun, (2) hvers vegna það er áhættusamt, (3) sjálfstraust þitt (hátt/miðlungs/lágt). Treystu aðeins á ákvæði í textanum; Ekki búa til neitt sem er ekki í textanum. Þar sem þú ert ekki viss, skrifaðu "lögmannsstaðfestingu krafist". [samningur]

Sterk hvetja tengir hverja fullyrðingu við upprunann (greinarnúmer + tilvitnun), krefst öryggisstigs og bannar tilbúning; Þetta gerir ofskynjanir grípandi.

Afritanleg sniðmát

1. Eval leikmynd:

Hannaðu matssett fyrir eftirfarandi verkefni [VERK]. Stingdu upp á 15 sýnisinntak (blandað auðvelt-miðlungs-erfitt), hvernig "vænt rétt úttak" yrði skilgreint fyrir hvert og ákveðið stigaviðmið (1-5).

2. Ofskynjunarminnkandi umbúðir:

Endurskrifaðu eftirfarandi hvatningu til að draga úr tilbúningi: "[PROMPT]". Bættu við reglum um að vitna í heimildir, tilgreina öryggisstig og "segðu mér ef þú ert ekki viss."

3. Staðfestingarflæðishönnun:

Í eftirfarandi verkflæði [WORKFLOW] Hannaðu mannlegt sannprófunarskref fyrir gervigreindarúttakið. Ákvarða hversu ströng sannprófunin ætti að vera byggð á kostnaði við villu; skrifaðu hver mun athuga hvað, hvenær.

4. Drög að stefnu um ábyrga notkun:

Gerðu drög að einni síðu „ábyrgri gervigreindarstefnu“ fyrir teymi í [INDUSTRY]. Láttu eftirfarandi fyrirsagnir fylgja: leyfileg notkun, bönnuð gögn, sannprófunarábyrgð, gagnsæisskýrslur, villutilkynningar.

Algeng mistök

• Dreifing án Eval: Byrja líkanið án þess að prófa það með eigin gögnum og taka eftir villum eftir að þær endurspeglast í viðskiptavininum/starfinu.
• Að treysta á ofskynjanir: Að nota öruggt tungumál líkansins sem sannleika án þess að sannreyna tilvísanir.
• Framhjá sannprófun manna: Skilja framleiðsla ómerkt við ákvarðanir um háan kostnað; Að halla sér að vörninni „AI gerði það“.
• Forðastu gagnsæi: Fela notkun þína á gervigreind; upplifa tap á sjálfstrausti þegar það gerist.
• Hunsa siðareglur og hlutdrægni: Nota viðkvæmar ákvarðanir (ráðningar, lánstraust) án þess að fylgjast með sanngirni framleiðslunnar.

Í stuttu máli

• Áður en þú setur upp líkan skaltu setja upp lítið matssett með eigin gögnum og prófa umsækjendur; heildarröðun táknar ekki fyrirtækið þitt.
• Ofskynjanir er örugg framleiðsla líkansins á fölsku máli; Fangað af heimildum uppruna, trausti og mannlegri sannprófun.
• Strangleiki mannlegrar sannprófunar er stilltur í samræmi við villukostnað; Á mikilvægum sviðum er gervigreind aðeins stuðningur, ákvörðunin er mannsins.
• Gagnsæi, eftirlit með hlutdrægni, trúnaði og ábyrgð; eru fjórar stoðir ábyrgrar gervigreindarnotkunar. Stefna á einni síðu kemur í veg fyrir mikla áhættu.

Umsóknarverkefni

Settu upp matssett með 15 dæmum með sniðmáti 1 í þessari einingu (eval set design) fyrir umsækjendalíkanið sem þú valdir í gegnum eininguna og berðu saman að minnsta kosti tvö líkön á móti þessu setti. Hannaðu síðan hvernig framleiðslan verður staðfest af mönnum með sniðmáti 3 (staðfestingarflæði) og gerðu drög að einni síðu stefnu fyrir teymið þitt með sniðmáti 4 (ábyrg notkunarstefna). Þessar þrjár afhendingar breyta allri einingunni í nothæfa dreifingaráætlun.

gátlisti

• [ ] Með mínum eigin gögnum get ég sett upp lítið matssett og borið saman líkön.
• [ ] Ég get þekkt ofskynjanir og beitt mildandi og stöðvunaraðgerðum.
• [ ] Ég get stillt strangleika mannlegrar sannprófunar á grundvelli villukostnaðar.
• [ ] Ég get fellt inn í verkflæðið gagnsæi, hlutdrægni, trúnað og ábyrgð.
• [ ] Ég get lagt drög að einni síðu stefnu um ábyrga gervigreindarnotkun.

Einingapróf

1. Hver er munurinn á gervigreindar 'veita' og 'fyrirmyndarfjölskyldu'?

• A) Þjónustuaðilinn er fyrirtækið sem þróar líkanið og fyrirmyndafjölskyldan er fyrirmyndarhópur þess fyrirtækis undir vörumerki ✔
• B) Þeir eru nákvæmlega sami hluturinn og eru notaðir til skiptis
• C) Veitandi er verð líkansins, líkanfjölskyldan er hraði líkansins.
• D) Líkanfjölskylda vísar til fyrirtækisins, birgir vísar til einni gerð útgáfu

Lýsing: Þjónustuveitan er fyrirtækið sem þróaði líkanið (t.d. Anthropic); Fyrirsætafjölskylda er fyrirmyndahópurinn sem það fyrirtæki safnar undir vörumerki (til dæmis Claude). Fyrirmyndarútgáfa er ákveðin útgáfa innan fjölskyldunnar.

2. Hvernig er hægt að skilgreina 'þyngd' líkans sem nákvæmast?

• A) Það er fjöldi tákna sem líkanið getur framleitt á mínútu
• B) Það eru milljarðar tölugilda sem líkanið lærir við þjálfun og geymir upplýsingar sínar. ✔
• C) Það er mánaðarlegt áskriftargjald fyrirmyndarinnar
• D) Það er fjöldi tungumála sem líkanið styður

Lýsing: Þyngd eru milljarðar af tölulegum breytum sem líkanið lærir við þjálfun; Það er þar sem „allt sem fyrirmyndin veit“ er geymt. Aðgreiningin á lokuðu/skýrri þyngd fer eftir því hvort hægt er að hlaða niður þessum breytum og keyra.

3. Hvaða fullyrðing er sönn um „opinn þyngd“ og „opinn uppspretta“?

• A) Þetta eru nákvæmlega sömu hugtökin og gefa bæði ótakmarkaða viðskiptanotkun
• B) Opin þyngd gerir þjálfunargögnin alltaf opinber líka
• C) Það er ekki sami hluturinn; Í opinni vigtun er venjulega aðeins færibreytum deilt og leyfisskilmálar geta takmarkað viðskiptanotkun ✔
• D) Ekki er hægt að hlaða niður opnum líkönum, hægt er að hlaða niður líkönum með opnum þyngd

Skýring: Í opinni vigtun er aðeins líkanbreytum deilt; þjálfunargögn og ferli eru oft ekki birt og sum leyfi takmarka viðskiptalega notkun. Svo „opinn þyngd“ er ekki nákvæmlega það sama og „opinn uppspretta“.

4. Hvert af eftirfarandi er mest afgerandi fyrirmyndaratriði fyrir lögfræðiteymi sem les og greinir langa samninga?

• A) Að hafa lægsta táknverðið
• B) Hafa sjónræn (fjölmóta) vinnslugetu
• C) Að hafa leyfi til opinnar þyngdar
• D) Að hafa breiðan samhengisglugga ✔

Skýring: Líkanið þarf stóran samhengisglugga til að vinna úr löngum skjölum í heild; Samhengisglugginn er heildarmagn tákna sem líkanið getur haft í huga í einu.

5. Hvað er satt um verðlagningu á táknum fyrir lokaðar þyngdarlíkön?

• A) Úttakstáknið er venjulega umtalsvert dýrara en inntakstáknið ✔
• B) Inntak og framleiðsla er alltaf nákvæmlega sama verð
• C) Aðeins fast mánaðargjald innheimt, notkunarupphæð skiptir engu máli
• D) Input token er alltaf margfalt dýrari en framleiðsla

Skýring: Verðið er reiknað á hvert tákn og úttakstáknið sem líkanið framleiðir er venjulega nokkrum sinnum dýrara en inntakstáknið sem þú sendir. Þess vegna auka langar og óþarfa útprentanir kostnaðinn hratt.

6. Hvaða eiginleiki í líkani er nauðsynlegur fyrir bókhaldateymi sem vill vinna sjálfkrafa gögn úr reikningsmyndum?

• A) Breiðasti mögulegi samhengisgluggi
• B) Fjölbreytni (sjónræn vinnslugeta) ✔
• C) Opið þyngdarskírteini
• D) Hæsta stig rökhugsunar

Skýring: Til að skilja myndefni þarf líkanið að geta unnið úr myndum jafnt sem texta, það er að það þarf að vera fjölþætt. Multimodality er hæfileiki líkansins til að meðhöndla margar tegundir gagna, svo sem texta, myndir og stundum hljóð.

7. Hver er rökréttasti kosturinn fyrir mikið, einfalt verkefni (t.d. jákvæð/neikvæð flokkun þúsunda umsagna)?

• A) Alltaf sterkasta og dýrasta rökhugsunarlíkanið
• B) Líkan sem virkar aðeins á opinni þyngd og á eigin netþjóni
• C) Létt og ódýrt líkan, vegna þess að verkefnið er einfalt og rúmmálið er hátt ✔
• D) Líkanið með breiðasta samhengisgluggann

Lýsing: Létt, ódýrt líkan gerir gæfumuninn fyrir einföld, mikið magn verkefni; Notkun öflugasta og dýrasta líkansins skapar hér óþarfa kostnað. Rétt nálgun er að passa erfiðleika verkefnisins við líkanið.

8. Hvað kemur af stað sendingu texta sem inniheldur persónulegar upplýsingar til erlends gervigreindarveitu með tilliti til KVKK?

• A) Það skapar enga lagalega ábyrgð
• B) Skiptir aðeins máli ef veitandinn er í ESB, í engu öðru tilviki
• C) Það er stranglega bannað undir öllum kringumstæðum, óháð því hvort gögnin eru nafnlaus eða ekki
• D) Gagnaflutningur til útlanda kemur til greina og er háður sérstökum skilyrðum KVKK ✔

Skýring: Rekstrargögn á netþjónum þjónustuveitanda erlendis teljast „gagnaflutningur til útlanda“ og eru háð sérstökum skilyrðum KVKK um þetta efni (svo sem skýrt samþykki, ákvörðun um hæfileika, viðeigandi tryggingar).

9. Hvað gerir „rökhugsunaraðferð“ líkans og hvernig hefur það áhrif á kostnað?

• A) Það eykur nákvæmni í flóknum vandamálum, en eykur kostnað og seinkun þar sem það býr til fleiri tákn ✔
• B) Gerir líkanið alltaf ókeypis
• C) Eykur aðeins fjölda tungumála sem líkanið styður
• D) Alltaf að stytta svörin og draga úr kostnaði

Lýsing: Rökstuðningur gerir líkaninu kleift að 'hugsa' skref fyrir skref áður en svarið er gefið; Það eykur nákvæmni í fjölþrepa og flóknum vandamálum, en það eykur líka kostnað og seinkun vegna þess að það býr til fleiri tákn.

10. Hver er áreiðanlegasta nálgunin þegar metið er (metið) líkan fyrir þitt eigið fyrirtæki?

• A) Bara að velja vinsælustu gerðina og nota hana án þess að prófa
• B) Settu upp lítið prófunarsett af eigin raunverulegu verkefnum og berðu saman líkön við það ✔
• C) Bara að horfa á viðmiðunarstigið sem nefnt er í auglýsingum
• D) Samþykkja sjálfkrafa líkanið með hæsta samhengisgluggann sem það besta

Skýring: Í stað þess að treysta í blindni á topplistann, búa til lítið prófunarsett af eigin raunverulegu verkefnum þínum og bera saman líkön á þessu setti mun leiða í ljós það sem raunverulega hentar fyrirtækinu þínu.

11. Hvernig ætti vitneskjan um að framleiðsla líkans gæti innihaldið „ofskynjanir“ að móta vinnuflæðið þitt?

• A) Úttakið ætti alltaf að teljast rétt og birt beint
• B) Ofskynjanir sjást aðeins í ókeypis gerðum, ekki í greiddum gerðum
• C) Við mikilvægar ákvarðanir verður framleiðsla að vera sannreynd af manni og heimildirnar verða að vera staðfestar ✔
• D) Ofskynjunum er hægt að útrýma algjörlega með því einfaldlega að breyta líkaninu

Skýring: Ofskynjanir er þegar líkanið framleiðir upplýsingar sem eru í raun ekki sannar, á öruggu tungumáli. Vegna þessarar áhættu ætti að krefjast sannprófunar á framleiðslu af manni, sérstaklega fyrir lagalegar, læknisfræðilegar og fjárhagslegar ákvarðanir.

12. Hver er grundvallarrökfræðin í „fyrirmyndasafni“ nálgun sem þroskaðar stofnanir hafa tekið upp?

• A) Til að tryggja einfaldleika með því að láta hvert verk unnið af einni, dýrustu gerð.
• B) Nota aðeins ódýrustu gerðina og algjörlega hunsa gæði
• C) Ekki nota neinar gerðir og vinna alla vinnu handvirkt
• D) Fínstilla kostnað og draga úr ósjálfstæði á einum þjónustuaðila með því að nota mismunandi gerðir í samræmi við verkefnið ✔

Lýsing: Líkanasafnið á að nota mismunandi gerðir í samræmi við verkefnið: ódýrt líkan fyrir einföld og fyrirferðarmikil störf, öflugt líkan fyrir flókin störf, opið vægi/svæðalíkan fyrir trúnaðargögn. Þetta bæði hámarkar kostnað og dregur úr ósjálfstæði á einum þjónustuaðila.

13. Hvers vegna gæti upprunaland og varðveislustefna gagna verið viðmiðun fyrir val á gerðum?

• A) Vegna þess að það hefur bein áhrif á reglur, fullveldi gagna og persónuverndarkröfur ✔
• B) Aðeins vegna þess að það ákvarðar viðbragðshraða líkansins
• C) Vegna þess að það ákvarðar skráarsniðin sem líkanið styður
• D) Vegna þess að það hefur engin hagnýt áhrif, þá er það bara markaðsatriði

Lýsing: Land þar sem þróunaraðili líkansins er staðsettur og hvar/hversu mikið af gögnum er geymt; Það er afgerandi hvað varðar lagareglur, fullveldi gagna og friðhelgi einkalífs. Til dæmis, fyrir stofnun sem vill hýsa innan ESB, verður svæðisþjónusta eða engin geymsluvalkostur mikilvægur.

14. Hver skýrir best hvers vegna það er villandi að leita að „einni bestu fyrirmynd“ í verkefni?

• A) Allar gerðir hafa í raun nákvæmlega sömu getu
• B) Líkönin eru sterk í mismunandi stærðum, svo „best“ fer eftir starfsþörfinni ✔
• C) Dýrasta gerðin er sjálfkrafa sú besta í hverju verkefni
• D) Gerð val ætti að fara fram algjörlega af handahófi

Lýsing: Líkön eru sterk á mismunandi víddum eins og hraða, kostnaði, samhengi, fjölbreytni, næði og rökhugsun. Fyrirmynd sem er leiðtogi á einni vídd getur verið veik í annarri; þannig að 'best' fer alltaf eftir starfsþörfinni.