Awọn anfani:
- Agbara lati fi idi awọsanma ti o ni aabo LLM faaji ti ko tọju bọtini API lori alabara ṣugbọn lọ nipasẹ aṣoju-ipari kan
- Agbara lati kọ awọn iṣọpọ ti o lagbara ti o mu iyara ti a fiyesi pẹlu ṣiṣanwọle ati rọra mu awọn ipo bii awọn akoko ipari, awọn aṣiṣe nẹtiwọọki ati awọn opin iyara
- Agbara lati dinku idiyele nipasẹ kikuru ami ti a firanṣẹ ati beere iwulo data ti ara ẹni ṣaaju ki o lọ si awọsanma
Lori ẹrọ AI jẹ alagbara ṣugbọn opin. Nigbati o ba fẹ ṣafikun “oluranlọwọ iwiregbe ọlọgbọn nitootọ,” akopọ ọrọ gigun, tabi iṣelọpọ iṣẹda eka si ohun elo kan, o nilo awọn awoṣe ti o tobi ju lati baamu lori foonu kan. Eyi ni ibi ti awọsanma AI wa sinu ere: ohun elo rẹ sopọ si awoṣe ede nla kan (LLM) nipasẹ API kan (Atọka Eto Eto Ohun elo – wiwo boṣewa nibiti sọfitiwia meji firanṣẹ ati gba data si ara wọn). Ninu ẹyọ yii a yoo kọ ẹkọ bii o ṣe le ṣepọ awọsanma LLM sinu ohun elo alagbeka ni ailewu, iyara ati mimọ idiyele. Itọkasi pataki yoo wa lori aabo: iṣọpọ LLM ti a fi sori ẹrọ ti ko tọ le jo bọtini API rẹ ati ja si awọn owo-owo ti o tọ awọn ẹgbẹẹgbẹrun poun.
Ofin goolu ti faaji: tọju bọtini lori alabara
Aṣiṣe ti o lewu julọ ti o le ṣe ni iṣọpọ AI awọsanma ni lati fi sabe bọtini API (ọrọ igbaniwọle aṣiri ti o fun ni aṣẹ lilo iṣẹ naa) taara sinu koodu ohun elo alagbeka. Awọn ohun elo alagbeka ti wa ni igbasilẹ si ẹrọ olumulo ati pe koodu naa le ka nipasẹ imọ-ẹrọ yiyipada - ṣiṣayẹwo ohun elo ti a ṣajọpọ ati rii ohun ti o wa ninu rẹ. Ti bọtini rẹ ba wa ninu app, ẹnikan le jade ki o ṣe awọn ibeere ailopin lati akọọlẹ rẹ.
Eto faaji ti o pe ni eyi: ohun elo alagbeka nfi awọn ibeere ranṣẹ si olupin ẹhin ti tirẹ (olupin aṣoju ti o ṣakoso); Bọtini naa wa lori olupin nikan; Olupin naa lọ si iṣẹ LLM ati da esi pada si ohun elo naa. Middleware yii tun pese fifin iyara, idena ilokulo, ati iṣakoso idiyele.
Ona
nibo ni bọtini
Aabo
Bọtini naa wa ninu ohun elo (FALSE)
Ni onibara, gbangba
O jo, owo naa gbamu
Bọtini naa wa ni ẹhin (TRUE)
Lori olupin, farasin
Ailewu, iṣakoso
Išọra: Nigbati o ba beere AI fun iṣọpọ LLM awọsanma, o le ṣe apẹẹrẹ ti o kọ bọtini taara sinu koodu ohun elo fun irọrun rẹ. Maṣe gba eyi laaye. Rii daju pe o ni gbolohun ọrọ naa "Kọtini API ko yẹ ki o wa lori onibara, lọ nipasẹ aṣoju ẹhin" ni kiakia.
Sisanwọle: jijẹ iyara ti a fiyesi
Awọn idahun LLM le gun ati gba iṣẹju-aaya lati gbejade ni gbogbo wọn. Nlọ olumulo nduro lori iboju òfo jẹ iriri buburu. Ojutu naa jẹ ṣiṣanwọle - iṣafihan ọrọ idahun nipasẹ ọrọ, bi o ti ṣe ipilẹṣẹ. Olumulo naa ṣe abojuto akọtọ ọrọ naa, bi ninu ChatGPT; yi bosipo mu ti fiyesi iyara ati fluency. Ṣiṣan lori alagbeka tumọ si fifi awọn ege kun (awọn ami - nkan ti ọrọ ti a ṣe nipasẹ awoṣe) lati olupin si wiwo bi wọn ti de. Ni ṣoki beere ṣiṣan naa nigba titẹ sita iṣọpọ si AI.
Imọran: Ṣafikun bọtini “idaduro” kan ninu esi ṣiṣanwọle. Olumulo yẹ ki o ni anfani lati da iṣelọpọ duro nigbati o ba gba idahun ti o fẹ; Eyi mejeeji ṣe ilọsiwaju iriri naa ati dinku idiyele nipasẹ gige iran ami ti ko wulo. Ni aarin idahun gigun, olumulo le ti rii idahun wọn tẹlẹ.
Iye owo, idaduro ati iṣakoso aṣiṣe
Awọsanma LLM n gbe idiyele owo (ọya fun ami-ami) ati idiyele akoko (lairi) pẹlu ibeere kọọkan. Awọn ipele mẹta jẹ pataki. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Lairi: lo ṣiṣanwọle, ṣeto akoko ipari, leti olumulo ti nẹtiwọọki ba lọra. Aṣiṣe: ijade nẹtiwọki, iṣẹ le pada 429 (awọn ibeere pupọ ju) tabi 500 (aṣiṣe olupin); mu kọọkan jẹjẹ, ma ṣe jamba app. Paapaa, LLM nigbakan funni ni awọn idahun ti ko ni itumọ tabi ti ko tọ (hallucination); Ṣafikun ipele ijẹrisi ti idahun ni awọn agbegbe to ṣe pataki.
mẹta mini igba
Ọran 1 - Ti jo bọtini. Ibẹrẹ kan ṣe ifibọ bọtini OpenAI taara sinu ohun elo abinibi React lati jade ni iyara. Ọ̀sẹ̀ mẹ́ta lẹ́yìn tí ìṣàfilọ́lẹ̀ náà ti jáde, kọ́kọ́rọ́ náà jẹ́ àtúnṣe àtúnṣe àti ìlò 2,400 dọ́là ti jẹ́ alẹ́. Ẹgbẹ naa ni lati fagilee kọkọrọ naa ki o ṣeto aṣoju ẹhin kan. Ẹkọ: ọna abuja ti o mu fun irọrun di ọna ti o gbowolori julọ.
Ọran 2 - Dropout dinku pẹlu sisan. Ohun elo ẹkọ akọkọ tu ẹya Q&A rẹ silẹ laisi ṣiṣanwọle; awọn olumulo n jade lẹhin iṣẹju-aaya 6 ti idaduro laišišẹ. Nigbati a ba ṣafikun sisan, ọrọ akọkọ bẹrẹ si han ni iṣẹju-aaya 0.8, ati pe oṣuwọn ikọsilẹ silẹ lati 48% si 12%. Awoṣe kanna, iyara kanna - o kan iyatọ ninu igbejade.
Ọran 3 - Iṣakoso iye owo. Ohun elo kan nfi gbogbo itan iwiregbe ranṣẹ si awoṣe pẹlu ifiranṣẹ olumulo kọọkan; Ni awọn ibaraẹnisọrọ gigun, ibeere kan ti de awọn ami-ami 8,000, fifin idiyele naa. Nipa fifiranṣẹ awọn ifiranṣẹ diẹ ti o kẹhin ati akopọ, ẹgbẹ naa dinku awọn ami-ami fun ibeere nipasẹ 70%, idinku owo-owo oṣooṣu si ẹkẹta. Ẹkọ: wiwọn ohun ti o firanṣẹ.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara: "Fi iwiregbe kun bi ChatGPT si app mi."
Agbara ti o lagbara: "Fi oluranlọwọ iwiregbe kun si ohun elo iOS / Swift mi. Faaji: ohun elo naa firanṣẹ ibeere kan si ẹhin ti ara mi, bọtini API LLM KO lori CLIENT, o lọ nipasẹ aṣoju. - Idahun naa wa ṣiṣanwọle, ọrọ ti o han nipasẹ ọrọ - Bọtini 'Duro' ṣe idiwọ iṣelọpọ - Mu akoko ipari, aṣiṣe nẹtiwọọki, 429 kukuru firanṣẹ awọn ifiranṣẹ oore-ọfẹ 6 ati awọn ifiranṣẹ ti o kẹhin 5. + Lakotan (Iṣakoso idiyele) Ṣe alaye aworan atọka akọkọ, lẹhinna fun alabara ati koodu aṣoju lọtọ.”
Awọn awoṣe idakọ
Awoṣe faaji ti o ni aabo: "Ṣiṣe iṣọpọ awọsanma LLM sinu ohun elo [Syeed] mi. Ofin: bọtini API nikan ni ẹhin. Client -> aṣoju mi -> LLM. Ni aṣoju: ijẹrisi, opin oṣuwọn olumulo kọọkan, beere gedu. Akojọ alabara ati awọn ojuse aṣoju lọtọ, lẹhinna gbejade koodu naa. ”
Awoṣe ṣiṣanwọle: "Ṣafikun esi ṣiṣanwọle si iboju iwiregbe yii: - Ṣafikun awọn snippets si o ti nkuta ifiranṣẹ bi wọn ti de- Ṣe afihan kọsọ/ere kan lakoko titẹ- Ṣe bọtini 'Duro' fagile ṣiṣan naa- Ṣetọju ọrọ apa kan ki o kilo ti aṣiṣe ba wa lakoko ṣiṣan naa n pari[ koodu to wa]”
Awoṣe iye owo: "Din iye owo ati lairi ni isọpọ LLM yii: - Bawo ni MO ṣe le dinku ami ti a fi ranṣẹ (abbreviation itan, akopọ)? - Ninu ọran wo ni o kere / awoṣe din owo to? - daba akoko ipari ki o tun gbiyanju ilana[koodu]"
Awoṣe ifarada aṣiṣe: "Ṣe atunṣe ipe LLM yii: - Iwa lọtọ fun ko si nẹtiwọọki, akoko ipari, 429 (ipin oṣuwọn), 500 (olupin) kii ṣe imọ-ẹrọ, ifiranṣẹ rere si olumulo- Akọsilẹ ijẹrisi lodi si ewu hallucination ni awọn idahun to ṣe pataki[koodu]”
Awọn aṣiṣe ti o wọpọ
- Fifi bọtini API sinu ohun elo naa. Awọn julọ gbowolori ati wọpọ aabo kokoro; Bọtini naa dajudaju wa ni opin ẹhin.
- Ko lo sisan. Nlọ olumulo nduro fun awọn idahun gigun yoo lé olumulo lọ.
- Fifiranṣẹ gbogbo itan iwiregbe pẹlu gbogbo ibeere. O isodipupo iye owo àmi ati lairi.
- Bypassing aṣiṣe awọn ipo. Ti 429/500/akoko ti ko ba koju ohun elo naa yoo ṣubu tabi di.
- Ṣiyesi idahun LLM bi o tọ laisi ibeere. Awọn hallucination jẹ gidi; Ṣafikun Layer ijẹrisi ni agbegbe to ṣe pataki.
- Fifiranṣẹ data olumulo si LLM ti ko wulo. Beere boya o nilo data ti ara ẹni tabi o yẹ ki o wa ni boju-boju ṣaaju ki o to lọ si awọsanma.
Ni soki
Awọsanma LLM mu awọn agbara nla ti ko baamu lori ẹrọ si alagbeka, ṣugbọn nilo aabo ati ibawi idiyele. Golden ofin: API bọtini ni ko lori ose, o lọ nipasẹ awọn backend aṣoju. Sisan pọ si iyara ti a fiyesi ati idaduro; Atilẹyin nipasẹ bọtini "duro". Awọn iye owo ti wa ni ṣiṣe nipasẹ kikuru àmi rán; Resilience jẹ aṣeyọri nipasẹ mimu gbogbo awọn ọran aṣiṣe ni oore-ọfẹ. Awọn idahun LLM le pẹlu awọn hallucinations; Ni awọn agbegbe to ṣe pataki, ijẹrisi jẹ pataki ati pe a ṣe atunyẹwo data ti ara ẹni ṣaaju fifiranṣẹ si awọsanma.
Ohun elo iṣẹ-ṣiṣe
Beere fun alabara kan + apẹrẹ aṣoju ẹhin lati AI ni lilo “awoṣe ayaworan aabo” fun ẹya “akopọ ọrọ” tabi ẹya “iwiregbe”. Daju pe bọtini API nikan wa ni ẹhin ni apẹrẹ ti ipilẹṣẹ. Lẹhinna jade ni o kere ju awọn ọna meji lati dinku ami-ami ti a firanṣẹ pẹlu “apẹẹrẹ idaduro iye owo” ki o kọ ifiranṣẹ rere lati han si olumulo fun ipo aṣiṣe (fun apẹẹrẹ 429).
akojọ ayẹwo
- [] Mo rii daju pe bọtini API wa ni ẹhin ati kii ṣe lori alabara
- [] Mo ṣe ṣiṣanwọle esi ati ṣafikun bọtini 'idaduro' kan
- [] Mo ti lököökan akoko, aṣiṣe nẹtiwọki, 429 ati 500 ipo
- [] Mo ti din awọn silẹ àmi pẹlu awọn ti o ti kọja/Lakotan abbreviation
- [] Mo ti ro afọwọsi lodi si ewu hallucinations ni LLM idahun
- [] Mo ṣayẹwo iwulo/boju-boju ti data ti ara ẹni ṣaaju lilọ si awọsanma