ලාභ:
- API යතුර සේවාදායකයා මත තබා නොගන්නා නමුත් පසු-අන්ත ප්රොක්සියක් හරහා යන ආරක්ෂිත වලාකුළු LLM ගෘහ නිර්මාණ ශිල්පයක් ස්ථාපිත කිරීමේ හැකියාව
- ප්රවාහය සමඟ ප්රත්යක්ෂ වේගය වැඩි කරන සහ කල් ඉකුත්වීම්, ජාල දෝෂ සහ වේග සීමාවන් වැනි තත්ත්වයන් මෘදු ලෙස හසුරුවන ශක්තිමත් ඒකාබද්ධ කිරීම් ලිවීමේ හැකියාව
- යවන ලද ටෝකනය කෙටි කිරීමෙන් පිරිවැය අඩු කිරීමට සහ වලාකුළට යාමට පෙර පුද්ගලික දත්තවල අවශ්යතාවය ප්රශ්න කිරීමට හැකියාව
උපාංගයේ AI බලවත් නමුත් සීමිතයි. ඔබට සැබවින්ම “ස්මාර්ට් චැට් සහකාරයෙක්,” දිගු පෙළ සාරාංශයක් හෝ සංකීර්ණ නිර්මාණාත්මක නිෂ්පාදනයක් යෙදුමකට එක් කිරීමට අවශ්ය වූ විට, ඔබට දුරකථනයකට ගැළපෙන තරම් විශාල මාදිලි අවශ්ය වේ. Cloud AI ක්රියාත්මක වන්නේ මෙහිදීය: ඔබගේ යෙදුම API (යෙදුම් ක්රමලේඛන අතුරුමුහුණත - මෘදුකාංග දෙකක් එකිනෙකාට දත්ත යවන සහ ලබා ගන්නා සම්මත අතුරුමුහුණත) හරහා විශාල භාෂා ආකෘතියකට (LLM) සම්බන්ධ වේ. මෙම ඒකකයෙන් අපි ක්ලවුඩ් එල්එල්එම් ජංගම යෙදුමකට ආරක්ෂිත, වේගවත් සහ පිරිවැය සවිඥානක ආකාරයකින් ඒකාබද්ධ කරන්නේ කෙසේදැයි ඉගෙන ගනිමු. තීරනාත්මක අවධාරනය ආරක්ෂාව කෙරෙහි වනු ඇත: වැරදි ලෙස ස්ථාපනය කර ඇති LLM අනුකලනය ඔබගේ API යතුර කාන්දු විය හැකි අතර පවුම් දහස් ගණනක් වටිනා බිල්පත් වලට හේතු විය හැක.
ගෘහ නිර්මාණ ශිල්පයේ ස්වර්ණමය රීතිය: යතුර සේවාදායකයා මත තබා ගන්න
වලාකුළු AI ඒකාබද්ධ කිරීමේදී සිදු කළ හැකි භයානකම වැරැද්ද නම් API යතුර (සේවාව භාවිතා කිරීමට අවසර දෙන රහස් මුරපදය) කෙලින්ම ජංගම යෙදුම් කේතයට ඇතුළත් කිරීමයි. ජංගම යෙදුම් පරිශීලකයාගේ උපාංගයට බාගත කර ඇති අතර කේතය ප්රතිලෝම ඉංජිනේරු විද්යාවෙන් කියවිය හැකිය - සම්පාදනය කළ යෙදුම විග්රහ කර එහි ඇති දේ බැලීම. ඔබගේ යතුර යෙදුම තුළ තිබේ නම්, යමෙකුට එය උපුටා ගෙන ඔබගේ ගිණුමෙන් අසීමිත ඉල්ලීම් කළ හැක.
නිවැරදි ගෘහ නිර්මාණ ශිල්පය මෙයයි: ජංගම යෙදුම ඔබගේම පසුබිම් සේවාදායකය වෙත ඉල්ලීම් යවයි (ඔබ පාලනය කරන ප්රොක්සි සේවාදායකය); යතුර පවතින්නේ සේවාදායකයේ පමණි; සේවාදායකය LLM සේවාව වෙත ගොස් යෙදුමට ප්රතිචාරය ලබා දෙයි. මෙම මිඩ්ල්වෙයාර් වේගය සීමා කිරීම, අපයෝජන වැළැක්වීම සහ පිරිවැය පාලනය ද සපයයි.
ප්රවේශය
යතුර කොහෙද
ආරක්ෂාව
යතුර යෙදුමේ ඇත (FALSE)
සේවාදායකයා තුළ, පොදු
ඒක ලීක් වෙනවා, බිල පුපුරනවා
යතුර පසුපස අන්තයේ ඇත (TRUE)
සේවාදායකයේ, සැඟවී ඇත
ආරක්ෂිත, පාලනය කළ හැකි
අවවාදයයි: ඔබ ක්ලවුඩ් LLM ඒකාබද්ධ කිරීම සඳහා AI ගෙන් විමසූ විට, එය ඔබගේ පහසුව සඳහා යතුර කෙලින්ම යෙදුම් කේතයට ලියන උදාහරණයක් නිපදවිය හැක. කවදාවත් මේක live ගන්න එපා. "API යතුර සේවාලාභියා මත නොවිය යුතුය, පසුපෙළ ප්රොක්සි හරහා යන්න" යන වාක්යය විමසුමේ ඇතුළත් කිරීමට වග බලා ගන්න.
ප්රවාහය: දැනෙන වේගය වැඩි කිරීම
LLM පිළිතුරු දිගු විය හැකි අතර ඒවා සම්පූර්ණයෙන් නිපදවීමට තත්පර කිහිපයක් ගත වේ. පරිශීලකයා හිස් තිරයක් මත රැඳී සිටීම නරක අත්දැකීමකි. විසඳුම ප්රවාහයයි - එය උත්පාදනය වන විට පිළිතුර වචනයෙන් වචනය පෙන්වයි. පරිශීලකයා ChatGPT හි මෙන්, පෙළෙහි අක්ෂර වින්යාසය නිරීක්ෂණය කරයි; මෙය නාටකාකාර ලෙස වටහාගත් වේගය සහ චතුරතාව වැඩි කරයි. ප්රවාහය යනු ජංගම දුරකථනයේ ප්රවාහය යනු සේවාදායකයේ සිට අතුරුමුහුණත වෙත පැමිණෙන විට කෑලි (ටෝකන - ආකෘතිය විසින් නිෂ්පාදනය කරන ලද පෙළ කොටස) එකතු කිරීමයි. AI වෙත ඒකාබද්ධ කිරීම මුද්රණය කිරීමේදී ප්රවාහය පැහැදිලිවම ඉල්ලන්න.
ඉඟිය: ප්රවාහ ප්රතිචාරයේ "විරාම" බොත්තමක් එක් කරන්න. පරිශීලකයාට අවශ්ය පිළිතුර ලැබුණු විට නිෂ්පාදනය නැවැත්වීමට හැකි විය යුතුය; මෙය අත්දැකීම් වැඩිදියුණු කරන අතර අනවශ්ය සංකේත උත්පාදනය කපා හැරීමෙන් පිරිවැය අඩු කරයි. දිගු පිළිතුර මැද, පරිශීලකයා දැනටමත් ඔවුන්ගේ පිළිතුර සොයාගෙන ඇත.
පිරිවැය, ප්රමාදය සහ දෝෂ කළමනාකරණය
Cloud LLM සෑම ඉල්ලීමක් සමඟම මුදල් පිරිවැය (ටෝකනයකට ගාස්තුව) සහ කාල පිරිවැය (ප්රමාදය) දරයි. විනය තුනක් අත්යවශ්යයි. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. ප්රමාදය: ප්රවාහය භාවිතා කරන්න, කල් ඉකුත්වීම සකසන්න, ජාලය මන්දගාමී නම් පරිශීලකයාට දන්වන්න. දෝෂය: ජාල ඇනහිටීම, සේවාව 429 (ඉල්ලීම් වැඩි) හෝ 500 (සේවාදායක දෝෂය) ලබා දිය හැක; සෑම එකක්ම මෘදු ලෙස හසුරුවන්න, යෙදුම බිඳ වැටෙන්න එපා. එසේම, LLM සමහර විට අර්ථ විරහිත හෝ වැරදි (මායාව) පිළිතුරු ලබා දෙයි; තීරණාත්මක ප්රදේශ වල පිළිතුර සත්යාපනය කිරීමේ ස්ථරයක් එක් කරන්න.
කුඩා නඩු තුනක්
නඩුව 1 - කාන්දු වූ යතුර. ආරම්භකයක් ඉක්මනින් පිටතට යාමට OpenAI යතුර සෘජුවම එහි ප්රතික්රියා ස්වදේශීය යෙදුමට ඇතුළත් කළේය. යෙදුම නිකුත් කර සති තුනකට පසුව, යතුර ප්රතිලෝම ලෙස සකස් කර ඩොලර් 2,400 ක් වටිනා භාවිතය එක රැයකින් සිදු කරන ලදී. කණ්ඩායමට යතුර අවලංගු කර පසුපෙළ ප්රොක්සියක් සැකසීමට සිදු විය. පාඩම: පහසුව සඳහා ගත් කෙටිමඟ වඩාත්ම මිල අධික මාර්ගය බවට පත් විය.
2 වන අවස්ථාව - ප්රවාහය සමඟ අතහැර දැමීම අඩු විය. අධ්යාපනික යෙදුමක් ප්රවාහයෙන් තොරව ප්රශ්න සහ පිළිතුරු විශේෂාංගය මුලින්ම නිකුත් කළේය; පරිශිලකයන් තත්පර 6 ක් නිෂ්ක්රීයව බලා සිටීමෙන් පසු පිටවෙමින් සිටියහ. ප්රවාහය එකතු කළ විට, පළමු වචනය තත්පර 0.8 කින් දර්ශනය වීමට පටන් ගත් අතර, අත්හැරීමේ අනුපාතය 48% සිට 12% දක්වා පහත වැටුණි. එකම ආකෘතිය, එකම වේගය - ඉදිරිපත් කිරීමේ වෙනසක් පමණි.
නඩුව 3 - පිරිවැය පාලනය. එක් යෙදුමක් සෑම පරිශීලක පණිවිඩයක් සමඟම සම්පූර්ණ කතාබස් ඉතිහාසය ආකෘතියට යවන ලදී; දිගු සංවාදවලදී, එක් ඉල්ලීමක් ටෝකන 8,000 දක්වා ළඟා වූ අතර, පිරිවැය වැඩි විය. අවසාන පණිවිඩ කිහිපය සහ සාරාංශයක් යැවීමෙන්, කණ්ඩායම ඉල්ලීමකට ටෝකන 70% කින් අඩු කර, මාසික බිල තුනෙන් එකකට අඩු කළේය. පාඩම: ඔබ යවන දේ මැන බලන්න.
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල විමසුම: "මගේ යෙදුමට ChatGPT වැනි කතාබහක් එක් කරන්න."
ප්රබල විමසුම: "මගේ iOS/Swift යෙදුමට කතාබස් සහායකයකු එක් කරන්න. ගෘහ නිර්මාණ ශිල්පය: යෙදුම මගේම පසුබිමට ඉල්ලීමක් යවයි, LLM API යතුර සේවාලාභියා මත නැත, එය ප්රොක්සි හරහා යයි. - ප්රතිචාරය ප්රවාහය පැමිණේ, වචනයෙන් වචනය පෙන්වයි - 'Stop' බොත්තම මඟින් නිෂ්පාදනයට බාධා කරයි - 500 ජාලයේ දෝශය කෙටියෙන් සහ කාලය අවසන් වීම, 5042 කාලය අවසන් වීම කතාබස් ඉතිහාසය: අවසාන පණිවිඩ 6 යවන්න + සාරාංශය (පිරිවැය පාලනය) පළමුව වාස්තු විද්යාත්මක රූප සටහන පැහැදිලි කරන්න, පසුව සේවාදායකයාට සහ ප්රොක්සි කේතය වෙන වෙනම දෙන්න."
පිටපත් කළ හැකි සැකිලි
ආරක්ෂිත ගෘහ නිර්මාණ අච්චුව:"මගේ [වේදිකා] යෙදුමට ක්ලවුඩ් LLM ඒකාබද්ධ කිරීම සැලසුම් කරන්න. රීතිය: API යතුර පසුබිමේ පමණි. සේවාලාභියා -> මගේ ප්රොක්සි -> LLM. ප්රොක්සියේ: සත්යාපනය, එක්-පරිශීලක ගාස්තු සීමාව, ලොගින් වීම ඉල්ලන්න. සේවාදායකයා ලැයිස්තුගත කිරීම සහ ප්රොක්සි කේතය වෙන වෙනම අපනයනය කරන්න."
ප්රවාහ අච්චුව: "මෙම කතාබස් තිරයට ප්රවාහ ප්රතිචාරයක් එක් කරන්න:- ඒවා පැමිණෙන විට පණිවිඩ බුබුලට කොටස් එක් කරන්න- ටයිප් කරන අතරතුර කර්සරයක්/සජීවිකරණයක් පෙන්වන්න- 'නවත්වන්න' බොත්තම ප්රවාහය අවලංගු කරන්න- ප්රවාහය අවසන් වන අතරතුර [පවතින කේතය] දෝෂයක් තිබේ නම් අනතුරු අඟවන්න"
පිරිවැය-ප්රමාද අච්චුව:"මෙම LLM ඒකාබද්ධතාවයේ පිරිවැය සහ ප්රමාදය අඩු කරන්න:- මම යවන ලද ටෝකනය අඩු කරන්නේ කෙසේද (ඉතිහාසයේ කෙටි යෙදුම, සාරාංශය)?- කුමන අවස්ථාවේදී කුඩා/ලාභ ආකෘතියක් ප්රමාණවත්ද?- කල් ඉකුත්වීම සහ උපාය නැවත උත්සාහ කරන්න[කේතය]"
වැරදි ඉවසීමේ අච්චුව: "මෙම LLM ඇමතුම ප්රත්යස්ථ කරන්න:- ජාලයක් නොමැති වීම සඳහා වෙනම හැසිරීම, කල් ඉකුත්වීම, 429 (අනුපාත සීමාව), 500 (සේවාදායකය)- තාක්ෂණික නොවන, පරිශීලකයාට ආචාරශීලී පණිවිඩයක්- විවේචනාත්මක පිළිතුරු [කේතය] තුළ මායාවේ අවදානමට එරෙහිව සත්යාපන සටහන"
පොදු වැරදි
- යෙදුමට API යතුර කාවැද්දීම. වඩාත්ම මිල අධික සහ පොදු ආරක්ෂක දෝෂය; යතුර අනිවාර්යයෙන්ම පිටුපස කෙළවරේ පිහිටා ඇත.
- ප්රවාහය භාවිතා නොකරයි. දිගු පිළිතුරු සඳහා පරිශීලකයා රැඳී සිටීම පරිශීලකයා පලවා හරිනු ඇත.
- සෑම ඉල්ලීමක් සමඟම සම්පූර්ණ කතාබස් ඉතිහාසය යැවීම. එය සංකේත පිරිවැය සහ ප්රමාදය ගුණ කරයි.
- දෝෂ තත්වයන් මග හැරීම. 429/500/කාලසීමාව ආමන්ත්රණය නොකළහොත් යෙදුම බිඳ වැටීමට හෝ කැටි කිරීමට සිදුවේ.
- ප්රශ්න කිරීමකින් තොරව LLM පිළිතුර නිවැරදි ලෙස සලකා. මායාව සැබෑ ය; තීරණාත්මක ප්රදේශයේ සත්යාපන ස්ථරය එක් කරන්න.
- පරිශීලක දත්ත අනවශ්ය LLM වෙත යැවීම. පුද්ගලික දත්ත අවශ්යද නැතහොත් එය වලාකුළට යාමට පෙර වසන් කළ යුතුද යන්න විමසන්න.
සාරාංශයකින්
Cloud LLM ජංගම දුරකථනයට උපාංගයට නොගැලපෙන විශිෂ්ට හැකියාවන් ගෙන එයි, නමුත් ආරක්ෂාව සහ පිරිවැය විනය අවශ්ය වේ. ස්වර්ණමය රීතිය: API යතුර කිසි විටෙක සේවාදායකයා මත නැත, එය පසුපෙළ ප්රොක්සි හරහා යයි. ප්රවාහය ප්රත්යක්ෂ වේගය සහ රඳවා ගැනීම බෙහෙවින් වැඩි කරයි; "stop" බොත්තම මගින් සහය දක්වයි. යවන ලද ටෝකනය කෙටි කිරීම මගින් පිරිවැය තීරණය කරනු ලැබේ; ප්රත්යස්ථභාවය අත්කරගනු ලබන්නේ සියලුම දෝෂ අවස්ථා සුහදව හැසිරවීමෙනි. LLM පිළිතුරුවලට මායාවන් ඇතුළත් විය හැකිය; තීරණාත්මක ප්රදේශවල, සත්යාපනය අත්යවශ්ය වන අතර පුද්ගලික දත්ත වලාකුළට යැවීමට පෙර සමාලෝචනය කෙරේ.
යෙදුම් කාර්යය
“පෙළ සාරාංශයක්” හෝ “කතාබස්” විශේෂාංගයක් සඳහා “සුරක්ෂිත ගෘහ නිර්මාණ අච්චුව” භාවිතයෙන් AI වෙතින් සේවාලාභියෙකු + පසුපෙළ ප්රොක්සි නිර්මාණයක් ඉල්ලන්න. API යතුර ජනනය කරන ලද සැලසුමේ පසු අන්තයේ පමණක් පවතින බව තහවුරු කරන්න. ඉන්පසු "පිරිවැය-ප්රමාද රටාව" සමඟ යවන ලද ටෝකනය අඩු කිරීමට අවම වශයෙන් ක්රම දෙකක් උපුටා ගැනීම සහ දෝෂ තත්වයක් සඳහා පරිශීලකයාට පෙන්වීමට ආචාරශීලී පණිවිඩය ලියන්න (උදා. 429).
පිරික්සුම් ලැයිස්තුව
- [ ] API යතුර ග්රාහකයා මත නොව පසු අන්තයේ පවතින බව මම සත්යාපනය කළෙමි
- [ ] මම ප්රතිචාරය ප්රවාහය කර 'විරාමයක්' බොත්තමක් එක් කළෙමි
- [ ] මම කල් ඉකුත්වීම, ජාල දෝෂ, 429 සහ 500 තත්ත්වයන් හසුරුවා ගත්තෙමි
- [ ] මම පසුගිය කෙටි යෙදුම/සාරාංශය සමඟ ඉදිරිපත් කළ ටෝකනය අඩු කළෙමි
- [ ] මම LLM පිළිතුරෙහි මායාවන් ඇතිවීමේ අවදානමට එරෙහිව වලංගු කිරීම සලකා බැලුවෙමි
- [ ] මම වලාකුළට යාමට පෙර පුද්ගලික දත්තවල අවශ්යතාවය/සැකසීම පරීක්ෂා කළෙමි