Hagnaður:
- Geta til að koma á öruggum skýja LLM arkitektúr sem heldur ekki API lyklinum á viðskiptavininum heldur fer í gegnum bakenda proxy
- Geta til að skrifa öflugar samþættingar sem auka skynjaðan hraða með straumspilun og meðhöndla varlega aðstæður eins og tímamörk, netvillur og hraðatakmarkanir
- Geta til að draga úr kostnaði með því að stytta táknið sem sent er og efast um nauðsyn persónuupplýsinga áður en þau fara í skýið
Gervigreind í tæki er öflug en takmörkuð. Þegar þú vilt bæta „snjöllum spjallaðstoðarmanni“, langri textasamantekt eða flókinni skapandi framleiðslu við app, þá þarftu líkan sem eru of stór til að passa í síma. Þetta er þar sem ský AI kemur við sögu: forritið þitt tengist stóru tungumálalíkani (LLM) í gegnum API (Application Programming Interface – staðlað viðmót þar sem tveir hugbúnaðar senda og taka á móti gögnum hver til annars). Í þessari einingu munum við læra hvernig á að samþætta ský LLM í farsímaforrit á öruggan, fljótlegan og kostnaðarmeðvitan hátt. Mikilvæga áherslan verður á öryggi: rangt uppsett LLM samþætting gæti lekið API lykilinn þinn og leitt til reikninga sem eru þúsundir punda virði.
Gullna reglan í arkitektúr: hafðu lykilinn á viðskiptavininum
Hættulegustu mistökin sem hægt er að gera við ský AI samþættingu er að fella API lykilinn (leynilykilorðið sem leyfir notkun þjónustunnar) beint inn í farsímaforritskóðann. Farsímaforritum er hlaðið niður í tæki notandans og kóðann er hægt að lesa með öfugri tækni - þátta saman forritið og sjá hvað er inni í því. Ef lykillinn þinn er inni í appinu getur einhver dregið hann út og gert ótakmarkaðar beiðnir af reikningnum þínum.
Réttur arkitektúr er þessi: farsímaforritið sendir beiðnir á þinn eigin bakendaþjón (proxy-þjónninn sem þú stjórnar); Lykillinn er aðeins á þjóninum; Miðlarinn fer í LLM þjónustuna og skilar svarinu í forritið. Þessi millihugbúnaður veitir einnig hraðatakmörkun, forvarnir gegn misnotkun og kostnaðarstjórnun.
Nálgun
hvar er lykillinn
Öryggi
Lykillinn er í forritinu (FALSE)
Í viðskiptavinum, opinberum
Það lekur, reikningurinn springur
Lykillinn er í bakendanum (TRUE)
Á þjóninum, falið
Öruggt, stjórnanlegt
Varúð: Þegar þú biður gervigreind um ský LLM samþættingu getur það framleitt dæmi sem skrifar lykilinn beint inn í forritakóðann þér til hægðarauka. Aldrei taka þetta í beinni. Vertu viss um að setja setninguna "API lykillinn ætti ekki að vera á biðlaranum, farðu í gegnum bakenda proxy" í hvetjunni.
Straumspilun: auka skynjaðan hraða
LLM svör geta verið löng og tekið nokkrar sekúndur að framleiða í heild sinni. Að láta notandann bíða á auðum skjá er slæm reynsla. Lausnin er streymi - sýnir svarið orð fyrir orð, eins og það er búið til. Notandinn fylgist með stafsetningu textans, eins og í ChatGPT; þetta eykur verulega skynjaðan hraða og mælsku. Flæði á farsíma þýðir að bæta hlutum (táknum — textastykkinu sem líkanið framleiðir) frá þjóninum yfir í viðmótið þegar þeir koma. Biðjið beinlínis um flæðið þegar samþætting er prentuð við gervigreind.
Ábending: Bættu við „hlé“ hnapp í streymissvarinu. Notandinn ætti að geta stöðvað framleiðslu þegar hann fær svarið sem hann vill; Þetta bætir bæði upplifunina og dregur úr kostnaði með því að draga úr óþarfa táknmyndun. Í miðju langa svarinu gæti notandinn þegar fundið svarið sitt.
Kostnaðar-, tafir og villustjórnun
Cloud LLM ber peningakostnað (gjald fyrir hvert tákn) og tímakostnað (leynd) með hverri beiðni. Þrjár greinar eru nauðsynlegar. Cost: limit prompt and response length, do not send unnecessarily long system instructions, default to small and cheap model if possible. Seinkun: notaðu streymi, stilltu tímamörk, láttu notanda vita ef netið er hægt. Villa: truflun á neti, þjónusta gæti skilað 429 (of margar beiðnir) eða 500 (villa á netþjóni); meðhöndlaðu hvern og einn varlega, ekki hrun forritsins. Einnig gefur LLM stundum tilgangslaus eða röng (ofskynjanir) svör; Bættu við lag af sannprófun á svarinu á mikilvægum svæðum.
þrjú smámál
Tilfelli 1 - Lykill lekur. Ræsing setti OpenAI lykilinn beint inn í React Native appið sitt til að komast hratt út. Þremur vikum eftir að appið var gefið út var lykillinn öfugsnúinn og 2.400 dala virði af notkun á einni nóttu. Liðið þurfti að afturkalla lykilinn og setja upp bakenda umboð. Lærdómur: flýtileiðin sem notuð var til þæginda varð dýrasta leiðin.
Tilvik 2 — Brottfall minnkaði með flæði. Fræðsluforrit gaf fyrst út Q&A eiginleikann án streymis; notendur voru að hætta eftir 6 sekúndna bið í aðgerðaleysi. Þegar flæði var bætt við byrjaði fyrsta orðið að birtast eftir 0,8 sekúndur og brottfallshlutfallið lækkaði úr 48% í 12%. Sama gerð, sami hraði - bara munur á framsetningu.
Mál 3 — Kostnaðareftirlit. Eitt app var að senda allan spjallferilinn til líkansins með hverjum notandaskilaboðum; Í löngum samtölum náði ein beiðni upp í 8.000 tákn, sem eykur kostnaðinn. Með því að senda aðeins síðustu skilaboðin og samantekt minnkaði teymið tákn fyrir hverja beiðni um 70%, og lækkaði mánaðarlegan reikning niður í þriðjung. Lexía: mæla það sem þú sendir.
Veik kvaðning / Sterk kvaðning
Veik kvaðning: "Bættu spjalli eins og ChatGPT við appið mitt."
Öflug hvetja: "Bæta spjallaðstoðarmanni við iOS/Swift forritið mitt. Arkitektúr: forritið sendir beiðni til míns eigin bakenda, LLM API lykillinn er EKKI á CLIENT, hann fer í gegnum umboðið. - Svarið kemur streymandi, birt orð fyrir orð - 'Stöðva' hnappurinn truflar framleiðsluna - Meðhöndla tímamörk, netvilla 50, stytta spjallaðstæður fullkomlega, 409 stytta spjallaðstæður. 6 skilaboð + samantekt (kostnaðarstýring) Útskýrðu byggingarmyndina fyrst, gefðu síðan viðskiptavininn og umboðskóðann sérstaklega."
Afritanleg sniðmát
Öruggt arkitektúrsniðmát:"Hönnun ský LLM samþættingu í [pallur] forritið mitt. Regla: API lykill aðeins í bakenda. Viðskiptavinur -> umboðið mitt -> LLM. Í umboði: auðkenning, hámarkshraða á hvern notanda, beiðni um skráningu. Skráðu ábyrgð viðskiptavinar og umboðsaðila sérstaklega, flyttu síðan kóðann út."
Straumsniðmát: "Bættu streymissvari við þennan spjallskjá:- Bættu brotum við skilaboðabóluna þegar þeir berast- Sýndu bendil/hreyfingu á meðan þú skrifar- Láttu 'Stoppa' hnappinn hætta við strauminn- Geymdu hlutatexta og varaðu við ef villa er á meðan straumnum lýkur[núverandi kóða]"
Sniðmát fyrir kostnaðartíma: "Dregið úr kostnaði og leynd í þessari LLM samþættingu:- Hvernig dregur ég úr sendingu tákns (skammstöfun sögu, samantekt)? - Í því tilviki er minna/ódýrara líkan nóg? - Leggðu til tímamörk og reyndu aftur stefnu[kóði]"
Sniðmát fyrir bilanaþol: "Gerðu þetta LLM símtal seigur:- Aðskilin hegðun fyrir ekkert net, tímamörk, 429 (takmarkanir), 500 (miðlara)- Ótæknileg, kurteis skilaboð til notanda- Staðfestingarskýrsla gegn hættu á ofskynjunum í mikilvægum svörum[kóði]"
Algeng mistök
- Fella API lykilinn inn í forritið. Dýrasta og algengasta öryggisvillan; Lykillinn liggur örugglega í afturendanum.
- Notar ekki flæði. Að láta notandann bíða eftir löngum svörum mun reka notandann í burtu.
- Sendir allan spjallferilinn með hverri beiðni. Það margfaldar táknkostnað og leynd.
- Framhjá villuskilyrðum. Ef ekki er brugðist við 429/500/timeout mun forritið hrynja eða frýs.
- Að líta á LLM svarið sem rétt án spurningar. Ofskynjunin er raunveruleg; Bættu við staðfestingarlagi á mikilvægu svæði.
- Sendir notendagögn til óþarfa LLM. Spyrðu hvort persónuupplýsinga sé krafist eða ætti að hylja þær áður en þær fara í skýið.
Í stuttu máli
Cloud LLM færir frábæra getu sem passar ekki á tækið í farsíma, en krefst öryggis og kostnaðaraga. Gullna reglan: API-lykillinn er aldrei á biðlaranum, hann fer í gegnum bakenda proxy. Flæði eykur skynjaðan hraða og varðveislu til muna; Styður af "stöðva" takkanum. Kostnaðurinn er ákvarðaður með því að stytta sendinguna; Seiglu er náð með því að meðhöndla öll villumál af þokkabót. LLM svör geta falið í sér ofskynjanir; Á mikilvægum sviðum er sannprófun nauðsynleg og persónuleg gögn eru skoðuð áður en þau eru send í skýið.
Umsóknarverkefni
Biðjið um viðskiptavin + bakenda umboðshönnun frá gervigreindinni með því að nota „öruggt arkitektúrsniðmát“ fyrir „textasamantekt“ eða „spjall“ eiginleika. Staðfestu að API lykillinn sé aðeins í bakendanum í mynduðu hönnuninni. Dragðu síðan út að minnsta kosti tvær leiðir til að minnka táknið sem sent er með „Kostnaðartöf-mynstri“ og skrifaðu kurteisleg skilaboð sem á að birta notandanum vegna villuástands (t.d. 429).
gátlisti
- [ ] Ég staðfesti að API lykillinn er í bakendanum en ekki á biðlaranum
- [ ] Ég lét svarið streyma og bætti við „hlé“ hnappi
- [ ] Ég höndlaði tímamörk, netvillu, 429 og 500 aðstæður
- [ ] Ég minnkaði innsendan táknið með fyrri skammstöfun/samantekt
- [ ] Ég íhugaði staðfestingu gegn hættu á ofskynjunum í LLM svarinu
- [ ] Ég athugaði nauðsyn/grímu persónuupplýsinga áður en ég fór í skýið