Пайдалар:
- LLM API сурамынын негизги структурасын сүрөттөй алат (акыркы чекит, модель, билдирүүлөр, max_tokens)
- Системанын, колдонуучунун жана жардамчынын ролдору менен жарандыгы жок сүйлөшүү тарыхынын ортосундагы айырманы түшүнөт
- Кайтарылган жооптун талааларын (мазмун блоктору, токтотуу_себеби, колдонуу) окуп жана чечмелей алат
Мурунку модулдарда биз чат терезесинен жасалма интеллект колдондук. Бирок, эгер сиз AIны өзүңүздүн продуктуңузга, автоматташтырууңузга же иш процессиңизге киргизгиңиз келсе, чат интерфейси аны кесип салбайт; Моделге программалык түрдө, башкача айтканда, код же автоматташтыруу куралы менен туташуу керек. Бул көпүрөнүн аты API (Application Programming Interface, эки программалык камсыздоого белгилүү бир эрежелер менен сүйлөшүүгө мүмкүндүк берүүчү келишим). Бул бөлүмдү аяктагандан кийин, сиз LLM (Large Language Model) API сурамы эмне экенин, кандай билдирүү ролдорун аткарарын жана жоопту кантип окууну билесиз. Бул модулдун калган бөлүгү курула турган пайдубал болуп саналат.
API кантип иштейт?
API'деги негизги агым бул: сиз белгилүү бир форматта сурам жөнөтөсүз; Сервер жоопту белгилүү бир форматта кайтарат. LLMде бул, адатта, HTTP чалуу (HTTP: Интернетте суроо-жооп алып жүрүү үчүн стандарттуу протокол) бир дарекке (соңку чекит, сиздин сурооңузду тейлеген сервердеги белгиленген дарек). Мисалы, кабарлашуу API'синде бардык суроо-талаптар бир дарекке барат жана денеде JSON (JavaScript Object Notation — адамдар да, машиналар да окуй ала турган ачкыч/маани жуптарынан турган текст форматы) катары ташылат.
Сурамда сиз жок дегенде ушул үч нерсени белгилейсиз:
- Модель: Кайсы моделди колдоносуз (мисалы, тез жана арзан модель же күчтүү модель).
- max_tokens: модель чыгара ала турган токендердин максималдуу саны (текст иштетилген эң кичине бирдик, ал кийинки бирдикте деталдуу түрдө иштетилет); б.а. чыгаруу чеги.
- билдирүүлөр: сүйлөшүүнү түзгөн билдирүүлөрдүн тизмеси.
Кадам-кадам: Кантип суроо орнотуу керек
- Акыркы чекитти жана эсептик дайындарды даярдаңыз. Сиз API ачкычыңызды (өзүңүздүн инсандыгыңызды далилдеген жашыруун сап) баш темадагы сурамга кошосуз. Сиз эч качан ачкычты кодго киргизбейсиз; Биз 9-бөлүмдө коопсуз сактоону камсыз кылабыз.
- Моделди жана чыгаруу чегин тандаңыз. Жеңил модель + жөнөкөй тапшырма үчүн кичинекей max_tokens; Күчтүү модель + татаал тапшырма үчүн чоңураак чек.
- Билдирүү тизмесин түзүңүз. List the system instruction, user message, and past rounds (if any).
- Сурам жөнөтүп, жоопту талдоо. Кайтарылган JSONдон тексттин мазмунун, токтотуу себебин жана токендин колдонулушун окуңуз.
Кабардын ролдору: система, колдонуучу, жардамчы
Сүйлөшүү ырааттуулукта тизилген билдирүүлөрдөн турат жана ар бир билдирүүнүн ролу бар. Рол моделдин текстке кандай мамиле кыларын аныктайт.
Роль
Ким жазат
Максат
системасы
Иштеп чыгуучу/оператор
Туруктуу инструкциялар, инсандык жана бардык сүйлөшүүдө колдонулуучу эрежелер
колдонуучу
акыркы колдонуучу
Колдонуучунун учурдагы суроосу же киргизүүсү
жардамчы
модель
Модел тарабынан даярдалган жооп (жана мурунку жооптор)
Системанын ролу көпчүлүк провайдерлерде суроо-талаптын бөлүмүндө өзүнчө система талаасы катары жеткиликтүү; колдонуучу жана жардамчы билдирүүлөр тизмесинде ырааттуу түрдө келтирилген. Critical point: the system instruction is the high-level instruction, the user message is the request to be answered at that moment.
{ "model": "claude-opus-4-8", "max_tokens": 1024, "система": "Сиз корпоративдик колдоонун жардамчысысыз. Кыска, расмий жана тастыкталган жооп бериңиз. Ишенбеген маалыматты ойлоп чыгарбаңыз.", "билдирүүлөр": [ { "рол": "колдонуучу", "мазмун": "Кайтсамбы?" } ]}
Сөз жарандыгы жок
Бул жерде эң кеңири тараган жаңылыш түшүнүк: LLM API чалуулары жарандыгы жок — сервер эки суроонун ортосунда эстутумду сактабайт. Модель сиздин мурунку өтүнүчүңүздү эстебейт. Эгер сиз көп раунддуу чатты орнотуп жатсаңыз, ар бир жаңы сурам менен өткөн раунддарды кайра жөнөтүшүңүз керек болот. Моделдин "эс тутуму" сиз жөнөткөн билдирүүлөрдүн тизмесинен турат.
{ "model": "claude-opus-4-8", "max_tokens": 512, "билдирүүлөр": [ { "role": "user", "content": "Салам, менин атым Дениз." }, { "role": "assistant", "content": "Салам Дениз, мен сага кантип жардам бере алам?" }, { "role": "user", "content": "Мен атымды айттым, эсиңиздеби?" } ]}
Үчүнчү билдирүүгө туура жооп берүү мурунку эки билдирүүнү тең жөнөткөнүңүздөн көз каранды. Эгер жөнөтпөсөңүз, модель "Деңизди" билбейт жана туура эмес жооп берет. Бул да түздөн-түз баасына таасир этет: сүйлөшүү канчалык узун болсо, тизме ошончолук чоң болот, ар бир суроо көбүрөөк токендерди керектейт.
Кеңеш: Узакка созулган баарлашууда бүт тарыхты жөнөтүүнүн ордуна жалпылоо жана эски раунддарды жылдыруу (жыйынтык + акыркы бир нече раунд) чыгымды азайтат жана контексттик терезени сактап калат. Биз муну 6 жана 11-бөлүмдөрүндө тереңдетебиз.
Жоопту окуңуз
Модель жооп кайтарганда, сиз түз текстти эмес, структураланган объектти аласыз. Типтүү аймактар:
{ "id": "msg_01ABC...", "model": "claude-opus-4-8", "role": "ассистент", "контент": [ { "тип": "текст", "текст": "Кайтарууну баштоо үчүн аккаунтуңуздагы "Менин заказдарым" барагына өтүңүз..." } ], "stop_:us:" {"stop_reason" "input_tokens": 47, "output_tokens": 88 }}
- мазмуну: жооптун өзү; Бул мазмун блоктордун тизмеси. Тексттик блоктун текст талаасы чыныгы жооп болуп саналат.
- stop_reason: Эмне үчүн модель токтоп калды. end_burn = табигый аягы; max_tokens = чыгаруу чегинде тыгылып калды (жооп толук эмес болушу мүмкүн); баш тартуу = коопсуздук себептеринен баш тартуу. Кодуңуз ар дайым биринчи кезекте stop_reason карап чыгышы керек.
- колдонуу: Киргизүү жана чыгаруу энбелгилеринин номерлери. Бул чыгымдарды жана чектөөлөрдү көзөмөлдөөнүн негизи болуп саналат.
Көңүл буруңуз: Эгерде stop_reason max_token болсо, жооп аягына чыккан эмес. Муну “ийгиликтүү жооп” катары кароо жана колдонуучуга тексттин жарымын көрсөтүү өндүрүштөгү эң кеңири таралган каталардын бири. Же max_tokens көбөйтүңүз же агымды колдонуңуз.
Алсыз тездик / Күчтүү тездик
Эки башка система сунуштары менен бир эле тапшырма:
# АЛСЫЗСиз жардамчысыз. Суроолорго жооп бер.
# КУЧТУУ Сиз корпоративдик колдоонун жардамчысысыз. Эрежелер: - Берилген программалык документтеги маалыматтарга гана таянуу; Документте жок болсо, “менде бул маалымат жок, тиешелүү бөлүмгө багыттап жатам” деп айтыңыз. - Жооптор 3 сүйлөмдөн ашпоого, формалдуу жана түшүнүктүү болууга тийиш. - Жеке маалыматтарды (ТС ID номери, картанын номери) сурабаңыз жана кайталабаңыз. - Ишенбесеңиз, божомолдобоңуз.
Күчтүү версия; Ал масштабды, форманы, коопсуздук маржасын жана белгисиздиктеги жүрүм-турумду аныктайт. Модель чыгаруунун ырааттуулугу түздөн-түз ушул айкындуулуктан келип чыгат.
Үч мини Case
1-жагдай — Колдоо боту (жарандыгы жоктордун тузагы). Электрондук коммерция командасы ботту түз алып алды; Колдонуучу "мурунку буйрутманы жокко чыгар" дегенде, бот буйрутма номерин "унутуп алган". Себеби: алар ар бир суроону акыркы билдирүү менен гана жөнөтүшкөн. Чечим: алар билдирүүлөрдүн тизмесине акыркы 6 раундду кошушту. Натыйжа: контекст сакталды, бирок ар бир суроо үчүн киргизүү 40 белгиден ~600 белгиге чейин көбөйдү — биз 2-бөлүктө чыгымдар сабагын карайбыз.
2-жагдай - Толук эмес келишимдин кыскача баяндамасы. Юридикалык топ 10 барактан турган келишимдерге ээ болгон; max_tokens: 300 төмөн бойдон калды, жыйынтыктар сүйлөмдүн ортосун кесип жатышты. stop_reason ар дайым max_tokens болгон, бирок эч ким караган эмес. макс_токендерди 1500гө чейин көбөйтүп, токтотуу_себептерин текшерүүнү кошту; Кыскартылган жыйынды көрсөткүчү 18%дан 0%га чейин төмөндөдү.
3-жагдай — Ролдорду аралаштыруу. Маркетинг тобу бардык нускамаларды колдонуучунун билдирүүсүнө жазып, системаны бош калтырып жатты. Колдонуучунун киргизүүсү инструкция менен аралашканда, модель кээде колдонуучунун "мурунку эрежелерди унут" деген буйругун аткарат. Алар системага туруктуу эрежелерди көчүрүштү; Колдонуучунун киргизгенин инструкциядан бөлүү менен эреже бузуулар кыйла азайды.
Жалпы каталар
- Өткөндү жөнөтүүнү унутуп калуу: Модель "эсинде жок" деп ойлошот; ал эми жарандыгы жок. Сиз контекстти алып жүрөсүз.
- `stop_reason` карап эмес: max_tokens менен токтотулган жооп толук деп эсептелет.
- "Колдонуучуга" инструкцияны киргизүү: Системага туруктуу эрежелер; заматта киргизүү колдонуучуга барат. Аралаштыруу коопсуздук кемчиликтерин жаратат.
- Жөнөкөй сап үчүн "мазмун" деген жаңылыш: Жооп блоктордун тизмеси; биринчи текст блогунун текст талаасын окуп, сокур индекс менен мазмунду [0] алуудан мурун анын түрүн текшериңиз.
- Ачкычты кодго киргизүү: Айлана-чөйрө өзгөрмөсүн колдонуңуз (9-бирдик).
Тереңирээк: Мазмун блоктору жана көп бөлүктүү жооптор
Жооптогу мазмун талаасы эмне үчүн тизме экенин түшүнүү, кийинчерээк жолуга турган өркүндөтүлгөн функциялардын негизи болуп саналат. Кээде модель тексттин бир блогун эмес, бир нече блокторду кайтарат: ой жүгүртүү блогу, андан кийин текст блогу; же тексттин блогу, андан кийин куралды колдонуу блогу. Ошондуктан мазмунду[0] "жооп" катары сокур эсептөө морттук. Туура ыкма тизмени карап чыгуу жана аны түрү боюнча сорттоо болуп саналат: тип талаасы текст болгон блоктордун тексттик мазмунун чогултуп, башка түрлөрүн (ойлоо, курал) өзүнчө карап көрөсүз.
Бул айырмачылык иш жүзүндө эмне кылат, сиз моделдин ой жүгүртүүсүн (эгерде бар болсо) колдонуучуга көрсөтпөстөн каттай аласыз, инструменттин чалууларын өзүнчө логикага багыттай аласыз жана экранда чыныгы жоопту гана басып чыгара аласыз. Модуль өскөн сайын (айрыкча 4 жана 11 блоктордо) бул блок структурасы чыгарууну текшерүү жана багыттоо үчүн канчалык пайдалуу экенин көрөсүз.
Дагы бир практикалык жагдай: сиз бир эле моделге ар кандай провайдер платформаларынан (түздөн-түз API, булут провайдери аркылуу) кире аласыз. Акыркы чекиттин дареги жана аутентификация форматы өзгөрүшү мүмкүн болсо да, билдирүү ролдору, жарандыгы жок жана жооп түзүмү сыяктуу негизги түшүнүктөр ошол эле бойдон калууда. Ошентип, бул бөлүмдөгү негиздер кайсы платформаны колдонбоңуз, колдонулат.
Кыскача айтканда
LLM API сурамы моделден, чыгаруу чегинен жана билдирүүлөр тизмесинен турат; ролдор (система, колдонуучу, жардамчы) моделдин жүрүм-турумун аныктайт. Чалуулар жарандыгы жок: ар бир суроо менен контекстти алып жүрөсүз. Жооп структураланган объект болуп саналат; Мазмунду, stop_reason жана колдонуу талааларын окуу жана чечмелөө өндүрүштөгү туруктуулуктун негизи болуп саналат.
Колдонмо тапшырмасы
Өз кесибиңизден тапшырма тандаңыз (мисалы, келген электрондук почтаны сорттоо, кыскача корутундуларды түзүү). Кагазга: (1) 4-5 эрежеси бар тутум сунушун жазыңыз, (2) колдонуучунун үлгүсүн жана 2 раунддук тарыхты орнотуңуз, (3) max_tokens үчүн акылга сыярлык маанини аныктаңыз жана негиздемеңизди жазыңыз, (4) кайтарылган жоопто кайсы stop_reason маанилерин жана кантип аткара турганыңызды тизмектеңиз.
текшерүү тизмеси
- [ ] Мен сурамдын үч милдеттүү бөлүгүн санай алам (модель, max_tokens, билдирүүлөр).
- [ ] Мен система, колдонуучу жана жардамчы ролдорунун ортосундагы айырманы түшүндүрө алам.
- [ ] Чалуулар жарандыгы жок экенин жана өткөндү алып жүрүшүм керектигин билем.
- Мен [ ] мазмунду, stop_reason жана колдонуу талааларын окуп, комментарий бере алам.
- [ ] max_tokens менен мен кыскартылган жоопту байкап, башкара алам.