Добивки:
- Способност да се објаснат концептите на токен, контекстен прозорец и мултимодалност во секојдневниот јазик
- Дијагностицирајте дали задачата бара широк контекст или мултимодалност
- Способност да се земе предвид како овие концепти влијаат на цената и изборот на модел
Досега сме запознаени со провајдерите и типовите на модели. Сепак, за правилен избор на модел, исто така е неопходно да се разбере како моделите работат "внатре"; бидејќи одлуките за цена, капацитет и достапност се потпираат на три основни концепти: токен, контекстен прозорец и мултимодалност. Некој што не ги знае овие концепти не може да го прочита ценовниот лист и да се запраша "дали овој документ ќе одговара на моделот?" не може да одговори на прашањето и не може да види кога визуелната обработка е од суштинско значење. До крајот на оваа единица, ќе можете да ги објасните овие три концепти на секојдневен јазик, да дијагностицирате дали работата бара широк контекст или мултимодалност и да го земете предвид нивното влијание врз трошоците.
Токен: Единица што ја користи моделот наместо Word
Моделите со вештачка интелигенција го обработуваат текстот не збор по збор, туку во мали парчиња наречени токени. знак; Тоа може да биде збор, дел од збор, интерпункциски знак или празно место. Да се направи груба пресметка: на англиски, просечниот токен е околу четири знаци, а 100 зборови се околу 130-150 токени. На турски, оваа стапка може да биде малку повисока поради суфиксните и долгите зборови; Со други зборови, турски текст со исто значење троши малку повеќе токени од англискиот.
Зошто е важно да се знае ова? Бидејќи сè се наплаќа и се мери во жетони. Текстот (влезот) што го испраќате до моделот и одговорот (излезот) произведен од моделот се бројат како посебни токени. И вашата фактура и капацитетот на моделот се во токени.
Совет: за да добиете груба проценка за тоа колку токени има текстот, поделете го бројот на знаци со четири. Е-пошта од 4.000 знаци е приближно 1.000 токени. На турски, претпоставете малку повисоко за да останете на безбедната страна.
Контекст прозорец: „Краткорочна меморија“ на моделот
Контексниот прозорец е вкупната количина на токени што моделот може да ги има на ум во исто време. Влезот и излезот мора да се вклопат заедно во овој прозорец. Помислете на тоа како количината на хартија што можете да ја раширите на маса одеднаш: Хартијата што не се вклопува на масата во тој момент е надвор од вашето видно поле.
Ако контекстниот прозорец на моделот е 200.000 токени, тоа е еднакво на приближно 150.000 зборови или неколку книги со средна големина. 1 милион токени можат да обработат многу поголеми документи како целина. Некои моќни модели денес (на пр. Claude Opus 4.8 и Sonnet 5) нудат 1 милион токени контексти, додека лесните модели често доаѓаат со помали прозорци (на пр. 200.000 токени за Haiku 4.5).
Зошто е важно? Бидејќи ако документот не се вклопува во контекстниот прозорец, моделот не може да го види сето тоа заедно. Не можете да дадете договор од 500 страници во целост на модел од 200.000 токени; Или го делите документот на делови (што може да ја изгуби врската помеѓу деловите) или изберете модел со поширок контекст.
Внимание: Не е паметно да се пополнува секој документ бидејќи е само затоа што контекстниот прозорец е голем. Колку повеќе токени ставате во прозорецот, толку повеќе плаќате, а понекогаш моделот може да ги пропушти средните детали во многу долги текстови. Често е поевтино и попрецизно да се испрати само делот што работи.
Контекстниот прозорец е критериум за одлука
Потрага
Приближен потребен контекст
Соодветно ниво
Краток одговор на е-пошта
неколку стотици жетони
лесен
Резиме на една страница
неколку илјади токени
Светло/избалансирано
Анализа на извештај од 40 страници
~ 30.000 токени
Урамнотежено/силно
Преглед на договорот од 300 страници
~ 250.000 токени
Моќен со широк контекст
Обработете стотици документи одеднаш
500.000+ токени
Најширок контекст
Оваа табела одговара на прашањето "кој модел?" Тоа покажува дека дел од прашањето е директно одговорен според големината на документот. Џабе е да се купи скап модел со голем контекст за кратки работни места; Модел со мал прозорец е несоодветен за големи документи.
Мултимодалност: Одење надвор од текстот
Мултимодалноста е способност на моделот да ракува со повеќе видови податоци (слика, аудио, понекогаш и видео), а не само текст. „Модал“ овде значи „тип на податоци“; мултимодален значи „многу видови“.
- Модел само за текст: Чита и пишува само пишан текст.
- Мултимодален модел: Може да чита фотографија од сметка, да интерпретира тренд на графикон, да декодира рачно напишана белешка, понекогаш да транскрибира гласовна снимка.
Зошто е важно? Бидејќи природата на вашиот бизнис може да бара мултимодалност. Сметководствениот тим кој извлекува износи од сликите на фактурите, тим за е-трговија кој ги класифицира фотографиите на производите или осигурителниот тим кој ги проценува фотографиите од оштетувања не може да ја заврши оваа работа со модел кој само чита текст. Визуелната обработка е од суштинско значење за овие задачи.
Три реални случаи
Случај 1 - Изненадување на токен цена. Тим за содржина, исто така, му испраќа на моделот документ „водич за бренд“ од 20 страници додека го произведуваат секој блог пост. Овој водич е околу 15.000 токени. Тие произведуваат 2.000 статии месечно; Значи, само испраќањето на водичот одново и одново значи 30 милиони токени на влез. Со скратување на водичот и испраќање само на соодветниот дел (околу 2.000 токени), тие го намалуваат внесувањето на една седмина и значително ја намалуваат сметката.
Случај 2 — Контекстниот прозорец не е доволен. Адвокатска фирма сака да го разгледа договорот за спојување од 280 страници. Првиот модел што го пробаа имаше врзување од 200.000 токени и документот не одговараше; Кога документот е растргнат, моделот не може да забележи дека статијата од првиот дел е во спротивност со статијата од последниот дел. Кога ќе се префрли на модел со 1 милион токен контекст, го чита документот како целина и ја фаќа контрадикторноста. Тука контекстниот прозорец директно ја одредува точноста.
Случај 3 - Мултимодалноста е задолжителна. Осигурителна компанија сака да направи прелиминарна проценка од фотографиите од оштетување на возилата. Ова е невозможно со модел кој само чита текст; Потребен е мултимодален модел кој ја „гледа“ фотографијата. Кога ќе се префрлат на мултимодален модел, тие воспоставуваат систем за предскрининг кој грубо ја класифицира локацијата и сериозноста на оштетувањето на фотографијата и го насочува експертот. Меѓутоа, тие забележуваат дека конечната одлука ја донесува експерт за луѓе; бидејќи моделот е прелиминарна алатка за проверка, а не последниот збор.
Слаба навестување / Силен навестување
Слаба навестување:
Сумирајте го овој документ. [премногу долг документ залепен]
Моќен потсетник:
Сумирајте го извештајот од 40 страници подолу. Прво проценете го приближниот број на токени во извештајот и кажете ни дали се вклопува во контекстниот прозорец на типичен избалансиран модел. Потоа дајте го резимето во овој формат: извршно резиме од 5 ставки + 3 ризични наоди. Користете ги само информациите во извештајот; Обележете го делот за кој не сте сигурни како „не јасен во извештајот“. [извештај]
Моќниот промпт е свесен за токен/контекст и го контролира форматот и проверливоста на излезот.
Шаблони за копирање
1. Предвидување на токени:
Проценете го приближниот број на токени за следниов текст и толкувајте го во однос на влезните трошоци: „[TEXT]“. Заокружете го малку, имајќи предвид дека е турско.
2. Проверка на достапноста на контекстот:
Мојата работа е да ги обработувам следните документи: просечни [СТРАНИЦИ] од [Количина] документи месечно. Каков контекстен прозорец бара оваа големина? Кое од светлосните/урамнотежените/силните нивоа би било доволно? Каков ризик се јавува ако треба да се демонтира?
3. Дијагноза на мултимодалност:
Мојот работен тек: [ОПИС]. Дали има визуелна, аудио или видео обработка во овој пренос? Ако е така, дали е потребен мултимодален модел или може да се претвори во текст (OCR/транскрипција) и да се реши со текстуален модел? Споредете ги добрите / лошите страни на двете патеки.
4. Оптимизација на контекст:
Со секое барање му испраќам документ на моделот, но поголемиот дел е непотребен. Како да ги извлечам деловите што всушност се потребни за [TASK] од овој документ? Предложете 3 конкретни начини за намалување на влезот и наведете ги проценетите заштеди во знакот.
Вообичаени грешки
- Погрешно токен за збор: Токен се разликува од збор; Фактурата и капацитетот се секогаш во токени, пресметувањето со зборови е погрешно.
- Мислејќи дека контекстниот прозорец е бесконечен: секој модел има ограничување; Ако документот не одговара, моделот не може да го види целиот.
- Користење на непотребен голем контекст: Купување скап модел со голем контекст за кратка работа; или пополни огромни документи за секое барање и џабе плаќа.
- Претпоставувајќи мултимодалност: не секој модел може да обработува визуелни слики; За визуелна работа, започнете без да потврдите дека моделот е мултимодален.
- Заборавајќи го токенот на турскиот јазик: турските текстови генерално трошат малку повеќе токени за истото значење; игнорирајќи го ова во проценката на трошоците.
Сумирано
- Токен е мала единица во која моделот обработува текст; влезот и излезот се мерат и фактурираат посебно како токени.
- Контексниот прозорец е вкупните токени што моделот може да ги има на ум во исто време; големината на документот директно влијае на изборот на модел.
- Мултимодалноста е способност на моделот да обработува нетекстуални податоци како што се визуелни/аудио; Неопходно е за визуелни дела.
- Овие три концепти се релевантни за прашањето "кој модел?" како и „колку чини?“ Таа ја формира основата на прашањата.
Задача за апликација
Изберете повторлива задача со вештачка интелигенција во вашиот бизнис. Првиот шаблон (предвидување на токени) нека пресмета колку токени има типичен влез во оваа задача. Потоа одреди кое ниво е доволно со шаблон 2 (проверка на достапноста на контекстот). Ако имате визуелна работа, разјаснете дали е потребен мултимодален модел со третиот шаблон (дијагностика на мултимодалност). Ќе ја користиме добиената токенска проценка во пресметката на трошоците за следната единица.
листа за проверка
- [ ] Го знам концептот на токен и како грубо да проценам колку токени има еден текст.
- [ ] Можам да го објаснам контекстниот прозорец со аналогија „табела/меморија“.
- [ ] Можам да проценам дали документот ќе се вклопи во модел.
- [ ] Можам да дијагностицирам кога мултимодалноста е од суштинско значење.
- [ ] Ги земам предвид симболичните трошоци на турскиот јазик и цената на непотребниот контекст.