Добивки:
- Препознавање на лесни, избалансирани и моќни фази на моделот и режим на расудување
- Избор на соодветно ниво на модел врз основа на тежината на задачата
- Способност свесно да се воспостави рамнотежа помеѓу латентноста, точноста и цената
Научивме да ја пресметаме цената; Сега да разговараме за тоа што добиваме за таа цена, имено нивоата и можностите на моделот. Три сили постојано се натпреваруваат при изборот на модел: квалитет (точност), брзина (латентност) и цена. Подобрувањето на две од овие три често значи компромитирање на третото. Во единицата, ќе научите за светлосни, избалансирани и моќни нивоа, режим на расудување и претпочитање на мали/големи модели; Ќе можете свесно да ја воспоставите вистинската рамнотежа според тежината на задачата.
Три нивоа, три различни работни ликови
Речиси секој провајдер нуди три нивоа во исто семејство. Ајде да ги поврземе овие со карактерот на задачата:
- Лесно ниво (мал модел): Многу брзо, многу евтино, „доволно добро“. Идеален за едноставни, повторувачки задачи со голем обем: класификација, брифинг, означување, чистење на податоци, едноставни нацрти на одговори.
- Урамнотежено ниво (среден модел): добар квалитет, разумна брзина, разумна цена. „Стандарден“ избор за повеќето секојдневни работи: производство на содржина, средна анализа, одговори на клиентите.
- Моќно ниво (голем модел): Најквалитетно, најбавно, најскапо. За сложено расудување, долга и повеќестепена анализа, тежок код, прецизна правна/финансиска евалуација.
Совет: Добро почетно правило: Започнете со избалансирано ниво. Ако квалитетот е слаб, поместете се на силно ниво; Ако квалитетот е исклучително добар и јачината на звукот е висока, спуштете се до нивото на светлина. Пристапот „почни со доволно добро“, а не „почни со најсилниот“ пристап, заштедува и пари и време.
Што е режим на расудување?
Некои модели најпрво може да го „размислат“ одговорот чекор по чекор наместо директно да го генерираат. Ова се нарекува начин на расудување. Моделот го разложува проблемот на делови, ги обработува средните чекори во себе и дури потоа го дава конечниот одговор. Ова е слично како ученик да решава математички проблем чекор по чекор на хартија.
Кога е вредно? Во повеќестепени, логички проблеми: сложена пресметка, откривање на контрадикторност, долг синџир на заклучоци, тешка грешка во кодот. Во овој тип на работа, расудувањето значително ја зголемува точноста.
Која е цената? Расудувањето ги зголемува трошоците и доцнењето бидејќи моделот генерира повеќе „токени за размислување“. Така ќе биде и поскапо и побавно. Едноставно „дали овој преглед е позитивен? Расудувањето на прашањето е како да убиеш мува со чекан; создава непотребни трошоци и доцнења.
Внимание: Не оставајте отворен режим на расудување за секоја задача. Побрзо и поевтино е да се чува затворен за едноставни задачи. Некои од модерните модели доаѓаат со „адаптивен“ режим на размислување кој сам одлучува кога треба да размислува; Сепак, ваша работа е да управувате со тоа свесно.
Квалитет, брзина, триаголник на трошоци
приоритет
Соодветно ниво
расудување
Најниска цена, голем волумен
лесен
Затворено
Биланс (повеќето работни места)
избалансиран
во зависност од ситуацијата
Највисока точност, критична одлука
силна
отворени
Инстант одговор, мала латентност (разговор)
Светло/избалансирано
Затворено
Комплексна, повеќестепена анализа
силна
отворени
Додека ја гледате оваа табела, запрашајте се: „Која ќе биде цената ако згрешам на оваа задача? Ако цената е висока (погрешна правна проценка, погрешна финансиска одлука) инвестицијата од силен калибар и расудување е оправдана. Ако цената е ниска (погрешна класификација на етикета на производот), доволен е лесен и брз модел.
Мал модел или голем модел?
Спротивно на популарното верување, не секоја работа бара голем модел. Помалите модели станаа изненадувачки способни, извршувајќи многу задачи со десетина од цената и неколку пати поголема од брзината на поголемиот модел. Три прашања за одлука:
- Дали задачата е едноставна и формулаична? (Класификација, екстракција, кратко резиме) → Мал модел.
- Дали јачината на звукот е превисока и брзината е критична? → Мал модел, бидејќи големиот модел е скап и бавен.
- Дали задачата бара нијансирано расудување, проширен контекст или креативност? → Голем модел.
Три реални случаи
Случај 1 - Лесниот модел е доволен. Тим за е-трговија сортира 40.000 коментари на клиенти дневно во позитивни/негативни/неутрални. Тие го пробуваат со моќниот модел и потоа го споредуваат со лесниот модел: прецизноста е речиси иста (96% наспроти 94%), но лесниот модел е 8 пати поевтин и 3 пати побрз. Лесниот модел е убедливо вистинскиот избор за оваа задача; Дополнителните 2% прецизност не оправдуваат 8 пати поголема цена.
Случај 2 - Силен модел + расудување е задолжително. Даночна консултантска фирма сака да пресмета сложено повеќестепено даночно сценарио. Лесниот модел прави грешки во средните чекори и дава неточни резултати. Кога го користат моќниот модел со вклучен режим на расудување, моделот напредува чекор по чекор и доаѓа до правилен заклучок. Овде, дополнителни трошоци и одложувања се прифатливи бидејќи цената на грешката е висока; Сепак, експерт го потврдува резултатот.
Случај 3 - Мешана употреба. Центарот за повици ги обработува транскриптите на повиците во два чекора: прво, накратко го сумира секој повик со лесен модел (голем тон, едноставна работа), потоа ги дава само повиците означени како „поплаки“ до моќниот модел и врши анализа на основната причина (мал тон, сложена работа). Така, тие го обработуваат најголемиот дел од јачината на звукот ефтино, додека ја задржуваат моќта на силната шема за неколкуте повици кои навистина се важни.
Слаба навестување / Силен навестување
Слаба навестување:
Решете го ова даночно сценарио. [комплексно сценарио]
Не е јасно колку внимателно моделот ќе размисли.
Моќен потсетник:
Вашата улога: виш даночен специјалист. Задача: Решете го следното повеќестепено сценарио чекор по чекор. Прво наведете ги претпоставките, потоа пресметајте и прикажете го секој чекор посебно и на крајот дајте го нето резултатот. Ако постои точка за која не сте сигурни или која зависи од законодавството, означете ја како „потребна е стручна потврда“. Прескокнување на средни чекори.[сценарио]
Моќниот поттик го води моделот низ чекор-по-чекор размислување (охрабрувајќи го расудувањето) и ги прави видливи средните чекори за проверливост.
Шаблони за копирање
Дијагноза во 1-ва фаза:
Мојата мисија: [Задача]. Волумен: [NUMBER/ден]. Цена за грешка: [НИСКИ/СРЕДНИ/ВИСОКИ]. Приоритет на брзина: [НИзок/ВИСОК]. Врз основа на овој профил, кое ниво (лесно/урамнотежено/силно) и расудување (отворено/затворено) би препорачале? Оправдајте.
2. Одлука за мал/голем модел:
Ја дефинирам следнава задача: [TASK]. Дали овој проблем може да се реши со мал (лесен) модел или потребен е голем модел? Предложете 3 тест случаи и праг на успех за да се обидам да ги решам со малиот модел.
3. Соодветност на расудувањето:
Дали режимот на расудување (чекор-по-чекор размислување) би бил корисен или скап во следната задача: [TASK]? Оправдајте ја вашата одлука врз основа на бројот на чекори и логичката сложеност на задачата.
4. Дизајн на работниот тек во две фази:
Дизајнирајте проток во две фази за да ги намалите трошоците за следнава задача со голем волумен [TASK]: кој дел треба да оди кај лесниот модел, кој дел да оди кај моќниот модел? Напишете го нивото и образложението за секој чекор.
Вообичаени грешки
- Моќен модел за секоја работа: Создавање непотребни трошоци и одложувања со користење на најмоќниот модел во едноставни и обемни работи.
- Секогаш оставајќи го размислувањето вклучено: Одржување на режимот на размислување во едноставни задачи и залудно трошење време и пари.
- Донесување одлуки без мерење на квалитетот: Претпоставувајќи „поголемо е подобро“ без да споредувате две нивоа со вашите сопствени податоци.
- Заборавајќи ја потребата за брзина: на места каде што е потребен моментален одговор, како што се разговор, избор на бавен моќен модел и задржување на корисникот на чекање.
- Воопшто не размислувајќи за протокот во две фази: Немање на целиот волумен изграден од еден модел и не заштеда на делот што може да се направи евтино.
Сумирано
- Изборот на модел е балансирачки чин во триаголникот на квалитет, брзина и цена; Подобрувањето на два често бара компромитирање на третиот.
- Лесната сцена е погодна за едноставни/обемни работи, силната сцена е погодна за сложени/критични работи; Урамнотежената фаза е добар почеток за повеќето работни места.
- Режимот на расудување ја подобрува точноста во проблемите со повеќе чекори, но ги зголемува трошоците и доцнењето; Не треба да се остави отворена за секоја задача.
- „Која е цената на неуспехот во оваа мисија? Прашањето е компасот на одлуката за ниво и расудување. Двостепените текови обезбедуваат големи заштеди во обемните работни задачи.
Задача за апликација
Изберете задача во вашата работа и одредете која фаза и поставка за расудување се соодветни со шаблон 1 (дијагностика на фаза). Ако задачата е со голема јачина на звук, смислете дизајн што насочува дел од јачината на звукот кон лесниот модел, а критичниот дел кон силниот модел со шаблон 4 (работен тек во две фази). Овој дизајн ќе го користиме во студијата за моделско портфолио во единица 9.
листа за проверка
- [ ] Можам да одговарам на работниот карактер на лесни, избалансирани и моќни сцени.
- [ ] Можам да објаснам што прави режимот на расудување и колку чини.
- [ ] Свесно можам да воспоставам рамнотежа квалитет-брзина-трошок за задача.
- [ ] Можам да одговорам на прашањето за мал или голем модел со три прашања.
- [ ] Можам да дизајнирам проток во две фази за работа со голем волумен.