Добици:
- Препознавање позиционирања Мета (лама), Мистрала, кАИ (Грок), ДеепСеек и Цохере
- Идентификовање које је пословање најприкладније за отворене, регионалне и трошковно фокусиране провајдере
- Способност процене земље порекла и дозволе као критеријума за избор
Упознали смо три велика америчка провајдера. Међутим, ако мислите да је тржиште све о њима, игноришете неке од највреднијих опција које имате. Мета, јасни лидер, Мистрал, понос Европе, кАИ, који ради са подацима у реалном времену, ДеепСеек, који се истиче равнотежом између трошкова и перформанси, и Цохере, специјализован за упите о корпоративним документима; сви могу бити погоднији за одређене послове од велике тројке. У овој јединици ћете објективно упознати ових пет играча, њихове позиције и за који посао одговарају; Видећете зашто су земља порекла и лиценца критеријум избора.
Мета — Породица Ллама (Опен Веигхт Леадер)
Метина породица Ллама је најпризнатије име у свету отворених тежина. Пошто се тежине могу преузети, можете их покренути на сопственом серверу и обрадити податке, а да их никада не извадите. Постоје верзије различитих величина: мали модели раде чак и на обичном серверу, док велики модели захтевају моћан хардвер.
Области у којима се истиче: Институције које желе потпуну контролу података; Они који желе да учине трошкове предвидљивим при веома великим количинама; и они који желе да прилагоде (фино подесе) модел сопственим подацима. Фино подешавање је прилагођавање готовог модела за ваше пословање тако што ћете га поново обучити на сопственим примерима.
Типичан корисник: Велике институције са сопственим центрима података, индустрије критичне за приватност, компаније са јаким техничким тимовима.
Опрез: Иако је Ллама лиценца „отворена“, није безусловна; може укључити додатне захтеве за веома велике компаније изнад одређеног прага активног корисника. Прочитајте лиценцу са својим правним тимом пре него што је ставите у посао.
Мистрал — европски добављач
Мистрал, са седиштем у Француској, истиче се европским пореклом. То је „мешовити“ провајдер јер нуди и отворене моделе тежине (као што је Миктрал) и затворене, моћније моделе. То је природан кандидат за организације које се брину о суверенитету података у Европи; јер је сам провајдер унутар ЕУ.
Области истакнутости: Институције које се баве усаглашеношћу са европским правним оквиром; Они који желе флексибилност отворене тежине и погодност затвореног модела под истим кровом; и вишејезична европска језичка подршка.
Типичан корисник: Средње и велике институције које раде у ЕУ и желе да њихови подаци остану унутар граница ЕУ.
кАИ — Грок (подаци у реалном времену)
кАИ-јев Грок модел је позициониран својом интеграцијом са Кс (раније Твитер) платформом и приступом тренутним подацима у реалном времену. Иако је модел опште намене, привлачи пажњу својом тврдњом да одражава актуелне догађаје и пулс друштвених медија.
Области у којима се истиче: праћење актуелних догађаја, анализа друштвених медија, садржај у вези са дневним редом. Повезивање у реалном времену је драгоцено када модел треба да зна нешто што се „управо догодило“.
Типични корисник: Тимови друштвених медија, трговци који прате брендове, произвођачи садржаја чије је праћење дневног реда критично.
ДеепСеек — цена/перформансе (порекло из Кине)
ДеепСеек са седиштем у Кини истиче се по томе што нуди моћне перформансе по ниској цени, а неки од његових модела су отвореног типа. Нуди конкурентне резултате, посебно у задацима са интензивним расуђивањем, док нуди предност у цени.
Области у којима се истиче: послови расуђивања великог обима са високом буџетском осетљивошћу; Тимови који желе јасну флексибилност тежине, али морају да одржавају ниске трошкове.
Типичан корисник: Иницијативе фокусиране на трошкове, тимови који раде анализу великог обима.
Пажња: ДеепСеек потиче из Кине. Ако ћете обрађивати податке о личним или пословним тајнама, обавезно разјасните где се подаци обрађују и чувају. Покретање опенвеигхт верзије на вашем серверу ублажава ову забринутост; Коришћење услуге у облаку треба пажљиво проценити у смислу суверенитета података. Ову тему ћемо детаљно обрадити у јединици 8.
Цохере — Ентерприсе Сеарцх и РАГ
Цохере са седиштем у Канади је позициониран за радна оптерећења предузећа, а не за апликације за ћаскање. Посебно је моћан у сценаријима РАГ (генерисање са стеченим знањем); односно у системима где модел проналази и чита релевантне делове из ваше архиве докумената пре него што одговори. Такође је пожељан за успостављање корпоративних инфраструктура за претрагу са моделима „уграђивања“ који претварају текстове у нумеричке векторе. (Уграђивање је претварање значења текста у бројеве тако да се слични текстови могу поставити један поред другог.)
Области у којима се истиче: интерни упити за документе, паметна претрага, системи питања-одговори на бази знања.
Типични корисник: Институције са великим архивама докумената, тимови који желе да своју интерну базу знања учине претраживом помоћу вештачке интелигенције.
Пет играча један поред другог
Провајдер
Истакнута вредност
Тежина
Порекло
Типичан посао
Мета (лама)
Потпуна контрола, фино подешавање
отворен
САД
Тајни посао на сопственом серверу
маестрал
ЕУ порекло, флексибилност
мешовити
француска
Суверенитет података ЕУ
кАИ (Грок)
подаци у реалном времену
Затворено
САД
Дневни ред/друштвени медији
ДеепСеек
Цена/учинак
отворен
Кина
Велики обим, оријентисан на буџет
цохере
Претрага предузећа/РАГ
мешовити
Канада
Упит о документу
Три реална случаја
Случај 1 — Производна компанија која послује у ЕУ. Компанија са фабрикама у Немачкој жели да претражује техничку документацију помоћу вештачке интелигенције, али не жели да њени подаци изађу ван ЕУ. Они бирају Мистралов затворени модел заснован на ЕУ; Она је и јака и у складу са законским оквиром. Месечни посао од ~800.000 токена претвара се у предвидљив рачун и правни тим је одахнуо.
Случај 2 — Иницијатива за аналитику ограничену буџетом. Стартуп за анализу података од осам особа мора да класификује и сумира десетине хиљада кратких текстова дневно, али његов буџет је мали. Они покрећу ДеепСеек-ов отворени модел тежине на серверу који изнајмљују; Дакле, они не плаћају по токену и решавају бригу о подацима који потичу тако што никада не извлаче податке.
Случај 3 — Велика база знања осигуравајућег друштва. Осигуравајућа компанија са десетинама хиљада полиса и процедуралних докумената питала је своје запослене "шта да раде у овој ситуацији?" Жели да може да поставља своја питања архиви. Они граде интерни систем за претрагу са Цохере-овим РАГ-ом и уграђујући моделе. Када запослени постави питање, систем прво проналази релевантне документе, а затим модел одговара на њих на основу њих; Дакле, одговори нису измишљени, већ засновани на стварним документима.
Слаба порука / јака промпт
Слабо обавештење:
Предложите јефтин АИ модел.
Снажан упит:
Ваша улога: консултант за набавку вештачке интелигенције. Потреба: Сортирајте ~30.000 кратких рецензија турских купаца дневно у позитивне/негативне/неутралне. Буџет је веома ограничен. Подаци не садрже личне податке (анонимно). Задатак: Препоручити 3 опције (укључујући отворену тежину) са добрим балансом цене и учинка. Напишите процењени месечни распон трошкова, порекло/напомену са подацима и главни ризик за сваки. На крају, дајте једну препоруку за пилота.
Снажан упит даје заиста делотворну препоруку јер даје обим, ограничење буџета, тип података и језик.
Цопиабле Темплатес
1. Провера алтернативног добављача:
Наведите добављаче ван велике тројке (Антхропиц/ОпенАИ/Гоогле) који би могли бити прикладни за следећи задатак [ЗАДАЋАК]: Мета, Мистрал, кАИ, ДеепСеек, Цохере. Напишите по један ред за сваки од њих.
2. Порекло и напомена о лиценци:
Размишљам да користим следећег провајдера [ПРОВИДЕР]. Које ризике за мене представљају земља порекла, врста тежине и услови лиценце у погледу суверенитета података? Предложите мере предострожности за сваки ризик.
3. РАГ провера усклађености:
Имам ~[НУМБЕР] докумената и желим да запослени постављају питања о њима. Да ли је ово РАГ сценарио? Ако јесте, који тип добављача/модела (уградња + производња) бисте препоручили и која су прва 3 корака за инсталацију?
4. Пилот план отворене тежине:
Желимо да пилотирамо овај отворени модел тежине [МОДЕЛ] на сопственом серверу. Направите груби план са хардверским захтевима, корацима инсталације, процењеним временом и 3 метрике успеха које ћете пратити у првој недељи.
Уобичајене грешке
- Заглављивање са великом тројком: Најпознатији провајдер можда није најбољи за ваш посао; Немојте доносити одлуку без процене алтернатива.
- Грешка земља порекла са техничком: Порекло је стратешки критеријум у смислу суверенитета података и правног ризика, а не обична ознака.
- Збуњење РАГ-а са снагом модела: Успех у испитивању докумената често долази од доброг РАГ подешавања, а не од најмоћнијег модела.
- Под претпоставком да је отворена тежина без инсталације: Одабрати ДеепСеек или Ллама јер су „бесплатни“ и не узимају у обзир хардвер и оптерећење одржавања.
- Прецењивање потребе за реалним временом: Не жели свако предузеће податке у реалном времену; Грокова предност има смисла само када је правовременост критична.
Укратко
- Мета (лама) отворена тежина и потпуна контрола; Мистрал ЕУ порекло и флексибилност; кАИ подаци у реалном времену; ДеепСеек цена/перформансе; Цохере се истиче помоћу претраге предузећа/РАГ-а.
- Земља порекла и лиценца су стратешки критеријуми одабира, посебно за оне који обрађују личне или поверљиве податке.
- У РАГ сценаријима, успех долази из доброг подешавања преузимања докумената, а не из најјачег модела.
- Прави провајдер може доћи изван велике тројке, у зависности од врсте пословања, буџета и правног оквира.
Задатак апликације
Размислите да ли постоји потреба за испитивањем докумената у вашем послу (као што су запослени који постављају питања архиви). Нека АИ модел процени вашу ситуацију са шаблоном 3 у овој јединици (РАГ провера уклапања). Такође, ако обрађујете личне или поверљиве податке, уклоните ризик суверенитета података добављача којег размишљате да изаберете помоћу 2. шаблона (напомена о пореклу и лиценца). Овај излаз ћемо користити у студији КВКК у јединици 8.
контролна листа
- [ ] Могу да парирам истакнутој вредности и типичном раду пет алтернативних играча.
- [ ] Могу да одвојим провајдере отвореног типа, регионалне и трошкове фокусиране на провајдере на основу посла за који су погодни.
- [ ] Могу да објасним зашто су земља порекла и дозвола критеријуми за избор.
- [ ] Могу препознати РАГ сценарио и препоручити одговарајући тип добављача.
- [ ] Могу да разазнам грубе кораке пилота отворене тежине.