Добици:
- Конкретно разумевање концепта 'тежине' модела и имплицитне/експлицитне разлике
- Погледајте разлику између отвореног и отвореног кода и њихове замке лиценцирања
- Могућност избора затвореног, отвореног или мешовитог приступа са оправдањем у зависности од ситуације у којој се послује
Приликом упознавања провајдера у претходној целини, у табели је била колона под називом „тежински тип”: затворено, отворено, мешовито. Ова једна колона заправо скрива једну од најважнијих стратешких одлука вашег избора модела. Да ли ћете радити са затвореним или отвореним моделом тежине; Он директно одређује где ће се ваши подаци обрађивати, како ће се обликовати ваши месечни трошкови, потребе вашег техничког тима и ваше правне одговорности. Док се ова јединица заврши, имаћете конкретно разумевање концепта „тежине“, видети суптилну, али критичну разлику између отвореног садржаја и отвореног кода, и моћи ћете да оправдате прави приступ за своју ситуацију.
Шта је тачно "тежина"?
АИ модел се обучава са огромним комадом текста док полако прилагођава милијарде нумеричких вредности (параметара) унутар њега. Сви ови бројеви се називају тежине модела. Тегови су место где модел складишти „све што је научио“; Можете га упоредити са снагом синапси у мозгу особе. Граматика модела, знање о свету и обрасци резоновања су сви кодирани овим бројевима.
„Покретање“ модела значи учитавање ових тежина у рачунар и покретање текста који унесете преко њих. Критично питање је: Ко има приступ овим датотекама са тежинама?
- Затворена тежина: Тежине се налазе само на серверима добављача. Не можете им директно приступити; Користите га преко интернета преко интерфејса (АПИ) на начин „пошаљи текст, добиј одговор“. Антхропиц Цлауде, ОпенАИ ГПТ, Гоогле Гемини су овакви. (АПИ је интерфејс који омогућава софтверу да пошаље захтев другом софтверу преко стандардног порта и добије одговор.)
- Опен-веигхт: Датотеке тежине се могу преузети. Ако желите, можете га инсталирати и покренути на свом серверу. Неки модели Мета Ллама, ДеепСеек, Мистрал су овакви.
Савет: Замислите затворену тежину као „изнајмљени стан“, а отворену тежину као „купљену кућу“. Лако се уселити у изнајмљени стан, одржавање није ваша одговорност, већ правила поставља газда. Све у купљеном дому је ваше, али реновирање, обезбеђење и рачуни су такође ваша одговорност.
Отворена тежина није исто што и Опен Соурце
Овде постоји врло честа концептуална грешка. „Опен-веигхт” и „опен-соурце” се често користе наизменично, али нису иста ствар.
- Отворено пондерисање значи дељење само научених параметара модела. Обично није објашњено како се модел обучава и којим подацима се напаја.
- Потпуно отворен извор у идеалном случају значи да се и тежине, подаци о тренингу и код за обуку деле и да се могу слободно користити.
Ту је и питање лиценцирања. Чак и ако се тежине модела могу преузети, његова лиценца може ограничити комерцијалну употребу, наметнути додатне захтеве изван одређеног броја корисника или забранити развој конкурентских производа. Дакле, „могу да га преузмем“ и „могу да га користим како желим“ су различите ствари.
Опрез: Пре него што ставите отворени модел тежине у своје пословање, обавезно прочитајте његову лиценцу. Немојте да вас завара реч „отворено“; Неке лиценце захтевају посебне уговоре изнад одређеног броја активних корисника месечно, а неке ограничавају коришћење излаза у одређене сврхе. Ово је нешто о чему би требало да питате свој правни тим.
Поређење два приступа
Табела испод поставља два приступа један поред другог у кључним димензијама.
Величина
Цлосед Веигхт
Опен Веигхт
Инсталација
Нема, спреман интерфејс
Потребан сервер и технички тим
Где се обрађују подаци
На серверу провајдера
У окружењу под вашом контролом
Почетни трошак
Ниско (платите док идете)
Висока (хардвер, инсталација)
Цена на нивоу
повећава са запремином
Предвидљиво са фиксним хардвером
Ажурирање/одржавање
код провајдера
ти такође
контрола приватности
ограничена
пуна
Приступ најмоћнијем моделу
обично овде
Променљива
У овој табели нема јединственог одговора „шта је боље“; Сваки ред је плус или минус у зависности од вашег приоритета. Ако желите да почетни трошак буде низак, затворена тежина; Ако подаци не смеју да напусте компанију ни милиметар, отворена тежина долази до изражаја.
Три реална случаја
Случај 1 — Покретање е-трговине (затворено повећање тежине). Тим за е-трговину од пет особа жели да произведе описе производа. Немају техничке тимове, не желе да управљају серверима, месечни обим је променљив. Почињу са моделом затворене тежине, плаћајући оно што користе. У првом месецу обрађују 1,2 милиона токена и исплате око 15 долара; Како њихов посао расте, пропорционално расте и рачун. Нема проблема са сервером, одржавањем или ажурирањем. Прави избор за овај профил је јасан.
Случај 2 — Болница (дефицит добија на тежини). Болница жели да сумира и кодира белешке пацијената. Подаци су веома осетљиви здравствени подаци; ни у ком случају не би требало да напушта установу. Они граде отворени модел тежине у својим центрима података. Они улажу велика почетна улагања у подешавање и хардвер (рецимо, сервер од 40.000 долара и две недеље рада за подешавање), али онда не плаћају додатне накнаде за токен по пацијенту и подаци никада не иду на спољни сервер. Велики обим и апсолутна поверљивост оправдавају почетни трошак.
Случај 3 — Рачуноводствена фирма средње величине (хибридни приступ побеђује). Рачуноводствена фирма користи модел затворене тежине из готовог интерфејса за свакодневну општу кореспонденцију и нацрте текстова; јер за ове послове не вреди улагати труд. Међутим, они предају осетљиву анализу која укључује финансијске податке клијената отвореном моделу тежине који ради на њиховим сопственим серверима. Дакле, истовремено имају користи од погодности и приватности. Вратићемо се на овај приступ „мешовитог портфеља“ у јединици 9.
Слабо обавештење/јако обавештење: када тражите подршку за одлучивање
Слабо обавештење:
Да ли да користим отворену или затворену тежину?
Снажан упит:
Ваша улога: АИ архитекта предузећа. Моја ситуација: Ми смо рачуноводствена фирма од 12 људи, немамо технички тим, али имамо спољног ИТ консултанта. ~500.000 токена месечно пословање. Неки од података су финансијски подаци клијената (осетљиви), неки су општа кореспонденција. Морамо да поштујемо КВКК. Задатак: Упореди затворени, отворени и мешовити приступ сходно томе. За сваки: прикладност (1-5), процењени распон трошкова прве године, напомена о приватности, главни ризик. На крају дајте један предлог и резимирајте разлог у 3 тачке.
Други промпт омогућава моделу да произведе препоруку која заиста одговара вашем пословању, јер даје све границе потребне за одлуку (тим, обим, тип података, правни оквир).
Цопиабле Темплатес
1. Одлука о врсти тежине:
Мој посао: [ОПИС]. Технички тим: [ДА/НЕ]. Месечни обим токена: [НУМ].Осетљивост података: [НИЗКА/СРЕДЊА/ВИСОКА].Преференција структуре буџета: [НИЗАК ПОЧЕТАК / ПРЕДВИЂЕНИ ФИКСНИ].Упоредите затворену, отворену и мешовиту опцију према овом профилу и дајте једну препоруку.
2. Провера лиценце:
Поједноставите лиценцу за овај отворени модел тежине: [НАЗИВ ЛИЦЕНЦЕ/ТЕКСТ]. Одговорите на ова питања: Да ли је дозвољена комерцијална употреба? Да ли постоје ограничења корисника/прихода? Могу ли препродати излаз? Које су употребе које забрањује? Ако није јасно, напишите „питајте адвоката“.
3. Преглед трошкова:
Разбијте укупне трошкове власништва за модел са голом тежином: хардвер, рад на инсталацији, струја/хостинг, одржавање, ажурирања. Направите грубо трогодишње поређење са алтернативом затворене тежине. Мој месечни обим: [НУМБЕР].
4. Провера ризика приватности:
Пратите где подаци иду одакле иду у следећем току рада: [ОПИС ТОКА РАДА]. Ако користим затворену тежину, у ком тренутку подаци нестају? Како се овај ризик мења на отвореној тежини? Предложите меру ублажавања за сваки ризик.
Уобичајене грешке
- Погрешити реч „отворено” са „бесплатно и неограничено”: Отворена тежина не гарантује бесплатну или неограничену комерцијалну употребу; лиценца је одлучујућа.
- Размишљање о отвореној тежини је „лако“: Покретање модела отворене тежине захтева сервере, техничко особље и одржавање; Потцењивање инсталације је уобичајена грешка.
- Уопште не узимајући у обзир затворене податке о тежини: У затвореном моделу, подаци иду добављачу; Ризично је започети без претходног разврставања који подаци могу да иду.
- Само гледајући почетну цену: Иако се у почетку може чинити да је отворена тежина скупа, дугорочно може бити јефтинија при веома великом обиму. Погледајте укупне трошкове за три године.
- Мото 'најјачи образац је увек затворен': Иако је то истина већину времена, није апсолутно; отворени модели тежине могу бити више него адекватни за одређене задатке.
Укратко
- Тежине модела су милијарде параметара који чувају информације које је модел научио; Разлика „искључено/укључено“ односи се на приступ овим параметрима.
- Затворена тежина: спреман интерфејс, низак старт, на провајдеру података. Очигледна тежина: ваш сопствени сервер, потпуна контрола, високи трошкови покретања и одржавања.
- Отворена тежина није исто што и опен соурце; Услови лиценце могу ограничити комерцијалну употребу.
- Прави избор; Разликује се у зависности од тима, обима, осетљивости података и структуре буџета. Хибридни приступ има смисла за већину средњих предузећа.
Задатак апликације
Узмите профил потреба који сте креирали у претходној јединици. Дајте га АИ моделу користећи шаблон 1 (одлука о врсти тежине) у овој јединици. Сами процените резултујућу препоруку тако што ћете је упоредити једну по једну са седам димензија у табели (инсталација, локација података, цена покретања, цена обима, одржавање, приватност, приступ моћном моделу). Ако се ваша процена разликује од препоруке модела, забележите у једној реченици где се разликујете.
контролна листа
- [ ] Могу да објасним концепт „тежине“ својим речима.
- [ ] Могу да упоредим предности/недостатке затворене и отворене тежине у седам димензија.
- [ ] Знам разлику између отвореног и отвореног кода и ризика од лиценцирања.
- [ ] Могу да оправдам избор затвореног/отвореног/хибридног за сопствени бизнис.
- [ ] Могу да пратим где подаци иду у току посла и да покажем тачку ризика.