Ieguvumi:
- Konkrēta izpratne par modeļa “svara” jēdzienu un netiešo/tiešo atšķirību
- Skatiet atšķirību starp atvērtā svara un atvērtā pirmkoda atšķirību un to licencēšanas nepilnības
- Spēja izvēlēties slēgtu, atvērtu vai jauktu pieeju ar pamatojumu atkarībā no biznesa situācijas
Iepazīstoties ar pakalpojumu sniedzējiem iepriekšējā vienībā, tabulā bija kolonna ar nosaukumu "svara tips": slēgts, atvērts, jaukts. Šī viena kolonna patiesībā slēpj vienu no stratēģiskākajiem jūsu modeļa izvēles lēmumiem. Neatkarīgi no tā, vai strādāsiet ar slēgtu vai atvērtu svara modeli; Tas tieši nosaka, kur tiks apstrādāti jūsu dati, kā tiks veidotas jūsu ikmēneša izmaksas, jūsu tehniskās komandas vajadzības un jūsu juridiskie pienākumi. Līdz brīdim, kad šī vienība būs pabeigta, jums būs konkrēta izpratne par jēdzienu "svars", redzēsit smalko, bet kritisko atšķirību starp atvērto svaru un atvērto avotu, kā arī varēsit pamatot savai situācijai pareizo pieeju.
Kas īsti ir "svars"?
AI modelis tiek apmācīts ar milzīgu teksta daļu, vienlaikus lēnām pielāgojot tajā esošos miljardus skaitlisko vērtību (parametru). Visi šie skaitļi tiek saukti par modeļa svariem. Svari ir vieta, kur modelis glabā “visu, ko ir iemācījies”; Jūs varat to salīdzināt ar sinapses spēku cilvēka smadzenēs. Modeļa gramatika, zināšanas par pasauli un argumentācijas modeļi ir kodēti šajos skaitļos.
Modeļa “darbināšana” nozīmē šo svaru ielādi datorā un ievadītā teksta palaišanu virs tiem. Kritiskais jautājums ir: kam ir piekļuve šiem svara failiem?
- Slēgtais svars: svari atrodas tikai pakalpojumu sniedzēja serveros. Jūs nevarat tiem tieši piekļūt; Jūs to izmantojat internetā, izmantojot interfeisu (API) veidā "nosūtīt tekstu, saņemt atbildi". Antropiskais Klods, OpenAI GPT, Google Gemini ir šādi. (API ir saskarne, kas programmatūrai ļauj nosūtīt pieprasījumu citai programmatūrai, izmantojot standarta portu, un saņemt atbildi.)
- Atvērtais svars: svara failus var lejupielādēt. Ja vēlaties, varat to instalēt un palaist savā serverī. Daži Meta Llama, DeepSeek, Mistral modeļi ir šādi.
Padoms. Uztveriet slēgto svaru kā "īrētu dzīvokli" un atvērto svaru kā "nopirktu māju". Īrētā dzīvoklī ir viegli pārvietoties, uzturēšana nav jūsu atbildība, bet saimnieks nosaka noteikumus. Viss iegādātajā mājoklī ir jūsu, taču arī remonts, apsardze un rēķini ir jūsu atbildība.
Atvērtais svars nav tas pats, kas atvērtais avots
Šeit ir ļoti izplatīta konceptuāla kļūda. "Atvērtais svars" un "atvērtais kods" bieži tiek lietoti kā sinonīmi, taču tie nav viens un tas pats.
- Atvērtā svēršana nozīmē dalīties tikai ar apgūtajiem modeļa parametriem. Parasti netiek paskaidrots, kā modelis tiek apmācīts un ar kādiem datiem tas tiek barots.
- Pilnībā atvērtais avots ideālā gadījumā nozīmē, ka gan svari, gan treniņu dati, gan treniņu kods tiek koplietoti un tos var brīvi izmantot.
Ir arī jautājums par licencēšanu. Pat ja modeļa svarus var lejupielādēt, tā licence var ierobežot komerciālu izmantošanu, noteikt papildu prasības, kas pārsniedz noteiktu lietotāju skaitu, vai aizliegt konkurējošu produktu izstrādi. Tātad "es varu lejupielādēt" un "es varu to izmantot, kā vēlos" ir dažādas lietas.
Uzmanību! Pirms atvērta svara modeļa ieviešanas savā uzņēmumā noteikti izlasiet tā licenci. Neļaujiet sevi apmānīt ar vārdu "atvērts"; Dažām licencēm ir nepieciešami atsevišķi līgumi, kas pārsniedz noteiktu ikmēneša aktīvo lietotāju skaitu, un dažas ierobežo izvades izmantošanu noteiktiem mērķiem. Par to ir jājautā savai juridiskajai komandai.
Divu pieeju salīdzinājums
Tālāk esošajā tabulā abas pieejas ir norādītas blakus galvenajām dimensijām.
Izmērs
Slēgts svars
Atvērts svars
Uzstādīšana
Nav, gatavs interfeiss
Nepieciešams serveris un tehniskā komanda
Kur tiek apstrādāti dati
Pakalpojumu sniedzēja serverī
Jūsu kontrolē esošā vidē
Sākotnējās izmaksas
Zems (maksā kā jums)
Augsts (aparatūra, instalācija)
Izmaksas mērogā
palielinās līdz ar skaļumu
Paredzams ar fiksētu aparatūru
Atjaunināšana/apkope
pie pakalpojumu sniedzēja
tev arī
privātuma kontrole
ierobežots
pilns
Piekļuve jaudīgākajam modelim
parasti šeit
Mainīgs
Šajā tabulā nav vienas atbildes uz jautājumu "kurš ir labāks"; Katra rinda ir plus vai mīnuss atkarībā no jūsu prioritātes. Ja vēlaties, lai sākotnējās izmaksas būtu zemas, slēgts svars; Ja dati nedrīkst atstāt uzņēmumu ne par milimetru, priekšplānā izvirzās atvērtais svars.
Trīs reāli gadījumi
1. gadījums — e-komercijas palaišana (slēgtā svara palielināšanās). Piecu cilvēku e-komercijas komanda vēlas izstrādāt produktu aprakstus. Viņiem nav tehnisko komandu, viņi nevēlas pārvaldīt serverus, mēneša apjoms ir mainīgs. Viņi sāk ar slēgta svara modeli, maksājot par to, ko izmanto. Pirmajā mēnesī viņi apstrādā 1,2 miljonus žetonu un izmaksā apmēram 15 USD; Viņu biznesam augot, proporcionāli pieaug arī rēķins. Nav servera, apkopes vai atjaunināšanas problēmu. Pareizā izvēle šim profilam ir skaidra.
2. gadījums — slimnīca (deficīts pieņemas svarā). Slimnīca vēlas apkopot un kodēt pacienta piezīmes. Dati ir ļoti sensitīvi veselības dati; nekādā gadījumā nedrīkst atstāt iestādi. Viņi savos datu centros veido atvērtu svara modeli. Viņi veic lielus sākotnējos ieguldījumus iestatīšanā un aparatūrā (teiksim, 40 000 USD serveris un divu nedēļu darbs iestatīšanas darbā), taču pēc tam viņi nemaksā papildu žetonu nodevas par katru pacientu, un dati nekad nenonāk ārējā serverī. Lielais apjoms un absolūta konfidencialitāte attaisno sākotnējās izmaksas.
3. gadījums — vidēja lieluma grāmatvedības firma (uzvar hibrīdā pieeja). Grāmatvedības uzņēmums ikdienas vispārējai sarakstei un tekstu melnrakstiem izmanto slēgtā svara modeli no gatavas saskarnes; jo šiem darbiem nav vērts pielikt pūles uzstādīšanai. Tomēr viņi izmanto ārpakalpojumus sensitīvu analīzi, kas ietver klientu finanšu datus, izmantojot atvērtu svara modeli, kas darbojas viņu pašu serveros. Tādējādi viņi vienlaikus gūst labumu no ērtībām un privātuma. Mēs atgriezīsimies pie šīs “jauktā portfeļa” pieejas 9. nodaļā.
Vāja uzvedne / spēcīga uzvedne: lūdzot lēmumu atbalstu
Vāja uzvedne:
Vai man vajadzētu izmantot atvērtu vai slēgtu svaru?
Spēcīga uzvedne:
Jūsu loma: uzņēmuma AI arhitekts. Mana situācija: Mēs esam 12 cilvēku grāmatvedības firma, mums nav tehniskās komandas, bet mums ir ārējs IT konsultants. ~500 000 žetonu mēnesī bizness. Daļa datu ir klientu finanšu dati (sensitīvi), daļa ir vispārīga sarakste. Mums ir jāievēro KVKK. Uzdevums: attiecīgi salīdziniet slēgto, atvērto un jaukto pieeju. Katram: piemērotība (1–5), aptuvenais pirmā gada izmaksu diapazons, privātuma piezīme, galvenais risks. Visbeidzot sniedziet vienu ieteikumu un apkopojiet iemeslu 3 punktos.
Otrā uzvedne ļauj modelim izstrādāt ieteikumu, kas patiešām atbilst jūsu uzņēmumam, jo tajā ir norādītas visas lēmuma pieņemšanai nepieciešamās robežas (komanda, apjoms, datu veids, tiesiskais regulējums).
Kopējamas veidnes
1. Lēmums par svara veidu:
Mans darbs: [DESCRIPTION]. Tehniskā komanda: [JĀ/NĒ]. Mēneša marķiera apjoms: [NUM]. Datu jutīgums: [ZEMS/VIDĒJS/AUGSTS]. Budžeta struktūras preference: [ZEMS SĀKUMS / PROGNOZĒjams FIXEDS]. Salīdziniet slēgto, atvērto un jaukto opciju atbilstoši šim profilam un sniedziet vienu ieteikumu.
2. Licences pārbaude:
Vienkāršojiet licenci šim atvērtā svara modelim: [LICENCES NOSAUKUMS/TEKSTS]. Atbildiet uz šiem jautājumiem: Vai ir atļauta komerciāla izmantošana? Vai pastāv lietotāju/ieņēmumu ierobežojumi? Vai es varu pārdot produkciju tālāk? Kādi lietojumi ir aizliegti? Ja nav skaidrs, rakstiet "jautājiet juristam".
3. Izmaksu sadalījums:
Sadaliet kopējās īpašumtiesību izmaksas tukša svara modelim: aparatūra, uzstādīšanas darbs, elektrība/mitināšana, apkope, atjauninājumi. Veiciet aptuvenu 3 gadu salīdzinājumu ar slēgtā svara alternatīvu. Mans mēneša apjoms: [NUMBER].
4. Privātuma riska pārbaude:
Tālāk norādītajā darbplūsmā izsekojiet, no kurienes uz kurieni tiek nosūtīti dati: [WORKPLOW DESCRIPTION]. Ja izmantoju slēgto svaru, kurā brīdī dati pazūd? Kā šis risks mainās pie atvērtā svara? Iesakiet katra riska mazināšanas pasākumus.
Biežas kļūdas
- Sajaukt vārdu “atvērts” ar vārdu “bezmaksas un neierobežots”: atvērts svars negarantē bezmaksas vai neierobežotu komerciālu izmantošanu; licence ir izšķiroša.
- Atvērtā svara domāšana ir "viegli": atvērtā svara modeļa palaišanai ir nepieciešami serveri, tehniskais personāls un apkope; Instalācijas nenovērtēšana ir izplatīta kļūda.
- Neņemot vērā slēgtā svara datus vispār: Slēgtā modelī dati tiek nodoti pakalpojumu sniedzējam; Ir riskanti sākt, iepriekš nenoskaidrojot, kuri dati var iet.
- Skatoties tikai uz sākotnējām izmaksām: lai gan sākotnēji atvērtais svars var šķist dārgs, ilgtermiņā tas var būt lētāks ļoti lielā apjomā. Apskatiet kopējās izmaksas trīs gadu laikā.
- “Spēcīgākais modelis vienmēr ir slēgts” moto: lai gan tas lielākoties ir taisnība, tas nav absolūts; atvērtie svara modeļi var būt vairāk nekā piemēroti noteiktiem uzdevumiem.
Rezumējot
- Modeļa svari ir miljardiem parametru, kas glabā informāciju, ko modelis ir iemācījies; Atšķirība "izslēgta/ieslēgta" attiecas uz piekļuvi šiem parametriem.
- Slēgts svars: gatavs interfeiss, zems starts, datu nodrošinātājā. Acīmredzamais svars: savs serveris, pilnīga kontrole, augstas palaišanas un uzturēšanas izmaksas.
- Atvērtais svars nav tas pats, kas atvērtais avots; Licences noteikumi var ierobežot komerciālu izmantošanu.
- Pareiza izvēle; Atšķiras atkarībā no komandas, apjoma, datu jutīguma un budžeta struktūras. Hibrīda pieeja ir jēga lielākajai daļai vidēja lieluma uzņēmumu.
Lietojumprogrammas uzdevums
Izmantojiet vajadzību profilu, ko izveidojāt iepriekšējā vienībā. Piešķiriet to AI modelim, izmantojot šīs vienības 1. veidni (lēmums par svara veidu). Novērtējiet iegūto ieteikumu pats, saskaņojot to pa vienam ar septiņām tabulā norādītajām dimensijām (instalācija, datu atrašanās vieta, palaišanas izmaksas, mēroga izmaksas, uzturēšana, privātums, piekļuve jaudīgajam modelim). Ja jūsu vērtējums atšķiras no modeļa ieteikuma, vienā teikumā atzīmējiet, kur jūs atšķiras.
kontrolsaraksts
- [ ] Jēdzienu "svars" varu izskaidrot saviem vārdiem.
- [ ] Varu salīdzināt slēgtā un atvērtā svara priekšrocības/trūkumus septiņās dimensijās.
- [ ] Es zinu atšķirību starp atvērto svaru un atvērto avotu, kā arī licencēšanas risku.
- [ ] Varu pamatot slēgtā/atvērtā/hibrīda izvēli savam biznesam.
- [ ] Es varu izsekot, kur dati tiek pārvietoti darbplūsmā, un parādīt riska punktu.