Pelnas:
- Konkretus modelio „svorio“ sąvokos supratimas ir numanomas / aiškus skirtumas
- Pamatykite skirtumą tarp atvirojo ir atvirojo kodo bei jų licencijavimo spąstus
- Galimybė pasirinkti uždarą, atvirą ar mišrų požiūrį, pagrįstai atsižvelgiant į verslo situaciją
Susipažįstant su tiekėjais ankstesniame skyriuje, lentelėje buvo stulpelis „svorio tipas“: uždaras, atviras, mišrus. Šis vienas stulpelis iš tikrųjų slepia vieną iš strategiškiausių jūsų modelio pasirinkimo sprendimų. Nesvarbu, ar dirbsite su uždaro ar atviro svorio modeliu; Tai tiesiogiai nustato, kur bus tvarkomi jūsų duomenys, kaip bus formuojamos jūsų mėnesinės išlaidos, jūsų techninės komandos poreikiai ir teisinės atsakomybės. Kai šis įrenginys bus baigtas, jūs konkretų supratimą apie „svorio“ sąvoką, pamatysite subtilų, bet esminį skirtumą tarp atvirojo svorio ir atvirojo kodo ir galėsite pagrįsti tinkamą požiūrį į savo situaciją.
Kas tiksliai yra "svoris"?
AI modelis mokomas naudojant didžiulę teksto dalį, lėtai koreguojant milijardus jame esančių skaitinių reikšmių (parametrų). Visi šie skaičiai vadinami modelio svoriais. Svoriai yra vieta, kur modelis saugo „viską, ko išmoko“; Galite palyginti tai su sinapsių galia žmogaus smegenyse. Modelio gramatika, žinios apie pasaulį ir samprotavimai yra užkoduoti šiais skaičiais.
Modelio „paleidimas“ reiškia šių svarmenų įkėlimą į kompiuterį ir įvedamo teksto paleidimą ant jų. Svarbus klausimas: kas turi prieigą prie šių svorio failų?
- Uždaras svoris: svoriai yra tik teikėjo serveriuose. Jūs negalite jų tiesiogiai pasiekti; Jį naudojate internetu per sąsają (API) „siųsti tekstą, gauti atsakymą“. „Anthropic Claude“, „OpenAI GPT“, „Google Dvyniai“ yra tokie. (API yra sąsaja, leidžianti programinei įrangai nusiųsti užklausą kitai programinei įrangai per standartinį prievadą ir gauti atsakymą.)
- Atviras svoris: galima atsisiųsti svorio failus. Jei norite, galite jį įdiegti ir paleisti savo serveryje. Kai kurie Meta Llama, DeepSeek, Mistral modeliai yra tokie.
Patarimas: pagalvokite apie uždarą svorį kaip „nuomotą butą“, o atvirą svorį – kaip „nusipirktą namą“. Nuomojamame bute persikraustyti paprasta, priežiūra nėra jūsų pareiga, o nuomotojas nustato taisykles. Viskas, kas yra įsigytame būste, yra jūsų, tačiau renovacija, saugumas ir sąskaitos taip pat yra jūsų atsakomybė.
Atvirasis svoris nėra tas pats, kas atvirojo kodo
Čia yra labai dažna konceptuali klaida. „Atviras svoris“ ir „atviras kodas“ dažnai vartojami pakaitomis, tačiau tai nėra tas pats dalykas.
- Atviras svoris reiškia dalijimąsi tik išmoktais modelio parametrais. Paprastai nepaaiškinama, kaip modelis apmokomas ir kokiais duomenimis jis maitinamas.
- Visiškai atviras šaltinis idealiu atveju reiškia, kad svoriai, treniruočių duomenys ir treniruotės kodas yra bendrinami ir gali būti naudojami laisvai.
Taip pat yra licencijavimo klausimas. Net jei modelio svorį galima atsisiųsti, jo licencija gali apriboti komercinį naudojimą, nustatyti papildomus reikalavimus, viršijančius tam tikrą vartotojų skaičių, arba uždrausti konkuruojančių produktų kūrimą. Taigi „galiu atsisiųsti“ ir „galiu naudoti kaip noriu“ yra skirtingi dalykai.
Atsargiai: prieš įtraukdami į savo verslą atviro svorio modelį, būtinai perskaitykite jo licenciją. Neapsigaukite žodžio „atviras“; Kai kurioms licencijoms reikalingos atskiros sutartys, viršijančios tam tikrą mėnesio aktyvių vartotojų skaičių, o kai kurios riboja išvesties naudojimą tam tikriems tikslams. Apie tai turėtumėte paklausti savo teisinės komandos.
Dviejų požiūrių palyginimas
Toliau pateiktoje lentelėje du metodai pateikiami greta pagrindinių matmenų.
Dydis
Uždaras svoris
Atviras svoris
Montavimas
Nėra, paruošta sąsaja
Reikalingas serveris ir techninė komanda
Kur tvarkomi duomenys
Teikėjo serveryje
Jūsų kontroliuojamoje aplinkoje
Pradinė kaina
Mažas (mokėkite kaip išeinate)
Aukštas (techninė įranga, montavimas)
Kaina pagal mastą
didėja su apimtimi
Nuspėjamas su fiksuota aparatūra
Atnaujinimas/priežiūra
pas teikėją
tau taip pat
privatumo kontrolė
ribotas
pilnas
Prieiga prie galingiausio modelio
paprastai čia
Kintamasis
Šioje lentelėje nėra vieno atsakymo į klausimą „kas geriau“; Kiekviena eilutė yra pliusas arba minusas, priklausomai nuo jūsų prioriteto. Jei norite, kad pradinės išlaidos būtų mažos, uždaras svoris; Jei duomenys neturi palikti įmonės nė milimetro, iškyla atviras svoris.
Trys tikroviški atvejai
1 atvejis – elektroninės prekybos paleidimas (uždaromas svorio padidėjimas). Penkių žmonių elektroninės prekybos komanda nori parengti produktų aprašymus. Jie neturi techninių komandų, nenori valdyti serverių, mėnesio apimtis kinta. Jie pradeda nuo uždaro svorio modelio, mokėdami už tai, ką naudoja. Per pirmąjį mėnesį jie apdoroja 1,2 mln. žetonų ir išmoka apie 15 USD; Augant jų verslui, proporcingai auga ir sąskaita. Nėra serverio, priežiūros ar atnaujinimo problemų. Tinkamas šio profilio pasirinkimas yra aiškus.
2 atvejis – ligoninė (deficitas priauga svorio). Ligoninė nori apibendrinti ir koduoti paciento pastabas. Duomenys yra labai jautrūs sveikatos duomenys; jokiomis aplinkybėmis neturėtų išeiti iš įstaigos. Jie savo duomenų centruose kuria atvirojo svorio modelį. Jie atlieka dideles pradines investicijas į sąranką ir aparatinę įrangą (tarkime, 40 000 USD serverio ir dviejų savaičių sąrankos darbo), bet tada jie nemoka papildomų simbolinių mokesčių už pacientą ir duomenys niekada nepatenka į išorinį serverį. Didelė apimtis ir absoliutus konfidencialumas pateisina pradines išlaidas.
3 atvejis – vidutinė apskaitos įmonė (laimi hibridinis metodas). Apskaitos įmonė kasdienei bendrai korespondencijai ir tekstų juodraščiams naudoja uždarojo svorio modelį iš paruoštos sąsajos; nes dėl šių darbų neverta dėti montavimo pastangų. Tačiau jie perduoda jautrią analizę, apimančią klientų finansinius duomenis, atviro svorio modeliui, veikiančiam jų pačių serveriuose. Taigi jie tuo pačiu metu naudojasi patogumu ir privatumu. Prie šio „mišraus portfelio“ metodo grįšime 9 skyriuje.
Silpnas raginimas / stiprus raginimas: kai prašoma palaikymo sprendimuose
Silpnas raginimas:
Ar turėčiau naudoti atvirą ar uždarą svorį?
Galingas raginimas:
Jūsų vaidmuo: įmonės AI architektas. Mano situacija: Esame 12 žmonių apskaitos įmonė, neturime techninės komandos, tačiau turime išorinį IT konsultantą. ~500 000 žetonų per mėnesį verslas. Dalis duomenų yra klientų finansiniai duomenys (jautrūs), dalis – bendra korespondencija. Turime laikytis KVKK. Užduotis: atitinkamai palyginkite uždarą, atvirą ir mišrų požiūrį. Kiekvienam: tinkamumas (1–5), numatomas pirmųjų metų išlaidų diapazonas, privatumo pastaba, pagrindinė rizika. Galiausiai pateikite vieną pasiūlymą ir apibendrinkite priežastį 3 taškais.
Antrasis raginimas leidžia modeliui pateikti rekomendaciją, kuri tikrai tinka jūsų verslui, nes pateikia visas sprendimui reikalingas ribas (komanda, apimtis, duomenų tipas, teisinė bazė).
Kopijuojami šablonai
1. Svorio tipo sprendimas:
Mano darbas: [DESCRIPTION]. Techninė komanda: [TAIP/NE]. Mėnesio prieigos rakto kiekis: [NUM].Duomenų jautrumas: [ŽEMAS/VIDUTINIS/DIDELIS].Biudžeto struktūros nuostata: [MAŽA PRADŽIA / PROJEKTAVIMAS PASTATYTA].Palyginkite uždarą, atvirą ir mišrią parinktį pagal šį profilį ir pateikite vieną rekomendaciją.
2. Licencijos patikrinimas:
Supaprastinkite šio atvirojo svorio modelio licenciją: [LICENCIJOS PAVADINIMAS/TEKSTAS]. Atsakykite į šiuos klausimus: Ar leidžiama naudoti komerciniais tikslais? Ar yra vartotojų / pajamų ribos? Ar galiu perparduoti produkciją? Kokie naudojimo būdai draudžiami? Jei neaišku, parašykite „klausk advokato“.
3. Išlaidų paskirstymas:
Išskaidykite bendras nesvorio modelio nuosavybės išlaidas: techninė įranga, montavimo darbai, elektra / priegloba, priežiūra, atnaujinimai. Palyginkite apytikslį 3 metų laikotarpį su uždarojo svorio alternatyva. Mano mėnesio apimtis: [NUMBER].
4. Privatumo rizikos patikra:
Stebėkite, kur iš kur nukreipiami duomenys šioje darbo eigoje: [WORKFLOW DESCRIPTION]. Jei naudoju uždarą svorį, kada duomenys išnyksta? Kaip ši rizika keičiasi esant atviram svoriui? Kiekvienai rizikai pasiūlykite mažinimo priemonę.
Dažnos klaidos
- Žodžio „atviras“ sumaišymas su „nemokamas ir neribotas“: atviras svoris negarantuoja nemokamo ar neriboto komercinio naudojimo; licencija yra lemiama.
- Mąstyti atvirą svorį yra „lengva“: norint paleisti atviro svorio modelį reikia serverių, techninio personalo ir priežiūros; Įrenginio neįvertinimas yra dažna klaida.
- Neatsižvelgiant į uždarojo svorio duomenis: uždarame modelyje duomenys atitenka tiekėjui; Rizikinga pradėti iš anksto nesusitvarkius, kurie duomenys gali būti perduoti.
- Tiesiog pažvelgus į pradinę kainą: nors atviras svoris iš pradžių gali atrodyti brangus, ilgainiui jis gali būti pigesnis esant labai dideliam kiekiui. Pažiūrėkite į bendras išlaidas per trejus metus.
- „Stipriausias modelis visada yra uždaras“ šūkis: Nors tai tiesa dažniausiai, tai nėra absoliuti; atviri svorio modeliai gali būti daugiau nei tinkami tam tikroms užduotims atlikti.
Apibendrinant
- Modelio svoriai yra milijardai parametrų, kuriuose saugoma informacija, kurią modelis išmoko; Skirtumas "išjungtas / įjungtas" yra susijęs su prieiga prie šių parametrų.
- Uždaras svoris: paruošta sąsaja, žemas paleidimas, duomenų teikėjas. Akivaizdus svoris: nuosavas serveris, visa kontrolė, didelės paleidimo ir priežiūros išlaidos.
- Atviras svoris nėra tas pats, kas atvirojo kodo; Licencijos sąlygos gali apriboti komercinį naudojimą.
- Teisingas pasirinkimas; Skiriasi priklausomai nuo komandos, apimties, duomenų jautrumo ir biudžeto struktūros. Hibridinis metodas yra prasmingas daugumai vidutinio dydžio įmonių.
Taikymo užduotis
Paimkite poreikių profilį, kurį sukūrėte ankstesniame skyriuje. Pateikite jį AI modeliui naudodami 1 šabloną (svorio tipo sprendimas) šiame įrenginyje. Įvertinkite gautą rekomendaciją patys, suderindami ją su septyniais lentelės matmenimis (diegimas, duomenų vieta, paleidimo kaina, masto kaina, priežiūra, privatumas, prieiga prie galingo modelio). Jei jūsų vertinimas skiriasi nuo modelio rekomendacijos, vienu sakiniu pažymėkite, kur jūs skiriasi.
kontrolinis sąrašas
- [ ] Sąvoką „svoris“ galiu paaiškinti savais žodžiais.
- [ ] Galiu palyginti uždaro ir atviro svorio privalumus/trūkumus septyniais matmenimis.
- [ ] Žinau skirtumą tarp atvirojo ir atvirojo kodo bei licencijavimo riziką.
- [ ] Galiu pagrįsti uždaro/atviro/hibridinio pasirinkimą savo verslui.
- [ ] Galiu sekti, kur duomenys keliauja darbo eigoje, ir parodyti rizikos tašką.