Nyereség:
- A modell „súly” fogalmának és az implicit/explicit megkülönböztetésnek a konkrét megértése
- Tekintse meg a nyílt súlyú és a nyílt forráskód közötti különbséget, valamint ezek licencelési buktatóit
- Lehetőség zárt, nyitott vagy vegyes megközelítés kiválasztására, indoklással a vállalkozás helyzetétől függően
Az előző egység szolgáltatóinak megismerése közben a táblázatban volt egy "súlytípus" nevű oszlop: zárt, nyitott, vegyes. Ez az egyetlen oszlop valójában a modellválasztás egyik legstratégiaibb döntését rejti. Függetlenül attól, hogy zárt vagy nyitott súlymodellel fog dolgozni; Közvetlenül meghatározza, hogy hol dolgozzák fel adatait, hogyan alakulnak a havi költségei, a technikai csapat igényei és jogi felelőssége. Mire ez az egység elkészül, konkrétan megérti a „súly” fogalmát, látni fogja a nyílt súly és a nyílt forráskód közötti finom, de kritikus különbséget, és képes lesz megindokolni a saját helyzetének megfelelő megközelítést.
Mi is pontosan a "súly"?
Egy mesterséges intelligencia modellt hatalmas szövegtömbbel képeznek ki, miközben lassan módosítják a benne lévő több milliárd számértéket (paramétert). Mindezeket a számokat modellsúlyoknak nevezzük. A súlyokban a modell tárolja „mindent, amit megtanult”; Összehasonlíthatod a szinapszisok erejével az ember agyában. A modell nyelvtana, világismerete és érvelési mintái ezekben a számokban vannak kódolva.
Egy modell „futtatása” azt jelenti, hogy ezeket a súlyokat betöltjük a számítógépbe, és a beírt szöveget futtatjuk rajtuk. A kritikus kérdés a következő: Ki fér hozzá ezekhez a súlyadatokhoz?
- Zárt súly: A súlyok csak a szolgáltató szerverein vannak. Közvetlenül nem érheti el őket; Használja az interneten keresztül egy interfészen (API) keresztül "szöveg küldése, válasz megszerzése" módon. Az Anthropic Claude, az OpenAI GPT, a Google Gemini ilyen. (Az API egy olyan interfész, amely lehetővé teszi a szoftver számára, hogy egy szabványos porton keresztül kérést küldjön egy másik szoftvernek, és választ kapjon.)
- Nyitott súly: Súlyfájlok letölthetők. Ha szeretné, telepítheti és futtathatja saját szerverén. A Meta Llama, DeepSeek, Mistral egyes modelljei ilyenek.
Tipp: Gondoljon a zárt súlyra "bérelt lakásnak", a nyitott súlyra pedig "vásárolt háznak". Bérelt lakásban könnyű költözni, a karbantartás nem a te felelősséged, hanem a tulajdonos határozza meg a szabályokat. A megvásárolt lakásban minden az Öné, de a felújítás, a biztonság és a számlák is az Ön felelőssége.
A nyílt súly nem azonos a nyílt forráskóddal
Itt van egy nagyon gyakori fogalmi hiba. A „nyílt súlyozást” és a „nyílt forráskódot” gyakran felcserélhetően használják, de ezek nem ugyanazok.
- A nyílt súlyozás azt jelenti, hogy csak a modell tanult paramétereit osztjuk meg. Általában nincs elmagyarázva, hogy a modellt hogyan képezik ki, és milyen adatokkal táplálják.
- A teljesen nyílt forráskód ideális esetben azt jelenti, hogy mind a súlyok, mind az edzésadatok, mind az edzéskód megosztásra kerül, és szabadon használhatók.
Felmerül az engedélyezés kérdése is. Még ha egy modell súlya letölthető is, licence korlátozhatja a kereskedelmi felhasználást, további követelményeket támaszthat bizonyos számú felhasználón túl, vagy megtilthatja a versengő termékfejlesztést. Tehát a „le tudom tölteni” és a „kedvem szerint használhatom” különböző dolgok.
Vigyázat: Mielőtt nyitott súlyú modellt helyezne el vállalkozásában, feltétlenül olvassa el a licencét. Ne tévesszen meg a „nyitott” szó; Egyes licencek külön megállapodást igényelnek bizonyos havi aktív felhasználók száma felett, mások pedig korlátozzák a kimenet bizonyos célokra történő használatát. Erről kérdezze meg jogi csapatát.
Két megközelítés összehasonlítása
Az alábbi táblázat a két megközelítést egymás mellé helyezi a kulcsdimenziók tekintetében.
Méret
Zárt súly
Nyitott súly
Telepítés
Nincs, kész felület
Szerver és technikai csapat szükséges
Hol történik az adatkezelés
A szolgáltató szerverén
Az Ön irányítása alatt álló környezetben
Kezdeti költség
Alacsony (kirovó fizetés)
Magas (hardver, telepítés)
Méret szerinti költség
hangerővel növekszik
Fix hardverrel kiszámítható
Frissítés/karbantartás
a szolgáltatónál
neked is
adatvédelmi ellenőrzés
korlátozott
tele
Hozzáférés a legerősebb modellhez
általában itt
Változó
Ebben a táblázatban nincs egyetlen válasz arra, hogy "melyik a jobb"; Minden sor plusz vagy mínusz a prioritástól függően. Ha azt szeretné, hogy a kezdeti költség alacsony legyen, zárt tömeg; Ha az adatok egy millimétert sem hagyhatnak el a cégtől, akkor a nyitott súly kerül előtérbe.
Három reális eset
1. eset – E-kereskedelem indítása (zárt súlygyarapodás). Egy ötfős e-kereskedelmi csapat termékleírásokat szeretne készíteni. Nincsenek technikai csapataik, nem akarnak szervereket menedzselni, a havi mennyiség változó. Zárt súlyú modellel kezdik, fizetnek azért, amit használnak. Az első hónapban 1,2 millió tokent dolgoznak fel, és körülbelül 15 dollárt fizetnek ki; A vállalkozásuk növekedésével a számla is arányosan nő. Nincs szerver, karbantartás vagy frissítés probléma. A profil megfelelő választása egyértelmű.
2. eset – Kórház (a hiány hízik). Egy kórház szeretné összefoglalni és kódolni a betegek feljegyzéseit. Az adatok rendkívül érzékeny egészségügyi adatok; semmilyen körülmények között nem hagyhatja el az intézményt. Nyílt súlymodellt építenek adatközpontjaikban. Komoly kezdeti beruházást hajtanak végre a telepítésbe és a hardverbe (mondjuk egy 40 000 dolláros szerver és két hét telepítési munka), de aztán nem fizetnek további jelképes díjat betegenként, és az adatok soha nem kerülnek külső szerverre. A nagy mennyiség és az abszolút titoktartás indokolja a kezdeti költségeket.
3. eset – Közepes méretű könyvelő cég (hibrid megközelítés nyer). A könyvelőiroda kész felületről zárt súlyú modellt használ napi általános levelezéshez és szövegtervezetekhez; mert ezekhez a munkákhoz nem éri meg a telepítési erőfeszítést. Az ügyfelek pénzügyi adatait tartalmazó érzékeny elemzéseket azonban kiszervezik egy nyílt súlyozási modellbe, amely saját szervereiken fut. Így egyszerre részesülnek a kényelemből és a magánéletből. A 9. részben visszatérünk ehhez a „vegyes portfólió” megközelítéshez.
Gyenge felszólítás / Erős felszólítás: Ha döntéstámogatást kér
Gyenge felszólítás:
Nyitott vagy zárt súlyt használjak?
Erőteljes felszólítás:
Az Ön szerepköre: vállalati mesterséges intelligencia építész. Helyzetem: 12 fős könyvelőiroda vagyunk, nincs technikai csapatunk, de van külső informatikai tanácsadónk. ~500 000 token havonta üzlet. Az adatok egy része ügyfél pénzügyi adata (érzékeny), egy része általános levelezés. Meg kell felelnünk a KVKK-nak. Feladat: Hasonlítsa össze a zárt, nyitott és vegyes megközelítést ennek megfelelően. Mindegyiknél: alkalmasság (1-5), becsült első év költségtartomány, adatvédelmi megjegyzés, fő kockázat. Végül adjon meg egy javaslatot, és foglalja össze az okot 3 pontban.
A második prompt lehetővé teszi, hogy a modell olyan ajánlást állítson elő, amely igazán megfelel az Ön vállalkozásának, mivel megadja a döntéshez szükséges összes határt (csapat, mennyiség, adattípus, jogi keret).
Másolható sablonok
1. Súlytípus döntés:
Munkám: [DESCRIPTION]. Technikai csapat: [IGEN/NEM]. Havi token mennyiség: [SZÁM]. Adatérzékenység: [ALACSONY/KÖZEPES/MAGAS]. Költségkeret-struktúra preferenciája: [ALACSONY INDÍTÁS / ELŐREJELÖLHETŐ RÖGZÍTETT]. Hasonlítsa össze a zárt, nyílt és vegyes opciókat ennek a profilnak megfelelően, és adjon egyetlen ajánlást.
2. Licenc ellenőrzése:
Egyszerűsítse a licencet ehhez a nyitott súlyú modellhez: [LICENC NEVE/SZÖVEG]. Válaszoljon ezekre a kérdésekre: Megengedett a kereskedelmi felhasználás? Vannak felhasználói/bevételi korlátok? Eladhatom a kimenetet? Milyen felhasználásokat tilt? Ha nem egyértelmű, írja be, hogy "kérdezze meg az ügyvédet".
3. Költségbontás:
Bontsa le a csupasz súlyú modell teljes birtoklási költségét: hardver, telepítési munka, áram/tárhelyszolgáltatás, karbantartás, frissítések. Végezzen durva 3 éves összehasonlítást a zárt súlyú alternatívával. Havi mennyiségem: [NUMBER].
4. Adatvédelmi kockázat szűrése:
Kövesse nyomon, hogy hova jutnak az adatok a következő munkafolyamatban: [WORKFLOW DESCRIPTION]. Ha zárt súlyt használok, mikor mennek ki az adatok? Hogyan változik ez a kockázat nyitott súly mellett? Minden kockázathoz javasoljon egy mérséklő intézkedést.
Gyakori hibák
- A „nyitott” szó összetévesztése az „ingyenes és korlátlan” szóval: A nyitott súly nem garantálja a szabad vagy korlátlan kereskedelmi felhasználást; az engedély a döntő.
- A nyitott súlyozás gondolkodása „könnyű”: A nyílt súlyú modell futtatásához szerverekre, műszaki személyzetre és karbantartásra van szükség; A telepítés alábecsülése gyakori hiba.
- A zárt súlyadatokat egyáltalán nem figyelembe véve: A zárt modellben az adatok a szolgáltatóhoz kerülnek; Kockázatos anélkül kezdeni, hogy előre leválogatná, mely adatok mehetnek.
- Csak a kezdeti költséget tekintve: Bár a nyitott súly kezdetben drágának tűnhet, hosszú távon olcsóbb lehet nagyon nagy mennyiségben. Nézze meg a teljes költséget három év alatt.
- A „legerősebb minta mindig zárt” mottó: Bár ez legtöbbször igaz, nem abszolút; A nyitott súlymodellek több mint megfelelőek lehetnek bizonyos feladatokhoz.
Összefoglalva
- A modellsúlyok olyan paraméterek milliárdjai, amelyek a modell által megtanult információkat tárolják; A "ki/be" megkülönböztetés ezeknek a paramétereknek a elérésére vonatkozik.
- Zárt tömeg: kész interfész, alacsony indítás, adatszolgáltatón. A nyilvánvaló súly: saját szerver, teljes irányítás, magas indítási és karbantartási költségek.
- A nyílt súly nem azonos a nyílt forráskóddal; A licencfeltételek korlátozhatják a kereskedelmi felhasználást.
- A helyes választás; Csoporttól, mennyiségtől, adatérzékenységtől és költségvetési struktúrától függően változik. A hibrid megközelítésnek van értelme a legtöbb középvállalkozás számára.
Pályázati feladat
Vegyük az előző egységben létrehozott igényprofilt. Adja hozzá egy mesterséges intelligencia-modellhez az 1. sablont (súlytípus-döntés) ebben az egységben. Értékelje saját maga az eredményül kapott ajánlást úgy, hogy egyenként párosítja a táblázat hét dimenziójával (telepítés, adatok helye, indítási költség, méretezési költség, karbantartás, adatvédelem, hozzáférés a nagy teljesítményű modellhez). Ha az értékelésed eltér a modell ajánlásától, egy mondatban jegyezd meg, hol térsz el.
ellenőrző lista
- [ ] A "súly" fogalmát saját szavaimmal tudom magyarázni.
- [ ] Hét dimenzióban össze tudom hasonlítani a zárt és nyitott súly előnyeit/hátrányait.
- [ ] Ismerem a különbséget a nyílt súly és a nyílt forráskód között, valamint a licenckockázatot.
- [ ] Indokolni tudom a zárt/nyitott/hibrid választást saját vállalkozásom számára.
- [ ] Nyomon követhetem, hogy hova mennek az adatok egy munkafolyamatban, és megmutatom a kockázati pontot.