Pelnas:
- Gebėjimas kasdienine kalba paaiškinti žetono, kontekstinio lango ir multimodalumo sąvokas
- Diagnozuokite, ar užduočiai reikia plataus konteksto ar daugiarūšiškumo
- Gebėjimas atsižvelgti į tai, kaip šios sąvokos įtakoja kainą ir modelio pasirinkimą
Iki šiol esame susipažinę su tiekėjais ir modelių tipais. Tačiau norint tinkamai pasirinkti modelį, taip pat būtina suprasti, kaip modeliai veikia „viduje“; nes sprendimai dėl kainos, pajėgumų ir prieinamumo priklauso nuo trijų pagrindinių sąvokų: prieigos rakto, konteksto lango ir daugiarūšiškumo. Žmogus, kuris nežino šių sąvokų, negali perskaityti kainų lapo ir susimąstyti „ar šis dokumentas tiks modeliui? negali atsakyti į klausimą ir nemato, kada vizualinis apdorojimas yra būtinas. Šio skyriaus pabaigoje galėsite paaiškinti šias tris sąvokas kasdienine kalba, diagnozuoti, ar darbui reikalingas platus kontekstas, ar multimodalumas, ir atsižvelgti į jų poveikį sąnaudoms.
Ženklas: vienetas, naudojamas modelio vietoj žodžio
Dirbtinio intelekto modeliai apdoroja tekstą ne žodis po žodžio, o smulkiais gabalėliais, vadinamais žetonais. Žetonas; Tai gali būti žodis, žodžio dalis, skyrybos ženklas arba tarpas. Norėdami atlikti apytikslį skaičiavimą: Anglų kalba vidutinį žetoną sudaro maždaug keturi simboliai, o 100 žodžių yra apie 130–150 žetonų. Turkų kalboje šis rodiklis gali būti šiek tiek didesnis dėl priesaginių ir ilgų žodžių; Kitaip tariant, turkiškas tekstas, turintis tą pačią reikšmę, sunaudoja šiek tiek daugiau žetonų nei anglų kalba.
Kodėl tai svarbu žinoti? Nes viskas įkraunama ir matuojama žetonais. Tekstas (įvestis), kurį siunčiate modeliui, ir modelio sukurtas atsakymas (išvestis) skaičiuojami kaip atskiri prieigos raktai. Ir jūsų sąskaita faktūra, ir modelio talpa yra žetonuose.
Patarimas: norėdami apytiksliai įvertinti, kiek žetonų turi tekstas, padalykite simbolių skaičių iš keturių. 4000 simbolių el. laiškas yra maždaug 1000 žetonų. Turkų kalba naudokite šiek tiek aukščiau, kad būtumėte saugioje pusėje.
Kontekstinis langas: modelio „trumpalaikė atmintis“
Konteksto langas yra bendras žetonų kiekis, kurį modelis gali turėti omenyje vienu metu. Įvestis ir išvestis turi derėti šiame lange. Pagalvokite apie tai kaip apie popieriaus kiekį, kurį galite iš karto paskleisti ant stalo: popierius, kuris netelpa ant stalo, tuo metu yra už jūsų regėjimo lauko.
Jei modelio konteksto lange yra 200 000 žetonų, tai prilygsta maždaug 150 000 žodžių arba kelioms vidutinio dydžio knygoms. 1 milijonas žetonų gali apdoroti daug didesnius dokumentus kaip visumą. Kai kurie šiandieniniai galingi modeliai (pvz., Claude Opus 4.8 ir Sonnet 5) siūlo 1 milijoną žetonų kontekstų, o lengvi modeliai dažnai būna su mažesniais langais (pvz., 200 000 žetonų, skirtų Haiku 4.5).
Kodėl tai svarbu? Nes jei dokumentas netelpa į konteksto langą, modelis viso to nemato kartu. Negalite suteikti visos 500 puslapių sutarties 200 000 žetonų modeliui; Jūs arba padalijate dokumentą į dalis (tai gali prarasti ryšį tarp dalių), arba pasirenkate modelį su platesniu kontekstu.
Atsargiai: neprotinga pildyti kiekvieno dokumento, nes taip yra tik todėl, kad konteksto langas yra didelis. Kuo daugiau žetonų įdėsite į langą, tuo daugiau sumokėsite, o kartais labai ilguose tekstuose modelis gali praleisti vidurines detales. Dažnai pigiau ir tiksliau yra siųsti tik tą dalį, kuri veikia.
Kontekstinis langas yra sprendimo kriterijus
Quest
Apytikslis reikalingas kontekstas
Tinkamas lygis
Trumpas atsakymas el
keli šimtai žetonų
lengvas
Vieno puslapio santrauka
kelis tūkstančius žetonų
Lengvas/subalansuotas
40 puslapių ataskaitos analizė
~30 000 žetonų
Subalansuotas/stiprus
300 puslapių sutarties apžvalga
~250 000 žetonų
Galingas su plačiu kontekstu
Vienu metu apdorokite šimtus dokumentų
500 000+ žetonų
Plačiausias kontekstas
Ši lentelė atsako į klausimą "koks modelis?" Tai rodo, kad į dalį klausimo tiesiogiai atsako dokumento dydis. Beprasmiška pirkti brangų modelį su dideliu kontekstu trumpiems darbams atlikti; Modelis su mažu langeliu netinka dideliems dokumentams.
Multimodalumas: eiti už teksto ribų
Multimodalumas – tai modelio gebėjimas apdoroti kelių tipų duomenis (vaizdą, garsą, kartais vaizdo įrašą), o ne tik tekstą. „Modalinis“ čia reiškia „duomenų tipą“; multimodalinis reiškia „daug rūšių“.
- Tik teksto modelis: skaito ir rašo tik rašytinį tekstą.
- Multimodalinis modelis: gali perskaityti sąskaitos nuotrauką, interpretuoti tendencijas grafike, iššifruoti ranka rašytą užrašą, kartais perrašyti balso įrašą.
Kodėl tai svarbu? Kadangi jūsų verslo pobūdis gali reikalauti multimodalumo. Buhalterinė komanda, ištraukianti sumas iš sąskaitų faktūrų vaizdų, elektroninės prekybos komanda, klasifikuojanti prekių nuotraukas ar draudimo komanda, vertinanti žalos nuotraukas, negali atlikti šio darbo su modeliu, kuris skaito tik tekstą. Vizualinis apdorojimas yra būtinas atliekant šias užduotis.
Trys tikroviški atvejai
1 atvejis – žetonų kainos netikėtumas. Turinio komanda taip pat siunčia modeliui 20 puslapių „prekės ženklo vadovo“ dokumentą, kai sukuria kiekvieną tinklaraščio įrašą. Šiame vadove yra apie 15 000 žetonų. Per mėnesį jie pagamina 2000 straipsnių; Taigi vien tik nuolatinis vadovo siuntimas reiškia 30 milijonų įvesties žetonų. Sutrumpinę žinyną ir išsiuntę tik atitinkamą skyrių (apie 2000 žetonų), jie sumažina įvestį iki septintojo ir gerokai sumažina sąskaitą.
2 atvejis – kontekstinio lango nepakanka. Advokatų kontora nori, kad būtų peržiūrėta 280 puslapių jungimosi sutartis. Pirmasis jų išbandytas modelis turėjo 200 000 žetonų įrišimą ir dokumentas netiko; Kai dokumentas yra suplėšytas, modelis negali pastebėti, kad pirmosios dalies straipsnis prieštarauja paskutinės dalies straipsniui. Kai jis persijungia į modelį su 1 milijono žetonų kontekstu, jis perskaito dokumentą kaip visumą ir pagauna prieštaravimą. Čia konteksto langas tiesiogiai nulėmė tikslumą.
3 atvejis. Multimodalumas yra būtinas. Draudimo bendrovė nori atlikti preliminarų automobilio apgadinimo nuotraukų įvertinimą. Tai neįmanoma naudojant modelį, kuris skaito tik tekstą; Reikalingas multimodalinis modelis, kuris „mato“ nuotrauką. Kai jie pereina prie daugiarūšio modelio, jie sukuria išankstinio patikrinimo sistemą, kuri apytiksliai klasifikuoja nuotraukoje padarytos žalos vietą ir sunkumą bei nukreipia ekspertą. Tačiau jie pažymi, kad galutinį sprendimą priima žmonių ekspertas; nes modelis yra preliminarus atrankos įrankis, o ne galutinis žodis.
Silpnas raginimas / stiprus raginimas
Silpnas raginimas:
Apibendrinkite šį dokumentą. [įklijuotas per ilgas dokumentas]
Galingas raginimas:
Toliau apibendrinkite 40 puslapių ataskaitą. Pirmiausia įvertinkite apytikslį žetonų skaičių ataskaitoje ir pasakykite, ar jis atitinka tipiško subalansuoto modelio konteksto langą. Tada pateikite santrauką tokiu formatu: 5 punktų santrauka + 3 rizikingos išvados. Naudokite tik ataskaitoje esančią informaciją; Dalį, dėl kurios nesate tikri, pažymėkite kaip „neaiški ataskaitoje“. [ataskaita]
Galingas raginimas suvokia prieigos raktą / kontekstą ir valdo išvesties formatą bei patikrinamumą.
Kopijuojami šablonai
1. Žetono numatymas:
Įvertinkite apytikslį šio teksto žetonų skaičių ir interpretuokite tai pagal įvesties kainą: „[TEKSTAS]“. Šiek tiek suapvalinkite, atsižvelgiant į tai, kad tai turkiška.
2. Konteksto prieinamumo patikrinimas:
Mano darbas yra tvarkyti šiuos dokumentus: vidutiniškai [PAGES] iš [QTY] dokumentų per mėnesį. Kokio kontekstinio lango reikia tokio dydžio? Kurio iš lengvų / subalansuotų / stiprių lygių pakaktų? Kokia rizika kyla, jei jį reikia išmontuoti?
3. Multimodalumo diagnostika:
Mano darbo eiga: [DESCRIPTION]. Ar šiame sraute yra vaizdo, garso ar vaizdo apdorojimas? Jei taip, ar reikalingas daugiarūšis modelis, ar galima jį konvertuoti į tekstą (OCR / transkripcija) ir išspręsti naudojant tekstinį modelį? Palyginkite abiejų kelių privalumus ir trūkumus.
4. Konteksto optimizavimas:
Su kiekvienu prašymu modeliui siunčiu dokumentą, bet didžioji dalis nereikalinga. Kaip iš šio dokumento išgauti dalis, kurių iš tikrųjų reikia [UŽDUOTIS]? Pasiūlykite 3 konkrečius būdus, kaip sumažinti sąnaudas, ir nurodykite numatomą žetonų sutaupymą.
Dažnos klaidos
- Ženklo klaidinimas su žodžiu: Žetonas skiriasi nuo žodžio; Sąskaita faktūra ir talpa visada yra žetonuose, skaičiuoti žodžiais yra klaidinantis.
- Konteksto lango mąstymas yra begalinis: Kiekvienas modelis turi ribą; Jei dokumentas netelpa, modelis negali matyti visumos.
- Nereikalingo didelio konteksto naudojimas: brangaus modelio su dideliu kontekstu pirkimas trumpam darbui; arba užpildykite didžiulius dokumentus dėl kiekvieno prašymo ir mokėkite už dyką.
- Darant prielaidą, kad multimodalumas: ne kiekvienas modelis gali apdoroti vaizdus; Norėdami atlikti vizualinį darbą, pradėkite nepatvirtindami, kad modelis yra daugiarūšis.
- Pamiršus turkų kalbos žetonų krūvį: turkiškuose tekstuose paprastai vartojama šiek tiek daugiau žetonų, turinčių tą pačią reikšmę; ignoruojant tai apskaičiuojant išlaidas.
Apibendrinant
- Žetonas yra mažas vienetas, kuriame modelis apdoroja tekstą; įvestis ir išvestis yra matuojami ir išrašomi atskirai kaip žetonai.
- Konteksto langas yra bendras žetonų skaičius, kurį modelis gali turėti omenyje vienu metu; dokumento dydis tiesiogiai veikia modelio pasirinkimą.
- Multimodalumas – tai modelio galimybė apdoroti netekstinius duomenis, pvz., vaizdo/garso; Tai būtina vizualiniams darbams.
- Abi šios trys sąvokos yra susijusios su klausimu "kuris modelis?" taip pat "kiek tai kainuoja?" Tai sudaro klausimų pagrindą.
Taikymo užduotis
Pasirinkite pasikartojančią AI užduotį savo versle. Leiskite 1-ajam šablonui (žetono numatymui) apskaičiuoti, kiek žetonų yra tipiška šios užduoties įvestis. Tada nustatykite, kurio lygio pakanka, naudodami 2 šabloną (konteksto prieinamumo patikrinimas). Jei turite vizualinį darbą, išsiaiškinkite, ar reikalingas daugiarūšis modelis, naudodami 3 šabloną (multimodalumo diagnostika). Gautą žetonų sąmatą naudosime apskaičiuodami kito vieneto kainą.
kontrolinis sąrašas
- [ ] Žinau žetono sąvoką ir tai, kaip apytiksliai įvertinti, kiek žetonų turi tekstas.
- [ ] Konteksto langą galiu paaiškinti „lentelės/atminties“ analogija.
- [ ] Galiu įvertinti, ar dokumentas tilps į modelį.
- [ ] Galiu diagnozuoti, kada multimodalumas yra būtinas.
- [ ] Atsižvelgiu į reikšmingas turkų kalbos išlaidas ir nereikalingo konteksto išlaidas.