Eining 5 / 10

Token, Context Window og Multimodality: Hvernig hugur líkansins virkar

Hagnaður:

  • Hæfni til að útskýra hugtökin tákn, samhengisglugga og fjölbreytni í daglegu máli
  • Greindu hvort verkefni krefst víðtæks samhengis eða fjölbreytni
  • Geta til að taka tillit til þess hvernig þessi hugtök hafa áhrif á kostnað og val á gerðum

Hingað til erum við kunnugir veitendum og gerðum. Hins vegar, fyrir rétt módelval, er einnig nauðsynlegt að skilja hvernig módelin virka "inni"; vegna þess að ákvarðanir um verð, getu og framboð byggjast allar á þremur kjarnahugtökum: tákn, samhengisglugga og fjölþætti. Einhver sem þekkir ekki þessi hugtök getur ekki lesið verðblaðið og velt því fyrir sér "mun þetta skjal passa fyrirmyndina?" getur ekki svarað spurningunni og getur ekki séð hvenær sjónræn vinnsla er nauðsynleg. Í lok þessarar einingar muntu geta útskýrt þessi þrjú hugtök í daglegu máli, greint hvort starf krefst víðtæks samhengis eða fjölbreytni og tekið tillit til áhrifa þeirra á kostnað.

Tákn: Eining notuð af líkaninu í stað orðs

Gervigreindarlíkön vinna texta ekki orð fyrir orð, heldur í litlum bitum sem kallast tákn. Tákn; Það getur verið orð, hluti af orði, greinarmerki eða bil. Til að gera grófan útreikning: Á ensku er meðaltákn um fjórir stafir og 100 orð eru um 130-150 tákn. Á tyrknesku getur þetta hlutfall verið aðeins hærra vegna viðskeyti og langra orða; Með öðrum orðum, tyrkneskur texti með sömu merkingu eyðir aðeins fleiri táknum en ensku.

Af hverju er mikilvægt að vita þetta? Vegna þess að allt er hlaðið og mælt í táknum. Textinn (inntak) sem þú sendir til líkansins og svarið (framleiðsla) sem líkanið framleiðir eru talin sem aðskilin tákn. Bæði reikningurinn þinn og getu líkansins eru í táknum.

Ábending: Til að fá gróft mat á hversu mörg tákn texti hefur skaltu deila fjölda stafa með fjórum. 4.000 stafa tölvupóstur er um það bil 1.000 tákn. Á tyrknesku, gerðu ráð fyrir aðeins hærra til að vera á öruggu hliðinni.

Samhengisgluggi: „Short Term Memory“ líkansins

Samhengisglugginn er heildarmagn tákna sem líkanið getur haft í huga í einu. Inntak og úttak verða að passa saman í þessum glugga. Hugsaðu um það eins og magn af pappír sem þú getur dreift á borð í einu: Pappírinn sem passar ekki á borðið er utan sjónsviðs þíns á þeirri stundu.

Ef samhengisgluggi líkans er 200.000 tákn jafngildir þetta um það bil 150.000 orðum, eða nokkrum meðalstórum bókum. 1 milljón tákn geta unnið úr miklu stærri skjölum í heild. Sumar öflugar gerðir í dag (t.d. Claude Opus 4.8 og Sonnet 5) bjóða upp á 1 milljón táknsamhengi, en léttar gerðir eru oft með minni glugga (t.d. 200.000 tákn fyrir Haiku 4.5).

Hvers vegna er það mikilvægt? Vegna þess að ef skjal passar ekki í samhengisgluggann getur líkanið ekki séð það allt saman. Þú getur ekki gefið 500 blaðsíðna samning í heild sinni fyrir 200.000 tákn líkan; Annaðhvort skiptir þú skjalinu í hluta (sem gæti glatað tengslunum á milli hluta) eða velur líkan með víðara samhengi.

Varúð: Það er ekki skynsamlegt að fylla út hvert skjal þar sem það er bara vegna þess að samhengisglugginn er stór. Því fleiri tákn sem þú setur inn í gluggann, því meira borgar þú og stundum getur líkanið misst af miðupplýsingunum í mjög löngum texta. Oft er ódýrara og nákvæmara að senda bara þann hluta sem virkar.

Samhengisgluggi er ákvörðunarviðmið

Leit

Nauðsynlegt samhengi

Viðeigandi stig

Stutt svar í tölvupósti

nokkur hundruð tákn

léttur

Ein síða samantekt

nokkur þúsund tákn

Létt/jafnvægi

40 síðna skýrslugreining

~30.000 tákn

Jafnvægi/sterkur

300 blaðsíðna endurskoðun samnings

~250.000 tákn

Öflugur með víðu samhengi

Vinndu hundruð skjala í einu

500.000+ tákn

Víðtækasta samhengi

Þessi tafla svarar spurningunni "hvaða gerð?" Það sýnir að hluta spurningarinnar er svarað beint eftir skjalstærð. Það er sóun að kaupa dýra gerð með miklu samhengi fyrir stutt störf; Líkan með litlum glugga er ófullnægjandi fyrir stór skjöl.

Multimodality: Going Beyond the Text

Multimodality er hæfileiki líkans til að meðhöndla margar tegundir gagna (mynd, hljóð, stundum myndband), ekki bara texta. „Modal“ þýðir hér „gagnategund“; multimodal þýðir "margar tegundir".

  • Textalíkan: Les og skrifar eingöngu skrifaðan texta.
  • Multimodal líkan: Getur lesið mynd af seðli, túlkað þróun á línuriti, afkóðað handskrifaða athugasemd, stundum skrifað upp raddupptöku.

Hvers vegna er það mikilvægt? Vegna þess að eðli fyrirtækis þíns gæti krafist fjölbreytni. Bókhaldsteymi sem dregur út upphæðir úr reikningsmyndum, netverslunarteymi sem flokkar vörumyndir eða tryggingarteymi sem metur tjónamyndir getur ekki sinnt þessu starfi með líkani sem les bara texta. Sjónræn úrvinnsla er nauðsynleg fyrir þessi verkefni.

Þrjú raunhæf mál

Tilfelli 1 - Token cost óvart. Efnisteymi sendir líkaninu einnig 20 blaðsíðna „vörumerkisleiðbeiningar“ skjal þegar það framleiðir hverja bloggfærslu. Þessi handbók er um 15.000 tákn. Þeir framleiða 2.000 greinar á mánuði; Svo bara að senda leiðarvísirinn aftur og aftur þýðir 30 milljón tákn af inntak. Með því að stytta leiðarann ​​og senda aðeins viðkomandi kafla (um 2.000 tákn) minnka þeir inntakið í einn sjöunda og lækka reikninginn verulega.

Tilvik 2 — Samhengisgluggi er ekki nóg. Lögfræðistofa vill láta endurskoða 280 blaðsíðna samrunasamning. Fyrsta gerðin sem þeir reyndu var með bindingu upp á 200.000 tákn og skjalið passaði ekki; Þegar skjalið er rifið í sundur getur líkanið ekki tekið eftir því að grein í fyrsta hluta stangast á við grein í síðasta hluta. Þegar það skiptir yfir í líkan með 1 milljón tákn samhengi, les það skjalið í heild sinni og fangar mótsögnina. Hér ákvarðaði samhengisglugginn nákvæmni beint.

Mál 3 - Fjölbreytni er nauðsynleg. Tryggingafélag vill gera bráðabirgðamat út frá tjónamyndum ökutækja. Þetta er ómögulegt með líkani sem les bara texta; Það þarf fjölþætt líkan sem „sér“ myndina. Þegar þeir skipta yfir í fjölþætt líkan koma þeir upp forskimunarkerfi sem flokkar í grófum dráttum staðsetningu og alvarleika skemmda á myndinni og stýrir sérfræðingnum. Þeir taka þó fram að mannlegur sérfræðingur tekur endanlega ákvörðun; vegna þess að líkanið er bráðabirgðaskimunartæki, ekki lokaorðið.

Veik kvaðning / sterk kvaðning

Veik kvaðning:

Dragðu saman þetta skjal. [of langt skjal límt]

Öflug tilvitnun:

Taktu saman 40 blaðsíðna skýrsluna hér að neðan. Áætlaðu fyrst áætlaðan fjölda tákna í skýrslunni og segðu okkur hvort það passi innan samhengisglugga dæmigerðs jafnvægis líkans. Gefðu síðan samantektina á þessu sniði: 5 atriði yfirlit + 3 áhættusamar niðurstöður. Notaðu aðeins upplýsingarnar í skýrslunni; Merktu hlutann sem þú ert ekki viss um sem "ekki skýr í skýrslunni". [skýrsla]

Öfluga hvetjan er bæði tákn-/samhengismeðvituð og stjórnar sniði og sannprófun úttaksins.

Afritanleg sniðmát

1. Táknspá:

Áætlaðu áætlaða fjölda tákna fyrir eftirfarandi texta og túlkaðu þetta út frá inntakskostnaði: "[TEXT]". Rúnaðu það aðeins upp, að teknu tilliti til þess að það er tyrkneskt.

2. Athugun á framboði á samhengi:

Mitt starf er að vinna úr eftirfarandi skjölum: meðaltal [PAGES] af [QTY] skjölum á mánuði. Hvaða samhengisglugga krefst þessi stærð? Hvað af ljós/jafnvægi/sterkum stigum væri nóg? Hvaða áhætta skapast ef það þarf að taka það í sundur?

3. Fjölþætt greining:

Verkflæði mitt: [LÝSING]. Er mynd-, hljóð- eða myndvinnsla í þessum straumi? Ef svo er, þarf fjölþætt líkan, eða er hægt að breyta því í texta (OCR/umritun) og leysa það með textalíkaninu? Berðu saman kosti/galla þessara tveggja leiða.

4. Hagræðing samhengis:

Ég sendi skjal til líkansins með hverri beiðni, en flest af því er óþarfi. Hvernig tek ég út hlutana sem raunverulega er krafist fyrir [TASK] úr þessu skjali? Stingdu upp á 3 áþreifanlegum leiðum til að minnka inntak og tilgreindu áætlaðan sparnað.

Algeng mistök

  • Að misskilja tákn fyrir orð: Tákn er öðruvísi en orð; Reikningur og afkastageta eru alltaf í táknum, að reikna í orðum er villandi.
  • Að hugsa um að samhengisglugginn sé óendanlegur: Sérhver líkan hefur takmörk; Ef skjalið passar ekki getur líkanið ekki séð heildina.
  • Nota óþarfa stórt samhengi: Að kaupa dýra gerð með miklu samhengi fyrir stutta vinnu; eða fylltu út risastór skjöl fyrir hverja beiðni og borgaðu til einskis.
  • Miðað við fjölbreytni: Ekki er hægt að vinna úr myndefni hverrar fyrirmyndar; Fyrir sjónræna vinnu, byrjaðu án þess að staðfesta að líkanið sé fjölþætt.
  • Gleymum táknhleðslu tyrknesku: Tyrkneskir textar neyta almennt aðeins fleiri tákn fyrir sömu merkingu; að hunsa þetta í kostnaðaráætlun.

Í stuttu máli

  • Tákn er litla einingin þar sem líkanið vinnur texta; inntak og úttak eru mæld og reikningsfærð sérstaklega sem tákn.
  • Samhengisglugginn er heildartákn sem líkanið getur haft í huga í einu; skjalstærð hefur bein áhrif á val á gerðum.
  • Multimodality er hæfni líkansins til að vinna úr gögnum sem ekki eru texti eins og sjón/hljóð; Það er nauðsynlegt fyrir myndverk.
  • Þessi þrjú hugtök eiga bæði við um spurninguna "hvaða líkan?" sem og "hvað kostar það?" Það er grunnur spurninganna.

Umsóknarverkefni

Veldu endurtekið gervigreind verkefni í fyrirtækinu þínu. Láttu 1. sniðmátið (táknspá) reikna út hversu mörg tákn dæmigerð inntak er í þessu verkefni. Ákvarðaðu síðan hvaða stig nægir með sniðmáti 2 (athugun á samhengi aðgengi). Ef þú ert með sjónrænt starf skaltu skýra hvort þörf er á fjölþættu líkani með 3. sniðmátinu (fjölmótagreiningu). Við munum nota táknmatið sem myndast í kostnaðarútreikningi næstu einingar.

gátlisti

  • [ ] Ég þekki hugtakið tákn og hvernig á að áætla gróflega hversu mörg tákn texti hefur.
  • [ ] Ég get útskýrt samhengisgluggann með "töflu/minni" samlíkingu.
  • [ ] Ég get metið hvort skjal passar inn í líkan.
  • [ ] Ég get greint hvenær fjölbreytni er nauðsynleg.
  • [ ] Ég tek með í reikninginn auðkenni tyrknesku og kostnaði við óþarfa samhengi.