டோக்கன், சூழல் சாளரம் மற்றும் பன்முகத்தன்மை: மாதிரியின் மனம் எவ்வாறு செயல்படுகிறது

ஆதாயங்கள்:

• டோக்கன், சூழல் சாளரம் மற்றும் மல்டிமாடலிட்டி ஆகியவற்றின் கருத்துக்களை அன்றாட மொழியில் விளக்கும் திறன்
• ஒரு பணிக்கு பரந்த சூழல் தேவையா அல்லது பன்முகத்தன்மை தேவையா என்பதை கண்டறியவும்
• இந்த கருத்துக்கள் செலவு மற்றும் மாதிரித் தேர்வை எவ்வாறு பாதிக்கின்றன என்பதை கணக்கில் எடுத்துக்கொள்ளும் திறன்

இதுவரை வழங்குநர்கள் மற்றும் மாதிரி வகைகளை நாங்கள் நன்கு அறிந்திருக்கிறோம். இருப்பினும், சரியான மாதிரி தேர்வுக்கு, மாதிரிகள் "உள்ளே" எவ்வாறு செயல்படுகின்றன என்பதைப் புரிந்துகொள்வதும் அவசியம்; ஏனெனில் விலை, திறன் மற்றும் கிடைக்கும் முடிவுகள் அனைத்தும் மூன்று முக்கிய கருத்துகளை சார்ந்துள்ளது: டோக்கன், சூழல் சாளரம் மற்றும் மல்டிமாடலிட்டி. இந்த கருத்துகளை அறியாத ஒருவர் விலை தாளைப் படித்து "இந்த ஆவணம் மாதிரிக்கு பொருந்துமா?" கேள்விக்கு பதிலளிக்க முடியாது மற்றும் காட்சி செயலாக்கம் எப்போது அவசியம் என்பதை பார்க்க முடியாது. இந்த அலகு முடிவதற்குள், இந்த மூன்று கருத்துகளையும் அன்றாட மொழியில் விளக்கலாம், ஒரு வேலைக்கு பரந்த சூழல் அல்லது பலதரம் தேவையா என்பதைக் கண்டறியலாம் மற்றும் செலவில் அவற்றின் தாக்கத்தை கணக்கில் எடுத்துக்கொள்ளலாம்.

டோக்கன்: வார்த்தைக்கு பதிலாக மாதிரியால் பயன்படுத்தப்படும் அலகு

செயற்கை நுண்ணறிவு மாதிரிகள் உரையை வார்த்தைக்கு வார்த்தை அல்ல, ஆனால் டோக்கன்கள் எனப்படும் சிறிய துண்டுகளாக செயலாக்குகின்றன. ஒரு டோக்கன்; இது ஒரு வார்த்தையாகவோ, வார்த்தையின் ஒரு பகுதியாகவோ, நிறுத்தற்குறியாகவோ அல்லது இடைவெளியாகவோ இருக்கலாம். தோராயமான கணக்கீடு செய்ய: ஆங்கிலத்தில், சராசரி டோக்கன் நான்கு எழுத்துக்கள் மற்றும் 100 வார்த்தைகள் 130-150 டோக்கன்கள். துருக்கிய மொழியில், பின்னொட்டு மற்றும் நீண்ட சொற்கள் காரணமாக இந்த விகிதம் சற்று அதிகமாக இருக்கலாம்; வேறு வார்த்தைகளில் கூறுவதானால், அதே பொருளைக் கொண்ட ஒரு துருக்கிய உரை ஆங்கிலத்தை விட சற்றே அதிக டோக்கன்களைப் பயன்படுத்துகிறது.

இது ஏன் தெரிந்து கொள்வது முக்கியம்? ஏனென்றால் எல்லாமே டோக்கன்களில் கட்டணம் மற்றும் அளவிடப்படுகிறது. நீங்கள் மாதிரிக்கு அனுப்பும் உரை (உள்ளீடு) மற்றும் மாதிரியால் உருவாக்கப்பட்ட பதில் (வெளியீடு) ஆகியவை தனி டோக்கன்களாகக் கணக்கிடப்படும். உங்கள் விலைப்பட்டியல் மற்றும் மாதிரியின் திறன் இரண்டும் டோக்கன்களில் உள்ளன.

உதவிக்குறிப்பு: ஒரு உரையில் எத்தனை டோக்கன்கள் உள்ளன என்பதற்கான தோராயமான மதிப்பீட்டைப் பெற, எழுத்துகளின் எண்ணிக்கையை நான்கால் வகுக்கவும். 4,000 எழுத்து மின்னஞ்சல் என்பது தோராயமாக 1,000 டோக்கன்கள். துருக்கிய மொழியில், பாதுகாப்பான பக்கத்தில் இருக்க சற்று உயரமாக கருதுங்கள்.

சூழல் சாளரம்: மாதிரியின் "குறுகிய கால நினைவகம்"

சூழல் சாளரம் என்பது மாடல் ஒரு நேரத்தில் மனதில் வைத்திருக்கக்கூடிய டோக்கன்களின் மொத்தத் தொகையாகும். உள்ளீடு மற்றும் வெளியீடு இந்த சாளரத்தில் ஒன்றாக பொருந்த வேண்டும். நீங்கள் ஒரே நேரத்தில் ஒரு மேஜையில் விரிக்கக்கூடிய காகிதத்தின் அளவைப் போல நினைத்துப் பாருங்கள்: மேசையில் பொருந்தாத காகிதம் அந்த நேரத்தில் உங்கள் பார்வைக்கு வெளியே உள்ளது.

ஒரு மாதிரியின் சூழல் சாளரம் 200,000 டோக்கன்களாக இருந்தால், இது தோராயமாக 150,000 சொற்கள் அல்லது பல நடுத்தர அளவிலான புத்தகங்களுக்குச் சமம். 1 மில்லியன் டோக்கன்கள் ஒட்டுமொத்தமாக மிகப் பெரிய ஆவணங்களைச் செயலாக்க முடியும். இன்று சில சக்திவாய்ந்த மாடல்கள் (எ.கா. கிளாட் ஓபஸ் 4.8 மற்றும் சோனட் 5) 1 மில்லியன் டோக்கன் சூழல்களை வழங்குகின்றன, அதே சமயம் இலகுரக மாடல்கள் பெரும்பாலும் சிறிய சாளரங்களுடன் வருகின்றன (எ.கா. ஹைக்கூ 4.5க்கான 200,000 டோக்கன்கள்).

அது ஏன் முக்கியம்? ஏனென்றால், ஒரு ஆவணம் சூழல் சாளரத்தில் பொருந்தவில்லை என்றால், மாடல் அனைத்தையும் ஒன்றாகப் பார்க்க முடியாது. 200,000 டோக்கன் மாடலுக்கு 500 பக்க ஒப்பந்தத்தை முழுமையாக கொடுக்க முடியாது; நீங்கள் ஆவணத்தை பகுதிகளாகப் பிரிக்கலாம் (இது பகுதிகளுக்கு இடையிலான உறவை இழக்கலாம்) அல்லது ஒரு பரந்த சூழலுடன் மாதிரியைத் தேர்ந்தெடுக்கவும்.

எச்சரிக்கை: சூழல் சாளரம் பெரிதாக இருப்பதால் ஒவ்வொரு ஆவணத்தையும் நிரப்புவது புத்திசாலித்தனம் அல்ல. சாளரத்தில் நீங்கள் எவ்வளவு டோக்கன்களை வைக்கிறீர்களோ, அவ்வளவு அதிகமாக நீங்கள் பணம் செலுத்துகிறீர்கள், சில சமயங்களில் மாதிரியானது மிக நீண்ட உரைகளில் நடுத்தர விவரங்களை இழக்கலாம். வேலை செய்யும் பகுதியை மட்டும் அனுப்புவது பெரும்பாலும் மலிவானது மற்றும் மிகவும் துல்லியமானது.

சூழல் சாளரம் ஒரு முடிவெடுக்கும் அளவுகோலாகும்

தேடுதல்

தோராயமான தேவையான சூழல்

பொருத்தமான நிலை

குறுகிய மின்னஞ்சல் பதில்

பல நூறு டோக்கன்கள்

இலகுரக

ஒரு பக்க சுருக்கம்

பல ஆயிரம் டோக்கன்கள்

ஒளி/சமநிலை

40 பக்க அறிக்கை பகுப்பாய்வு

~30,000 டோக்கன்கள்

சமநிலை/வலுவானது

300 பக்க ஒப்பந்த மதிப்பாய்வு

~250,000 டோக்கன்கள்

பரந்த சூழலுடன் சக்தி வாய்ந்தது

நூற்றுக்கணக்கான ஆவணங்களை ஒரே நேரத்தில் செயலாக்கவும்

500,000+ டோக்கன்கள்

பரந்த சூழல்

இந்த அட்டவணை "எந்த மாதிரி?" என்ற கேள்விக்கு பதிலளிக்கிறது. கேள்வியின் ஒரு பகுதி ஆவண அளவு மூலம் நேரடியாக பதிலளிக்கப்படுவதை இது காட்டுகிறது. குறுகிய வேலைகளுக்கு ஒரு பெரிய சூழல் கொண்ட விலையுயர்ந்த மாடலை வாங்குவது வீணானது; ஒரு சிறிய சாளரம் கொண்ட மாதிரி பெரிய ஆவணங்களுக்கு போதுமானதாக இல்லை.

பன்முகத்தன்மை: உரைக்கு அப்பாற்பட்டது

மல்டிமாடலிட்டி என்பது ஒரு மாதிரியின் பல வகையான தரவுகளை (படம், ஆடியோ, சில சமயங்களில் வீடியோ) கையாளும் திறன் ஆகும். இங்கு "மோடல்" என்றால் "தரவு வகை"; மல்டிமாடல் என்றால் "பல வகையான" என்று பொருள்.

• உரை மட்டும் மாதிரி: எழுதப்பட்ட உரையை மட்டுமே படிக்கிறது மற்றும் எழுதுகிறது.
• மல்டிமாடல் மாடல்: பில்லின் புகைப்படத்தைப் படிக்கலாம், வரைபடத்தில் உள்ள போக்கை விளக்கலாம், கையால் எழுதப்பட்ட குறிப்பை டிகோட் செய்யலாம், சில சமயங்களில் குரல் பதிவை படியெடுக்கலாம்.

அது ஏன் முக்கியம்? ஏனெனில் உங்கள் வணிகத்தின் தன்மைக்கு பலவகை தேவைப்படலாம். விலைப்பட்டியல் படங்களிலிருந்து தொகையைப் பிரித்தெடுக்கும் கணக்கியல் குழு, தயாரிப்பு புகைப்படங்களை வகைப்படுத்தும் மின் வணிகக் குழு அல்லது சேதப் புகைப்படங்களை மதிப்பிடும் காப்பீட்டுக் குழு ஆகியவை உரையை மட்டுமே படிக்கும் மாதிரியுடன் இந்த வேலையைச் செய்ய முடியாது. இந்த பணிகளுக்கு காட்சி செயலாக்கம் அவசியம்.

மூன்று யதார்த்தமான வழக்குகள்

வழக்கு 1 - டோக்கன் செலவு ஆச்சரியம். ஒவ்வொரு வலைப்பதிவு இடுகையையும் உருவாக்கும் போது உள்ளடக்கக் குழு மாதிரிக்கு 20 பக்க "பிராண்ட் வழிகாட்டி" ஆவணத்தை அனுப்புகிறது. இந்த வழிகாட்டி சுமார் 15,000 டோக்கன்கள். அவர்கள் ஒரு மாதத்திற்கு 2,000 கட்டுரைகளைத் தயாரிக்கிறார்கள்; எனவே வழிகாட்டியை மீண்டும் மீண்டும் அனுப்பினால் 30 மில்லியன் டோக்கன்கள் உள்ளீடு ஆகும். வழிகாட்டியை சுருக்கி, தொடர்புடைய பகுதியை மட்டும் அனுப்புவதன் மூலம் (சுமார் 2,000 டோக்கன்கள்), அவை உள்ளீட்டை ஏழில் ஒரு பங்காகக் குறைத்து, பில்லை கணிசமாகக் குறைக்கின்றன.

வழக்கு 2 - சூழல் சாளரம் போதாது. ஒரு சட்ட நிறுவனம் 280 பக்க இணைப்பு ஒப்பந்தத்தை மதிப்பாய்வு செய்ய விரும்புகிறது. அவர்கள் முயற்சித்த முதல் மாதிரி 200,000 டோக்கன்களின் பிணைப்பைக் கொண்டிருந்தது மற்றும் ஆவணம் பொருந்தவில்லை; ஆவணம் கிழிந்தால், முதல் பகுதியில் உள்ள கட்டுரை கடைசி பிரிவில் உள்ள கட்டுரைக்கு முரணாக இருப்பதை மாதிரி கவனிக்க முடியாது. 1 மில்லியன் டோக்கன் சூழல் கொண்ட மாதிரிக்கு மாறும்போது, ​​அது ஆவணத்தை முழுவதுமாகப் படித்து முரண்பாட்டைப் பிடிக்கிறது. இங்கே சூழல் சாளரம் நேரடியாக துல்லியத்தை தீர்மானிக்கிறது.

வழக்கு 3 - மல்டிமாடலிட்டி அவசியம். ஒரு காப்பீட்டு நிறுவனம் வாகன சேத புகைப்படங்களிலிருந்து பூர்வாங்க மதிப்பீட்டைச் செய்ய விரும்புகிறது. உரையை மட்டுமே படிக்கும் மாதிரியால் இது சாத்தியமற்றது; புகைப்படத்தை "பார்க்கும்" மல்டிமாடல் மாதிரி தேவை. அவர்கள் ஒரு மல்டிமாடல் மாடலுக்கு மாறும்போது, ​​அவர்கள் புகைப்படத்தில் சேதத்தின் இருப்பிடம் மற்றும் தீவிரத்தை தோராயமாக வகைப்படுத்தி நிபுணரை வழிநடத்தும் முன்-திரையிடல் அமைப்பை நிறுவுகிறார்கள். இருப்பினும், ஒரு மனித நிபுணர் இறுதி முடிவை எடுப்பதாக அவர்கள் குறிப்பிடுகிறார்கள்; ஏனெனில் மாடல் ஒரு பூர்வாங்க திரையிடல் கருவி, இறுதி வார்த்தை அல்ல.

பலவீனமான ப்ராம்ட் / ஸ்ட்ராங் ப்ராம்ட்

பலவீனமான உடனடி:

இந்த ஆவணத்தை சுருக்கவும். [மிக நீண்ட ஆவணம் ஒட்டப்பட்டுள்ளது]

சக்திவாய்ந்த தூண்டுதல்:

கீழே உள்ள 40 பக்க அறிக்கையை சுருக்கவும். அறிக்கையில் உள்ள தோராயமான எண்ணிக்கையிலான டோக்கன்களை முதலில் மதிப்பிட்டு, வழக்கமான சமச்சீர் மாதிரியின் சூழல் சாளரத்தில் இது பொருந்துமா என்பதை எங்களிடம் கூறுங்கள். பின்னர் இந்த வடிவத்தில் சுருக்கத்தை வழங்கவும்: 5-உருப்படி நிர்வாகி சுருக்கம் + 3 ஆபத்தான கண்டுபிடிப்புகள். அறிக்கையில் உள்ள தகவலை மட்டும் பயன்படுத்தவும்; உங்களுக்குத் தெரியாத பகுதியை "அறிக்கையில் தெளிவாக இல்லை" எனக் குறிக்கவும். [அறிக்கை]

சக்திவாய்ந்த வரியில் டோக்கன்/சூழல் விழிப்புணர்வு மற்றும் வெளியீட்டின் வடிவம் மற்றும் சரிபார்ப்பு ஆகியவற்றைக் கட்டுப்படுத்துகிறது.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

1. டோக்கன் கணிப்பு:

பின்வரும் உரைக்கான தோராயமான டோக்கன்களின் எண்ணிக்கையைக் கணித்து, உள்ளீட்டுச் செலவின் அடிப்படையில் இதை விளக்குங்கள்: "[TEXT]". அது துருக்கிய என்பதை கணக்கில் எடுத்துக்கொண்டு, அதை சிறிது வட்டமிடுங்கள்.

2. சூழல் இருப்பு சரிபார்ப்பு:

பின்வரும் ஆவணங்களைச் செயலாக்குவதே எனது வேலை: மாதத்திற்கு சராசரியாக [QTY] ஆவணங்களில் [PAGES]. இந்த அளவுக்கு என்ன சூழல் சாளரம் தேவை? ஒளி/சமநிலை/வலுவான நிலைகளில் எது போதுமானதாக இருக்கும்? அதை அகற்ற வேண்டியிருந்தால் என்ன ஆபத்து எழுகிறது?

3. பல்வகை நோய் கண்டறிதல்:

எனது பணிப்பாய்வு: [DESCRIPTION]. இந்த ஸ்ட்ரீமில் காட்சி, ஆடியோ அல்லது வீடியோ செயலாக்கம் உள்ளதா? அப்படியானால், மல்டிமாடல் மாதிரி தேவையா அல்லது அதை உரையாக (OCR/டிரான்ஸ்கிரிப்ஷன்) மாற்றி உரை மாதிரியுடன் தீர்க்க முடியுமா? இரண்டு பாதைகளின் நன்மை தீமைகளை ஒப்பிடுக.

4. சூழல் மேம்படுத்தல்:

ஒவ்வொரு கோரிக்கையுடன் மாதிரிக்கு ஒரு ஆவணத்தை அனுப்புகிறேன், ஆனால் பெரும்பாலானவை தேவையற்றவை. இந்த ஆவணத்திலிருந்து [TASK] க்கு உண்மையில் தேவைப்படும் பகுதிகளை எவ்வாறு பிரித்தெடுப்பது? உள்ளீட்டைக் குறைப்பதற்கும் மதிப்பிடப்பட்ட டோக்கன் சேமிப்பைக் குறிப்பிடுவதற்கும் 3 உறுதியான வழிகளைப் பரிந்துரைக்கவும்.

பொதுவான தவறுகள்

• ஒரு வார்த்தைக்கு டோக்கன் தவறாக உள்ளது: டோக்கன் என்பது ஒரு வார்த்தையிலிருந்து வேறுபட்டது; விலைப்பட்டியல் மற்றும் திறன் எப்போதும் டோக்கன்களில் இருக்கும், வார்த்தைகளில் கணக்கிடுவது தவறாக வழிநடத்தும்.
• சூழல் சாளரம் எல்லையற்றது என்று நினைப்பது: ஒவ்வொரு மாதிரிக்கும் ஒரு வரம்பு உண்டு; ஆவணம் பொருந்தவில்லை என்றால், மாதிரி முழுவதையும் பார்க்க முடியாது.
• தேவையற்ற பெரிய சூழலைப் பயன்படுத்துதல்: ஒரு குறுகிய வேலைக்காக பெரிய சூழலைக் கொண்ட விலையுயர்ந்த மாதிரியை வாங்குதல்; அல்லது ஒவ்வொரு கோரிக்கைக்கும் பெரிய ஆவணங்களை நிரப்பி வீணாக பணம் செலுத்துங்கள்.
• மல்டிமாடலிட்டியை அனுமானிப்பது: ஒவ்வொரு மாதிரியும் காட்சிகளை செயலாக்க முடியாது; காட்சி வேலைக்கு, மாடல் மல்டிமாடல் என்பதை உறுதிப்படுத்தாமல் தொடங்கவும்.
• துருக்கிய மொழியின் டோக்கன் சுமையை மறந்துவிடுதல்: துருக்கிய நூல்கள் பொதுவாக அதே அர்த்தத்திற்கு சற்று அதிகமான டோக்கன்களை உட்கொள்கின்றன; செலவு மதிப்பீட்டில் இதைப் புறக்கணித்தல்.

சுருக்கமாக

• டோக்கன் என்பது மாதிரியானது உரையைச் செயலாக்கும் சிறிய அலகு ஆகும்; உள்ளீடு மற்றும் வெளியீடு டோக்கன்களாக தனித்தனியாக அளவிடப்பட்டு விலைப்பட்டியல் செய்யப்படுகிறது.
• சூழல் சாளரம் என்பது மாதிரி ஒரு நேரத்தில் மனதில் வைத்திருக்கக்கூடிய மொத்த டோக்கன்கள் ஆகும்; ஆவண அளவு நேரடியாக மாதிரி தேர்வை பாதிக்கிறது.
• மல்டிமாடலிட்டி என்பது காட்சி/ஆடியோ போன்ற உரை அல்லாத தரவைச் செயலாக்கும் மாதிரியின் திறன் ஆகும்; காட்சி வேலைகளுக்கு இது அவசியம்.
• இந்த மூன்று கருத்துகளும் "எந்த மாதிரி?" என்ற கேள்விக்கு பொருத்தமானவை. அத்துடன் "எவ்வளவு செலவாகும்?" இது கேள்விகளுக்கு அடிப்படையாக அமைகிறது.

விண்ணப்ப பணி

உங்கள் வணிகத்தில் தொடர்ச்சியான AI பணியைத் தேர்வுசெய்யவும். 1வது டெம்ப்ளேட்டை (டோக்கன் முன்கணிப்பு) இந்த பணியில் ஒரு பொதுவான உள்ளீடு எத்தனை டோக்கன்களைக் கணக்கிடுகிறது. டெம்ப்ளேட் 2 உடன் எந்த நிலை போதுமானது என்பதை தீர்மானிக்கவும் (சூழல் கிடைக்கும் தன்மையை சரிபார்க்கவும்). உங்களிடம் காட்சி வேலை இருந்தால், 3வது டெம்ப்ளேட்டுடன் (மல்டிமாடலிட்டி கண்டறிதல்) மல்டிமாடல் மாடல் தேவையா என்பதைத் தெளிவுபடுத்தவும். இதன் விளைவாக வரும் டோக்கன் மதிப்பீட்டை அடுத்த யூனிட்டின் செலவு கணக்கீட்டில் பயன்படுத்துவோம்.

சரிபார்ப்பு பட்டியல்

• டோக்கன் பற்றிய கருத்து மற்றும் ஒரு உரையில் எத்தனை டோக்கன்கள் உள்ளன என்பதை தோராயமாக மதிப்பிடுவது எப்படி என்பது எனக்குத் தெரியும்.
• [ ] சூழல் சாளரத்தை "அட்டவணை/நினைவக" ஒப்புமையுடன் என்னால் விளக்க முடியும்.
• [ ] ஒரு ஆவணம் மாதிரியுடன் பொருந்துமா என்பதை என்னால் மதிப்பிட முடியும்.
• மல்டிமாடலிட்டி இன்றியமையாததாக இருக்கும்போது என்னால் கண்டறிய முடியும்.
• [ ] துருக்கியின் டோக்கன் மேல்நிலை மற்றும் தேவையற்ற சூழலின் விலையை நான் கணக்கில் எடுத்துக்கொள்கிறேன்.