ආදර්ශ තේරීම: නිවැරදි රැකියාව සඳහා නිවැරදි ආකෘතිය

ලාභ:

• හැකියාව, වේගය සහ පිරිවැය මත ආදර්ශ පවුල (වේගවත්/සමබර/බලවත්) සැසඳිය හැක
• කාර්ය සංකීර්ණත්වය අනුව ආකෘති තෝරා ගැනීම සහ මාර්ගගත කිරීමේ උපාය මාර්ග සැලසුම් කරයි
• කුඩා eval කට්ටලයක් සහිත සාක්ෂි මත ආකෘති තේරීම පදනම් කරයි

LLM ඒකාබද්ධතාවයේ ඔබේ මුදල සහ ගුණාත්මකභාවය සඳහා ඔබේ වඩාත්ම පිපිරුම් තීරණය කරන තනි තීරණය ඔබ භාවිතා කරන ආකෘතියයි. පොදු reflex යනු "ශක්තිමත්ම ආකෘතිය තෝරන්න"; කෙසේ වෙතත්, මෙය බොහෝ විට අනවශ්ය වියදම් සහ ප්රමාදයන් අදහස් කරයි. නිවැරදි ප්‍රවේශය වන්නේ එක් එක් කාර්යය ඉටු කරන සැහැල්ලු මාදිලිය තෝරා ගැනීම සහ එම තේරීම අනුමාන කිරීම නොව මිනුම් මත පදනම් කිරීමයි. මෙම ඒකකය තුළ, ඔබ හැකියාව/වේගය/පිරිවැය අක්ෂය මත ආදර්ශ පවුල සංසන්දනය කරනු ඇත, කාර්ය සංකීර්ණත්වය අනුව ආදර්ශ මාර්ගගත කිරීමේ උපාය මාර්ගයක් ස්ථාපිත කරයි, සහ කුඩා ඇගයීම් කට්ටලයක් සමඟ තේරීම සාක්ෂි දරයි.

ආදර්ශ පවුල අවබෝධ කර ගැනීම

සපයන්නන් සාමාන්‍යයෙන් පන්ති තුනක් පිරිනමයි: වේගවත්/ලාභ, ස්ථාවර සහ බලවත්. ඔවුන් අතර සම්බන්ධතාවය අක්ෂ තුනක් මත සාරාංශ කර ඇත: හැකියාව (දුෂ්කර කාර්යයන් විසඳීමට බලය), වේගය (ප්රමාදය), පිරිවැය (ටෝකන් මිල).

පන්තිය

උදාහරණයක්

දක්ෂතා

වේගය

පිරිවැය

පවතින කාර්යයන්

වේගවත්

හයිකු 4.5

මධ්යම

ඉතා ඉහළ

අඩු

වර්ගීකරණය, ලේබල් කිරීම, කෙටි සාරාංශය, දිශානතිය

සමතුලිත

සොනට් 5

ඉහළ

ඉහළ

මධ්යම

පොදු අරමුණ, කේතීකරණය, බහු-පියවර ප්රවාහය, බොහෝ නියෝජිතයින්ගේ වැඩ

ශක්තිමත්

ඔපස් 4.8

ඉහළම

මධ්යම

ඉහළ

සංකීර්ණ තර්කනය, දිගුකාලීන ස්වාධීන කාර්යයන්, දුෂ්කර විශ්ලේෂණය

විවේචනාත්මක තීක්ෂ්ණ බුද්ධිය: වඩා බලවත් ආකෘතිය සෑම කාර්යයකදීම වඩා හොඳින් ක්‍රියා නොකරයි. සරල "හදිසි හෝ නැත" ලේබල් කිරීමකදී, ශක්තිමත් ආකෘතිය සහ වේගවත් ආකෘතිය එකම නිවැරදි පිළිතුර ලබා දෙයි; එකම වෙනස වන්නේ බලවත් 5 ගුණයකින් මිල අධික හා මන්දගාමී වීමයි. අමතර කුසලතා වටිනාකමක් ඇති කරන්නේ මෙහෙයුමට අවශ්‍ය වූ විට පමණි.

පියවරෙන් පියවර: ආකෘතියක් තෝරා ගන්නේ කෙසේද?

1. කාර්යය වර්ග කරන්න. එය සාමාන්‍ය/රටාව (ලේබල් කිරීම, අනුමාන) හෝ විවෘත-අවසන්/බහු-පියවර (විශ්ලේෂණය, සැලසුම් කිරීම, කේතය) ද?
2. සැහැල්ලු අපේක්ෂකයා සමඟ ආරම්භ කරන්න. වේගවත් මාදිලිය සමඟ එය උත්සාහ කරන්න. එය ඇති නම් නවත්වන්න.
3. එය ප්රමාණවත් නොවේ නම්, ඉහළ පන්තියකට යන්න. නිරවද්‍යතාවය අඩු නම්, සමබර එකට යන්න, එය මදි නම්, ශක්තිමත් එකට යන්න.
4. මනින්න, අනුමාන කරන්න එපා. එක් එක් අපේක්ෂකයාගේ නිරවද්‍යතාවය සහ පිරිවැය කුඩා eval කට්ටලයක් සමඟ සසඳන්න (පහත).
5. යළි-යොමුවීම් සකසන්න. තනි ආකෘතියකට සම්බන්ධ කිරීම වෙනුවට, "රවුටරය" සමඟ නිවැරදි ආකෘතියට කාර්යය බෙදාහරින්න.

ආදර්ශ මාර්ගගත කිරීම

සැබෑ වැඩ බර මිශ්‍ර වේ: බොහෝ ලැබෙන ඉල්ලීම් සරලයි, සමහරක් අපහසුයි. ඒවා ඔක්කොම බලගතු මොඩලයට යවන එක නාස්තියක්; ඒවා සියල්ලම වේගවත් මාදිලියට යැවීමෙන් ගුණාත්මකභාවය අඩු වේ. මාර්ගගත කිරීම මෙය විසඳයි: ලාභ ආකෘතියක් (හෝ සරල රීතියක්) පළමුව කාර්යය වර්ග කරයි, පසුව කාර්යය සුදුසු ආකෘතියට යයි.

# Router prompt (ලාභ ආකෘතිය සමඟ ක්‍රියා කරයි) එන ඉල්ලීම එහි දුෂ්කරතාවය අනුව වර්ග කරන්න. පහත JSON පමණක් ආපසු ලබා දෙන්න:{"difficulty": "simple|complex"}සරල: තනි-පියවර, සූත්‍ර, කෙටි-පිළිතුරු. සංකීර්ණ: බහු-පියවර තර්ක කිරීම, විශ්ලේෂණය, හෝ දිගු උත්පාදනය අවශ්‍යයි. ඉල්ලීම: """{{request}}"""

• සරල → වේගවත් ආකෘතිය (ලාභ, වේගවත්) වෙත යන්න.
• සංකීර්ණ → බලවත් ආකෘතිය වෙත යන්න (මිල අධික නමුත් අවශ්ය).

බොහෝ රථවාහන සාමාන්යයෙන් සරල බැවින් මෙම රටාව සාමාන්ය පිරිවැය සැලකිය යුතු ලෙස අඩු කරයි.

ඉඟිය: යොමු කිරීමේ තීරණයක් සඳහා සැමවිටම LLM අවශ්‍ය නොවේ. "වචන 20 ට වඩා අඩු නම් වේගවත් ආකෘතියට යන්න" වැනි සරල නීති ද මාර්ගෝපදේශයක් වන අතර අමතර ටෝකන් පිරිවැය ශුන්‍ය කරයි. පළමුව රීතිය උත්සාහ කරන්න.

සාක්ෂියට තේරීම සම්බන්ධ කිරීම: කුඩා Eval පොකුර

"එය මට වඩා හොඳින් පෙනේ" මත පදනම්ව ආකෘතියක් තෝරා නොගන්න. Eval (ඇගයුම් කට්ටලය) යනු නිවැරදි පිළිතුර දන්නා කුඩා සාම්පල කට්ටලයකි; ඔබ මෙම කට්ටලය මත එක් එක් මාදිලිය ධාවනය කර නිරවද්‍යතාවය, පිරිවැය සහ ප්‍රමාදය මැන බලන්න.

# Eval setup template1) සැබෑ උදාහරණ 20-50 එකතු කරන්න, එක් එක් මත "නිවැරදි පිළිතුර" අතින් ලියන්න.2) මෙම කට්ටලය මත එක් එක් ආකෘතිය (වේගවත්/සමතුලිත/ශක්තිමත්) ධාවනය කරන්න.3) එක් එක් මාදිලිය සඳහා: නිවැරදි කිරීම් ගණන, සාමාන්‍ය ප්‍රතිදාන ටෝකන, ඉල්ලීමකට මිල, සාමාන්‍ය කාලය.4) "ප්‍රමාණවත් තරම් අඩු නිරවද්‍යතාවයක්" ලබා දෙන ආකෘතිය තෝරන්න.

# Eval සංසන්දන වගුව (පිරවීම)ආදර්ශය | නිරවද්යතාව | ඉල්ලීමකට පිරිවැය | සාමාන්‍ය කාලසීමාව හයිකු | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...තත්පර

දුර්වල කඩිනම් / ශක්තිමත් කඩිනම් (ආදර්ශ තේරීමේ තීරණය)

# දුර්වල (තීරණය සඳහා පදනමක් නැත) හොඳම ආකෘතිය භාවිතා කරමු, අයවැය වැදගත් නොවේ.

# STRONG (මිනුම් මත පදනම් වූ තීරණය) සාම්පල 50 ට සමානව, Haiku 96% නිරවද්‍යතාවය ලබා දුන් අතර Sonnet 97% නිරවද්‍යතාවය ලබා දුන්නේය; වෙනස සංඛ්‍යානමය වශයෙන් නොවැදගත් ය. හයිකු තෝරා ගත්තේ එය 5 ගුණයකින් අඩු සහ 2 ගුණයක වේගවත් නිසාය. නිරවද්‍යතාවය 95% ට වඩා පහත වැටේ නම්, Sonnet වෙත උත්ශ්‍රේණි කිරීමට තීරණය ස්වයංක්‍රීයව ගනු ලැබේ.

බලවත් අනුවාදය; තේරීම අංකයකට, එළිපත්තකට සහ උත්සන්න රීතියකට සම්බන්ධ කරයි. මෙය අද දවසේ තීරණය ආරක්ෂා කරන අතර අනාගත වෙනස්කම් කළමනාකරණය කරයි.

කුඩා නඩු තුනක්

නඩුව 1 - අධිබලැති ආකෘතියෙන් ගැලවීම. ඇමතුම් මධ්‍යස්ථානයක් ඔපස් සමඟ සියලු සංවාද සාරාංශ නිෂ්පාදනය කරමින් සිටියේය; මාසික බිල වැඩි විය. 40-නියැදි eval දී, Sonnet නිරවද්‍යතාවයෙන් Opus ට වඩා 1% පිටුපසින් සිටි නමුත් තුනෙන් එකක් වැය විය. ඔවුන් සාරාංශ කාර්යය Sonet වෙත ගෙන ගියා; ගුණාත්මක පැමිණිලි නොමැතිව මාසික පිරිවැය $9,000 සිට $3,100 දක්වා පහත වැටුණි.

නඩුව 2 - යළි-යොමුවීම් සමඟ මිශ්‍ර ගමනාගමනය. නීති තාක්‍ෂණ කණ්ඩායමක ඉල්ලීම්වලින් 80%ක් සරල ලේඛන ටැග් කිරීම වූ අතර 20%ක් සංකීර්ණ කොන්ත්‍රාත්තු විශ්ලේෂණ විය. ඔවුන් සියල්ලන්ම බලගතු ආකෘතියට යවමින් සිටියහ. ඔවුන් ලාභ රවුටරයක් ​​එකතු කර හයිකු වෙත සරල රැකියා සහ ඔපස් වෙත සංකීර්ණ රැකියා බෙදා හැරිය; සාමාන්‍ය ඉල්ලීම් පිරිවැය 64% කින් පහත වැටුණු අතර විශ්ලේෂණ ගුණත්වය පවත්වා ගෙන යන ලදී.

නඩුව 3 - මැනීමකින් තොරව අඩු කිරීමේ පිරිවැය. පිරිවැය අඩු කිරීම සඳහා, එක් කණ්ඩායමක් සංකීර්ණ වෛද්‍ය කේත නිස්සාරණය කෙලින්ම වේගවත් ආකෘතියට අඩු කළේය; ඔවුන් අගය කළේ නැත. සජීවීව, නිරවද්‍යතාව 92% සිට 78% දක්වා පහත වැටුණු අතර, එහි ප්‍රතිඵලයක් ලෙස වැරදි අනුමාන නැවත පැමිණේ. ඔවුන්ට ප්‍රථමයෙන් සමීකරණය කිරීමට සිදු විය: එම කාර්යය සඳහා බලවත් ආකෘතියක් අවශ්‍ය විය. පාඩම: අඩු කිරීම සහ උන්නතාංශය යන දෙකම මැනීම මගින් සිදු කෙරේ.

පොදු වැරදි

• "ශක්තිමත්ම ආකෘතිය" reflex: සරල කාර්යයන්හි නාස්තිය සහ අනවශ්ය ප්රමාදය.
• මැනීමකින් තොරව ආකෘතිය වෙනස් කිරීම: අඩු කිරීම සහ විශාල කිරීම යන දෙකම eval නොමැතිව අවදානම් වේ.
• තනි මාදිලියකට අගුලු දැමීම: මිශ්‍ර ගමනාගමනය තුළ මාර්ගගත කිරීම බොහෝ විට වඩා කාර්යක්ෂම වේ.
• LLM සඳහා රවුටරය සැමවිටම වරදවා වටහා ගැනීම: සරල නීතිවලට ශුන්‍ය පිරිවැයකින් ක්‍රියා කළ හැකිය.
• බූස්ට් ත්‍රෙෂෝල්ඩ් එකක් නොදැමීම: නිරවද්‍යතා පහත වැටීම් කලින් නිර්වචනය කළ යුතු නම් කුමක් සිදුවේද?
• මාදිලි අනුවාදය සවි කිරීම නොවේ: ඔබ නිෂ්පාදනයේ වැඩ කරන්නේ කුමන මාදිලිය / අනුවාදයද යන්න සටහන් කරන්න; අනුවාදය වෙනස් කිරීම හැසිරීම් වෙනස් කළ හැකිය.

ගැඹුරු: සදාකාලික Eval සහ වර්ධක අත්හදා බැලීම

ආදර්ශ තේරීම එක් වරක් තීරණයක් නොවේ. සපයන්නන් නව මාදිලි හඳුන්වා දෙයි, මිල වෙනස් වේ, ඔබේ රැකියා විස්තරය වර්ධනය වේ. ඒ නිසා eval cluster එක වරක් සකසන්න අමතක කරන්න එපා; එය ජීවියෙකු මෙන් අල්ලා ගන්න. නව මාදිලියක් එළියට එන විට, ඔබ එය හරහා එම සාම්පල 20-50 ක් ධාවනය කර, මේසය යාවත්කාලීන කර නැවත ඔබේ තීරණය ගන්න. මෙය ඔබව "රටාව මාරු කරන බුද්ධිය" උගුලෙන් ආරක්ෂා කරයි.

දෙවන උසස් තාක්ෂණය වන්නේ වැටීම / කඳුරැල්ල රටාවයි. ඔබ මුලින්ම ලාභ ආකෘතියට කාර්යය ලබා දෙයි; ප්‍රතිදානයට අඩු විශ්වාසයක් තිබේ නම් හෝ සත්‍යාපන ස්ථරය (ඒකක 11) එය ප්‍රතික්ෂේප කරන්නේ නම්, ඔබ එම ඉල්ලීමම උත්සන්න කරයි. එබැවින් බොහෝ ගමනාගමනය ලාභදායී මාදිලියේ විසඳනු ලැබේ, ඉතිරි සුළුතරය පමණක් මිල අධික ආකෘතියට යයි. මෙය ස්ථාවර තනි මාදිලියේ ප්රවේශයට වඩා ලාභදායී සහ කල් පවතින දෙකම වේ.

තුන්වන කරුණ නම් eval යන්නෙහි නිරවද්‍යතාවය පමණක් නොව පිරිවැය සහ ප්‍රමාදයද ඇතුළත් වේ. ආකෘතියක් 1% වඩා නිවැරදි නමුත් 3 ගුණයකින් මිල අධික නම් සහ 2 ගුණයක් මන්දගාමී නම්, බොහෝ රැකියා සඳහා වෙළඳාම් කිරීම වටින්නේ නැත. අක්ෂ තුනක් (නිරවද්‍යතාව, පිරිවැය, ප්‍රමාදය) ඔස්සේ තීරණයක් ගෙන "ප්‍රමාණවත් සීමාවක්" නිර්වචනය කරන්න: "නිරවද්‍යතාව 95% ට වඩා වැඩි නම්, ලාභම දේ තෝරන්න."

අවසාන වශයෙන්, ඔබ නිෂ්පාදනයේදී භාවිතා කළ මාදිලිය/අනුවාදය සටහන් කරන්න. එක දවසක් අවුට්පුට් කොලිටි එක වෙනස් උනොත් මුලින්ම බලන්නේ මොඩල් වර්ශන් එක වෙනස් වෙලාද කියලා. අනුවාද ලුහුබැඳීමේ හැකියාව ගුණාත්මක ගැටළු සඳහා මූලික හේතුව සොයා ගැනීම වේගවත් කරයි.

තවත් එක් අවවාදයක්: eval පොකුර ඔබේ සැබෑ කාර්ය භාරය නියෝජනය කළ යුතුය. පහසු උදාහරණ වලින් පමණක් සමන්විත eval එකක් සඟවන්නේ මොඩලය දුෂ්කර අවස්ථාවන්හිදී පැකිළෙන අතර ඔබව ව්‍යාජ විශ්වාසයකට ඇද දමයි. හොඳ eval; එයට සාමාන්‍ය පහසු උදාහරණ මෙන්ම යථාර්ථයේ දී ඔබ මුහුණ දෙන කෝනර් අවස්ථා (අපැහැදිලි, අසම්පූර්ණ, පරස්පර ආදාන) ඇතුළත් වේ. මෙම දුෂ්කර සුළුතරය ඔබගේ ආදර්ශ තේරීම තීරණය කරයි, මන්ද සෑම ආකෘතියක්ම කෙසේ හෝ පහසු බහුතරයකින් සාර්ථක වේ. ඔබේ Eval නැවුම් සහ නියෝජිතයා ලෙස තබා ගන්න, එය කලින් කලට නව සැබෑ උදාහරණ පෝෂණය කරන්න.

සාරාංශයක් ලෙස

නිවැරදි ආකෘතිය යනු කාර්යය ඉටු කරන සැහැල්ලු ආකෘතියයි; සෑම කාර්යයකදීම වඩා බලවත් වීම වඩා හොඳ නොවේ, එය වඩා මිල අධික සහ මන්දගාමී වේ. කාර්යය වර්ගීකරණය කිරීම සහ සැහැල්ලු අපේක්ෂකයාගෙන් ආරම්භ කිරීම, මාර්ගගත කිරීම සමඟ මිශ්‍ර ගමනාගමනය බෙදා හැරීම සහ කුඩා eval කට්ටලයක් සමඟ තේරීම සනාථ කිරීම ගුණාත්මකභාවය පවත්වා ගනිමින් පිරිවැය කිහිප වතාවක් අඩු කරයි.

යෙදුම් කාර්යය

වැඩ බරක් තෝරන්න. (1) කාර්යය සරල/සංකීර්ණ ලෙස වර්ග කරන්න. (2) සැබෑ උදාහරණ 20 කින් යුත් කුඩා eval කට්ටලයක් සැලසුම් කරන්න (ඒවායේ නිවැරදි පිළිතුරු සමඟ). (3) ආදර්ශ පන්ති තුන සඳහා නිරවද්‍යතාව/පිරිවැය/කාල සංසන්දන වගුව පුරවාලීම සඳහා සැලැස්මක් සකස් කරන්න. (4) ඔබට මිශ්‍ර ගමනාගමනයක් තිබේ නම්, මාර්ගගත කිරීමේ රීතියක් ලියා වැඩි කිරීමේ සීමාවක් සකසන්න.

පිරික්සුම් ලැයිස්තුව

• [ ] මට හැකියාව/වේගය/පිරිවැය අක්ෂය මත ආදර්ශ පවුල සැසඳිය හැක.
• [ ] මට "සැහැල්ලුම සාර්ථක ආකෘතිය" මූලධර්මය යෙදිය හැක.
• [ ] මට කාර්ය සංකීර්ණත්වය අනුව ආදර්ශ මාර්ගගත කිරීම සැකසිය හැක.
• [ ] කුඩා eval කට්ටලයක් සමඟ මට තේරීම සාක්ෂියට බැඳිය හැක.
• [ ] මට උත්ශ්‍රේණිගත කිරීම්/අඩු කිරීමේ සීමාවක් අර්ථ දැක්විය හැක.