లాభాలు:
- సామర్థ్యం, వేగం మరియు ఖర్చుపై మోడల్ కుటుంబాన్ని (వేగవంతమైన/సమతుల్యమైన/శక్తివంతమైన) పోల్చవచ్చు
- పని సంక్లిష్టత ప్రకారం మోడల్ ఎంపిక మరియు రూటింగ్ వ్యూహాలను రూపొందిస్తుంది
- చిన్న సెట్ ఎవాల్స్తో సాక్ష్యం ఆధారంగా మోడల్ ఎంపిక
LLM ఇంటిగ్రేషన్లో మీ బక్ మరియు నాణ్యత కోసం మీ అత్యంత బ్యాంగ్ని నిర్ణయించే ఏకైక నిర్ణయం మీరు ఉపయోగించే మోడల్. సాధారణ రిఫ్లెక్స్ "బలమైన మోడల్ను ఎంచుకోండి"; అయినప్పటికీ, ఇది తరచుగా అనవసరమైన ఖర్చులు మరియు జాప్యాలను సూచిస్తుంది. సరైన విధానం ఏమిటంటే, ప్రతి పనిని పూర్తి చేసే తేలికైన మోడల్ను ఎంచుకోవడం మరియు ఆ ఎంపికను అంచనాపై కాకుండా కొలతపై ఆధారపడి ఉంటుంది. ఈ యూనిట్లో, మీరు మోడల్ ఫ్యామిలీని కెపాబిలిటీ/స్పీడ్/కాస్ట్ యాక్సిస్తో పోల్చి చూస్తారు, టాస్క్ కాంప్లెక్సిటీకి అనుగుణంగా మోడల్ రూటింగ్ స్ట్రాటజీని ఏర్పాటు చేస్తారు మరియు చిన్న సెట్ ఎవాల్యుయేషన్లతో ఎంపికను రుజువు చేస్తారు.
మోడల్ కుటుంబాన్ని అర్థం చేసుకోవడం
ప్రొవైడర్లు సాధారణంగా మూడు తరగతులను అందిస్తారు: వేగవంతమైన/చౌక, స్థిరమైన మరియు శక్తివంతమైన. వాటి మధ్య సంబంధం మూడు అక్షాలపై సంగ్రహించబడింది: సామర్థ్యం (కష్టమైన పనులను పరిష్కరించే శక్తి), వేగం (జాప్యం), ఖర్చు (టోకెన్ ధర).
తరగతి
ఉదాహరణ
ప్రతిభ
వేగం
ఖర్చు
అందుబాటులో ఉన్న పనులు
వేగంగా
హైకూ 4.5
మధ్యస్థ
చాలా ఎక్కువ
తక్కువ
వర్గీకరణ, లేబులింగ్, సంక్షిప్త సారాంశం, ధోరణి
సమతుల్యం
సొనెట్ 5
అధిక
అధిక
మధ్యస్థ
సాధారణ ప్రయోజనం, కోడింగ్, బహుళ-దశల ప్రవాహం, చాలా ఏజెంట్ పని
బలమైన
ఓపస్ 4.8
అత్యధిక
మధ్యస్థ
అధిక
కాంప్లెక్స్ రీజనింగ్, సుదూర స్వయంప్రతిపత్తి పనులు, కష్టమైన విశ్లేషణ
క్లిష్టమైన అంతర్దృష్టి: మరింత శక్తివంతమైన మోడల్ ప్రతి ఉద్యోగంలో మెరుగ్గా పని చేయదు. సాధారణ "అత్యవసరం లేదా కాదు" లేబులింగ్లో, బలమైన మోడల్ మరియు వేగవంతమైన మోడల్ ఒకే సరైన సమాధానాన్ని ఇస్తాయి; ఒకే తేడా ఏమిటంటే శక్తివంతమైనది 5 రెట్లు ఎక్కువ ఖరీదైనది మరియు నెమ్మదిగా ఉంటుంది. మిషన్కు అవసరమైనప్పుడు మాత్రమే అదనపు ప్రతిభ విలువను ఉత్పత్తి చేస్తుంది.
దశల వారీగా: మోడల్ను ఎలా ఎంచుకోవాలి?
- విధిని వర్గీకరించండి. ఇది రొటీన్/నమూనా (లేబులింగ్, అనుమితి) లేదా ఓపెన్-ఎండ్/మల్టీ-స్టెప్ (విశ్లేషణ, ప్రణాళిక, కోడ్)?
- తేలికైన అభ్యర్థితో ప్రారంభించండి. వేగవంతమైన మోడల్తో దీన్ని ప్రయత్నించండి. అది సరిపోతే, ఆపండి.
- ఇది సరిపోకపోతే, ఉన్నత తరగతికి వెళ్లండి. ఖచ్చితత్వం తక్కువగా ఉంటే, బ్యాలెన్స్డ్కి వెళ్లండి, అది సరిపోకపోతే, బలమైనదానికి వెళ్లండి.
- కొలవండి, ఊహించవద్దు. ప్రతి అభ్యర్థి యొక్క ఖచ్చితత్వం మరియు ధరను చిన్న సెట్ ఎవాల్ (క్రింద)తో సరిపోల్చండి.
- దారి మళ్లింపును సెటప్ చేయండి. ఒకే మోడల్కు కనెక్ట్ చేయడానికి బదులుగా, "రౌటర్"తో సరైన మోడల్కు పనిని పంపిణీ చేయండి.
మోడల్ రూటింగ్
నిజమైన పనిభారం మిశ్రమంగా ఉంటుంది: చాలా ఇన్కమింగ్ అభ్యర్థనలు సరళమైనవి, కొన్ని కష్టం. వీటన్నింటిని శక్తివంతమైన మోడల్కి పంపడం వ్యర్థం; వాటన్నింటినీ ఫాస్ట్ మోడల్కి పంపడం వల్ల నాణ్యత తగ్గుతుంది. రూటింగ్ దీనిని పరిష్కరిస్తుంది: చౌకైన మోడల్ (లేదా ఒక సాధారణ నియమం) మొదట పనిని వర్గీకరిస్తుంది, తర్వాత ఉద్యోగం తగిన మోడల్కు వెళుతుంది.
# రూటర్ ప్రాంప్ట్ (చౌక మోడల్తో పనిచేస్తుంది) ఇన్కమింగ్ అభ్యర్థనను దాని కష్టానికి అనుగుణంగా వర్గీకరించండి. కింది JSONని మాత్రమే తిరిగి ఇవ్వండి:{"కష్టం": "సింపుల్|కంప్లెక్స్"}సింపుల్: సింగిల్-స్టెప్, ఫార్ములాక్, షార్ట్-సమాధానం. కాంప్లెక్స్: బహుళ-దశల తార్కికం, విశ్లేషణ లేదా సుదీర్ఘ తరం అవసరం. అభ్యర్థన: """{{అభ్యర్థన}}"""
- సాధారణ → ఫాస్ట్ మోడల్కి వెళ్లండి (చౌక, వేగవంతమైనది).
- క్లిష్టమైన → శక్తివంతమైన మోడల్కి వెళ్లండి (ఖరీదైనది కానీ అవసరం).
ఈ నమూనా సగటు ధరను గణనీయంగా తగ్గిస్తుంది ఎందుకంటే చాలా ట్రాఫిక్ సాధారణంగా సులభం.
చిట్కా: సిఫార్సు నిర్ణయానికి ఎల్లప్పుడూ LLM అవసరం లేదు. "టెక్స్ట్ 20 పదాల కంటే తక్కువ ఉంటే ఫాస్ట్ మోడల్కి వెళ్లండి" వంటి సాధారణ నియమాలు కూడా మార్గదర్శకంగా ఉంటాయి మరియు సున్నా అదనపు టోకెన్ ధరను అందిస్తాయి. ముందుగా నియమాన్ని ప్రయత్నించండి.
ఎవిడెన్స్కు ఎంపికను లింక్ చేయడం: ది స్మాల్ ఎవాల్ క్లస్టర్
"ఇది నాకు బాగా కనిపిస్తుంది" ఆధారంగా మోడల్ను ఎంచుకోవద్దు. Eval (మూల్యాంకనం సెట్) అనేది సరైన సమాధానం తెలిసిన నమూనాల చిన్న సెట్; మీరు ఈ సెట్లో ప్రతి మోడల్ను అమలు చేస్తారు మరియు ఖచ్చితత్వం, ధర మరియు జాప్యాన్ని కొలవండి.
# Eval సెటప్ టెంప్లేట్1) 20-50 నిజమైన ఉదాహరణలను సేకరించండి, ప్రతిదానిపై "సరైన సమాధానం" చేతితో వ్రాయండి.2) ఈ సెట్లో ప్రతి మోడల్ను (వేగంగా/సమతుల్యత/బలంగా) అమలు చేయండి.3) ప్రతి మోడల్కు: సరిచేసిన సంఖ్య, సగటు నిర్గమాంశ టోకెన్లు, అభ్యర్థనకు ధర, సగటు సమయం.4) "తగినంత తక్కువ ఖచ్చితత్వం" ఇచ్చే మోడల్ను ఎంచుకోండి.
# ఎవాల్ కంపారిజన్ టేబుల్ (ఫిల్) మోడల్ | ఖచ్చితత్వం | అభ్యర్థనకు ధర | సగటు వ్యవధి హైకూ | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...సెక
బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్ (మోడల్ ఎంపిక నిర్ణయం)
# బలహీనం (నిర్ణయానికి ఆధారం లేదు)ఉత్తమ మోడల్ని వాడుకుందాం, బడ్జెట్ ముఖ్యం కాదు.
# STRONG (కొలత ఆధారంగా నిర్ణయం) 50 నమూనాలలో, హైకూ 96% ఖచ్చితత్వాన్ని ఇచ్చింది, సొనెట్ 97% ఖచ్చితత్వాన్ని ఇచ్చింది; వ్యత్యాసం గణాంకపరంగా చాలా తక్కువగా ఉంది. హైకూ 5 రెట్లు తక్కువ మరియు 2 రెట్లు వేగంగా ఉంటుంది కాబట్టి ఎంపిక చేయబడింది. ఖచ్చితత్వం 95% కంటే తక్కువగా ఉంటే, సొనెట్కి అప్గ్రేడ్ చేయాలనే నిర్ణయం స్వయంచాలకంగా తీసుకోబడుతుంది.
శక్తివంతమైన వెర్షన్; ఎంపికను సంఖ్య, థ్రెషోల్డ్ మరియు ఎస్కలేషన్ నియమానికి బంధిస్తుంది. ఈ రెండూ నేటి నిర్ణయాన్ని సమర్థిస్తాయి మరియు భవిష్యత్తు మార్పును నిర్వహిస్తాయి.
మూడు మినీ కేసులు
కేస్ 1 — అధికమైన మోడల్ నుండి తప్పించుకోండి. కాల్ సెంటర్ ఓపస్తో అన్ని సంభాషణ సారాంశాలను రూపొందిస్తోంది; నెలవారీ బిల్లు ఎక్కువగా ఉండేది. 40-నమూనా eval వద్ద, సొనెట్ ఖచ్చితత్వంలో ఓపస్ కంటే 1% వెనుకబడి ఉంది కానీ ధర మూడింట ఒక వంతు. వారు సారాంశం పనిని సొనెట్కు తరలించారు; నాణ్యత ఫిర్యాదులు లేకుండా నెలవారీ ఖర్చు $9,000 నుండి $3,100కి పడిపోయింది.
కేస్ 2 — దారి మళ్లింపుతో మిశ్రమ ట్రాఫిక్. చట్టపరమైన సాంకేతిక బృందం యొక్క అభ్యర్థనలలో 80% సాధారణ డాక్యుమెంట్ ట్యాగింగ్, 20% కాంప్లెక్స్ కాంట్రాక్ట్ విశ్లేషణ. వారందరినీ శక్తివంతమైన మోడల్కు పంపారు. వారు చవకైన రూటర్ని జోడించారు మరియు హైకూకు సాధారణ ఉద్యోగాలను మరియు ఓపస్కు సంక్లిష్ట ఉద్యోగాలను పంపిణీ చేశారు; సగటు అభ్యర్థన ధర 64% తగ్గింది, అయితే విశ్లేషణ నాణ్యత నిర్వహించబడింది.
కేస్ 3 - కొలవకుండా తగ్గించే ఖర్చు. ఖర్చును తగ్గించడానికి, ఒక బృందం సంక్లిష్ట వైద్య కోడ్ వెలికితీతను నేరుగా ఫాస్ట్ మోడల్కు తగ్గించింది; వారు ఎవాల్యూ చేయలేదు. ప్రత్యక్ష ప్రసారంలో, ఖచ్చితత్వం 92% నుండి 78%కి పడిపోయింది, ఫలితంగా తప్పు అనుమితులు తిరిగి వచ్చాయి. వారు మొదట ఎవాల్యూ చేయాలి: ఆ పనికి శక్తివంతమైన మోడల్ అవసరం. పాఠం: తగ్గింపు మరియు ఎలివేషన్ రెండూ కొలత ద్వారా జరుగుతాయి.
సాధారణ తప్పులు
- "బలమైన మోడల్" రిఫ్లెక్స్: సాధారణ పనులలో వ్యర్థాలు మరియు అనవసరమైన ఆలస్యం.
- కొలత లేకుండా మోడల్ను మార్చడం: తగ్గింపు మరియు విస్తరణ రెండూ ఎవాల్యూ లేకుండా ప్రమాదకరం.
- ఒకే మోడల్లోకి లాక్ చేయడం: మిశ్రమ ట్రాఫిక్లో రూటింగ్ తరచుగా మరింత సమర్థవంతంగా ఉంటుంది.
- ఎల్ఎల్ఎమ్ కోసం రౌటర్ను ఎల్లప్పుడూ తప్పుగా భావించడం: సాధారణ నియమాలు సున్నా ఖర్చుతో పని చేయగలవు.
- బూస్ట్ థ్రెషోల్డ్ను సెట్ చేయడం లేదు: ఖచ్చితత్వం తగ్గితే ఏమి జరుగుతుంది అనేది ముందుగానే నిర్వచించబడాలి.
- మోడల్ సంస్కరణను పరిష్కరించడం లేదు: మీరు ఉత్పత్తిలో పని చేస్తున్న మోడల్/వెర్షన్ను రికార్డ్ చేయండి; సంస్కరణ మార్పు ప్రవర్తనను మార్చవచ్చు.
లోతుగా: శాశ్వతమైన ఈవల్ మరియు ఇంక్రిమెంటల్ ట్రయల్
మోడల్ ఎంపిక అనేది ఒకేసారి నిర్ణయం కాదు. ప్రొవైడర్లు కొత్త మోడల్లను పరిచయం చేస్తారు, ధరలు మారుతాయి, మీ ఉద్యోగ వివరణ అభివృద్ధి చెందుతుంది. కాబట్టి ఎవాల్ క్లస్టర్ను ఒకసారి సెటప్ చేయండి మరియు మర్చిపోవద్దు; ఒక జీవి వలె పట్టుకోండి. కొత్త మోడల్ వచ్చినప్పుడు, మీరు దాని ద్వారా అదే 20-50 నమూనాలను అమలు చేసి, పట్టికను అప్డేట్ చేసి, మళ్లీ మీ నిర్ణయం తీసుకోండి. ఇది మిమ్మల్ని "నమూనా-స్విచింగ్ అంతర్ దృష్టి" ట్రాప్ నుండి రక్షిస్తుంది.
రెండవ అధునాతన సాంకేతికత ఫాల్బ్యాక్ / క్యాస్కేడ్ నమూనా. మీరు మొదట చౌక మోడల్కు పనిని ఇస్తారు; అవుట్పుట్ తక్కువ విశ్వాసాన్ని కలిగి ఉంటే లేదా ధృవీకరణ లేయర్ (యూనిట్ 11) దానిని తిరస్కరిస్తే, మీరు అదే అభ్యర్థనను పెంచుతారు. కాబట్టి చాలా ట్రాఫిక్ చౌక మోడల్లో పరిష్కరించబడుతుంది, మిగిలిన మైనారిటీ మాత్రమే ఖరీదైన మోడల్కు వెళుతుంది. ఇది స్థిర సింగిల్ మోడల్ విధానం కంటే చౌకైనది మరియు మన్నికైనది.
మూడవ అంశం ఏమిటంటే, ఎవాల్ ఖచ్చితత్వాన్ని మాత్రమే కాకుండా ఖర్చు మరియు జాప్యాన్ని కూడా కలిగి ఉంటుంది. మోడల్ 1% మరింత ఖచ్చితమైనది అయితే 3 రెట్లు ఎక్కువ ఖరీదైనది మరియు 2 రెట్లు నెమ్మదిగా ఉంటే, చాలా ఉద్యోగాలకు ట్రేడ్-ఆఫ్ విలువైనది కాదు. మూడు అక్షాలతో (ఖచ్చితత్వం, ధర, జాప్యం) నిర్ణయం తీసుకోండి మరియు "సరిపణత థ్రెషోల్డ్"ని నిర్వచించండి: "ఖచ్చితత్వం 95% కంటే ఎక్కువగా ఉంటే, చౌకైనదాన్ని ఎంచుకోండి."
చివరగా, మీరు ఉత్పత్తిలో ఉపయోగించిన మోడల్/వెర్షన్ని రికార్డ్ చేయండి. ఒక రోజు అవుట్పుట్ క్వాలిటీ మారితే, మీరు మొదటగా చూసేది మోడల్ వెర్షన్ మారినదా అని. వెర్షన్ ట్రేస్బిలిటీ నాణ్యత సమస్యల యొక్క మూల కారణాన్ని కనుగొనడాన్ని వేగవంతం చేస్తుంది.
మరో హెచ్చరిక: ఎవాల్ క్లస్టర్ మీ వాస్తవ పనిభారాన్ని సూచిస్తుంది. క్లిష్ట సందర్భాలలో మోడల్ పొరపాట్లు చేసి మిమ్మల్ని తప్పుడు విశ్వాసంలోకి నెట్టే చోట సులభ ఉదాహరణలతో కూడిన ఎవాల్ దాచబడుతుంది. ఒక మంచి eval; ఇందులో మీరు రియాలిటీలో ఎదుర్కొనే సాధారణ సులభమైన ఉదాహరణలతో పాటు మూలలో ఉన్న సందర్భాలు (అస్పష్టమైన, అసంపూర్ణమైన, విరుద్ధమైన ఇన్పుట్లు) ఉన్నాయి. ఈ కష్టమైన మైనారిటీ మీ మోడల్ ఎంపికను నిర్ణయిస్తుంది, ఎందుకంటే ప్రతి మోడల్ ఏమైనప్పటికీ సులభమైన మెజారిటీలో విజయం సాధిస్తుంది. క్రమానుగతంగా కొత్త వాస్తవ ఉదాహరణలను అందించడం ద్వారా మీ ఎవాల్ను తాజాగా మరియు ప్రతినిధిగా ఉంచండి.
సారాంశంలో
సరైన మోడల్ పనిని పూర్తి చేసే తేలికైన మోడల్; ప్రతి పనిలో మరింత శక్తివంతంగా ఉండటం మంచిది కాదు, ఇది చాలా ఖరీదైనది మరియు నెమ్మదిగా ఉంటుంది. టాస్క్ను వర్గీకరించడం మరియు తేలికైన అభ్యర్థి నుండి ప్రారంభించడం, రౌటింగ్తో మిశ్రమ ట్రాఫిక్ను పంపిణీ చేయడం మరియు చిన్న సెట్ ఎవాల్లతో ఎంపికను ధృవీకరించడం నాణ్యతను కొనసాగిస్తూ ఖర్చును చాలాసార్లు తగ్గిస్తుంది.
అప్లికేషన్ టాస్క్
పనిభారాన్ని ఎంచుకోండి. (1) పనిని సాధారణ/సంక్లిష్టంగా వర్గీకరించండి. (2) 20 నిజమైన ఉదాహరణల (వాటి సరైన సమాధానాలతో) చిన్న ఎవాల్ సెట్ను రూపొందించండి. (3) మూడు మోడల్ తరగతుల కోసం ఖచ్చితత్వం/వ్యయం/సమయం పోలిక పట్టికను రూపొందించడానికి ఒక ప్రణాళికను రూపొందించండి. (4) మీకు మిక్స్డ్ ట్రాఫిక్ ఉంటే, రూటింగ్ రూల్ని వ్రాసి, ఎస్కలేషన్ థ్రెషోల్డ్ని సెట్ చేయండి.
చెక్లిస్ట్
- [ ] నేను మోడల్ ఫ్యామిలీని కెపాబిలిటీ/స్పీడ్/కాస్ట్ యాక్సిస్తో పోల్చగలను.
- [ ] నేను "తేలికపాటి విజయవంతమైన మోడల్" సూత్రాన్ని వర్తింపజేయగలను.
- [ ] నేను పని సంక్లిష్టత ప్రకారం మోడల్ రూటింగ్ని సెటప్ చేయగలను.
- [ ] ఎవాల్ యొక్క చిన్న సెట్తో నేను ఎంపికను సాక్ష్యంతో బంధించగలను.
- [ ] నేను అప్గ్రేడ్/డిమోషన్ థ్రెషోల్డ్ని నిర్వచించగలను.