ትርፍ፡
- የአምሳያው ውድቀት ጸጥ ያሉ ምክንያቶችን የመለየት ችሎታ (የውሂብ ተንሸራታች ፣ የፅንሰ-ሀሳብ ተንሸራታች ፣ ወደላይ ስህተት) እና ባለ ሶስት-ንብርብር (ኦፕሬሽን ፣ ግብዓት ፣ ውፅዓት) ቁጥጥርን ማቋቋም።
- የኤልኤልኤም ስርዓቶችን በበርካታ እርከኖች ከደንብ ፍተሻዎች፣ ኤልኤልኤም-ዳኛ እና የሰው ግምገማ ጋር የመገምገም እና ከኤልኤልኤም-ዳኛ የሰው መልህቅ ጋር የመለካት ችሎታ።
- የጠርዝ እና የደህንነት ጉዳዮችን የያዘ የኢቫል ስብስብ የመንደፍ እና እያንዳንዱን ስህተት ወደ ቋሚ የሙከራ መያዣ የመቀየር ችሎታ
አንድ ሞዴል ወደ ምርት ከገባ በኋላ ሥራዎ አልተጠናቀቀም; እውነተኛው ኃላፊነት ገና ይጀምራል። ምክንያቱም ሞዴሉ ማንም በማይመለከትበት ጊዜ በፀጥታ ሊፈርስ ይችላል. በዚህ ክፍል ውስጥ ሁለት ተጓዳኝ ትምህርቶችን እንሸፍናለን-ግምገማ (የአምሳያው ጥራት ስልታዊ በሆነ መልኩ መለካት) እና ክትትል (በአምራች ውስጥ ያለውን ሞዴል የማያቋርጥ ክትትል)። በተለይም በኤል.ኤም.ኤል. ሲስተሞች፣ ኢቫል በጣም ከባድ እና ከጥንታዊ ኤምኤል የበለጠ ጥንቃቄን ይፈልጋል።
የምርት አምሳያው ለምን በጸጥታ ይሰበራል
ሳንካ ይበላሻል፣ መዝገቡ ታትሟል፣ ማንቂያው ይጠፋል። በሌላ በኩል የኤምኤል ሞዴል ስህተት ሳያስከትል ስህተት ሊሆን ይችላል። ሶስት ዋና ዋና የመበላሸት ምክንያቶች፡-
- የውሂብ ተንሸራታች፡ የግብአት ውሂብ ስርጭቱ በጊዜ ሂደት ይለዋወጣል (አዲስ ምርቶች፣ የተጠቃሚ ባህሪ መቀየር፣ ወቅታዊነት)። ሞዴሉ ተመሳሳይ ነው, ነገር ግን ዓለም ይለወጣል.
- የፅንሰ-ሀሳብ ተንሸራታች፡ የግቤት-ውፅዓት ግንኙነቱ ይቀየራል። የማጭበርበር ዘዴዎች እና የአይፈለጌ መልእክት ቅጦች ይሻሻላሉ; ትላንት ትክክል የነበረው ዛሬ ስህተት ይሆናል።
- ወደላይ የተዘረጋ ብልሹነት፡ የውሂብ ምንጭ ቅርፀቱን ይለውጣል፣ አካባቢው ነጻ ይሆናል፣ ሞዴሉ በተበላሸ ግብአት በፀጥታ ይንጠባጠባል።
መከታተል እነዚህን ጸጥ ያሉ ማዛባት እንዲሰማ እያደረገ ነው።
ምን እንደሚታይ: ሶስት ንብርብሮች
ጥሩ ክትትል ሶስት እርከኖችን ይሸፍናል.
- የአሠራር መለኪያዎች፡ የቆይታ ጊዜ፣ የስህተት መጠን፣ የጥያቄ መጠን፣ የንብረት አጠቃቀም። "ስርዓቱ ቆሟል?"
- የውሂብ/የግቤት መለኪያዎች፡ የግብአት ስርጭቱ ከስልጠናው ጋር ተመሳሳይ ነው? የጎደለው እሴት መጠን ጨምሯል? አዳዲስ ምድቦች ደርሰዋል? "ሞዴሉ የታወቀ ውሂብ እያየ ነው?"
- ሞዴል/የውጤት መለኪያዎች፡ የትንበያ ስርጭት ምዝግብ ማስታወሻ? የመተማመን ውጤቶች ቀንሰዋል? ከተቻለስ ከመሬት እውነት ጋር ሲወዳደር ትክክለኝነት ምንድን ነው? "ሞዴሉ አሁንም ትክክል ነው?"
ሦስተኛው ሽፋን በጣም ዋጋ ያለው ነገር ግን በጣም አስቸጋሪ ነው; እውነተኛው ውጤት ብዙውን ጊዜ ከመዘግየት ጋር ስለሚመጣ (ብድር መከፈል ወይም አለመከፈል ከወራት በኋላ ግልጽ ይሆናል).
ጠቃሚ ምክር፡ ትክክለኛው ውጤት ከዘገየ መጀመሪያ የግብአት እና ትንበያ ስርጭቱን ይቆጣጠሩ። የግብአት ስርጭቱ መቀያየር የትክክለኝነት ውድቀት የመጀመሪያ ምልክት ነው እና ትክክለኛውን ውጤት ሳይጠብቅ ማንቂያ ማንሳት ይችላል።
LLM ስርዓቶችን መገምገም፡ ልዩ ፈተና
በክላሲካል ኤምኤል ውስጥ “ትክክለኛው መልስ” ግልፅ ነው (ክፍል 0 ወይም 1)። በሌላ በኩል የኤልኤልኤም ውጤት ክፍት ነው፡ ለተመሳሳይ ጥያቄ ብዙ ትክክለኛ መልሶች ሊኖሩ ይችላሉ፣ “ትክክለኝነት” ከአንድ ቁጥር ጋር አይጣጣምም። የኤልኤልኤም ኢቫል አቀራረቦች፡-
- የማጣቀሻ መለኪያዎች፡ ውጤቱን ከተገቢው መልስ ጋር ማወዳደር። የተወሰነ; ምክንያቱም በተለየ መንገድ የተገለፀውን ትክክለኛ መልስ እንደ "ስህተት" ሊቆጥረው ይችላል.
- በህጎች ላይ የተመሰረቱ ቼኮች፡ ውፅአቱ ትክክለኛ JSON ነው? የተከለከሉ ቃላት አሉ? የሚፈለጉትን መስኮች ይዟል? ርካሽ, አስተማማኝ, ጥብቅ.
- LLM- ዳኛ (LLM-እንደ ዳኛ): አንድ ሞዴል "ይህ መልስ በዚህ መስፈርት መሰረት ጥሩ ነው?" ብለው አይጠይቁ. ይመዝናል፣ ዳኛው ግን ራሱ መረጋገጥ አለበት።
- የሰው ግምገማ፡ የወርቅ ደረጃ ግን ውድ እና ዘገምተኛ ነው። በናሙናው ላይ ጥቅም ላይ ይውላል.
በተግባር እነዚህ አንድ ላይ ጥቅም ላይ ይውላሉ-በእያንዳንዱ ውፅዓት ላይ ርካሽ የደንብ ፍተሻዎች ፣ LLM-ዳኛ በትልቁ ናሙና ፣ በትንሽ ነገር ግን ጥብቅ ናሙና ላይ የሰዎች ግምገማ።
ደካማ አቀራረብ / ጠንካራ አቀራረብ
ደካማ: "ኤልኤልኤም - ዳኛውን ጠየቅኩት, 92% መልሶቻችን ጥሩ ናቸው. ስርዓቱ በጣም ጥሩ ነው."
Güçlü: "መጀመሪያ በሰው-የተለጠፈ 100 ህትመቶች. የኤልኤልኤም-ዳኛውን በተመሳሳይ 100 ህትመቶች ላይ እናሮጥነው እና የሰው እና የዳኛ ስምምነት - 85% ስምምነት, ተቀባይነት ያለው. ዳኛው ስልታዊ በሆነ መንገድ የተሳሳቱበትን ቦታ (ረዥም መልሶችን ጥሩ ያልሆነ የማግኘት አዝማሚያ) እና አፋጣኙን አስተካክለናል ። ከዚያ በኋላ ብቻ ዳኛውን አምነናል ። "
ልዩነቱ፡ ጠንካራው አካሄድ ዳኛውን በሰው መልሕቅ እንጂ በጭፍን አይደለም። ያልተረጋገጠ የኤል.ኤም.ኤል. ዳኛ ቆንጆ ቆንጆ ግን የውሸት እምነት ይሰጣል።
ትኩረት: LLM-ዳኛ ደግሞ ሞዴል ነው; ሃሉሲኖጅኒክ፣ አድሏዊ (ረዥም/የሚታመኑ መልሶች)፣ ወጥነት የሌላቸው ሊሆኑ ይችላሉ። የምርት ውሳኔዎችን ከማድረግዎ በፊት የዳኛ ውጤቶችን በሰዎች መለያዎች ያስተካክሉ።
ግምገማ ስብስብ: በጥንቃቄ የተነደፈ
ጥሩ የኢቫል ስብስብ የተለያዩ የእውነተኛ አጠቃቀምን እና አስቸጋሪ ጉዳዮችን ይወክላል። በቀላል ምሳሌዎች የተሞላ ኢቫል በውሸት መተማመን ውስጥ ይተውሃል። በኢቫል ክላስተር ውስጥ ማስቀመጥዎን እርግጠኛ ይሁኑ፡
- የጠርዝ መያዣዎች፡ ባዶ ግቤት፣ በጣም ረጅም ግቤት፣ ያልተለመደ ቅርጸት።
- የታወቁ ከባድ ጉዳዮች፡ አምሳያው ከዚህ በፊት ስህተቶችን የሰራባቸው ምሳሌዎች (እንደ ሪግሬሽን ፈተና)።
- የደህንነት ጉዳዮች፡- አፋጣኝ መርፌ ሙከራዎች፣ ተንኮል አዘል ጥያቄዎች፣ የግላዊነት ጥሰት ወጥመዶች።
የኤቫል ክላስተር በጊዜ ሂደት ያድጋል፡ በምርት ላይ የሚያገኙት እያንዳንዱ አዲስ ስህተት ለቀጣዩ ግምገማ የሙከራ ጉዳይ ይሆናል።
ማንቂያ እና ጣልቃ ገብነት
ያለማንቂያ ክትትል ያልተሟላ ሆኖ ይቆያል። ለእያንዳንዱ አስፈላጊ ልኬት ገደብ እና የምላሽ እቅድ መኖር አለበት፡ "የግቤት ተንሸራታች ከ X በላይ ከሆነ ለኢንጅነር አሳውቁ"፣ "የስህተት መጠን Y ካለፈ በራስ ሰር ወደ ኋላ ያንከባልልልናል"። ማንቂያዎችን ትርጉም ያለው እንዲሆን ያድርጉ - በጣም ብዙ የውሸት ማንቂያዎች ቡድኑን ስሜት ያሳጡ እና እውነተኛ ማንቂያውን እንዲያመልጡ ያደርጓቸዋል።
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - ቅድመ ማስጠንቀቂያ. የፍላጎት ትንበያ ሞዴል ትክክለኛ ትክክለኛነት የሚታየው በሳምንቱ መጨረሻ ላይ ብቻ ነው። ቡድኑ የግብአት ስርጭትን ይከታተል ነበር እና ማክሰኞ ላይ አዲስ የምርት ምድብ በድንገት መጨመሩን አይቷል - ሞዴሉ አይቶት የማያውቀው። ለትክክለኛነት ጠብታ ሳይጠብቁ ሞዴሉን አዘምነዋል. የግብአት ክትትል የተቀመጡ ቀናት።
ጉዳይ 2 - ያልተረጋገጠ ዳኛ. አንድ ቡድን LLM-ገምጋሚ ላይ በመመስረት "ጥራታችን በጣም ጥሩ ነው" ሲል ዘግቧል። የደንበኛ ቅሬታዎች ሲጨመሩ የሰው ክትትል ተጀመረ፡ ዳኛው በራስ የመተማመን ነገር ግን የተሳሳቱ መልሶች "ጥሩ" ብለው ተቆጥረዋል። አንድ ጊዜ ዳኛው በሰው መለያዎች ከተስተካከለ በኋላ ትክክለኛው ጥራት ተገለጠ እና በጣም ያነሰ ነበር። ትምህርት፡ ዳኛውን ሳታረጋግጡ አትመኑ።
ጉዳይ 3 - የመመለሻ ሙከራ. አፋጣኝ ለውጥ አንዱን ጉዳይ በጸጥታ ሌላውን ሲሰብር ፈታ። ነገር ግን ቡድኑ ኢቫል ባልዲ ውስጥ ያለፈውን ሳንካዎች ጠብቋል; አዲሱ ለውጥ በዚህ ክላስተር ላይ ሲሞከር የተሰበረው መያዣ ወዲያው ተይዞ ለውጡ ተስተካክሏል። ትምህርት፡ እያንዳንዱ ቋሚ ሳንካ ቋሚ የሙከራ መያዣ መሆን አለበት።
ሊገለበጡ የሚችሉ አብነቶች
ለዚህ የምርት ሞዴል የመከታተያ እቅድ ያዘጋጁ. ሶስት ንብርብሮችን ይሸፍኑ: 1) ኦፕሬሽን (የማዘግየት, የስህተት መጠን, ድምጽ) 2) ግቤት / ውሂብ (የስርጭት ፈረቃ, የጎደለ እሴት, አዲስ ምድብ) 3) ሞዴል / ውፅዓት (የግምት ስርጭት, እምነት, ትክክለኛነት ከተቻለ) ሞዴል: [መግለጫ]. ትክክለኛው ውጤት እስኪመጣ ድረስ ምን ያህል ጊዜ ይፈጅበታል፡ [ቆይታ] ለእያንዳንዱ ልኬት ገደብ እና የጣልቃገብነት ምክሮችን ጨምር።
ለዚህ የኤልኤልኤም ሲስተም የግምገማ (ኢቫል) ስትራቴጂ ያቅርቡ ተግባር፡ [መግለጫ] ንብርብሮችን ይወስኑ፡ - በእያንዳንዱ ውፅዓት ላይ በየትኛው ደንብ ላይ የተመሰረቱ ቼኮች መካሄድ አለባቸው? - የኤልኤልኤም-አርቢትር ምን አይነት መመዘኛዎችን መገምገም እንዳለበት እና እንዴት መረጋገጥ አለባቸው (የሰው መልህቅ)? - በየትኛው ናሙና ውስጥ የሰዎች ግምገማ መከናወን አለበት? በዝግመተ ለውጥ ውስጥ ማስቀመጥ ያለብኝን ዝርዝር እና የደህንነት ጉዳዮችን ዘርዝሩ።
ይህንን የኤልኤልኤም-ዳኛ ጥያቄ ይመልከቱ፡- የግምገማ መስፈርቱ ግልጽ ነው ወይስ ተጨባጭ?- ለረዘም/ለመተማመን የተጋለጠ ነው? - ዳኛውን በሰው መለያ እንዴት ማስተካከል እችላለሁ?
ለዚህ የክትትል ማንቂያ የምላሽ Runbook ይጻፉ። ማንቂያ፡ [ለምሳሌ፡. የግቤት ተንሳፋፊ ገደብ አልፏል] መያዝ ያለበት፡ የመጀመሪያ ቁጥጥር ደረጃዎች፣ ሊሆኑ የሚችሉ ምክንያቶች፣ የመመለሻ መስፈርቶች፣ ማንን ማሳወቅ እንዳለበት።
የመበላሸት መንስኤ ሰንጠረዥ
ማዛባት
ምልክት
ቀደም ብሎ የማወቅ መንገድ
የውሂብ ተንሸራታች
የግቤት ስርጭት ለውጦች
የግቤት ስርጭት ክትትል
ጽንሰ-ሐሳብ ለውጥ
ጽድቅ በጸጥታ ይወድቃል
ትንበያ + ትክክለኛ ንጽጽር
ወደላይ የሚሄድ ስህተት
መስኮች ባዶ/የቅርጸት ለውጦች ይሆናሉ
የመርሃግብር ማረጋገጫ + የጎደለ መጠን
የሞዴል አለመመጣጠን
የውጤት ስርጭት ፈረቃ
የውጤት ስርጭት ክትትል
የተለመዱ ስህተቶች
- ክትትል አለመመስረት። ሞዴሉ በፀጥታ ይሰበራል, ማንም አያየውም.
- የአሠራር መለኪያዎችን ብቻ ይከታተሉ። ስርዓቱ አልቋል, ነገር ግን ትንበያዎች ስህተት ሊሆኑ ይችላሉ.
- ዳኛውን ሳያረጋግጡ LLM ን መጠቀም። የውሸት መተማመንን ይሰጣል።
- ኢቫል ከቀላል ምሳሌዎች ጋር። እውነተኛ ችግርን አያመለክትም።
- በ eval ውስጥ ያለፉ ስህተቶችን ሳያካትት። ተመሳሳይ ስህተት እንደገና ይመለሳል.
- ጮክ ያሉ ማንቂያዎች። ቡድኑ ስሜታዊነት ይጎድላል፣ እውነተኛ ማንቂያውን ያጣል።
በማጠቃለያው
አምሳያው በምርት ውስጥ ስህተቶችን ሳያስከትል ትክክለኛ ሊሆን ይችላል; ስለዚህ ኢቫል እና ክትትል ልክ እንደ ልማት አስፈላጊ ናቸው. በሶስት እርከኖች (ኦፕሬሽን, ግብዓት, ውፅዓት) ክትትልን ማቋቋም; ትክክለኛው ውጤት ከዘገየ የግቤት ድሪፍትን እንደ ቅድመ ማስጠንቀቂያ ይጠቀሙ። በኤል.ኤል.ኤም. ሲስተሞች፣ ኢቫል ክፍት ነው፣ የደንብ ፍተሻዎችን፣ ኤልኤልኤም-ዳኛን እና የሰው ግምገማን አንድ ላይ ተጠቀም - ነገር ግን የኤልኤልኤም-ዳኛን በሰው መልህቅ ማረጋገጥህን እርግጠኛ ሁን። የኢቫል ክላስተርዎን በጠርዝ እና በደህንነት ጉዳዮች ያበለጽጉ እና እያንዳንዱን ስህተት ወደ ቋሚ የሙከራ መያዣ ይለውጡት።
የመተግበሪያ ተግባር
ለምርት (ወይም በቅርብ-ምርት) ሞዴል ባለ ሶስት-ንብርብር የክትትል እቅድ ይፃፉ እና ቢያንስ ለአንድ የግቤት-ስርጭት ሜትሪክ ደፍ + ማንቂያ ይግለጹ። የኤል ኤም ኤል ሲስተም ካለህ፡ 30 ውጤቶችን ከሰዎች ጋር መለያ አድርግ፣ LLM-referee በተመሳሳዩ ውጤቶች ላይ አሂድ እና የሰው-ዳኛ ስምምነትን ለካ፤ የዳኛውን ስልታዊ አድልዎ አስተውል። ወደ የኢቫል ክላስተርዎ ቢያንስ 3 ጠርዞችን እና 2 የደህንነት ጉዳዮችን ያክሉ።
የማረጋገጫ ዝርዝር
- [] ክትትል ሁሉንም ሶስት እርከኖች (ኦፕሬሽን፣ ግብዓት፣ ውፅዓት) ይሸፍናል።
- [ ] ትክክለኛው ውጤት ከዘገየ የግቤት ተንሸራትን እንደ ቅድመ ማስጠንቀቂያ እጠቀማለሁ።
- [ ] LLM-arbitratorን በሰዎች መለያዎች አስተካክዬዋለሁ።
- [ ] የኤቫል ክላስተር የጠርዝ እና የደህንነት ጉዳዮችን ይዟል።
- [ ] ያየሁትን ስህተት ወደ ቋሚ የፍተሻ መያዣ ቀየርኩ።
- [ ] እያንዳንዱ አስፈላጊ ልኬት ገደብ እና ምላሽ እቅድ አለው።