የሞዴል ስልጠና እና ግምገማ፡ ትክክለኛ መለኪያዎች፣ ታማኝ ቤንችማርኪንግ

ትርፍ፡

• ለችግሩ አይነት እና ለንግድ አውድ ተስማሚ የሆነውን መለኪያ የመምረጥ ችሎታ (PR-AUC/ትዝታ ባልተመጣጠነ መረጃ፣ MAE/RMSE in regression) እና ከመማር በላይ/በመማር ላይ
• እያንዳንዱን መለኪያ ከመነሻ መስመር አንጻር የመተርጎም እና ልዩነትን ለመለካት እና ጫጫታውን ከእድገት የመለየት ችሎታ ከማረጋገጫ ጋር
• hyperparametersን ከማረጋገጫ ስብስብ ጋር በማስተካከል እና የፈተናውን ስብስብ በመጨረሻው ላይ ብቻ በመጠቀም ጥሩ ያልሆኑ ውጤቶችን ሪፖርት የማድረግ ችሎታ።

የሞዴል ስልጠና (ስልጠና፡ ከውሂብ ንድፎችን የመማር ሂደት) በጣም የሚታየው ነገር ግን በጣም አሳሳች የML ምህንድስና ደረጃ ነው። እንደ "ትክክለኛ 95%" ያሉ አጥጋቢ ቁጥር ስለሚያመጣ ይታያል. አሳሳች ምክንያቱም ይህ ቁጥር ብዙውን ጊዜ ለተሳሳተ ጥያቄ ትክክለኛ መልስ ነው. በዚህ ክፍል ውስጥ ትምህርት እና ግምገማ ከምህንድስና ዲሲፕሊን ጋር ተወያይተዋል; ለሙከራ ዲዛይን እንደ አጋር ሰው ሰራሽ ዕውቀትን እንጠቀማለን እና ውሳኔውን በመለኪያ ላይ እናስቀምጣለን።

የስልጠና ዑደት አመክንዮ

አንድ ሞዴል የኪሳራ ተግባርን በመቀነስ በመረጃው ውስጥ ያለውን ስርዓተ-ጥለት ይማራል፡ ይህ ተግባር የሞዴሉን ስህተት በቁጥር የሚለካ ነው። የማመቻቸት ስልተ ቀመር (ለምሳሌ የግራዲየንት መውረድ) መለኪያዎችን ደረጃ በደረጃ በማስተካከል ኪሳራውን ይቀንሳል። ዓላማው የሥልጠና መረጃን ለማስታወስ ሳይሆን ከዚህ ቀደም ታይቶ በማይታወቅ ሁኔታ ጠቅለል አድርጎ ማቅረብ ነው።

ሁለት ዋና ዋና አደጋዎች:

• ከመጠን በላይ መገጣጠም: ሞዴሉ የስልጠና መረጃን ያስታውሳል እና በአዲስ መረጃ ላይ አይሳካም. የስልጠና ስኬት ከፍተኛ ነው, የማረጋገጫ ስኬት ዝቅተኛ ነው.
• መገጣጠም: ሞዴሉ ንድፉን መያዝ አይችልም; ሁለቱም የስልጠና እና የማረጋገጫ ስኬት ዝቅተኛ ናቸው.

ሚዛኑን መፈለግ የትምህርት ጥበብ ነው። የማረጋገጫው ስብስብ ይህንን ሚዛን ለመከታተል አለ፡ የስልጠና ስኬት ሲጨምር የማረጋገጫ ስኬት መቀነስ ከጀመረ፣ ከመጠን በላይ መማር ተጀምሯል።

ጠቃሚ ምክር: በእያንዳንዱ ደረጃ ላይ የስልጠና እና የማረጋገጫ ኪሳራውን አንድ ላይ ያቅዱ. ሁለቱ ኩርባዎች መለያየት የጀመሩበት ነጥብ ከመጠን በላይ መማር የሚጀምርበት እና "ቀደም ብሎ ለመቆም" ትክክለኛው ጊዜ ነው።

የሜትሪክ ምርጫ: በጣም ወሳኝ ውሳኔ

የተሳሳተ መለኪያ ጥሩ ሞዴል መጥፎ እና መጥፎ ሞዴል ጥሩ ይመስላል. ችግሩ መለኪያውን ይወስናል፡-

• ሚዛናዊ ያልሆነ ምደባ (አንድ ክፍል በጣም አልፎ አልፎ ነው፣ ለምሳሌ ማጭበርበር)፡ ትክክለኛነት አሳሳች ነው። "ሁሉንም ነገር ወደ መደበኛው ይደውሉ" የሚል ሞዴል 99% ትክክለኛነትን ያገኛል ነገር ግን አንድም ማጭበርበር አይይዝም። ይልቁንስ ትክክለኛነት (የተያዝኩት ምን ያህሉ በእውነቱ አዎንታዊ ነው) ፣ አስታውስ (ምን ያህል ያየሁት እውነት አዎንታዊ ነው) እና የእነሱ ሚዛን F1 ወይም PR-AUC ጥቅም ላይ ይውላሉ።
• ሚዛናዊ ምደባ፡ ትክክለኛነት እና ROC-AUC ተገቢ ሊሆን ይችላል።
• መመለሻ (የቁጥር ግምት)፡ MAE (ፍፁም ስህተት ማለት ነው)፣ RMSE (ትላልቅ ስህተቶችን ያስቀጣል)፣ MAPE (የመቶ ስህተት)።
• ደረጃ/ምክር፡ NDCG፣ MRR፣ Recall@K።

ትክክለኝነት ወይም ማስታወስ አስፈላጊ እንደሆነ በንግድ ሁኔታ ላይ የተመሰረተ ነው. አስታውስ (ምንም ታካሚ አይጠፋም) በካንሰር ምርመራ ውስጥ ቅድሚያ የሚሰጠው ጉዳይ ነው; በአይፈለጌ መልእክት ማጣሪያ ውስጥ ትክክለኛነት (አስፈላጊ ኢሜሎችን ወደ አይፈለጌ መልእክት አለመላክ) አስፈላጊ ነው። ይህ የቢዝነስ ውሳኔ እንጂ ቴክኒካል አይደለም፣ እና በኢንጂነሩ እና በባለቤቱ አንድ ላይ የተደረገ ነው።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡ "የእኔን ሞዴል አፈጻጸም፣ ትክክለኛነት 0.97 ገምግሚ።"

ኃይለኛ ጥያቄ፡- "የማጭበርበር ማወቂያ ሞዴል አለኝ፤ የክፍል አወንታዊ መጠን 1.5% ነው። ትክክለኝነት 0.97 ነው ሪፖርት የተደረገው። ይህ ልኬት ለምን አሳሳች ሊሆን እንደሚችል ግለጽ፣ የትኞቹን መለኪያዎች (ትክክለኝነት፣ አስታውስ፣ PR-AUC) እመርጣለሁ እና ለምን እንደሆነ ንገሩኝ። እንዲሁም 'ሁሉንም ነገር አሉታዊ ጥሪ' መደወል' የመነሻ ሞዴል እውነተኛውን መረጃ ማየት እንደምችል አስላ።"

ልዩነት: ኃይለኛ ፈጣን የክፍል ሬሾ እና የንግድ አውድ ይሰጣል; እንዲሁም የመነሻ መስመር ሞዴል ንጽጽርን ይጠይቃል - ይህ መለኪያ ትርጉም ያለው ስለመሆኑ በጣም አስፈላጊው መልህቅ ነው።

መነሻ፡ መለኪያ ያለ ንጽጽር ትርጉም የለሽ ነው።

መለኪያ በራሱ ጥሩ ወይም መጥፎ አይደለም; በመሠረታዊ ሞዴል መሰረት ጥሩ ወይም መጥፎ ነው. መሠረታዊው ሞዴል ወደ አእምሯችን የሚመጣው ቀላሉ መፍትሔ ነው "ሁልጊዜ ለአብዛኞቹ ክፍል ይንገሩ", "ያለፈውን ሳምንት ዋጋ ይድገሙት", "መካከለኛውን ይገምግሙ". ሞዴልዎ ይህንን ቀላል መፍትሄ በግልፅ ማለፍ ካልቻለ, ሁሉም ውስብስብነት ከንቱ ነው.

ጥንቃቄ: "የእኔ ሞዴል 85% ትክክል ነው" የሚለው አረፍተ ነገር በራሱ ምንም አይናገርም. የመሠረት ሞዴል ቀድሞውኑ 84% ካገኘ, የእርስዎ ሞዴል ዋጋ ቢስ ነው; የመሠረት ሞዴል 50% ካገኘ, የእርስዎ ሞዴል ፍጹም ነው. ሁልጊዜ ከመሠረታዊ ሞዴል አንጻር ይናገሩ.

ተሻጋሪ ማረጋገጫ እና እምነት

ነጠላ የስልጠና/የፈተና ክፍፍል በአጋጣሚ ምክንያት ሊሆን ይችላል። ተሻጋሪ ማረጋገጫ፡- መረጃውን ወደ k ክፍሎች መከፋፈል እና እያንዳንዱን ክፍል በቅደም ተከተል መሞከር አፈፃፀሙ ምን ያህል የተረጋጋ እንደሆነ ያሳያል። በ 5 እጥፍ የመስቀል ማረጋገጫ አምስት የተለያዩ ነጥቦችን ያገኛሉ; የእነሱ አማካይ እና መደበኛ መዛባት አስፈላጊ ነው. አማካዩ 80% ከሆነ ግን ልዩነቱ ± 12% ከሆነ፣ የእርስዎ ሞዴል ያልተረጋጋ ነው - በሚቀጥለው የውሂብ ስብስብ ውስጥ በጣም የተለየ ባህሪ ሊኖረው ይችላል።

ይህ ደግሞ ለ "ሁለት ሞዴል ንጽጽር" ወሳኝ ነው. ሞዴል ሀ 81% እና ሞዴል B 82% ካገኘ በእርግጥ ቢ የተሻለ ነው? ልዩነት ± 3% ከሆነ, ይህ ልዩነት ጫጫታ ሊሆን ይችላል. ከመወሰንዎ በፊት ልዩነቱ ጠቃሚ መሆኑን አስቡበት.

የሃይፐርፓራሜትር ማስተካከያ፡ ከማረጋገጫ ጋር እንጂ በመሞከር አይደለም።

ሃይፐርፓራሜትሮች (ከስልጠና በፊት በእጅ የሚወሰኑ ቅንብሮች-የመማሪያ መጠን, የዛፍ ጥልቀት, ወዘተ) ከማረጋገጫ ስብስብ ጋር ተቀምጠዋል. የፈተናው ስብስብ መጨረሻ ላይ አንድ ጊዜ ብቻ ጥቅም ላይ ይውላል. የፈተናውን ስብስብ በመመልከት ሃይፐርፓራሜትሮችን ከመረጡ፣የፈተናው ስብስብ ይበከላል እና እርስዎ ሪፖርት ያደረጉት አፈጻጸም ብሩህ ተስፋ ይኖረዋል፣ይህም እንደ እውነቱ ከሆነ አይደለም።

አርቴፊሻል ኢንተለጀንስ የሃይፐርፓራሜትር መፈለጊያ ቦታን ለመንደፍ እና የፍለጋ ኮዱን ለመጻፍ ጥሩ ረዳት ነው (ፍርግርግ ፍለጋ, የዘፈቀደ ፍለጋ, የቤኤሺያን ማመቻቸት). ግን አሁንም "የትኛውን መለኪያ እናመቻችዋለን?"

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - ትክክለኛ ወጥመድ. አንድ የሕክምና ቡድን ያልተለመደ በሽታን ባወቀ ሞዴል ኩሩ ነበር፡ 98% ትክክለኛነት። የመሠረታዊ ሞዴል ንጽጽር ሲደረግ, እውነቱ ብቅ አለ: የበሽታው መጠን 2% ስለነበረ, "ሁሉም ጤናማ ይሁኑ" የሚለው ሞዴል 98% ተቀብሏል. የአምሳያው ማስታወሻ 11% ብቻ ነበር - አብዛኛዎቹ በሽተኞች ጠፍተዋል። አንዴ መለኪያው ወደ PR-AUC ከተቀየረ፣ ትክክለኛው አፈፃፀሙ ተለካ እና ሞዴሉ በአዲስ መልክ ተዘጋጅቷል።

ጉዳይ 2 - ለዕድገት የተሳሳተ ድምጽ. አንድ ቡድን ሞዴሉን ከ86.2% ወደ 86.9% በማሻሻል ወራት አሳልፏል። ተሻጋሪ ማረጋገጫው አድልዎ ± 1.4% መሆኑን አሳይቷል - ስለዚህ የ 0.7 ነጥብ "ማሻሻያ" የስታቲስቲክስ ድምጽ ነበር. ቡድኑ ያልተጨበጠ ገቢ ለማግኘት ሶስት ሳምንታት አባክኗል። ትምህርት፡ ማሻሻያው ከጥመት በላይ መሆኑን ሳታረጋግጥ ድል እንዳታወጅ።

ጉዳይ 3 - የፈተናውን ስብስብ መበከል. አንድ መሐንዲስ ምርጡን ሃይፐርፓራሜትሮች ለመምረጥ የሙከራውን ስብስብ ደጋግሞ ተመልክቷል። የዘገበው 91 በመቶ ምርት ወደ 83 በመቶ ወርዷል። ለምን፡ ሳያውቅ የፈተናውን ስብስብ ደጋግሞ በማየት (በሙከራው ስብስብ ላይ በመማር) በዚሁ መሰረት መርጦ ነበር። የተለየ የማረጋገጫ ስብስብ ጥቅም ላይ ሲውል ሪፖርት የተደረገ እና ትክክለኛ አፈጻጸም ተደራራቢ።

ሊገለበጡ የሚችሉ አብነቶች

ለዚህ የምደባ ችግር ትክክለኛውን መለኪያ እንድመርጥ እርዳኝ። ችግር፡ [ምን ተነበየ] ክፍል ስርጭት፡ [አዎንታዊ መጠን

የሚከተሉትን ሁለት ሞዴሎች ንጽጽርን ይገምግሙ። ሞዴል ሀ ማቋረጫ፡ [የነጥብ ዝርዝር] ሞዴል B መስቀለኛ ማረጋገጫ፡ [የነጥብ ዝርዝር] አማካኝ እና መደበኛ ልዩነትን አስሉ። ልዩነቱ በስታቲስቲክስ ጎላ ያለ ነው ወይንስ በለውጡ ውስጥ ጫጫታ ብቻ ነው? የትኛውን እንድመርጥ ትመክራለህ እና ለምን?

ይህንን የሥልጠና ኮድ ለሚከተለው ያረጋግጡ፡1) የሃይፐርፓራሜትሮች በሙከራ ስብስብ ወይም የማረጋገጫ ስብስብ ተመርጠዋል?2) ቀደም ብሎ ማቆም በትክክለኛው ስብስብ ቁጥጥር ይደረግበታል?3) ከመጠን በላይ የመማር (የሥልጠና/የማረጋገጫ ኪሳራ ልዩነት) ምልክቶች አሉ? ኮድ፡ [ኮድ]

ከMAE፣ RMSE እና MAPE የቱ ነው ለዚህ የመልሶ ማገገሚያ ችግር ሪፖርት ማድረግ ያለብኝ? የታለመው ተለዋዋጭ ልኬት፡ [ክልል] ትላልቅ ስህተቶች ተመጣጣኝ ያልሆነ (RMSE) ናቸው ወይስ ሁሉም እኩል ናቸው (MAE)? ወደ ዜሮ የሚጠጉ እሴቶች አሉ (MAPEን ያዛባሉ)?በአጭር ማረጋገጫ ጠቁም።

የሜትሪክ ምርጫ ሰንጠረዥ

የችግር አይነት

ተስማሚ መለኪያ

ለማስወገድ

ለምን?

ሚዛናዊ ያልሆነ ምደባ

PR-AUC፣ F1፣ አስታውስ

ትክክለኛነት

የብዙዎች ክፍል መለኪያውን ከፍ ያደርገዋል

ሚዛናዊ ምደባ

ትክክለኛነት፣ ROC-AUC

-

በተመጣጣኝ መረጃ ውስጥ አስተማማኝ

መመለሻ (ጉልህ ውጫዊ)

አርኤምኤስኢ

MAPE (ዜሮ ከሆነ)

ዋና ስህተቶችን ይቀጣል

መልሶ መመለስ (እኩል ክብደት)

MAE

-

ለመተርጎም ቀላል

ደረጃ መስጠት/ምክር

NDCG፣ አስታውስ@K

ትክክለኛነት

ማዘዝ አስፈላጊ ነው።

የተለመዱ ስህተቶች

• ሚዛናዊ ባልሆነ ውሂብ ላይ ትክክለኛነትን መጠቀም. በጣም የተለመደው የሜትሪክ ስህተት.
• የመሠረት ሞዴል ንጽጽሮችን አለማድረግ። መለኪያው ትርጉሙን እንዲያጣ ያደርገዋል.
• ለ hyperparameters የሙከራ ስብስብን በመመልከት ላይ። ብሩህ ተስፋ ፣ ከእውነታው የራቀ ውጤት።
• በአንድ ክፍል ላይ መታመን. ያለ ማቋረጫ ማረጋገጫ አድልዎ አይመለከቱም።
• ለእድገት የተሳሳተ ድምጽ። ትንንሽ "ማሻሻያዎች" ከማፈንገጡ በአብዛኛው ዕድል ናቸው።
• የንግድ ሁኔታን ችላ ማለት። ትክክለኛው/የማስታወስ ቀሪ ሂሳብ የንግድ ውሳኔ ነው።

በማጠቃለያው

በሞዴል ማሰልጠኛ ውስጥ ያለው ትክክለኛ ችሎታ ከፍተኛ ቁጥር ለማምረት አይደለም, ነገር ግን ይህ ቁጥር ምን ማለት እንደሆነ ማወቅ ነው. የችግሩ እና የቢዝነስ አውድ ትክክለኛውን መለኪያ ይወስናሉ; እያንዳንዱን መለኪያ በመሠረታዊ ሞዴል መሠረት መተርጎም; አድሎአዊነትን ከማረጋገጫ ጋር መለካት እና ለእድገት ጫጫታ እንዳትሳሳት። የፈተናውን ስብስብ በመጨረሻ አንድ ጊዜ ብቻ ይጠቀሙ። AI በሙከራ ንድፍ ውስጥ የእርስዎ አጋር ነው፣ ነገር ግን "በቂ" የሚለው ውሳኔ የእርስዎ እና የእርስዎ ነው።

የመተግበሪያ ተግባር

ለምድብ ሞዴል፡- (1) የክፍል ስርጭቱን ይፃፉ፣ (2) ተገቢውን የመሠረት ሞዴል ይገንቡ እና ውጤቱን ይለኩ፣ (3) ሞዴልዎን በ 5 እጥፍ መስቀል ማረጋገጫ ገምግመው አማካኙን እና መደበኛውን መዛባት ሪፖርት ያድርጉ፣ (4) ለችግሩ ተስማሚ የሆነውን መለኪያ (ለምሳሌ PR-AUC) ከትክክለኛነት ይልቅ ያሰሉ። የእርስዎ ሞዴል ያለምንም አድልዎ የመነሻውን ሞዴል በትልቁ ህዳግ ያሸነፈ እንደሆነ ይጻፉ።

የማረጋገጫ ዝርዝር

• [ ] መለኪያውን የመረጥኩት በችግሩ አይነት እና በቢዝነስ አውድ ላይ በመመስረት ነው።
• [] የመሠረት ሞዴል ሠራሁ እና ከእሱ ጋር አነጻጽሬያለሁ።
• [ ] አማካኙን እና ልዩነትን በመስቀል-ማረጋገጫ ሪፖርት አድርጌያለሁ።
• [ ] ማሻሻያው ከመዛባቱ የበለጠ መሆኑን አረጋግጫለሁ።
• [] hyperparametersን ከማረጋገጫ ስብስብ ጋር መርጫለሁ።
• [] የፈተናውን ስብስብ አንድ ጊዜ ብቻ ነው የተጠቀምኩት፣ መጨረሻ ላይ።