እንደገና መራባት እና ከመጨረሻ እስከ መጨረሻው ፕሮጀክት፡ ሁሉንም ነገር በማጣመር

ትርፍ፡

• በአራት ምሰሶዎች (የዘር ማስተካከያ, የውሂብ ስሪት, የሚዲያ ቅዝቃዜ, የሙከራ ክትትል) እንደገና መባዛትን የማረጋገጥ ችሎታ እና ተመሳሳይ ሩጫ ሲደግሙ ተመሳሳይ ውጤት ያስገኛል.
• ሁሉንም የሞጁሉን ማቆሚያዎች (ሜትሪክስ ፣ ዳታ ፣ ሞዴል ፣ LLM ክፍሎች ፣ ኢቫል ፣ ፍትሃዊነት ፣ ደህንነት ፣ ስርጭት ፣ ክትትል) ከጫፍ እስከ ጫፍ ሰንሰለት ውስጥ የማጣመር ችሎታ
• በእያንዳንዱ ፌርማታ ላይ ወሳኙ ውሳኔ ከሰው ጋር መቆየቱን የማረጋገጥ ችሎታ እና ፕሮጀክቱን ኦዲት በሚደረግበት መንገድ መመዝገብ

የኤምኤል ፕሮጀክት በጣም ተንኮለኛ ውድቀት ውድቀት አይደለም; "እንደገና ተመሳሳይ ውጤት አላገኘሁም." ከሶስት ወራት በፊት ወደ ምርት ያስገቡትን ሞዴል ዛሬ ውጤቱን እንደገና ማባዛት ካልቻሉ ያንን ሞዴል በትክክል መቆጣጠር አይችሉም። በዚህ የመዝጊያ ክፍል ውስጥ፣ እንደገና መባዛትን እናሰፋለን፡ በአስተማማኝ ሁኔታ ተመሳሳዩን ውጤት በተመሳሳዩ ግብዓቶች የማግኘት እና አጠቃላይ ሞጁሉን ከጫፍ እስከ ጫፍ ባለው የፕሮጀክት ዲሲፕሊን የማጣመር ችሎታ።

ለምን መራባት አስቸጋሪ ነው

በመደበኛ ሶፍትዌሮች ውስጥ, ተመሳሳይ ኮድ አንድ አይነት ውጤት ይሰጣል. በኤምኤል ውስጥ ውጤቱን የሚወስኑ ብዙ ተጨማሪ ተለዋዋጮች አሉ፡-

• የዘፈቀደነት፡ የውሂብ መወዛወዝ፣ ክብደት ማስጀመር፣ የውሂብ ክፍፍል - ሁሉም በዘፈቀደነት ላይ ይመሰረታል።
• መረጃ፡- ተመሳሳይ ኮድ ከተለያዩ የውሂብ ሥሪት ጋር የተለያዩ ሞዴሎችን ይፈጥራል።
• አካባቢ፡ የቤተ መፃህፍት ስሪቶች፣ ሃርድዌር (ሲፒዩ/ጂፒዩ)፣ ኦፕሬቲንግ ሲስተም እንኳን ሳይቀር ውጤቱን ሊለውጠው ይችላል።
• የተደበቀ መያዣ፡ ያልተቀመጠ ሃይፐርፓራሜትር፣ በእጅ የሚሰራ የቅድመ ዝግጅት ደረጃ፣ ያልታወቀ ምርጫ።

እንደገና መራባት “ማግኘት ጥሩ” ሳይሆን የሳይንስ እና የምህንድስና አስፈላጊ ነው። ሊባዛ የማይችል ውጤት ሊረጋገጥ የማይችል የይገባኛል ጥያቄ ነው.

የመራባት አራት ምሰሶዎች

1. የዘፈቀደነትን ያስተካክሉ. ሁሉንም የዘፈቀደ ዘሮችን በአንድ ቦታ ያቀናብሩ፡ የውሂብ ክፍፍል፣ የሞዴል አጀማመር፣ የውሂብ መለዋወጥ። የቋሚ ዘር "ተመሳሳይ ሩጫ ሲደግሙ" ዋስትና መሰረት ነው.

2. ውሂቡን ሥሪት። እያንዳንዱ ሙከራ በየትኛው የውሂብ ስሪት እንደተከናወነ ይመዝግቡ (የውሂብ ስሪት በክፍል 2)። "የቅርብ ጊዜ ውሂብ" ግልጽ ያልሆነ ነው; "የውሂብ ስሪት v3, hash abc123" ትክክለኛ ነው.

3. መካከለኛውን ያቀዘቅዙ. ሁሉንም ጥገኞች ከትክክለኛ ስሪታቸው ጋር ይሰኩት (ለምሳሌ ትክክለኛ ስሪቶች እንደ numpy==1.26.4 በ መስፈርቶች.txt ወይም የመያዣ ምስል)። "የቅርብ ጊዜ ስሪት" አንድ ቀን ሁሉንም ነገር ይሰብራል.

4. ሁሉንም ነገር ይከታተሉ (የሙከራ ክትትል). ለእያንዳንዱ ሙከራ በራስ-ሰር አስቀምጥ፡ ኮድ ስሪት (git ቁርጠኝነት)፣ የውሂብ ስሪት፣ ሁሉም ሃይፐርፓራሜትሮች፣ መለኪያዎች እና የውጤት አወቃቀሮች። እንደ MLflow፣ Weights እና Biases ያሉ የመከታተያ መሳሪያዎች ይህንን በስርዓት ያደርጉታል። ያለ ምዝገባ፣ "የትኛው መቼት የተሻለ ነበር" የሚለው ጥያቄ ምላሽ አላገኘም።

ጥንቃቄ፡- "በኋላ አስታውሳለሁ" በጣም ውድ የሆነ ስህተት ነው። ከሁለት ሳምንታት በኋላ የትኛውን ዘር፣ የትኛውን ውሂብ፣ የትኛውን hyperparameter እንደተጠቀሙ አታስታውሱም። ራስ-ሰር ክትትል በማህደረ ትውስታ ላይ ጥገኛነትን ያስወግዳል.

ደካማ አቀራረብ / ጠንካራ አቀራረብ

ደካማ: "ምርጥ ሞዴል አገኘሁ, በማስታወሻ ደብተር ላይ, ውጤቱ 89% ነበር ብዬ አስባለሁ."

ጠንካራ: "በሙከራ መከታተያ መሳሪያ ውስጥ # 147 አሂድ: git commit a3f9c, የውሂብ ስሪት v3 (hash abc123), ዘር 42, ሁሉም hyperparameters ተመዝግበዋል, PR-AUC 0.887 ን ሞክር. ተመሳሳዩን ትዕዛዝ እንደገና ስሄድ በጥቂቱ ተመሳሳይ ውጤት አገኛለሁ. ሞዴሉ በዚህ መዝገብ ላይ ባለው ሩጫ ላይ ይወሰናል."

ልዩነቱ: በጠንካራ አቀራረብ ውጤቱ በማስታወስ ላይ የተመሰረተ አይደለም, ነገር ግን በቋሚ እና በክትትል ሰንሰለት ላይ. እያንዳንዱ ሰው በእያንዳንዱ ጊዜ ተመሳሳይ ውጤት ማምጣት ይችላል.

ከጫፍ እስከ ጫፍ ፕሮጀክት፡ የሞጁል ጥምር

አሁን ሙሉውን ሞጁል ወደ አንድ የፕሮጀክት ፍሰት እናጣምረው. እውነተኛ ኤምኤል ሲስተም በእነዚህ ማቆሚያዎች ውስጥ ያልፋል፣ እና እያንዳንዱ ማቆሚያ በቀድሞው ላይ ይገነባል፡

1. የችግር ፍቺ፡ ምን እየፈታን ነው፣ ስኬትን እንዴት እንደምንለካ (ክፍል 3፡ ትክክለኛ መለኪያ፣ የንግድ አውድ)። መለኪያው እና ጣራው ከመጀመሪያው ግልጽ ነው።
2. የመረጃ ቧንቧ መስመር፡ መሰብሰብ፣ ማረጋገጥ፣ ማጽዳት፣ ከልቅነት ነጻ የሆነ ክፍፍል፣ ስሪት ማውጣት (ክፍል 2)።
3. የሞዴል ልማት፡ ስልጠና፣ የመነሻ መስመር ንፅፅር፣ መስቀል-ማረጋገጫ፣ ጠንካራ ዘር (ክፍል 3+ ይህ ክፍል)።
4. LLM ክፍሎች (የሚመለከተው ከሆነ): RAG (ክፍል 4) እና/ወይም ወኪሎች (ክፍል 5); አስፈላጊ ከሆነ ማስተካከል (ክፍል 6).
5. ግምገማ፡ የኢቫል ክላስተር ከዳር እና ከደህንነት ጉዳዮች ጋር፣ ባለብዙ ንብርብር ኢቫል በኤልኤልኤም ሲስተሞች (ክፍል 8)።
6. የፍትህ እና የስነምግባር ኦዲት፡ የንዑስ ቡድን ትንተና፣ የሞዴል ካርድ፣ የማብራራት ችሎታ (ክፍል 10)።
7. የደህንነት ኦዲት፡- ፈጣን መርፌ፣ ግላዊነት፣ የአቅርቦት ሰንሰለት (ክፍል 9)።
8. ስርጭት፡ ማሸግ፣ ቀስ በቀስ ማከፋፈል፣ መልሶ መመለስ፣ የሞዴል መዝገብ ቤት (ክፍል 7)።
9. ክትትል፡ ባለ ሶስት ሽፋን ክትትል፣ ተንሸራታች ማንቂያዎች (ክፍል 8)።
10. እንደገና መራባት፡ ዘር፣ የውሂብ ስሪት፣ ሚዲያ እና የሙከራ ክትትል በመላው ሰንሰለት (ይህ ክፍል)።

በዚህ ፍሰት ውስጥ, AI በእያንዳንዱ ማቆሚያ ላይ አፋጣኝ እና የብሉፕሪንት ጀነሬተር ነው; ነገር ግን የሜትሪክ ምርጫ፣ የውሂብ ውሳኔዎች፣ የፍትሃዊነት ቅድሚያ መስጠት፣ የመሰማራት ገደብ እና የመልቀቅ ፍቃድ - ወሳኝ ውሳኔዎች በሰው ልጆች ዘንድ ይቀራሉ። ይህ የሞጁሉ ይዘት ነው።

ዶክመንቴሽን፡ መጪው ጊዜ ያመሰግንሃል

ጥሩ የ ML ፕሮጀክት ሰነዶች ራሱ. ቢያንስ የሚከተለው መፃፍ አለበት፡ የችግር እና የስኬት መስፈርት፣ የመረጃ ምንጭ እና ስሪት፣ የሞዴል ምርጫዎች እና ማረጋገጫዎች፣ የግምገማ ውጤቶች (ንዑስ ቡድኖችን ጨምሮ)፣ የታወቁ ገደቦች እና ስጋቶች፣ የማሰማራት እና የማስመለስ ሂደት፣ የክትትል እቅድ። ይህ ሰነድ ከስድስት ወር በኋላ ወደ ፕሮጀክቱ የሚመለሰው ሰው (ምናልባት እርስዎ ሊሆኑ ይችላሉ) ምርጥ ጓደኛ ነው.

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የጠፋ ውጤት. አንድ መሐንዲስ ጥሩ ሞዴል አሰልጥኖ ነበር, ነገር ግን ዘሩን አላስተካክለውም እና የውሂብ ስሪቱን አላስቀመጠም. ሥራውን ለቅቆ ሲወጣ ማንም ሰው ያንን ውጤት ማባዛት አይችልም; ሞዴሉ "የጥቁር ሳጥን አፈ ታሪክ" ሆነ እና በመጨረሻም ከባዶ ተገንብቷል. ሳምንታት ባክነዋል። ትምህርት፡ የማይደገም ውጤት የማይገኝ ውጤት ነው።

ጉዳይ 2 - የአካባቢ ውድቀት. አንድ ቡድን ጥገኞችን አላስተካከለም። አንድ ቤተ-መጽሐፍት በራስ-ሰር ሲዘመን፣ የሞዴል ውጤቶች በጸጥታ ተለውጠዋል እና ምርት ተስተጓጉሏል። ችግሩን ለማግኘት ቀናት ፈጅቷል። ጥገኞቹ ከታሰሩ እና ከትክክለኛዎቹ ስሪቶች ጋር በኮንቴይነር ሲያዙ ችግሩ እንደገና አልተከሰተም። ትምህርት: አካባቢን ያቀዘቅዙ.

ጉዳይ 3 - የክትትል ኃይል. አንድ ቡድን እያንዳንዱን ሙከራ በራስ-ሰር ይቆጣጠራል። ከሶስት ወራት በኋላ የቁጥጥር ኦዲት በተደረገበት ወቅት "በምን መረጃ, በምን አይነት መቼቶች, በየትኞቹ ቡድኖች ውስጥ ምን አፈፃፀም አገኘ?" የሚለውን ጥያቄ መለሱ. በደቂቃዎች ውስጥ ከሙሉ ቀረጻ ጋር። ፍተሻው ያለችግር ሄደ። ትምህርት፡ ክትትል የምህንድስና ብቻ ሳይሆን የመታዘዣ መሳሪያ ነው።

ሊገለበጡ የሚችሉ አብነቶች

ለዚህ ኤምኤል ፕሮጄክት እንደገና መባዛትን ያረጋግጡ። - ሁሉም የዘፈቀደ ዘሮች ተስተካክለዋል (ተከፋፈሉ ፣ ጅምር ፣ ውዝዋዜ)? - ውሂብ ተዘጋጅተዋል? - ጥገኞች ወደ ትክክለኛ ስሪቶች የታሰሩ ናቸው? - እያንዳንዱ ሙከራ (የኮድ ቁርጠኝነት ፣ ዳታ ፣ ሃይፐርፓራሜትር ፣ ሜትሪክ) ክትትል ይደረግበታል? ለእያንዳንዱ የጎደለ አምድ እንዴት ማስተካከል እንደሚቻል ላይ ተጨባጭ ደረጃዎችን ጻፍ።የፕሮጀክት መዋቅር፡ [መግለጫ]

ለዚህ ከጫፍ እስከ ጫፍ ML ፕሮጀክት የዕቅድ አጽም ያዘጋጁ። ችግር፡ [መግለጫ] የሚከተሉትን ፌርማታዎች ይሸፍኑ እና በእያንዳንዱ ፌርማታ ላይ የሰው ውሳኔ የት እንዳለ ምልክት ያድርጉ፡ ችግር/ሜትሪክ፣ ቧንቧ መስመር፣ ሞዴል፣ (RAG/ኤጀንት/ቅንጣ-tune?)፣ ኢቫል፣ ፍትሃዊነት፣ ደህንነት፣ ስርጭት፣ ክትትል፣ መራባት። ለእያንዳንዱ ማቆሚያ ዋናውን አደጋ እና የማረጋገጫ ደረጃ ይጻፉ.

ለዚህ ፕሮጀክት የቴክኒካዊ ሰነድ አብነት ያዘጋጁ። ክፍሎች፡ ችግር+የስኬት መስፈርት፣ ውሂብ (ምንጭ+ስሪት)፣ የሞዴል ምርጫዎች+ማጽደቂያ፣ ግምገማ (ንዑስ ቡድኖችን ጨምሮ)፣ የታወቁ ገደቦች+አደጋዎች፣ ማሰማራት+መመለስ፣ የክትትል እቅድ። ለእያንዳንዱ ክፍል የሚሞሉትን መስኮች እንደ ጥያቄ ይስጡ።

የእኔን የሙከራ ክትትል አወቃቀሩን ያረጋግጡ፡ በእያንዳንዱ ሩጫ ላይ በራስ-ሰር የተቀመጠ ነው፡ git commitment፣ data version/hash፣ all hyperparameters፣ all metrics፣ environment (የላይብረሪ ስሪቶች)? ተመሳሳዩን ሩጫ እንደገና ስሮጥ ተመሳሳይ ውጤት አገኛለሁ? ማዋቀር፡ [መግለጫ]። ጉድለቶቹን እና እርማቶችን ይዘርዝሩ.

የመድገም አምዶች ሰንጠረዥ

አምድ

ምን ተስተካክሏል

የተሽከርካሪ ምሳሌ

የዘፈቀደነት

ሁሉም ዘሮች

የዘር ቅንብር

ውሂብ

የውሂብ ስሪት / hash

ዲቪሲ

አካባቢ

የቤተ መፃህፍት ስሪቶች

መስፈርቶች ፒን, Docker

ክትትል

ኮድ+ውሂብ+ማዘጋጀት+ሜትሪክ

MLflow፣ W&B

የተለመዱ ስህተቶች

• ዘሩን አለመስተካከል. ውጤቱ ሊደገም አይችልም.
• የውሂብ ስሪቱን አያስቀምጡም። "በምን ውሂብ?" መልስ አላገኘም።
• የማይቀዘቅዝ ሱሶች። ዝማኔ ሁሉንም ነገር በጸጥታ ይሰብራል።
• ሙከራዎችን ወደ ማህደረ ትውስታ መተው. ከሁለት ሳምንታት በኋላ ምንም ነገር አይታወስም.
• ወሳኝ ውሳኔዎችን ወደ አርቴፊሻል ኢንተለጀንስ መተው። መለኪያዎች፣ ፍትህ እና የስርጭት ውሳኔዎች ከሰዎች ጋር መቆየት አለባቸው።
• ሰነዶችን ለሌላ ጊዜ ማስተላለፍ. የወደፊቱ ቡድን (እና እርስዎ) ዋጋውን ይከፍላሉ.

በማጠቃለያው

እንደገና መባዛት የከባድ የኤምኤል ኢንጂነሪንግ ፊርማ ነው፡ የማይሰራው ውጤት ሊረጋገጥ የማይችል የይገባኛል ጥያቄ ነው። ከአራት አምዶች ጋር ነው የሚመጣው - የዘፈቀደነትን አስተካክል፣ የስሪት ውሂብ፣ አካባቢን አቁም፣ እያንዳንዱን ሙከራ ይከታተሉ። ከጫፍ እስከ ጫፍ ያለው ፕሮጀክት የዚህን ሞጁል ማቆሚያዎች (ሜትሪክ, ዳታ, ሞዴል, LLM ክፍሎች, ኢቫል, ፍትሃዊነት, ደህንነት, ስርጭት, ክትትል) እርስ በርስ በተገናኘ ሰንሰለት ውስጥ ያጣምራል; አርቴፊሻል ኢንተለጀንስ በየቦታው አፋጣኝ ነው፣ነገር ግን ወሳኝ ውሳኔዎች በሰው ላይ ይቀራሉ። ሁሉንም ነገር ይመዝግቡ - ለወደፊት ቡድን እና ኦዲቶች። ይህ ተግሣጽ በመላው ሞጁል ውስጥ የሚማሩትን ሁሉ የሚደግፍ ማዕቀፍ ነው።

የመተግበሪያ ተግባር

የኤምኤል ፕሮጄክትን ከአራት የመባዛት ምሰሶዎች ጋር ያረጋግጡ፡ ዘሮቹ የማይለወጡ ናቸው፣ መረጃው ተዘጋጅቷል፣ አካባቢው በረዶ ነው፣ ሙከራዎቹ ክትትል ይደረግባቸዋል? የጎደሉትን አምዶች ያስተካክሉ እና አንድ አይነት ሩጫ ሁለት ጊዜ መሮጥ እና ተመሳሳይ ውጤት ማግኘት እንደሚችሉ ያረጋግጡ። ከዚያም የፕሮጀክቱን ከጫፍ እስከ ጫፍ (10 ማቆሚያዎች) በአንድ ገጽ ላይ አውጥተው በእያንዳንዱ ማቆሚያ ላይ "የሰው ውሳኔ የት እንዳለ" ምልክት ያድርጉ. በመጨረሻም አጭር የቴክኒክ ሰነድ ረቂቅ ይጻፉ።

የማረጋገጫ ዝርዝር

• [] ሁሉም የዘፈቀደ ዘሮች ተስተካክለዋል።
• [ ] የውሂብ ስሪት/ሃሽ በእያንዳንዱ ሙከራ ይመዘገባል።
• [] ጥገኞች ወደ ጽኑ ስሪቶች (ፒን/ኮንቴይነር) ይቀዘቅዛሉ።
• [ ] እያንዳንዱ ሙከራ በራስ-ሰር ቁጥጥር ይደረግበታል (የኮድ+መረጃ+ሴቲንግ+ሜትሪክ)።
• [ ] ተመሳሳዩን ሩጫ ስደግመው ተመሳሳይ ውጤት አገኛለሁ።
• [ ] ከጫፍ እስከ ጫፍ ባለው ፍሰት ውስጥ ወሳኝ ውሳኔዎች የሚደረጉት በሰዎች መሆኑን አረጋግጫለሁ እና ሰነድ አድርጌያለሁ።

የሞዱል ፈተና

1. እንደ ኤም ኤል መሐንዲስ ፣ ሰው ሰራሽ የማሰብ ችሎታን በስራ ሂደት ውስጥ ሲያስቀምጡ ምርጡ አቀራረብ ምንድነው?

• ሀ) AI ዝቅተኛ ስጋት ባላቸው ንግዶች ውስጥ አፋጣኝ ነው; እንደ ሜትሪክስ፣ መረጃ እና ምርት ያሉ ወሳኝ ውሳኔዎች ተረጋግጠው ይቆያሉ እና ለሰው የተተዉ ✔
• ለ) የ AI ውጤቶቹ ጥሩ እስኪመስሉ ድረስ ማረጋገጥ አያስፈልግም
• ሐ) ሞዴሉን ወደ ምርት ለማስገባት ውሳኔውን ወደ አርቴፊሻል ኢንተለጀንስ መተው ጊዜን ይቆጥባል።
• መ) አርቲፊሻል ኢንተለጀንስ ጽሑፍን ለመጻፍ ብቻ ጠቃሚ ነው, ከመረጃ እና ሞዴል ሥራ ጋር ምንም ግንኙነት የለውም

መግለጫ: AI ለዝቅተኛ ስጋት, በቀላሉ የተረጋገጡ እንደ ኮድ, የውሂብ ዳይጅስትስ እና ሰነዶች የመሳሰሉ ተግባራትን ለማፋጠን ኃይለኛ ማፍያ ነው; ነገር ግን፣ ገንዘብን፣ ሚስጥራዊነትን እና ህጋዊ ተጠያቂነትን የሚነኩ ውሳኔዎች፣ ለምሳሌ ሜትሪክ መረጣ፣ መረጃው ወደ ስልጠናው ይገባል፣ እና ሞዴሉን ወደ ምርት የማስገባቱ ኃላፊነት ብቃት ባለው መሐንዲስ እና ቡድን ላይ ነው። እያንዳንዱ ውፅዓት ያለ ማረጋገጫ ጥቅም ላይ መዋል የለበትም።

2. ለምንድነው የሼማ ማረጋገጫ በመረጃ ቧንቧ መስመር መጀመሪያ ላይ የተቀመጠው?

• ሀ) የአምሳያው ትክክለኛነት በቀጥታ ስለሚጨምር
• ለ) የውሂብ ስሪትን አላስፈላጊ ስለሚያደርገው
• ሐ) የተበላሹ መረጃዎችን በመጀመርያው እና በርካሹ ነጥብ በመያዝ ወደ ቀጣዩ ደረጃዎች እንዳይገቡ ስለሚከላከል ✔
• መ) መለያ ምልክትን ስለሚያስወግድ ነው

ማብራሪያ፡- ቀደም ሲል የተበላሸ መረጃ ተይዟል፣ እሱን ለማስተካከል ርካሽ ነው። የመርሃግብር ማረጋገጫ በመስመሩ መጀመሪያ ላይ ከሚጠበቀው አይነት እና ክልል ውጭ ያለውን መረጃ ውድቅ በማድረግ ብልሹ መረጃዎችን በፀጥታ ወደ ስልጠና ወይም ምርት እንዳይገቡ ይከላከላል (ለምሳሌ የዋጋ ለውጥ 100x ከአሃድ ለውጥ ጋር)። በምርት ውስጥ የተያዘው ተመሳሳይ ስህተት ብዙ እጥፍ የበለጠ ውድ ነው.

3. ጊዜን (የጊዜ ተከታታይን) በሚያካትት ችግር ውስጥ መረጃን ወደ ስልጠና እና ሙከራ ሲከፋፍል ትክክለኛው አቀራረብ ምንድነው?

• ሀ) የዘፈቀደ ክፍፍልን መጠቀም ሁል ጊዜ በጣም ትክክለኛ ዘዴ ስለሆነ
• ለ) ጊዜያዊ መለያየትን በመጠቀም፡ ካለፈው ጋር በማሰልጠን እና ወደፊት በመሞከር ✔ መፍሰስን መከላከል
• ሐ) ሁሉንም መረጃዎች እንደ ስልጠና እና ሙከራ መጠቀም
• መ) ከስልጠና በፊት የፈተና መረጃዎችን ወደ መለካት መለኪያዎች ማካተት

ማብራርያ፡ በዘፈቀደ መከፋፈሉ ለሞዴሉ በምርት ውስጥ ፈጽሞ የማይሆን 'የወደፊት የማየት' ጥቅም ይሰጠዋል እና በሰው ሰራሽ ሜትሪክስ (ጊዜያዊ መፍሰስ) ይጨምራል። ትክክለኛው ጊዜያዊ ክፍፍል ነው፡ ካለፈው ጋር ማሰልጠን፡ ወደፊት ፈትኑ። ይህ በምርት ውስጥ እንዲቆይ የሚያደርገውን ትክክለኛ አፈፃፀም ይለካል.

4. 1.5% አወንታዊ የክፍል ደረጃ ባለው የማጭበርበር ማወቂያ ሞዴል ትክክለኛነት ለምን አሳሳች ነው?

• ሀ) ትክክለኝነት ሁልጊዜ ሚዛናዊ ባልሆነ መረጃ ዝቅተኛ ስለሆነ
• ለ) ምክንያቱም ትክክለኝነት በዳግም ችግሮች ላይ ብቻ ጥቅም ላይ ሊውል ይችላል
• ሐ) ትክክለኝነት ስሌት ብዙ የማቀናበር ኃይል ስለሚያስፈልገው
• መ) ብዙሃኑን ክፍል የሚተነብይ ትንሽ ሞዴል እንኳን በጣም ትክክለኛ ሊሆን ስለሚችል እውነተኛ ስኬትን ይደብቃል ✔

ማብራሪያ፡- ሚዛናዊ ባልሆነ መረጃ፣ ‘ሁሉንም ነገር አሉታዊ ጥራ’ የሚል መሰረታዊ ሞዴል እንኳን 98.5% ትክክለኛነትን ያገኛል ግን አንድም ማጭበርበር አይያዝም። ስለዚህ, ሚዛናዊ ባልሆነ ምደባ, ትክክለኛነት, ትውስታ, F1 ወይም PR-AUC ከትክክለኛነት ይልቅ ጥቅም ላይ ይውላሉ, እና እያንዳንዱ መለኪያ በመሠረታዊ ሞዴል መሰረት ይተረጎማል.

5. ስለ ሞዴል ​​መለኪያ ሲናገሩ የመነሻ መስመር ንጽጽር ለምን አስፈላጊ ነው?

• ሀ) የመሠረት ሞዴል ሁልጊዜ ከእውነተኛው ሞዴል የተሻለ ስለሆነ
• ለ) ምክንያቱም መለኪያው ትርጉም ያለው ነው ወይስ አይደለም ከቀላል መነሻ ሞዴል ✔ ጋር ሲወዳደር ብቻ
• ሐ) የመሠረት ሞዴል መስቀል-ማረጋገጫ አላስፈላጊ ስለሚያደርገው
• መ) በእያንዳንዱ ዘገባ ውስጥ መሰረታዊ ሞዴል በህጋዊ መንገድ ስለሚፈለግ

ማብራሪያ: መለኪያ በራሱ ጥሩ ወይም መጥፎ አይደለም; በመሠረታዊ ሞዴል መሰረት ጥሩ ወይም መጥፎ ነው. '85% ትክክል' የሚለው ዓረፍተ ነገር ማለት ቤዝ ሞዴሉ 84% ካገኘ ከሞላ ጎደል ዋጋ ቢስ እና 50% ካገኘ ፍፁም ማለት ነው። ያለ ንጽጽር መልህቅ፣ መለኪያው ትርጉም የለሽ ነው።

6. በ RAG (Retrieval-Augmented Generation) ስርዓት የምርት ፍጥነት ውስጥ መካተት ያለበት በጣም ወሳኝ የደህንነት አካል የትኛው ነው?

• ሀ) በተሰጠው ምንጭ ላይ ብቻ እንዲደገፍ፣ ምንጩ ከሌለ 'አላውቅም' እንዲል እና ምንጩን ለመጥቀስ መመሪያ ✔
• ለ) ሞዴሉን በተቻለ መጠን ረጅም እና የፈጠራ መልሶችን እንዲያቀርብ መንገር
• ሐ) ሞዴሉ ከሀብቶች ይልቅ የራሱን የትምህርት እውቀት ቅድሚያ ይሰጣል
• መ) እንደ ትዕዛዝ በተሰጡት ሰነዶች ውስጥ ያሉትን ሁሉንም መመሪያዎች ተግባራዊ ያድርጉ

ማብራሪያ፡- የ RAG ብቸኛው በጣም አስፈላጊ መመሪያ ሞዴሉን በተሰጠው ምንጭ ላይ ብቻ እንዲተማመን መንገር ሲሆን መረጃው ከምንጩ ውስጥ ከሌለ 'አላውቅም' ይበሉ እና ሳያደርጉት ምንጩን ይጥቀሱ። ይህ ባለሶስትዮድ ከሌለ ሞዴሉ አውዱን ችላ ብሎ ቅዠቶችን ሊፈጥር ይችላል፣ እና መልሱ የማይረጋገጥ ይሆናል።

7. የ RAG ስርዓት የተሳሳቱ መልሶችን ይሰጣል. ምርመራ ለመጀመር በጣም ጥሩው ቦታ የት ነው?

• ሀ) መጀመሪያ ማምጣትን መለካት (Recall@K): ትክክለኛው ቁራጭ መጥቶ ያውቃል? ✔
• ለ) ወዲያውኑ ሞዴሉን በትልቅ መተካት
• ሐ) መጠየቂያውን በዘፈቀደ ይለውጡ እና መሞከሩን ይቀጥሉ
• መ) ሁሉንም ሰነዶች በጥሩ ሁኔታ በማስተካከል በአምሳያው ውስጥ መክተት

ማብራርያ፡ የ RAG በጣም ደካማ ማገናኛ ብዙ ጊዜ የሚመጣ እንጂ ምርት አይደለም። ትክክለኛው ክፍል ጨርሶ ካልመጣ፣ ምንም ያህል መጠየቂያው ቢሻሻል ሞዴሉ ያንን መረጃ ማምረት አይችልም። ስለዚህ፣ መጀመሪያ Recall@K የሚለካው ትክክለኛው ክፍል መድረሱን ለማየት ነው። ማምጣቱ ጥሩ ከሆነ, ምርቱ እና ፈጣንነቱ ይመረመራል.

8. መሳሪያን ለወኪሉ በሚሰጥበት ጊዜ ከሰው ፈቃድ በስተጀርባ ምን አይነት ተግባራት መከናወን አለባቸው?

• ሀ) የለም; ወኪሉ እያንዳንዱን ተግባር በራስ ገዝ ማከናወን መቻል አለበት።
• ለ) እንደ ማንበብ እና ውሂብ መፈለግ ያሉ የሚቀለበስ ድርጊቶች ብቻ
• ሐ) እንደ ገንዘብ ማስተላለፍ፣ መሰረዝ፣ መላክ የመሳሰሉ የማይመለሱ ወይም ከፍተኛ ተጽዕኖ የሚያደርጉ ድርጊቶች ✔
• መ) ስሌቶችን ብቻ የሚያካትቱ ድርጊቶች

መግለጫ: ድርጊቶች በአደጋ ደረጃ ይለያያሉ. እንደ ማንበብ፣ መፈለግ፣ ማስላት እና ረቂቆችን ማመንጨት ያሉ መልሶ ማግኘት የሚችሉ ተግባራት በራስ ገዝ ሊከናወኑ ይችላሉ። ነገር ግን፣ የማይቀለበስ ወይም ከፍተኛ ተጽዕኖ የሚያሳድሩ እንደ ገንዘብ ማስተላለፍ፣ ኢሜይሎችን መላክ፣ ውሂብ መሰረዝ፣ ማዘዝ ወዘተ የመሳሰሉት የሰዎችን ፍቃድ ይጠይቃሉ። ማንኛውም የማይሻር እርምጃ ፍቃደኛ መሆን አለበት።

9. በተዘዋዋሪ ፈጣን መርፌ አደጋ ላይ ከሁሉ የተሻለው የንድፍ አሰራር ምንድነው?

• ሀ) በስርዓት መጠየቂያው ላይ “መጥፎ መመሪያዎችን ችላ በል” የሚለውን ነጠላ አረፍተ ነገር ማከል በቂ ነው።
• ለ) በውጫዊ ይዘት መመሪያዎችን በመደገፍ ለአምሳያው የበለጠ ስልጣን ይስጡ
• ሐ) መርፌ መከላከል ስለማይቻል ምንም ዓይነት ጥንቃቄ አለማድረግ
• መ) ውጫዊ ይዘትን እንደ አስተማማኝ ያልሆነ መረጃ መለየት እና የተደራረቡ መከላከያዎችን በትንሹ ፍቃድ፣ ማጽደቅ እና የውጤት ቁጥጥር ማቋቋም ✔

መግለጫ፡ በተወካዩ ወይም በRAG የሚሰራ ውጫዊ ይዘት፣ እንደ ድረ-ገጽ፣ ሰነድ፣ ኢሜል፣ ወዘተ. የማይታመን ውሂብ ነው እና ሚስጥራዊ መመሪያዎችን ሊይዝ ይችላል። ትክክለኛው አካሄድ የተደራረበ መከላከያ ነው፡ ውጫዊ ይዘትን እንደ 'ውሂብ እንጂ ትዕዛዝ አይደለም' ከግልጽ ገደቦች ጋር ማግለል፣ አነስተኛ ፍቃድን መተግበር፣ የማይቀለበስ ድርጊቶችን በሰው ይሁንታ ማሰር እና ውጤቱን ኦዲት ማድረግ። አንድ ነጠላ መመሪያ በቂ አይደለም.

10. አንድ ችግር በጥሩ ማስተካከያ ወይም RAG መፍታት እንዳለበት ሲወስኑ ዋናው ልዩነት ምንድነው?

• ሀ) የኢንፎርሜሽን ችግሮች በ RAG በተሻለ ሁኔታ ይፈታሉ ፣ የባህሪ / የቅርጸት ችግሮች በጥሩ ማስተካከያ ✔ በተሻለ ሁኔታ ይፈታሉ ።
• ለ) እያንዳንዱ ችግር ሁል ጊዜ በደንብ ማስተካከል አለበት
• ሐ) RAG ጥቅም ላይ የሚውለው ለኮድ ማመንጨት ብቻ ነው, ጥሩ ማስተካከያ ለትርጉም ብቻ ጥቅም ላይ ይውላል
• መ) ጥሩ ማስተካከያ ሁልጊዜ ከ RAG በበለጠ ርካሽ እና በፍጥነት ሊዘመን ይችላል።

ማብራርያ፡ ሞዴሉን አዲስ መረጃ በማስተማር ረገድ ጥሩ ማስተካከያ ደካማ እና አደገኛ ነው። ነገር ግን በባህሪ፣ ቅርጸት፣ ቃና እና ዘይቤ በማስተማር ሃይለኛ ነው። 'ሞዴል ኩባንያው የእኛን መረጃ አያውቀውም' የመረጃ ችግር እና የ RAG ነው. 'ሞዴሉ ሁልጊዜ በእኛ ጥብቅ ቅርፀት ይውጣ' የባህሪ ችግር እና ለጥሩ ማስተካከያ እጩ ነው። በተጨማሪም፣ ከመስተካከል በፊት ፈጣን እና ጥቂት ጥይቶች መጠጣት አለባቸው።

11. አዲስ ሞዴል ወደ ምርት ሲገባ ለደህንነት ማሰማራት የሚያስፈልገው የትኛው ነው?

• ሀ) ሞዴሉ በሙከራ ውስጥ ጥሩ ከሆነ በቀጥታ ወደ 100% ትራፊክ ይክፈቱት።
• ለ) ከተሰማሩ በኋላ ክትትልን ሙሉ በሙሉ አለማዘጋጀት
• ሐ) ደረጃውን የጠበቀ ማሰማራት (ጥላ/ካናሪ) እና አስቀድሞ የተፈተነ የመመለሻ ዕቅድ ✔
• መ) የግምገማው ገደብ ባይሟላም ሞዴሉን ማተም

ማብራሪያ: አዲሱን ሞዴል በቀጥታ ለሁሉም ትራፊክ መክፈት አደገኛ ነው; ስህተት ከሆነ ሁሉም ይጎዳል። ትክክለኛው ነገር ቀስ በቀስ ስርጭት (ጥላ፣ ካናሪ) ነው እና እያንዳንዱ ስርጭት የተፈተነ የመመለሻ እቅድ አለው። ያለ ክላቭ ፕላን ስርጭቱ አይጠናቀቅም; በደቂቃዎች ውስጥ ወደ ቀድሞው ስሪት መመለስ መቻል ሞዴሉ በምርት ላይ ያልተጠበቀ ባህሪ ሲፈጥር ተጠቃሚውን ይከላከላል።

12. የኤምኤል ሞዴል በምርት ውስጥ 'በዝምታ' እንዴት ሊሳካ ይችላል እና ይህንን ለመያዝ መንገዱ ምንድነው?

• ሀ) ሞዴሉ ወድቋል; የአገልጋይ ምዝግብ ማስታወሻዎች ይህንን ያሳያሉ
• ለ) ስህተቶችን ሳያደርጉ የተሳሳቱ ትንበያዎችን በማምረት; ✔ የተግባር፣ የግብአት እና የውጤት ተደራራቢ ክትትልን ይይዛል
• ሐ) ሞዴል በጸጥታ ሊወድቅ አይችልም, ሁልጊዜ ማንቂያ
• መ) ማንኛውንም ውርደት ለመያዝ መዘግየትን መከታተል ብቻ በቂ ነው።

ማብራሪያ፡ ሞዴሉ ሳይበላሽ ወይም ስህተቶችን ሳይሰጥ የተሳሳቱ ትንበያዎችን በማዘጋጀት በቀላሉ ሊወድቅ ይችላል። ለዚህ ዋነኛው ምክንያት የመረጃ መንቀጥቀጥ እና የፅንሰ-ሀሳብ መንቀጥቀጥ ነው። የአሠራር መለኪያዎችን መከታተል ብቻ በቂ አይደለም (የማዘግየት፣ የስህተት መጠን) በቂ አይደለም። የግብአት ስርጭት እና የውጤት/ትንበያ ስርጭትም ክትትል ሊደረግበት ይገባል። የግቤት ተንሸራታች ትክክለኛው ውጤት ከዘገየ ቅድመ ማስጠንቀቂያ ይሰጣል።

13. የኤል.ኤም.ኤም. ስርዓትን ለመገምገም LLM-as-judge ሲጠቀሙ ምን መሰረታዊ መርሆ ነው?

• ሀ) የኤልኤልኤም ዳኛ ሁል ጊዜ ትክክል ነው ፣ የሰው ማረጋገጫ አላስፈላጊ ነው።
• ለ) ዳኛው በመልሱ ርዝመት ብቻ ውሳኔ መስጠት አለበት።
• ሐ) ዳኞች ጥቅም ላይ በሚውሉበት ጊዜ ደንቦችን መሰረት ያደረጉ መቆጣጠሪያዎች እና የሰዎች ግምገማ ሙሉ በሙሉ መጣል አለባቸው
• መ) የዳኞች ውጤታቸው እምነት ከመጣሉ በፊት በሰዎች በተሰየመ ናሙና እና አድሎአዊነታቸው ሊለካ ይገባል ✔

መግለጫ: LLM-ዳኛ ደግሞ ሞዴል ነው; እሱ ቅዠት ፣ አድሏዊ (ረጅም ፣ አስተማማኝ መልሶች) እና ወጥነት የሌለው ሊሆን ይችላል። ስለዚህ የዳኝነት ውጤቶች በሰዎች በተሰየመ ናሙና መስተካከል አለባቸው እና ስልታዊ አድሎአታቸው የምርት ውሳኔው ከመደረጉ በፊት መለካት አለበት። ያልተረጋገጠ ዳኛ የውሸት እምነት ይሰጣል።

14. የአምሳያ አድሏዊነትን በሚገመግሙበት ጊዜ አጠቃላይ ትክክለኛነትን ማየት ለምን በቂ ያልሆነው?

• ሀ) አጠቃላይ ትክክለኝነት በቂ ነው, ምክንያቱም ሁልጊዜ በጣም መጥፎውን ቡድን አፈፃፀም ስለሚያንጸባርቅ ነው
• ለ) በንዑስ ቡድኖች መካከል ያለውን ስልታዊ ልዩነት (ድብቅ አድልዎ) ሊያደበዝዝ ስለሚችል አጠቃላይ ትክክለኛነት ብቻ በቂ አይደለም ✔
• ሐ) ትክክለኛነት ከአድልዎ ጋር ምንም ግንኙነት የሌለው መለኪያ ስለሆነ
• መ) አድልዎ የሚመጣው ከአምሳያው ብቻ ነው እና ከመረጃው ጋር ምንም ግንኙነት የለውም.

ማብራሪያ፡ አጠቃላይ ትክክለኛነት በንዑስ ቡድኖች መካከል ያለውን ስልታዊ ልዩነት ሊደብቅ ይችላል። ለምሳሌ, አጠቃላይ ትክክለኛነት 88% ቢሆንም, አስታውስ በአንድ ቡድን ውስጥ 91% እና በሌላ ቡድን ውስጥ 67% ሊሆን ይችላል; ሞዴሉ ስልታዊ በሆነ መልኩ ያንን ቡድን አጥቷል። ስለዚህ ሞዴሉ በንዑስ ቡድኖች (ስነሕዝብ/ክፍል) መገምገም እና የትኛውን የፍትህ ትርጉም ከባለድርሻ አካላት ጋር መወሰን አለበት ።

15. የML ውጤት እንደገና እንዲባዛ ምን አራት ነገሮች በአንድ ላይ መስተካከል አለባቸው?

• ሀ) የሞዴል ስም ፣ መጠን ፣ ዋጋ እና የተለቀቀበት ቀን ብቻ
• ለ) የጂፒዩ ብራንድ እና የበይነመረብ ፍጥነት ብቻ
• ሐ) የአምሳያው የመጨረሻ ትክክለኛነት ነጥብ ብቻ; ቀሪው በማስታወስ ውስጥ ሊቀመጥ ይችላል
• መ) የዘፈቀደ ዘር፣ የውሂብ ስሪት፣ አካባቢ (ጥገኛ ስሪቶች) እና የሙከራ ክትትል ✔

መግለጫ፡ መራባት የሚቻለው በአራት ምሰሶዎች ነው፡- የዘፈቀደ ዘሮችን ማስተካከል፣ መረጃን ማተም (ስሪት/ሃሽ)፣ አካባቢን ማቀዝቀዝ (ትክክለኛ የቤተ-መጽሐፍት ስሪቶች/ኮንቴይነር) እና እያንዳንዱን ሙከራ መከታተል (የኮድ ቁርጠኝነት፣ ዳታ፣ ሃይፐርፓራሜትር፣ ሜትሪክ)። ያለዚህ ሰንሰለት ተመሳሳይ ውጤት እንደገና ማባዛት አይቻልም; ሊባዛ የማይችል ውጤት ሊረጋገጥ የማይችል የይገባኛል ጥያቄ ነው.