ትርፍ፡
- በቧንቧው መጀመሪያ ላይ የውሂብ መስመርን የማዘጋጀት ችሎታ (ስብስብ, ማረጋገጫ, ማጽዳት, መለወጥ, መከፋፈል, ስሪት) እና የንድፍ ማረጋገጫን ማስቀመጥ.
- የመረጃ ፍሰትን ለመከላከል (ቡድን እና ጊዜያዊ) በመስክ ትርጉም እና ክፍፍል ላይ በመመስረት የጎደለ ዋጋ የመስጠት እና የመለያ ውሳኔዎችን የመወሰን ችሎታ።
- የውሂብ ስሪቱን እና የዘፈቀደ ዘርን በማስተካከል ሊባዛ የሚችል የውሂብ መሠረት የመፍጠር ችሎታ
የእያንዳንዱ የማሽን መማሪያ ስርዓት እውነተኛ ሃይል በመረጃው ላይ እንጂ በአምሳያው ላይ አይደለም። ልምድ ያካበቱ መሐንዲሶች ያውቃሉ: "ቆሻሻ መጣያ, ቆሻሻ መጣያ" - በጣም የላቀ ሞዴል እንኳን በመጥፎ መረጃ መመገብ መጥፎ ውጤቶችን ያመጣል. በዚህ ክፍል ውስጥ የመረጃ ቧንቧ መስመር (የውሂብ ቧንቧ መስመር: ጥሬው መረጃ ለሞዴል ስልጠና ዝግጁ የሚያደርገው የእርምጃዎች ሰንሰለት) እስከ መጨረሻው ድረስ እና በዚህ መስመር የትኛውን ደረጃ ላይ ደህንነቱ በተጠበቀ ሁኔታ አርቲፊሻል ኢንተለጀንስ መጠቀም እንደምንችል እንማራለን.
የውሂብ መስመር ደረጃዎች
የውሂብ መስመር በተለምዶ በእነዚህ ማቆሚያዎች ውስጥ ያልፋል፡-
- ስብስብ (ማስገባት)፡- ውሂብ ከምንጮች (ዳታ ቤዝ፣ ኤፒአይ፣ የምዝግብ ማስታወሻ ፋይሎች፣ የክስተት ዥረቶች) በመሳብ ላይ።
- ማረጋገጫ፡ ውሂቡ ከተጠበቀው እቅድ፣ አይነቶች እና ክልሎች ጋር የሚስማማ መሆኑን ማረጋገጥ።
- ማፅዳት፡ የጎደሉ እሴቶችን፣ የተባዙ መዝገቦችን፣ ወጣ ገባዎችን እና አለመጣጣሞችን ማስተናገድ።
- ትራንስፎርሜሽን፡ ጥሬ መረጃን ወደ ባሕሪያት መለወጥ - እንደ ምድብ ተለዋዋጭ ወደ ቁጥር መለወጥ፣ ከቀን ጀምሮ "የሳምንቱን ቀን" ማምረት።
- መከፋፈል፡ ወደ ስልጠና፣ ማረጋገጫ እና የሙከራ ስብስቦች መለየት።
- ሥሪት፡ የትኛው ሞዴል በየትኛው መረጃ እንደሰለጠነ መቅዳት።
አርቴፊሻል ኢንተለጀንስ የኮድ ረቂቆችን እና ሀሳቦችን በማመንጨት ጊዜን ይቆጥባል ፣ በተለይም በደረጃ 2 ፣ 3 እና 4 ። ነገር ግን የትኛውን መመዝገብ እንደሚመዘግብ ፣ ለመሙላት ዋጋ የጎደለው እና እንዴት እንደሆነ ያሉ ውሳኔዎች መረጃውን የሚያውቅ መሐንዲስ ናቸው ። ምክንያቱም ተገቢ ያልሆነ ማጽዳት የተደበቀ አድልዎ ወደ አምሳያው ውስጥ ሊያስገባ ይችላል.
የውሂብ ማረጋገጫ፡ የመስመሩ ቀደምት መከላከያ
በጣም ውድ የሆኑ ስህተቶች የሚጀምሩት በምርት ላይ አይደለም, ነገር ግን የማረጋገጫ ደረጃው በተዘለለበት. የመርሃግብር ማረጋገጫ እያንዳንዱ ገቢ የውሂብ ስብስብ ከሚጠበቀው መዋቅር ጋር መጣጣሙን በራስ-ሰር ያረጋግጣል። ለምሳሌ፣ በ0-120 መካከል ያለው የዕድሜ አምድ፣ የኢሜል መስኩ ባዶ ነው፣ የአምዶች ቁጥር ተቀይሯል?
ጠቃሚ ምክር፡ ማረጋገጫውን በመስመሩ መጀመሪያ ላይ ያድርጉት። በቶሎ የተበላሸ መረጃ ተይዟል, ለመጠገን ርካሽ ነው. በምርት ውስጥ የተያዘው የመርሃግብር ስህተት በስልጠናው ደረጃ ከተያዘው ብዙ እጥፍ ይበልጣል።
ለሚከተለው የውሂብ እቅድ ከፓንደራ (ወይም ከታላቅ ተስፋዎች) ጋር የማረጋገጫ እቅድ ይጻፉ። አምዶች እና ደንቦች፡- ተጠቃሚ_መታወቂያ፡ ኢንቲጀር፣ ባዶ ሊሆን አይችልም፣ ልዩ - ዕድሜ፡ ኢንቲጀር፣ ከ0-120- የመመዝገቢያ_ቀን፡ ቀን፣ ወደፊት ሊሆን አይችልም - ሀገር፡ ምድብ፣ ከ {TR, DE, US, UK} ስብስብ - ሚዛን፡ አስርዮሽ፣ አሉታዊ ሊሆን አይችልም ለእያንዳንዱ ደንብ መጣስ ትርጉም ያለው የስህተት መልእክት ያዘጋጁ። ፈተናውን በኮዱ መጨረሻ ላይ በተሰበረ መስመር ምሳሌ አሳይ።
ማፅዳት፡ የሚወስነው የሰው ልጅ ነው።
የጠፉ እሴቶች የእያንዳንዱ የውሂብ ስብስብ እውነታ ናቸው። ለማስተናገድ መንገዶች:
- ስረዛ፡ በጣም ከፍተኛ የጎደለ መጠን ያለው ረድፍ/አምድ በመጣል ላይ። ነገር ግን የመረጃ መጥፋት እና አድሏዊነት ስጋት አለ.
- Imputation፡ በአማካኝ፣ መካከለኛ፣ በጣም ተደጋጋሚ እሴት ወይም ሞዴል ላይ የተመሰረተ ትንበያ።
- ሰንደቅ፡- “ጠፍቷል” መረጃን በተለየ ባንዲራ አምድ ውስጥ ማከማቸት - አንዳንድ ጊዜ የጠፋው ራሱ ምልክቱ ነው።
የትኛው ትክክል ነው በችግሩ ላይ የተመሰረተ ነው. በሕክምና መረጃ ስብስብ ውስጥ "የደም ዋጋ የማይለካ" መረጃ ከመሰረዝ ይልቅ መቀመጥ አለበት; ምክንያቱም ዶክተሩ መለኪያዎችን ለመውሰድ ፈቃደኛ አለመሆን እንኳን ምልክት ነው. AI አማራጮች እና ኮድ ሊሰጥዎት ይችላል; ከሜዳው እውነታ ጋር የሚስማማውን ትመርጣለህ።
ደካማ ጥያቄ / ጠንካራ ጥያቄ
ደካማ ጥያቄ፡ "የጎደሉ እሴቶችን ሙላ።"
ጠንካራ ጥያቄ፡ "በሚቀጥሉት ዓምዶች ውስጥ የጎደሉ እሴቶች አሉ፡ ገቢ (12% የጠፋ፣ የቀኝ የተሳሳተ ስርጭት)፣ የመጨረሻ_መግቢያ (30% ይጎድላል)። ገቢን በሜዲያን መሙላት ይጠቁሙ፣ ግን ለምን ሚዲያን እንደሆነ ያብራሩ።
ልዩነት፡ ጠንካራ ፈጣን የስርጭት መረጃ እና የአካባቢ ትርጉም ይሰጣል። ሰው ሰራሽ የማሰብ ችሎታ ከሜካኒካዊ ሙሌት ይልቅ የውሳኔ ድጋፍን ያዘጋጃል.
መለያ: ጥራት ይለካል
ክትትል በሚደረግበት ትምህርት (ምሳሌዎች ከትክክለኛ መልሶች ጋር የተሰጡበት ትምህርት) ሞዴሉ የሚማረው ነገር መለያዎች (ስያሜዎች፡ ለእያንዳንዱ ምሳሌ ትክክለኛ መልስ) ናቸው። የመለያው ጥራት ጣሪያን ያዘጋጃል - ሰዎች ወጥነት ባለው መልኩ ምልክት ካደረጉ ሞዴሉ ያለማቋረጥ ይማራል።
የኢንተር-አኖቶተር ስምምነት የተለያዩ ሰዎች ለተመሳሳይ ናሙና ተመሳሳይ መለያ የሚሰጡበትን መጠን ይለካል። እንደ Cohen's Kappa ባሉ ቅንጅቶች ይገለጻል። ዝቅተኛ ተገዢነት የሚያመለክተው ስራው ግልፅ አለመሆኑን ወይም መመሪያው ደካማ መሆኑን ነው.
አርቴፊሻል ኢንተለጀንስ በሁለት መንገድ መለያ መስጠት ይረዳል፡ (1) የማብራሪያ መመሪያውን ማርቀቅ፣ (2) ቅድመ-መለያ መስጠት እና የሰው ልጅ እንዲያርመው ማድረግ። ነገር ግን ከኤል.ኤም.ኤም ጋር ቅድመ-መለያ መሰየም ችግር አለው፡ የአምሳያው ስልታዊ ስህተት ወደ መላው መለያ ስብስብ ውስጥ ሊገባ ይችላል። ለዚያም ነው ሰዎች ሁልጊዜ አንዳንድ የኤልኤልኤም መለያዎችን የሚፈትሹት።
ትኩረት፡ በኤልኤልኤም የተዘጋጁ መለያዎችን እንደ "መሬት እውነት" አትቁጠሩ። ናሙናን ከሰው ጋር ይፈትሹ እና LLM-ሰው የሚመጥን ይለኩ። ተገዢነት ዝቅተኛ ከሆነ፣ ቅድመ-መለያ መስጠቱ ከጥቅሙ የበለጠ ጉዳቱን ያመጣል።
የውሂብ ክፍፍል: መፍሰስን ይከላከሉ
መረጃን ወደ ስልጠና/ማረጋገጫ/ሙከራ ስንከፋፍል በጣም አደገኛው ስህተት የመረጃ መፍሰስ፡የፈተና መረጃን ወደ ስልጠና መቀላቀል ነው። ምሳሌዎች፡-
- ተመሳሳዩ የተጠቃሚ መዝገቦች በስልጠና እና በሙከራ (የቡድን መፍሰስ) ውስጥ ይወድቃሉ።
- የወደፊቱን በስልጠና እና ያለፈውን በፈተና በጊዜ ተከታታይ (ጊዜያዊ መፍሰስ) መጠቀም።
- ከሁሉም ውሂቦች የመለኪያ (መደበኛነት) መለኪያዎችን በማስላት እና ከዚያ በማካፈል።
ጊዜያዊ መለያየት ጊዜን ለሚመለከቱ ችግሮች አስፈላጊ ነው፡ ካለፈው ጋር ማሰልጠን፣ ወደፊት መሞከር። የዘፈቀደ ክፍፍል በምርት ውስጥ ፈጽሞ የማይሆን "የወደፊቱን" ጥቅም ይሰጣል እና መለኪያዎችን ይጨምራል።
የውሂብ ሥሪት እና እንደገና ማራባት
"ይህን ሞዴል በምን አይነት ዳታ ነው የሰለጠነው?" ጥያቄውን ከወራት በኋላ መመለስ መቻል የከባድ ML ምህንድስና መለያ ነው። የውሂብ ስሪት እያንዳንዱን የውሂብ ቅጽበታዊ መታወቂያ (ሃሽ ወይም የስሪት መለያ) ያከማቻል። እንደ DVC (የውሂብ ሥሪት ቁጥጥር) ሥሪት እንደ ኮድ ያሉ መሣሪያዎች።
የአንድን ሞዴል ውጤት እንደገና ለማባዛት ሶስት ነገሮች መስተካከል አለባቸው፡ የመረጃው ስሪት፣ የኮድ እትም እና የዘፈቀደ ዘር። ያለዚህ ሶስትዮሽ "ተመሳሳይ ውጤት አገኘሁ" ማለት አይቻልም። በክፍል 11 ውስጥ እንደገና መባዛትን እናሰፋለን. ነገር ግን በመረጃ ቧንቧው ውስጥ ያለውን ዘር ማስተካከል ከዚህ ይጀምራል.
ሶስት ጥቃቅን ጉዳዮች
ጉዳይ 1 - የቀን እቅድ ማረጋገጫ ተቀምጧል። አንድ ቡድን ወደ ላይ ያለውን የስርዓት ዋጋ መስክ ከሳንቲም ወደ ሊራ ሲቀይር ሁሉም ዋጋዎች 100 ጊዜ ቀንሰዋል። የመርሃግብር ማረጋገጫ ባችውን እንደ "ዋጋ ከክልል ውጪ" ውድቅ አደረገው እና ሞዴሉ በተበላሸ ውሂብ አልሰለጠነም። ያለ ማረጋገጫ፣ ስህተቱ የሚስተዋለው በምርት ላይ ብቻ ነው፣ ትክክል ባልሆኑ ትንበያዎች።
ጉዳይ 2 - የተሳሳተ መሙላት አድልዎ. በብድር ሞዴል ውስጥ የጎደሉ የገቢ ዋጋዎች በአማካይ ተሞልተዋል። ነገር ግን የጎደሉ ገቢዎች በአብዛኛው ዝቅተኛ ገቢ ባለው ቡድን ውስጥ ነበሩ; ይህን ቡድን በአማካኝ ሰው ሰራሽ በሆነ መንገድ "የበለፀገ" ሲሆን ሞዴሉ ፍትሃዊ ያልሆነ ከፍተኛ ገደብ አቅርቧል። ችግሩን በሜዲያን + የጎደለ ባንዲራ ተስተካክሏል።
ጉዳይ 3 - ጊዜያዊ መፍሰስ. የፍላጎት ትንበያ ሞዴል በሙከራ ስብስቡ ላይ ጥሩ ይመስላል (95% ትክክለኛነት) ነገር ግን በምርት ላይ ወድቋል። ለምን: በዘፈቀደ ክፍፍል ምክንያት, ሞዴሉ የወደፊቱን አይቷል. ወደ ጊዜያዊ ማስያዣ መቀየር የሙከራ ትክክለኛነት ወደ 78% ወርዷል - ነገር ግን ያ ትክክለኛ አፈጻጸም ነበር እና በምርት ውስጥ እንዲቆይ አድርጓል።
ሊገለበጡ የሚችሉ አብነቶች
የሚከተለውን የውሂብ ስብስብ በሦስት ስብስቦች ይከፋፍሉት፡ ስልጠና/ማረጋገጫ/ሙከራ።ገደብ፡ ይህ ተከታታይ ጊዜ ነው። ጊዜያዊ መለያየትን ተጠቀም (ባለፈው ባቡር፣ ለወደፊት ሞክር)። የቡድን መፍሰስን ይከላከሉ፡ አንድ አይነት `ደንበኛ_መታወቂያ` በአንድ ዘለላ ውስጥ ብቻ ይኑርዎት። የመለኪያ መለኪያዎችን ከስልጠናው ስብስብ ብቻ አስሉ፣ ከዚያ ለሁሉም ይተግብሩ። በእያንዳንዱ ደረጃ ላይ ስንት መስመሮች በኮዱ ውስጥ እንደቀሩ ያትሙ እና ምንም ፍንጣቂ አለመኖሩን የሚያረጋግጥ ማረጋገጫ ያክሉ።
ለዚህ መሰየሚያ ተግባር ረቂቅ ማብራሪያ መመሪያ ጻፍ። ተግባር፡ [ለምሳሌ፡. የደንበኛ ግምገማ አወንታዊ/አሉታዊ/ገለልተኛ/የድንበር ጉዳዮችን ግልጽ አድርግ፡ ስላቅ፣ድብልቅ ስሜት፣ግምገማ ከምርት ጋር ያልተገናኘን እንዴት መሰየም ይቻላል?በመለያ መለያዎች ላይ ወጥነትን የሚጨምሩ 5 ምሳሌዎችን እና 3 አስቸጋሪ የጠርዝ ጉዳዮችን ስጥ።
ለዚህ የመረጃ ቧንቧ መስመር የመራባት ማረጋገጫ ዝርዝር ያዘጋጁ፡- የውሂብ ስሪቱ እንዴት ማስተካከል አለበት? - የትኞቹ የዘፈቀደ ዘሮች የት መቀመጥ አለባቸው? - ምን ሜታዳታ (ዳታ ሃሽ፣ የረድፍ ቆጠራ፣ ቀን) መመዝገብ አለበት? የእኔ ኮድ ቤዝ፡ [ቋንቋ/ቤተመጽሐፍት]
ይህንን የጽዳት ኮድ ለውሂብ መፍሰስ ያረጋግጡ። በተለይ ይህንን ይመልከቱ፡ የመለኪያ/የመቀየሪያ መለኪያዎች ከመከፋፈላቸው በፊት ይሰላሉ? ከሁሉም መረጃ ወይም ስልጠና ብቻ የተሰላ ስታቲስቲክስ አለ? ኮድ: [ኮድ]
የውሳኔ ሰንጠረዥ፡ የጠፋ የእሴት ስልት
ሁኔታ
የሚመከር አካሄድ
ለምን?
ቁጥራዊ ፣ የተዛባ ስርጭት
ሚዲያን ጋር ሙላ
አማካዩ በውጫዊ አካላት ተጎድቷል
አሃዛዊ ፣ ሚዛናዊ
በአማካይ መሙላት
መረጃን ይከላከላል
ጉድለቱ ጉልህ ሊሆን ይችላል
ዓምድ + ሙላ
እጦት ምልክት ነው።
የጎደለ መጠን > 60%
አምድ ገምግም/አስወግድ
ጫጫታ በጣም ብዙ ነው።
ምድብ
"ያልታወቀ" ምድብ
ብዙ ሰው ሰራሽ አይፈጥርም።
የተለመዱ ስህተቶች
- ማረጋገጥን መዝለል። ያለ ንድፍ ቁጥጥር፣ የተበላሸ ውሂብ በጸጥታ ሾልኮ ይገባል።
- ከመከፋፈሉ በፊት ማመጣጠን. የፈተና ስታቲስቲክስን ወደ ትምህርት ያፈስሳል።
- በጊዜ ተከታታይ ውስጥ የዘፈቀደ ክፍፍልን በመጠቀም። የውሸት ከፍተኛ መለኪያዎችን ይፈጥራል።
- በጭፍን የሚታመን LLM መለያዎች። ስልታዊ ስህተት በውሂቡ ውስጥ ይሰራጫል።
- የውሂብ ስሪቱን አያስቀምጡም። ውጤቱን እንደገና ማባዛት አይችሉም.
- ሜካኒካል መሙላት ከአማካይ ጋር. የመስክን ትርጉም ቸል ይላል፣ አድልዎ ይጨምራል።
በማጠቃለያው
የውሂብ ቧንቧው የኤምኤል ስርዓት መሰረት ነው እና ከአምሳያው የበለጠ ጥረት ይገባዋል. ማረጋገጫውን ከላይ ያስቀምጡ; በጎራ እውቀት የጽዳት እና መለያ ውሳኔዎችን ማድረግ; በክፍሉ ውስጥ ፍሳሽን (ቡድን እና ጊዜያዊ) መከላከል; የውሂብ ስሪቱን እና ዘሩን ያስተካክሉ. AI በዚህ መስመር ላይ ኮድ እና ሃሳቦችን ያመነጫል፣ ነገር ግን የትኛውን ውሂብ እና እንዴት እንደሚሰራ መወሰን የእርስዎ ውሳኔ ነው - ምክንያቱም እዚህ ያለው እያንዳንዱ የተሳሳተ ውሳኔ እንደ ድብቅ እንከን ወደ አምሳያው ውስጥ ስለሚገባ ነው።
የመተግበሪያ ተግባር
በራስዎ የውሂብ ስብስብ ላይ የማረጋገጫ እቅድ (ፓንደራ/ታላቅ ተስፋዎች) ይፃፉ እና ሆን ብለው መጥፎ ረድፍ ያክሉ እና እንደተያዘ ያሳዩ። ከዚያ ውሂቡን በጊዜያዊነት ወይም በቡድን ይከፋፍሉት፣ የመለኪያ መለኪያዎችን ከስልጠና ብቻ ያሰሉ እና ምንም ፍሳሽ አለመኖሩን ያረጋግጡ። የውሂብ ስሪቱን እና የረድፍ ቆጠራውን ወደ ሜታዳታ ፋይል ይፃፉ።
የማረጋገጫ ዝርዝር
- [] የመርሃግብር ማረጋገጫ በመስመሩ ላይኛው ክፍል ላይ ይሰራል።
- [] የጎደለውን የእሴት ስልት በመስክ ትርጉም ላይ ተመርኩዤ፣ በሜካኒካል አልሞላሁትም።
- [] የመለያውን ጥራት (ተገዢነትን) ለካሁ; እኔ በሰው የተፈተሸ LLM መለያዎች።
- [ ] በመስኮቱ ውስጥ የቡድን እና ጊዜያዊ መፍሰስን ተከልክያለሁ።
- [ ] ስካሊንግ/ኢንኮዲንግ የሚሰላው ከስልጠናው ስብስብ ብቻ ነው።
- [] የውሂብ ስሪት፣ የረድፎች ብዛት እና የተመዘገቡ ዘሮች።