የባህሪ ምህንድስና፡ ተለዋጮችን ማመንጨት፣ ኮድ መስጠት፣ ማመጣጠን እና መፍሰስን ማስወገድ

ትርፍ፡

• በጎራ እውቀት ትርጉም ያለው የመነጨ ባህሪያትን የማፍራት ችሎታ እና ምድብ ምድቦችን በተገቢው ዘዴዎች (አንድ-ሙቅ፣ መለያ፣ ዒላማ) የመመስረት ችሎታ።
• እንደ ሞዴል ዓይነት (ስታንዳርድላይዜሽን፣ መደበኛ) የቁጥር ተለዋዋጮችን የማመዛዘን ችሎታ እና አላስፈላጊ ወይም ያልተሟላ ሚዛንን የማስወገድ ችሎታ።
• ከስልጠናው/የፈተና ክፍፍል በኋላ እና ከስልጠና ብቻ ሁሉንም ለውጦች በመማር የባህሪ መፍሰስን የማስወገድ ችሎታ

በማሽን መማር ውስጥ አንድ የቆየ አባባል አለ፡- "የተተገበረ ማሽን መማር በመሠረቱ ባህሪ ምህንድስና ነው።" ምክንያቱም የአምሳያው ስኬት ብዙውን ጊዜ የሚመጣው ከየትኛው ስልተ ቀመር ይልቅ ለአምሳያው ከሚሰጡት ግብዓቶች ነው። የባህሪ ምህንድስና ሞዴሉ ሊማርባቸው ከሚችሉ ጥሬ መረጃዎች ትርጉም ያለው ምልክቶችን የማምረት ጥበብ ነው። አርቴፊሻል ኢንተለጀንስ በዚህ ደረጃ የበለፀገ የሃሳብ ምንጭ ነው፡ "ከዚህ መረጃ ምን አይነት ባህሪያት ሊፈጠሩ ይችላሉ" ብለው ሲጠይቁ በደርዘን የሚቆጠሩ አስተያየቶችን ይዘረዝራል። ነገር ግን ከእነዚህ ጥቆማዎች ውስጥ አንዳንዶቹ ጠቃሚ ሊሆኑ ይችላሉ, አንዳንዶቹ የማይጠቅሙ እና አንዳንዶቹ አደገኛ ሊሆኑ ይችላሉ. መፍታት ያንተ ስራ ነው።

ለምን ባህሪ ምህንድስና

ጥሬ መረጃ በጥሩ ሁኔታ ወደ ሞዴሉ እምብዛም አይመጣም። "የልደት ቀን" ዓምድ ብቻ ትርጉም ቢስ ቢሆንም, "እድሜ" ከሱ የሚመነጨው እሴት ጠንካራ ምልክት ነው. እንደ "የሳምንቱ ቀን"፣ "ቀን/ሌሊት"፣ "በዓል ነው"ን ከ"የጊዜ ማህተም" ያሉ ባህሪያትን ማውጣት ትችላለህ። ሬሾን ("ዕዳ/ገቢ ጥምርታ") ለማምረት ሁለት ዓምዶችን ማጣመር ይችላሉ። እዚህ የባህሪ ምህንድስና የጎራ እውቀትን ወደ ሒሳባዊ ምልክት መተርጎም ነው; እናም ለዚህ ነው በጣም የሰውን እውቀት የሚያስፈልገው መድረክ የሆነው።

ምድብ ተለዋዋጮችን ወደ ቁጥሮች መለወጥ፡ ኮድ ማድረግ

ሞዴሎች በአጠቃላይ በጽሑፍ ሳይሆን በቁጥሮች ይሠራሉ. ምድብ ተለዋዋጮችን (እንደ ከተማ፣ ቀለም፣ የምርት አይነት) ወደ ቁጥሮች መለወጥ ኢንኮዲንግ ይባላል። ሶስት የተለመዱ ዘዴዎች:

አንድ-ትኩስ ኢንኮዲንግ፡ ለእያንዳንዱ ምድብ 0/1 ዋጋ ያለው የተለየ አምድ ይከፍታል። ለ "ከተማ", ኢስታንቡል, አንካራ, ኢዝሚር አምዶች ተፈጥረዋል; አንድ ደንበኛ ከኢስታንቡል ከሆነ፣ ያ አምድ ብቻ 1. የምድብ ብዛት አነስተኛ ሲሆን ተስማሚ ይሆናል፤ በጣም ብዙ ምድቦች ካሉ በመቶዎች የሚቆጠሩ አምዶችን ይፈጥራል (ይህ "መጠን ፍንዳታ" ይባላል).

መለያ ኮድ መስጠት፡ ለእያንዳንዱ ምድብ ቁጥር ይሰጣል (ኢስታንቡል=0፣ አንካራ=1)። ቀላል ነው፣ ነገር ግን በአጋጣሚ ሞዴሉን በቅደም ተከተል ሊያስተምረው ይችላል (እንደ አንካራ > ኢስታንቡል)። ስለዚህ በጥንቃቄ ባልተያዙ ምድቦች ውስጥ ጥቅም ላይ ይውላል.

ዒላማ ኢንኮዲንግ፡ እያንዳንዱ ምድብ በዚያ ምድብ ውስጥ ባለው የዒላማ ተለዋዋጭ አማካኝ ይተካል። በጣም ኃይለኛ ነው, ነገር ግን በጣም አደገኛ የሆነው የፍሳሽ ምንጭ: የሙከራ መረጃን ዒላማ ግምት ውስጥ ካስገባ, ሞዴሉ የወደፊቱን ይመለከታል. ከስልጠና መረጃ እና በጥንቃቄ (በማቋረጫ ማረጋገጫ ውስጥ) ብቻ ማስላት አለበት.

ማመጣጠን፡ ትልቅ ቁጥሮች ሞዴሉን አያጨናንቁትም።

አንዳንድ ሞዴሎች (በርቀት ላይ የተመሰረቱ, የመስመር ሞዴሎች, የነርቭ ኔትወርኮች) ለተለዋዋጮች ሚዛን ስሜታዊ ናቸው. “ገቢ” (0-500,000) እና “ዕድሜ” (0-100) በተመሳሳይ ሁኔታ ከወደቁ ገቢው ትልቅ ስለሆነ ብቻ የበላይ ሊሆን ይችላል። ማመጣጠን ይህንን ያስተካክላል። ሁለት የተለመዱ ዘዴዎች: ደረጃውን የጠበቀ (እያንዳንዱን እሴት ወደ "ከአማካይ ምን ያህል መደበኛ ልዩነቶችን ይለውጣል") እና መደበኛነት (ደቂቃ ከፍተኛ መደበኛ - እሴቶችን ወደ 0-1 ክልል ይጨመቃል). በዛፍ ላይ የተመሰረቱ ሞዴሎች (የውሳኔ ዛፎች, የዘፈቀደ ደን) መጠነ-ልኬት የሌላቸው ናቸው, ልኬትን አይጠይቁም.

ማስጠንቀቂያ፡- የመጠን እና ኮድ መመዘኛዎች (አማካይ፣ መደበኛ ልዩነት፣ ምድብ-አማካኝ ካርታ) ከስልጠናው መረጃ ላይ ብቻ ይሰላል፣ ከዚያም ለሙከራ መረጃው ተመሳሳይ መሆን አለበት። የሙከራ ውሂብን ጨምሮ መፍሰስ ነው እና ሞዴልዎ ከእውነታው የተሻለ እንዲመስል ያደርገዋል።

በባህሪ ምህንድስና ውስጥ የመፍሰሱ ልብ

ባህሪ ማመንጨት የውሂብ መፍሰስ ብዙ ጊዜ የሚመጣበት ነው። ሁለት ዓይነተኛ ስህተቶች፡- የጊዜ መፍሰስ — የወደፊት መረጃን የሚያካትት ባህሪን መፍጠር (“የመጨረሻውን 30 ቀን አማካኝ” በማስላት ከተገመተው ቀን በኋላ ባሉት ቀናት ውስጥ ጨምሮ)። የስታቲስቲክስ ፍሰት - ከስልጠናው/የሙከራ ክፍፍሉ በፊት ከሁሉም መረጃዎች ባህሪን (መለኪያ አማካኝ፣ ዒላማ ኢንኮዲንግ ዋጋ) ማስላት። ደንብ፡- ባቡሩ/የሙከራ ክፍፍሉን መጀመሪያ ካደረጉ በኋላ እያንዳንዱን ለውጥ ይማሩ እና ከስልጠናው መረጃ ብቻ። ይህንን በመደበኛነት ለማከናወን በጣም አስተማማኝው መንገድ የቧንቧ መስመርን መጠቀም ነው - ሁሉንም ለውጦች በአንድ ሰንሰለት ውስጥ የሚሰበስብ እና ከተከፋፈሉ በኋላ ተግባራዊ ይሆናሉ.

ዘዴ

ለምንድነው

የማፍሰስ አደጋ

ማስታወሻ

አንድ-ትኩስ ኢንኮዲንግ

ከጥቂት ምድቦች ጋር ተለዋዋጭ

ዝቅተኛ

መጠኑን በበርካታ ምድቦች ይፈነዳል።

መለያ ኮድ መስጠት

ምድብ ተደርድሯል።

ዝቅተኛ

ከሥርዓት ውጪ የተሳሳተ ሥርዓት ያስተምራል።

የዒላማ ኢንኮዲንግ

ባለብዙ ምድብ ፣ ጠንካራ ምልክት

በጣም ከፍተኛ

ልክ ከትምህርት፣ በሲ.ቪ

መደበኛ ማድረግ

የመስመር / የርቀት ሞዴሎች

መካከለኛ

መለኪያ የሚወሰነው በትምህርት ላይ ብቻ ነው።

የጊዜ መስኮት ባህሪ

ተከታታይ ጊዜ

ከፍተኛ

የወደፊቱን ይጨምሩ

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - ጠቃሚ ንብረት. የብድር ቡድን ከጥሬው "የወር ገቢ" እና "የወር ዕዳ ክፍያ" አምዶች "ከዕዳ-ከገቢ ጥምርታ" ባህሪን አመነጨ። ይህ ነጠላ የተገኘ ባህሪ ሞዴል ትክክለኛነት ከ 71% ወደ 79% ጨምሯል; ምክንያቱም አደጋውን በትክክል የወሰነው ፍፁም ገቢ ሳይሆን መጠኑ ነው። ትምህርት፡ በጎራ እውቀት የሚመነጩ ሬሾዎች ጠንካራ ምልክቶች ናቸው።

ጉዳይ 2 - የዒላማ ኢንኮዲንግ መፍሰስ። አንድ ቡድን የ “ዚፕ ኮድ”ን ወደ ቁጥር ለወጠው በታለመው ኢንኮዲንግ (በዚያ አካባቢ ያለው አማካይ የፍጥነት መጠን)፣ ነገር ግን ከመለያየቱ በፊት ያደረገው ከሁሉም መረጃዎች ነው። ሞዴሉ በሙከራው ስብስብ ላይ 94% ሰጥቷል, በምርት ውስጥ ወደ 68% ዝቅ ብሏል. የ6 ሳምንታት ጥረት ባክኗል። ትምህርት፡ ዒላማ ኮድ ማድረግ በጥንቃቄ ይከናወናል፣ በስልጠና ውስጥ ብቻ።

ጉዳይ 3 - የመርሳት ልኬት። አንድ ተንታኝ ገቢን (0-400,000) እና የደንበኞችን ዕድሜ (18-75) ወደ ርቀት ላይ የተመሰረተ ሞዴል ሳይመዘን መገበ። ሞዴሉ ከሞላ ጎደል ገቢን ብቻ ይመለከታል ፣ ይህም የእድሜ ውጤቱን ያደቃል። ልኬቱ ሲታከል መከፋፈል ትርጉም ያለው ሆነ። ትምህርት፡- ከርቀት/መስመራዊ ሞዴሎች ውስጥ መመዘን ችላ አይባልም።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) የባህሪ ሀሳብ ማመንጨት (ማስወገድ በእርስዎ ላይ የተመሰረተ ነው)

የእርስዎ ሚና፡ ባህሪ ምህንድስና ረዳት። የእኔ ዲኤፍ አምዶች፡ የትውልድ_ቀን፣ የትእዛዝ_ሰዓት (የጊዜ ማህተም)፣ ገቢ_ቲኤል፣ ዕዳ_ቲኤል፣ ከተማ፣ የምርት_መደብ። ዒላማ፡ "ብድሩ ይከፈላል" (0/1) ከእነዚህ አምዶች ሊፈጠሩ የሚችሉ 15 ባህሪያትን ይጠቁሙ; ለእያንዳንዳቸው የመፍሰስ አደጋን (ዝቅተኛ / መካከለኛ / ከፍተኛ) ይግለጹ. የወደፊቱን መረጃ የያዙትን በግልጽ ምልክት ያድርጉ።

2) ደህንነቱ የተጠበቀ ኮድ (ድህረ-የተከፋፈለ)

አንድ-ትኩስ "ከተማ" እና "የምርት_ምድብ" ኮድ ይፃፉ። አስፈላጊ፡ ኢንኮዲንግ ከስልጠና ውሂቡ ጋር ብቻ ይስማማል፣ ከዚያ የሙከራ ውሂቡን ይቀይሩ (በ sklearn OneHotEncoder)። በትምህርት ውስጥ የማይታየውን ምድብ (አያያዝ_ያልታወቀ) እንዴት እንደሚይዙ ያብራሩ።

3) ከማፍሰስ የጸዳ ልወጣ ከቧንቧ ጋር፡

sklearn ቧንቧን አዋቅር፡ StandardScalerን ወደ ቁጥራዊ አምዶች፣ OneHotEncoder ወደ ምድብ አምዶች ተግብር፣ መጨረሻ ላይ ክላሲፋየር ጨምር። ሁሉም ለውጦች የሚማሩት ከባቡሩ/የሙከራ ክፍፍል በኋላ እና ከስልጠና ብቻ ነው። ኮዱን እና ለምን ነፃ እንደሆነ ያብራሩ።

4) የሰዓት መስኮት ባህሪ (የፍሳሽ መቆጣጠሪያ)

ለእያንዳንዱ ደንበኛ የ"ባለፉት 30 ቀናት የትዕዛዝ ብዛት" ባህሪን ያመንጩ፣ ነገር ግን ከትንበያ ቀን በኋላ በፍፁም ውሂብን አያካትቱ። ኮዱ ወደ ፊት እንደማይመለከት በመስመር መስመር ያስረዱ። የማመሳከሪያውን ቀን አምድ አቀርባለሁ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

በዚህ ውሂብ ላይ ጥሩ ንብረቶችን ያክሉ።

"ጥሩ" አልተገለጸም, ዒላማው ግልጽ አይደለም, ምንም የፍሳሽ መቆጣጠሪያ የለም. AI በዘፈቀደ፣ ምናልባትም ልቅ የሆኑ ባህሪያትን ይፈጥራል።

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ ባህሪ መሐንዲስ። ዒላማ፡ "በ30 ቀናት ውስጥ መጨናነቅ" (0/1)፣ የተገመተው የማመሳከሪያ ቀን፡ save_date። በdf.Task ውስጥ የግብይት ታሪክ አለ: 8 ባህሪያትን ይፍጠሩ, ለእያንዳንዱ ጥያቄ "ይህ መረጃ በሚተነብይበት ጊዜ አለኝ" የሚለውን ጥያቄ ይመልሱ. በጊዜ መስኮት ባህሪያት ውስጥ ከተጠቀሰው ቀን በኋላ ቀኑን መጨመር. ከባቡሩ/የሙከራ ክፍል በኋላ እንዲፈፀም ከቧንቧ መስመር ጋር በሚስማማ መንገድ ኮዱን ይፃፉ።

እዚህ, ዒላማው, የማጣቀሻ ጊዜ እና የፍሳሽ መቆጣጠሪያ ከመጀመሪያው ይገለጻል.

የተለመዱ ስህተቶች

• ከመከፋፈል በፊት ለውጡን ከሁሉም መረጃዎች መማር። የመለኪያ/ኢኮዲንግ መለኪያው የፈተናውን መረጃ ካየ፣ መፍሰስ ይከሰታል።
• የግዴለሽነት የዒላማ ኮድ አጠቃቀም። በጣም ኃይለኛ ግን በጣም የሚያፈስ ዘዴ ነው; ልክ ከስልጠና, በመስቀል ማረጋገጫ.
• በጊዜ መስኮት ባህሪ የወደፊቱን መጨመር. "የመጨረሻዎቹ 30 ቀናት" ስሌት ከትንበያ ቀን በኋላ ከገባ, ሞዴሉ የወደፊቱን ይመለከታል.
• በዛፉ ሞዴል ውስጥ አላስፈላጊ ቅርፊቶች እና በመስመራዊ ሞዴል ውስጥ ያልተሟላ ቅሌት. የመለኪያ ውሳኔዎች እንደ ሞዴል ዓይነት ይወሰዳሉ.
• የ AI እያንዳንዱን ባህሪ ጥቆማ ያለምንም ጥያቄ ማከል። የአስተያየት ጥቆማዎች የማይጠቅሙ እና የሚያፈስ ባህሪያትን ሊያካትቱ ይችላሉ።

ጠቃሚ ምክር፡ ለእያንዳንዱ ለሚፈጥሩት ባህሪ አንድ ነጠላ ጥያቄ ይፃፉ፡ "ይህን ዋጋ ትንበያውን በምሰጥበት ጊዜ ባለኝ መረጃ ማስላት እችላለሁ?" መልሱ ግልጽ "አዎ" ካልሆነ ባህሪያቱን አይጠቀሙ. ይህ ነጠላ ዲሲፕሊን አብዛኛዎቹን ከባህሪ ጋር የተያያዙ ፍንጮችን ያስወግዳል።

በማጠቃለያው

የባህሪ ምህንድስና ከጥሬ መረጃ ትርጉም ያላቸው ምልክቶችን የማመንጨት ጥበብ ሲሆን ብዙውን ጊዜ ከአልጎሪዝም የበለጠ የአምሳያው ስኬት ይወስናል። ምድቦችን ኢንኮዲንግ (አንድ-ሙቅ ፣ መለያ ፣ ዒላማ) ፣ የቁጥሮች መለኪያ (ስታንዳርድላይዜሽን ፣ መደበኛነት) እና የመነሻ ባህሪያትን በጎራ እውቀት ማፍራት መሰረታዊ መሳሪያዎች ናቸው። ነገር ግን ይህ ደረጃ የመፍሰሱ ዋና አካል ነው፡ ሁሉም ለውጦች ከስልጠና/የፈተና ክፍፍል በኋላ እና ከስልጠናው መረጃ ብቻ መማር አለባቸው። AI ብዙ ሀሳቦችን ያመነጫል; ዋጋ ያለውን ከአደገኛው የሚለየው የሰው ፍርድ ነው።

የመተግበሪያ ተግባር

የዒላማ ተለዋዋጭ ምረጥ እና ካለህ አምዶች ቢያንስ አምስት የመነጩ ባህሪያትን ንድፍ። ለእያንዳንዳቸው "በግምት ጊዜ እገኛለሁ" የሚለውን ጥያቄ በጽሁፍ ይመልሱ እና ቢያንስ አንዱን "ከፍተኛ የመፍሰስ አደጋ" ብለው ያስወግዱ. ከዚያም በድህረ-ክፍልፍል ውስጥ የሚተገበሩትን አስተማማኝ ባህሪያት በቧንቧ መስመር ላይ ኮድ ያድርጉ.

የማረጋገጫ ዝርዝር

• [ ] ከባቡሩ/የሙከራ ክፍፍል በኋላ ሁሉንም ለውጦች ተጠቀምኩኝ?
• [ ] ከስልጠና የተማርኩት ስኬል/መቀየሪያ መለኪያዎችን ብቻ ነው?
• [ ] ለእያንዳንዱ ባህሪ "በግምት ጊዜ አለኝ" ለሚለው ጥያቄ መልስ ሰጥቻለሁ?
• [] እንደ ኢላማ ኮድ ማድረግ ባሉ ከፍተኛ አደጋ ዘዴዎች ላይ የበለጠ ጥንቃቄ አድርጌያለሁ?
• [ ] ለሞዴል አይነት (ዛፍ/መስመራዊ) በትክክል ለመለካት ወስኛለሁ?