የውሂብ መፍሰስ እና መራባት፡ ጸጥ ያሉ አደጋዎች እና ተግሣጽ

ትርፍ፡

• የውሂብ መፍሰስ ዓይነቶችን የመለየት ችሎታ (ዒላማ ፣ ጊዜ ፣ ቅድመ ሂደት ፣ የተሰበሰበ ረድፍ) እና 'እውነት ለመሆን በጣም ጥሩ' ውጤትን እንደ ማንቂያ ይጠይቁ
• የመሞከሪያውን ስብስብ, የቧንቧ መስመር እና ትክክለኛ ክፍፍል (የጊዜ ቅደም ተከተል / በቡድን) ቀደም ብሎ በመለየት መፍሰስን የመከላከል ችሎታ.
• በቋሚ ዘሮች ፣ የስሪት ቁጥጥር እና በእጅ ደረጃዎችን በማስወገድ ትንታኔን እንደገና እንዲሰራጭ የማድረግ ችሎታ

በመረጃ ሳይንስ ውስጥ ከፍተኛውን ጥረት የሚያባክኑ ሁለት ስህተቶች አሉ እና ሁለቱም ተንኮለኛዎች ናቸው ምክንያቱም ሁሉም ነገር "ጥሩ በሚመስልበት ጊዜ" ወደ አደጋው ይመራሉ. የመጀመሪያው የመረጃ መፍሰስ ነው፡ ሞዴሉ በሙከራው ስብስብ ላይ ጥሩ ይሰራል ነገር ግን በምርት ላይ ወድቋል። ሁለተኛው መራባት አለመቻል ነው፡ ከስድስት ወራት በኋላ ትንታኔ ያካሂዳሉ እና ፍጹም የተለየ ውጤት ያገኛሉ። ይህ ክፍል እነዚህን ሁለት ወጥመዶች በጥልቀት ለማወቅ እና ለማስወገድ የተዘጋጀ ነው። AI ሁለቱንም አደጋዎች ሊጨምር ይችላል (በፍጥነት ያመነጫል፣ የተደበቁ ፍሳሾችን ይጠቁማል፣የእጅ እርምጃዎችን እንዲወስዱ ያቀልልዎታል) ነገር ግን በትክክል ጥቅም ላይ ከዋሉ እነሱን መቀነስ ይችላል። ልዩነቱ በዲሲፕሊን ነው።

የውሂብ መፍሰስ፡ clairvoyant ሞዴል

የውሂብ መፍሰስ ሞዴሉ በስልጠና ወቅት መረጃን ሲመለከት ነው, ይህም በትክክል በሚገመተው ጊዜ አይኖረውም. ሞዴሉ በዚህ መረጃ "ያጭበረብራል", በሙከራው ስብስብ ላይ ጥሩ ይመስላል, ነገር ግን ያለዚያ መረጃ በምርት ላይ ወድቋል. የመንጠባጠብ ምልክት ሁልጊዜ ማለት ይቻላል ተመሳሳይ ነው፡ እውነት ለመናገር በጣም ጥሩ ነው። የ 99% ትክክለኛነትን ሲመለከቱ ከመደሰትዎ በፊት, ፍሳሾችን መፈለግ አለብዎት.

ዋናዎቹ የፍሳሽ ማስወገጃ ዓይነቶች-

1. የጎል መፍሰስ፡- ባህሪ የጎል ውጤት ነው። በ"ተሰርዟል" ትንበያ ውስጥ "የተሰረዘበት ቀን" ወይም "የተመላሽ ገንዘብ" አምዶች የዒላማው ውጤት ናቸው; ውጤቱ ግልጽ በሚሆንበት ጊዜ ብቻ ይሞላሉ.

2. የጊዜ መፍሰስ፡- የወደፊት መረጃን ወደ ያለፈው ማምጣት። "የመጨረሻውን 30 ቀናት አማካኝ" ሲያሰሉ ከትንበያ ቀን በኋላ ያሉትን ቀናት ያካትቱ ወይም ተከታታይዎቹን በዘፈቀደ ያካፍሉ።

3. የቅድመ-ሂደት መፍሰስ፡- ከስልጠና/የሙከራ ክፍልፋዮች በፊት እንደ ሚዛን፣ ሙሌት፣ ከሁሉም መረጃዎች ኮድ ማድረግን የመሳሰሉ ለውጦችን መማር። የሙከራ መረጃ አማካኝ በስልጠና ላይ ጣልቃ ይገባል.

4. የተባዛ/የተሰባሰበ የረድፍ መፍሰስ፡- የአንድ ሰው ረድፎች በስልጠና እና በፈተና ላይ ይገኛሉ (በተለያዩ ስብስቦች ውስጥ የአንድ አይነት ታካሚ ሁለት ጉብኝት)። ሞዴሉ ሰውየውን ያስታውሰዋል.

የማፍሰስ አይነት

እንዴት እንደሚወለድ

እንዴት መከላከል እንደሚቻል

የዒላማ መፍሰስ

የዒላማው ውጤት የሆነው አምድ

"በግምት ጊዜ አለኝ" ፈተና

የጊዜ መፍሰስ

የወደፊቱን ወደ ያለፈው ማምጣት

የጊዜ ቅደም ተከተል ክፍፍል, የመስኮት መቆጣጠሪያ

ቅድመ-ሂደት መፍሰስ

ቅድመ-የተከፋፈለ ልወጣ

የቧንቧ መስመር, ልክ ከስልጠና ጋር ይጣጣማል

የተቧደኑ የረድፍ መፍሰስ

በሁለት ስብስቦች ውስጥ አንድ አይነት ክፍል

በቡድን ተከፋፈለ (ቡድንKFold)

መፍሰስን ለመከላከል ብቸኛው ተግሣጽ

ለሁሉም አይነት ፍንጣቂዎች የተለመደው መፍትሄ ወደ አንድ አረፍተ ነገር ይቀየራል፡ የፈተናውን ስብስብ በተቻለ ፍጥነት በማግለል ትክክለኛውን የወደፊት ሁኔታ ለመምሰል እና ምንም ነገር "አትማረው"። በተግባር ይህ ማለት በመጀመሪያ መከፋፈል, ከዚያም ሁሉንም ለውጦች ከስልጠናው ብቻ ይማሩ እና በቧንቧ መስመር ውስጥ ይተግብሩ (ሁሉንም ደረጃዎች በአንድ ሰንሰለት ውስጥ የሚሰበስብ መዋቅር). ለእያንዳንዱ ባህሪ, "ይህን መረጃ ትንበያው ጊዜ አለኝ?" የሚለውን ጥያቄ ይጠይቁ. ጊዜ ካለ, በጊዜ ቅደም ተከተል ይከፋፍሉት; ተመሳሳይ ክፍል ተደጋጋሚ ከሆነ በቡድን ይከፋፍሉ.

ይጠንቀቁ: በጣም አደገኛው የመንጠባጠብ ገጽታ እራሱን እንደ ስኬት ማቅረቡ ነው. መጥፎ ሞዴል ግልጽ ያልሆነ ውጤት ያስገኛል እና ትኩረት ይሰጣል; የፈሰሰው ሞዴል በጣም ጥሩ ይሰራል፣ ሁሉንም ያስደስታል እና ወደ ምርት ገብቷል - መውደቅ የሚጀምረው እዚያ ነው። ለዚህም ነው "በጣም ጥሩ" ውጤት ለደስታ ሳይሆን ለደስታ ምክንያት የሚሆነው።

እንደገና መራባት: ተመሳሳይ ውጤት ሁለት ጊዜ ማግኘት

እንደገና ማባዛት በሌላ ጊዜ ትንታኔን በሌላ ማሽን ላይ ሲያካሂዱ ተመሳሳይ ውጤት የማግኘት ችሎታ ነው። ያለዚህ፣ የእርስዎ ትንታኔ በአጋጣሚ እንጂ ሳይንሳዊ አይደለም። መራባትን የሚጎዱ ዋና ዋና ምክንያቶች እና መፍትሄዎች፡-

በእጅ የሚወሰዱ እርምጃዎች፡ በ Excel ውስጥ ሕዋስን በእጅ መለወጥ፣ በእጅ ገበታ ማስተካከል። መፍትሄ፡ እያንዳንዱ እርምጃ በኮድ ይኑርዎት።

ያልተስተካከለ የዘፈቀደነት፡ የአምሳያ ስልጠና፣ ናሙና፣ መለያየት በዘፈቀደ ያካትታል። መፍትሄ፡ የዘፈቀደ ዘርን አስተካክል (የነሲብ ጀነሬተር የመጀመሪያ ዋጋ) (random_state=42)።

ሥሪት ይቀየራል፡ የቤተ-መጽሐፍት ሥሪት ሲቀየር ውጤቱ ሊለወጥ ይችላል። መፍትሄ፡ ጥገኞችን ያስተካክሉ (requirements.txt፣ የአካባቢ ፋይል)።

ምንም መዝገብ መያዝ የለም፡ የትኛው ውሂብ፣ የትኛው ኮድ፣ የትኛው ግቤት ጥቅም ላይ እንደዋለ ግልጽ አይደለም። መፍትሄ፡ የስሪት ቁጥጥር (ጂት - ሁሉንም የኮዱ ስሪቶች የሚያስቀምጥ ስርዓት) እና የውሂብ ስሪት።

"በእኔ ማሽን ላይ ብቻ ነው የሚሰራው"፡ መፍትሄ፡ አካባቢን መዝግበው ከተቻለ ኮንቴይነሮችን (Docker) ይጠቀሙ።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የዒላማ መፍሰስ. አንድ የጤና ትንታኔ "ታካሚው እንደገና መቀበሉን ወይም አለመቀበሉን" ለመተንበይ "ድህረ-ድህረ-መድሃኒት" አምድ አሳይቷል. ይህ አምድ የተሞላው በሽተኛው ከተለቀቀ በኋላ ብቻ ነው. ሞዴሉ 96%, በምርት 61% ሰጥቷል. የ8ኛው ሳምንት ፕሮጀክት ቆሻሻ ነበር። ትምህርት: እያንዳንዱን ባህሪ ይጠይቁ "በግምት ጊዜ አለ?"

ጉዳይ 2 - ቅድመ-ሂደት መፍሰስ. አንድ ቡድን ሁሉንም ውሂብ አመዛዝኖ ከዚያ ተከፋፍሏል። የፈተናው መረጃ አማካኝ ልኬቱን በማሳየት ላይ ነበር። የሲቪ ነጥብ 89% ፣ ትክክለኛው ምርት 76%. ወደ ፓይላይን ስሄድ እና ስለ ትራንስፎርሜሽኖች ከስልጠና ብቻ ስማር የውሸት ስኬት ጠፋ። ትምህርት፡ መጀመሪያ ይከፋፍሉ፣ በኋላ ይቀይሩ።

ጉዳይ 3 - ማባዛት አለመቻል. አንድ ተንታኝ ከሶስት ወራት በኋላ ለአስተዳደሩ ያቀረበውን ሰንጠረዥ ለማሻሻል ፈልጎ ነበር ነገር ግን እንዴት እንዳዘጋጀው ማስታወስ አልቻለም; በ Excel ውስጥ ብዙ እርምጃዎች በእጅ ተከናውነዋል። ውጤቱ አልሰራም እናም መተማመን ተናወጠ። ትምህርት: ምንም በእጅ ደረጃዎች የሉም, ሁሉም ነገር በኮድ እና Git ውስጥ ነው.

አራት ሊገለበጡ የሚችሉ አብነቶች

1) የፍሰት ምርመራ;

የእርስዎ ሚና፡ ልቅ ተቆጣጣሪ። ዒላማ፡ "churn" (0/1)፣ የትንበያ ማጣቀሻ ቀን፡ የመዝገብ_ቀን። ይህንን የባህሪዎች ዝርዝር እሰጥዎታለሁ. ለእያንዳንዱ ባህሪ፡ (ሀ) የግቡ ውጤት ነው፣ (ለ) ትንበያው በሚደረግበት ጊዜ ለእኔ ይገኛልን፣ (ሐ) የጊዜ መስኮቱ የወደፊቱን ያካትታል? እንደ "አስተማማኝ/አጠራጣሪ/ማንሳት" ምልክት ያድርጉበት እና ምክንያት ይፃፉ። ባህሪያት: [ዝርዝር]

2) ከማፍሰስ ነጻ የሆነ የቧንቧ መስመር;

sklearn የቧንቧ መስመር ያዋቅሩ፡ መጀመሪያ የተከፈለ ባቡር/ሙከራ (stratified, ዘር=42)፣ከዚያ ሁሉንም ቅድመ-ሂደት (ኢምዩት፣ ሚዛን፣ ኢንኮድ) ከስልጠና ብቻ ወደ ቧንቧው ያስገቡ። ኮዱ ለምን እንደተለቀቀ ያብራሩ፣ የትኛው እርምጃ የት እንደተማረ።

3) የተባዛነት ማረጋገጫ ዝርዝር ኮድ፡-

ትንታኔዬን እንደገና እንዲሰራ ማድረግ እፈልጋለሁ። የሚጨምር ኮድ/መዋቅር ይጠቁሙ፡ (1) ደረቅ ዘር ለሁሉም የዘፈቀደነት፣ (2) ጥቅም ላይ የዋሉ የቤተ-መጻህፍት ስሪቶች፣ (3) ቀን/ስሪት ለውሂብ እና ለውጤት መለያ። እንዲሁም በእጅ የሚደረጉ እርምጃዎች አለመኖራቸውን ለማረጋገጥ የፍተሻ ዝርዝር ስጠኝ።

4) የቡድን ክፍፍል (ተመሳሳይ ክፍል መፍሰስ)

በመረጃው ውስጥ ተመሳሳዩ ደንበኛ_መታወቂያ በበርካታ ረድፎች ውስጥ አለ። ተመሳሳዩን ደንበኛ በስልጠና እና በሙከራ ላይ እንዳይሆን የሚከለክለውን ክፋይ (GroupKFold orGroupShuffleSplit, group = customer_id) ያድርጉ። ከተከፋፈሉ በኋላ በሁለቱም ስብስቦች ውስጥ ምንም ደንበኛ አለመኖሩን ለማረጋገጥ ኮድ ያካትቱ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

የእኔ ሞዴል 98% ትክክለኛነትን መለሰ ፣ ያ ጥሩ አይደለም? ኮዱን ያመቻቹ።

98% ማክበር ጉድለቱን ይደብቃል። ከማመቻቸት በፊት፣ ይህ ነጥብ እውነት ነው ወይስ አይደለም የሚለው ጥያቄ ሊነሳ ይገባል።

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ ልቅ ተቆጣጣሪ። የእኔ ሞዴል በሙከራ ስብስብ ላይ 98% ትክክለኛነትን ይመልሳል፣ ይህም ለእኔ "እውነት ለመሆን በጣም ጥሩ" ይመስላል። ቼክ፡ (1) የዒላማው ውጤት ማንኛቸውም ባህሪያት ናቸው፣ (2) ከመለያየታቸው በፊት የተደረጉ ለውጦች ናቸው፣ (3) በሁለት ስብስቦች ውስጥ አንድ አይነት አሃድ ናቸው፣ (4) ማንኛውም የጊዜ ፍንጣቂዎች አሉ። ማንኛውንም አጠራጣሪ ነጥቦችን ይዘርዝሩ; ፍሳሹን በማግኘት ላይ አተኩር እንጂ ነጥቡን በማስተካከል ላይ አይደለም።

እዚህ, ከፍተኛ ነጥብ ለመጠየቅ ምልክት ተደርጎ ይወሰዳል, ለማክበር አይደለም.

የተለመዱ ስህተቶች

• "በጣም ጥሩ" ውጤቱን በማክበር ላይ. በጣም ጥሩ-ለ-እውነት ነጥብ የመልቀቅ ማንቂያ እንጂ ስኬት አይደለም።
• ከመከፋፈል በፊት ለውጡን ከሁሉም መረጃዎች መማር። በጣም የተለመደው ፍሳሽ; በመጀመሪያ ከቧንቧ ጋር ይከፋፍሉ.
• የጊዜ ተከታታይን በዘፈቀደ መከፋፈል። ሞዴሉ የወደፊቱን ይመለከታል; የዘመን አቆጣጠር መከፋፈል የግድ ነው።
• ተመሳሳዩን ክፍል በሁለት ስብስቦች መተው. ሞዴሉ ሰውየውን ያስታውሰዋል; በቡድን መከፋፈል.
• በእጅ አልገባም እና በኮዱ ውስጥ መጻፍ። ትንታኔው ሊባዛ የማይችል ይሆናል; ሁሉም ነገር በኮድ እና Git ውስጥ መሆን አለበት.

ጠቃሚ ምክር: በፕሮጀክትዎ መጀመሪያ ላይ "የክብር ቃል ኪዳን" ባለ ሁለት ዓረፍተ ነገር ይፃፉ: "በምርት ውስጥ ከማየቴ በፊት በምንም መንገድ የተቀመጠውን ፈተና አልነካኩም. እያንዳንዱ እርምጃ በኮዱ ውስጥ ነው እና ዘሩ ተስተካክሏል." እነዚህን ሁለት ዓረፍተ ነገሮች በሐቀኝነት መፈረም ካልቻሉ ውጤቱ እስካሁን አስተማማኝ አይደለም.

በማጠቃለያው

የውሂብ መፍሰስ እና እንደገና መባዛት በዳታ ሳይንስ ውስጥ ሁለቱ በጣም ውድ የዝምታ ስህተቶች ናቸው። መፍሰስ የአምሳያው የወደፊት ራዕይ ነው እና እራሱን እንደ የውሸት ስኬት ያቀርባል; መፍትሄው የፈተናውን ስብስብ ቀደም ብሎ መከፋፈል, ለውጦችን ከስልጠና (ቧንቧ) ብቻ መማር, እያንዳንዱን ባህሪ "በግምት ጊዜ አለኝ" የሚለውን ጥያቄ ይጠይቁ እና ትክክለኛ ክፍፍል (የጊዜ ቅደም ተከተል / በቡድን). መራባት ሁለት ጊዜ ተመሳሳይ ውጤት ማግኘት መቻል ነው; የእሱ መፍትሄ እርምጃዎችን በእጅ ማስወገድ ፣ ዘሩን መሰካት ፣ እትሞቹን ማሰር እና ሁሉንም ነገር በጊት ውስጥ ማቆየት ነው። AI እነዚህን አደጋዎች ሊጨምር ወይም ሊቀንስ ይችላል; የሚወስነው የእርስዎ ተግሣጽ ነው።

የመተግበሪያ ተግባር

የገነቡትን ሞዴል (ወይም መላምታዊ) የባህሪ ዝርዝርን ይውሰዱ እና እያንዳንዱን ባህሪ "ይህን መረጃ በሚተነብይበት ጊዜ አለኝ?" የሚለውን ጥያቄ ይጠይቁ። በጽሑፍ; ቢያንስ አንድ የሚያፈስ እጩ ያግኙ። ከዚያም የእርስዎን ትንተና ሊባዛ የሚችል ለማድረግ የፍተሻ ዝርዝር ይሙሉ: ዘሩ ተስተካክሏል, በእጅ ደረጃዎች አሉ, የተመዘገቡት ስሪቶች, በ Git ውስጥ ናቸው. ጉድለቶቹን ያስተካክሉ.

የማረጋገጫ ዝርዝር

• [ ] "እውነት ለመሆን በጣም ጥሩ" የሚለውን ነጥብ እንደ ልቅ ማንቂያ ጠየቅሁት?
• [] ከሥልጠና በኋላ ሁሉንም ለውጦች ተምሬያለሁ?
• [ ] በጊዜ/በቡድን መዋቅር (የጊዜ ቅደም ተከተል/ቡድንKFold) ተከፋፍያለሁ?
• [ ] ሁሉንም በዘፈቀደ በቋሚ ዘር መድገም አድርጊያለው?
• [] በእጅ የሚደረጉትን እርምጃዎች አስወግጄ ሁሉንም ነገር በኮድ እና በስሪት ቁጥጥር ውስጥ አስቀምጫለሁ?