የውሂብ ማጽዳት እና ቅድመ ማቀናበር፡ የጠፋ እሴት፣ ውጫዊ እና አይነት ልወጣ

ትርፍ፡

• የጎደሉ እሴቶችን መንስኤ (በዘፈቀደ ፣ ስልታዊ ፣ ትርጉም ያለው) የመለየት ችሎታ እና ተገቢውን ስልት መምረጥ እና የመሙያ ዋጋን ከስልጠና ብቻ ማስላት።
• ከመሰረዝዎ በፊት የውጭ አካላትን የመመርመር እና በውሂብ ስህተት እና በእውነተኛ ያልተለመደ ክስተት መካከል የመለየት ችሎታ
• የዓይነት እና የቅርፀት አለመጣጣሞችን ወደ መደበኛው በማምጣት የእያንዳንዱን እርምጃ በመስመሮች / ባዶዎች ብዛት ላይ ያለውን ተፅእኖ በመከታተል የዝምታ ኪሳራን የመከላከል ችሎታ።

የውሂብ ሳይንቲስት ጊዜ በግምት 60-80 በመቶ ጽዳት ይሄዳል; በኢንዱስትሪው ውስጥ ይህ በግማሽ ቀልድ "ዳታ ውራንግሊንግ" (የውሂብ መጨማደድ ወይም ዳታ ማፅዳት) ይባላል። ምክንያቱም የገሃዱ አለም መረጃ ከሞላ ጎደል ለመተንተን ዝግጁ ሆኖ አይመጣም፡ ቀናቶች በድብልቅ ቅርፀቶች ናቸው፣ ቁጥሮች እንደ ፅሁፍ ይቀመጣሉ፣ አንዳንድ ህዋሶች ባዶ ናቸው፣ አንድ ደንበኛ ሶስት ጊዜ በአንድ ጠረጴዛ ላይ በሁለት የተለያዩ ሆሄያት ይታያል። በዚህ ክፍል ውስጥ ሶስት መሰረታዊ የጽዳት ገጽታዎችን እንሸፍናለን፡ የጎደሉ እሴቶች፣ ወጣ ያሉ እና አይነት/ቅርጸት መቀየር። በዚህ ሥራ ውስጥ ሰው ሰራሽ የማሰብ ችሎታ እጅግ በጣም ፈጣን ረዳት ነው; ነገር ግን ምን ማጽዳት እንዳለበት እና እንዴት እንደሚወስኑ እርስዎ ነዎት, ምክንያቱም እያንዳንዱ የጽዳት ምርጫ ትንታኔውን ይለውጣል.

ወርቃማው የጽዳት ህግ: እያንዳንዱ ለውጥ ውሳኔ ነው

ሕዋስን መሰረዝ፣ በአማካኙ የጎደለውን እሴት መሙላት፣ የውጭ አካልን መቁረጥ - ከእነዚህ ውስጥ አንዳቸውም “ገለልተኛ” አይደሉም። እያንዳንዳቸው ውሂቡን ይለውጣሉ እና ውጤቱን ይነካል. ስለዚህ ወርቃማው የጽዳት ህግ: እያንዳንዱን ለውጥ ወደ ኮድ ይፃፉ, ምክንያቱን ያስተውሉ, ዋናውን ውሂብ በጭራሽ አይጻፉ. AI ፈጣን የጽዳት ኮድ ይሰጥዎታል ፣ ግን ይህ ኮድ ምን እንደሚሰራ የመረዳት ሃላፊነት የእርስዎ ነው ። "ባዶ መስመሮችን ሰርዝ" ስትል ስንት መስመሮች እንደጠፉ ሳታይ አታሂድ።

ይጠንቀቁ፡ ዋናውን ጥሬ መረጃ በጭራሽ አይቀይሩት። የጸዳውን እትም ወደ ተለየ ፋይል/ጠረጴዛ ይፃፉ። በዚህ መንገድ፣ ስህተት ካዩ፣ ወደ ካሬ አንድ መመለስ እና እንደገና መባዛትን መቀጠል ይችላሉ።

የጠፉ እሴቶች: ለምን ባዶ ነው, ምን ማድረግ እንዳለበት

የጎደለ እሴት (ብዙውን ጊዜ እንደ NaN - "ቁጥር አይደለም" በፓንዳዎች ውስጥ ይታያል) ሕዋስ ባዶ ሲሆን ነው። ነገር ግን የክፍተቱ መንስኤ መፍትሄውን ይወስናል. ሶስት የተለመዱ ሁኔታዎች አሉ. የዘፈቀደ ጠፍቷል: ዳሳሽ ለአፍታ አልሰራም; መሙላት ምክንያታዊ ሊሆን ይችላል. ስልታዊ ጠፍቷል: የቅጽ መስክ ለተወሰኑ ደንበኞች ብቻ ነው የሚጠየቀው; እዚህ ያለው ክፍተት በትክክል መረጃ ነው። ጉልህ የጎደለው: "የመመለሻ ቀን" ባዶ ከሆነ ደንበኛው አልተመለሰም; ይህ ቦታ 0 ወይም "ምንም" ማለት አይደለም, አልተሞላም.

ዋና ስልቶች፡-

ስልት

መቼ ተገቢ ነው?

አደጋ

ረድፍ ሰርዝ

የጎደለው መጠን በጣም ዝቅተኛ (<5%) እና በዘፈቀደ ነው።

የውሂብ እና ውክልና ማጣት

አንድ አምድ ሰርዝ

አብዛኛው አምድ ባዶ ነው (>60%)

መረጃ ማጣት

አማካኝ/አማካይ ሙላ

ቁጥራዊ፣ በዘፈቀደ ጠፍቷል

ልዩነቱን ይቀንሳል እና ስርጭቱን ያዛባል

ምድብ "ያልታወቀ"

ምድብ, ስልታዊ ጠፍቷል

ተጨማሪ ምድቦችን ያመነጫል

ከ ሞዴል ጋር ትንበያ

ውስብስብ, ውድ አምድ

የመፍሰስ አደጋ, ውስብስብነት

ወሳኝ ነጥብ: የማስመሰል ዋጋው ከስልጠናው መረጃ ብቻ ይሰላል እና ተመሳሳይ እሴት ለሙከራ መረጃ መተግበር አለበት. የፈተናውን አማካኝ ካካተትክ፣ ልቅነትን (ክፍል 10) ይፈጥራሉ። መካከለኛው (የመደበኛ መረጃ መካከለኛ ዋጋ) ብዙውን ጊዜ ከአማካይ ይመረጣል ምክንያቱም ከአማካኙ የበለጠ ጠንካራ ወደ ውጭ መውጣት ነው።

ውጫዊዎች፡ ስህተት ወይስ እውነት?

ውጫዊ መረጃ ከሁለት ነገሮች አንዱ ሊሆን ይችላል፡ የውሂብ ስህተት (999 በእድሜ ዓምድ) ወይም እውነተኛ ግን ያልተለመደ ክስተት (የደንበኛ የ2 ሚሊዮን ዶላር ትእዛዝ)። ሁለቱን ግራ ማጋባት አስከፊ ነው፡ እውነተኛውን የውጭ አካል ይሰርዙ እና አስፈላጊ መረጃዎችን ይጥላሉ; ስህተትን ከለቀቁ አማካዮችዎ ይጎዳሉ። ስለዚህ, መጀመሪያ ውጫዊውን መመርመር አስፈላጊ ነው, በራስ ሰር ለማጥፋት አይደለም.

የተለመዱ የፍተሻ ዘዴዎች፡ IQR ዘዴ (የመሃል ክልል፤ ከ25% እና 75% ኩንታል የውሂብ ልዩነት ከ1.5 እጥፍ በላይ የሆኑ እሴቶች እንደ ውጭ ተደርገው ይወሰዳሉ) እና z-score (ከዋጋው አማካኝ የራቁ መደበኛ ልዩነቶች ብዛት፤ አብዛኛውን ጊዜ ከ 3 በላይ ከሆነ ውጭ ይሆናል።) AI ለእነዚህ ስሌቶች በሴኮንዶች ውስጥ ኮዱን ይጽፋል; ግን "ሰርዝ" ከማለትዎ በፊት እነዚህ እሴቶች ምን እንደሆኑ ያረጋግጡ።

አይነት እና ቅርፀት ልወጣ፡ ጸጥ ያለ የስህተት ምንጭ

በጣም ራስ ምታት ከሚባሉት አንዱ የውሂብ አይነት ግራ መጋባት ነው. አንድ "መጠን" አምድ እንደ ጽሑፍ ከተከማቸ ማከል አይችሉም; ፕሮግራሙ በ "አንድ ሺህ ሁለት መቶ ሃምሳ" ፈንታ "1,250.50" ያለ የቱርክ ቅርጸት ቁጥርን በስህተት ያነባል። ቀኖች ("01/03/2024" የቀን-ወር ወይም ወር-ቀን?)፣ ምድቦች ("ወንድ"/"ወንድ"/"ኤም" አንድ አይነት ነገር ናቸው?) እና አሃዶች (ቲኤል ወይስ ኩሩሽ?) በጸጥታ የተሳሳተ ውጤት ያስገኛሉ። የማጽዳት ትልቁ አካል እነዚህን አለመጣጣሞች ወደ መደበኛው መሳብ ነው፡ ቀኖች ወደ አንድ ቅርጸት፣ ምድቦች ወደ አንድ ሆሄያት፣ ቁጥሮችን ወደ አንድ ክፍል።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - አማካይ ወጥመድ. በገቢ አምድ ውስጥ 320 የጎደሉትን እሴቶችን በአማካኝ ($48,500) የተሞላ ቡድን። ግን ድክመቶቹ ስልታዊ ነበሩ፡ እነዚህ ዝቅተኛ ገቢ ያላቸው ክፍሎች ገቢን ፈጽሞ ያልገለጹ ናቸው። አማካኝ መሙላት ይህን ቡድን ሰው ሰራሽ በሆነ መንገድ ሀብታም አድርጎታል እና የብድር ሞዴሉ የተሳሳተ ነበር። ትምህርት: ከመሙላቱ በፊት "ለምን ባዶ ሆነ" የሚለውን ይጠይቁ.

ጉዳይ 2 - መሰረዝ የሌለበት ውጫዊ። አንድ የችርቻሮ ተንታኝ 4 ግዙፍ ትዕዛዞችን (እያንዳንዳቸው 1.8 ሚሊዮን TL) በሽያጭ ውሂቡ ውስጥ "ስህተቶች" እንደሆኑ በማሰብ ሰርዘዋል። ነገር ግን፣ እነዚህ እውነተኛ የድርጅት ትዕዛዞች ነበሩ እና ከጠቅላላ ትርፉ 22% ነበሩ። የድህረ-ስረዛ ትንበያ ሞዴል ተቋማዊ ፍላጎትን ሙሉ በሙሉ አምልጦታል። ትምህርት፡ ውጫዊውን ከመሰረዝዎ በፊት ይመርምሩ።

ጉዳይ 3 - የቀን ቅርጸት አደጋ. በCSV ውስጥ፣ ቀኖቹ ወደ ሁለቱም "2024-03-01" እና "01.03.2024" ተቀላቅለዋል። በYZ የተፃፈው ኮድ በመጀመሪያው ቅርጸት ሲተነተን 6,400 መስመሮች NaT እንደ "ልክ ያልሆነ ቀን" ሆኑ እና በፀጥታ ከመተንተን ተገለሉ። ተንታኙ ይህንን ያስተዋሉት የመስመሮች ብዛት ሲቀንስ ብቻ ነው። ትምህርት፡ ሁልጊዜ ከተለወጠ በኋላ የመስመሮች እና ባዶ ቦታዎችን ብዛት ያረጋግጡ።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) የእሴት ካርታ ይጎድላል፡

ፓንዳስ አለኝ df. ለእያንዳንዱ አምድ የጎደለውን ቁጥር እና መቶኛ (ናኤን) የሚያሳይ ሠንጠረዥ የሚያወጣ ኮድ ይፃፉ። ከዚያ የጎደለ መጠን ከ40% በላይ እና ከ 5% በታች የጎደሉትን አምዶች ለየብቻ ይዘርዝሩ። እርስዎ የሚጠቁሙትን ስልት ሳይሆን ይህን የምርመራ ኮድ ብቻ ያመነጩ; ውሳኔውን አደርጋለሁ።

2) የውጭ ምርመራ (አይሰረዝም)

የIQR ዘዴን በመጠቀም ለ "መጠን" አምድዬ የሚያጣራ (የማይሰርዝ!) የሚወጣ ኮድ ፃፉ። እኔ በእጅ መመርመር እንድችል የወጡ ረድፎችን በተለየ ዲኤፍ ውስጥ ያስቀምጡ። እንዲሁም የውጪዎችን ቁጥር እና በጠቅላላው ያላቸውን ድርሻ ያትሙ።

3) ዓይነት/ቅርጸት መደበኛ ማድረግ፡

የሚከተሉትን ዓምዶች ደረጃውን የጠበቀ ኮድ ይጻፉ: - "ቀን": የተቀላቀሉ ቅርጸቶች ሊሆኑ ይችላሉ ("2024-03-01" እና "01.03.2024"); ሁሉንም ወደ ቀኑ ቀይር ፣ የማይተረጎሙትን ይቁጠሩ እና ሪፖርት ያድርጉ (በፀጥታ ይጣሉት)። - "ጾታ"፡ "ወንድ"/"ወንድ"/"መ" -> "ኤም"፣ "ሴት"/"ሴት"/"ኤፍ" -> "ኬ"። - "መጠን": የቱርክ ቅርጸት ጽሑፍ ("1.250,50") -> የአስርዮሽ ቁጥር. ከእያንዳንዱ ልወጣ በኋላ ምን ያህል ረድፎች እንደተጎዱ ያትሙ።

4) ከማጽዳቱ በፊት እና በኋላ ያረጋግጡ;

ከጽዳት እርምጃ በፊት እና በኋላ የተመረጡ ዓምዶችን df.shape፣ የጎደለ ቆጠራ እና ማጠቃለያ ስታቲስቲክስ (አማካይ፣ መካከለኛ፣ ደቂቃ፣ ከፍተኛ) የሚያነጻጽር ኮድ ይፃፉ። ዓላማው: ምን ጽዳት እንደሚለወጥ ለማየት.

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ይህን ውሂብ አጽዳ።

"ግልጽ" አሻሚ ነው; AI ምን የጎደሉ ክፍሎች መሰረዝ እንዳለባቸው፣ ምን እንደሚሞሉ፣ የትኛውን ዓምድ እንደሚያስኬድ እና እንዴት እንደሆነ አያውቅም። ውጤቱ: ዓይነ ስውር, የማይመለሱ ለውጦች.

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ የውሂብ ማጽዳት ረዳት። df አምዶች፡ ደንበኛ_መታወቂያ (int)፣ የምዝገባ_ቀን (የተደባለቀ ቅርጸት ጽሑፍ)፣ ገቢ_ቲኤል (ጽሑፍ፣ "1,200.00")፣ ከተማ (ጽሑፍ፣ ወጥ ያልሆነ የፊደል አጻጻፍ)። ደንቦች: - የመጀመሪያውን df መቀየር; df_clean በተሰየመው ቅጂ ላይ ይስሩ።- ገቢ_ቲኤልን ወደ ቁጥር ቀይር፣ የማይተረጎመውን ይቁጠረው። - የመመዝገቢያ_ቀንን ወደ ቀን ጊዜ ቀይር፣ ስህተቱን ሪፖርት አድርግ። እጩዎቹን ለየብቻ ያሳዩ። ከእያንዳንዱ እርምጃ በኋላ df_temiz.shape እና የጎደለውን ቁጥር ያትሙ።

እዚህ ምንጩ የተጠበቀ ነው, እያንዳንዱ ለውጥ ይቆጠራል, ስረዛው ለሰው ልጅ ነው.

የተለመዱ ስህተቶች

• ክፍተቶቹን መሙላት "ለምን ባዶ ሆነ?" በአማካኝ ስልታዊ/ ጉልህ የሆነ ጉድለት መሙላት መረጃውን ያዛባል።
• ውጫዊውን ሳይመረምሩ መሰረዝ. እውነተኛ ግን ያልተለመዱ ክስተቶችን መጣል ጠቃሚ መረጃን ያጠፋል.
• ከሁሉም ውሂቦች የንጣፍ እሴቱን በማስላት ላይ። የሙከራ ውሂብን ጨምሮ መፍሰስን ይፈጥራል; ከስልጠና ብቻ አስሉ.
• ከተቀየረ በኋላ የረድፎች/ባዶዎች ብዛት አለመፈተሽ። NaT/NaN በጸጥታ ያሉ ረድፎች ከመተንተን የተገለሉ ናቸው።
• ዋናውን ውሂብ እንደገና በመፃፍ ላይ። መመለስ እና መራባት ጠፍተዋል።

ጠቃሚ ምክር: ማጽጃውን በ "ቅድመ-በኋላ" ንጽጽር ያካሂዱ. ከእያንዳንዱ እርምጃ በኋላ df.shape፣ የጎደለ ቆጠራ እና የወሳኝ ዓምዶች ማጠቃለያ ስታቲስቲክስን ያትሙ። ስለዚህ አንድ እርምጃ ሳይታሰብ 6,000 ረድፎችን እንደሚያጠፋ ወዲያውኑ ያያሉ።

በማጠቃለያው

ማጽዳት ጊዜ የሚፈጅ እና ውሳኔ የሚያስፈልገው የውሂብ ሳይንስ ደረጃ ነው። እያንዳንዱ ለውጥ ውሂቡን ይለውጣል, ስለዚህ እያንዳንዱ የነቃ ውሳኔ ነው. ለጠፉ እሴቶች፣ "ለምን ባዶ ሆነ?" ከመሰረዝዎ በፊት ማንኛቸውም ውጫዊ ገጽታዎችን ይገምግሙ; ዓይነት እና ቅርጸት ወደ መደበኛው ያምጡ። የመሙያ ዋጋን ከስልጠናው መረጃ ብቻ አስሉ፣ ዋናውን ያስቀምጡ እና የእያንዳንዱን እርምጃ ተፅእኖ በመቁጠር ይከታተሉ። AI በዚህ ንግድ ውስጥ በጣም ፈጣን ማፋጠን ነው፣ ነገር ግን ሰዎች ምን እንደሚያፀዱ እና ለምን እንደሚወስኑ ይወስናሉ።

የመተግበሪያ ተግባር

አንድ ትንሽ ጠረጴዛ ይውሰዱ (ወይም ይፍጠሩ) እና ሆን ብለው ሶስት ችግሮችን በእሱ ውስጥ ያስገቡ-የጠፋ እሴት tuple ፣ outlier ፣ ድብልቅ የቀን ቅርጸት። ከላይ ከተጠቀሱት አብነቶች ጋር ከ AI የምርመራ እና መደበኛ ኮድ ይጠይቁ; ከእያንዳንዱ እርምጃ በፊት/በኋላ የረድፎችን እና ባዶዎችን ብዛት ያወዳድሩ። ቢያንስ አንድ "የፀጥታ ማጣት" ለመያዝ ይሞክሩ እና እንዴት እንዳስተዋሉት ያስተውሉ.

የማረጋገጫ ዝርዝር

• [ ] ዋናውን ጥሬ መረጃ አስቀምጬ ቅጂው ላይ ሠርቻለሁ?
• [ ] ለእያንዳንዱ የጎደለ አምድ "ለምን ባዶ ሆነ" የሚለውን ጥያቄ ጠይቄያለሁ?
• [ ] ከመሰረዝዎ በፊት ገለጻዎችን ገምግሜ ነበር?
• [] የመጠቅለያውን ዋጋ ከስልጠና መረጃ ብቻ አስላሁት?
• [ ] ከእያንዳንዱ እርምጃ በኋላ የመስመሮችን/የባዶዎችን ብዛት እያጣራሁ እና ጸጥ ያለ ኪሳራን እያስወገድኩ ነው?