የውሂብ ማጽጃ እና ዝግጅት፡ የጠፋ ውሂብ፣ ውጪ ሰጪዎች እና ኮድ ማድረግ

ትርፍ፡

• የጎደሉትን የውሂብ አይነቶችን (MCAR/MAR/MNAR)፣ ውጪያዊ እና ኮድ አወጣጥ ስህተቶችን የማወቅ ችሎታ እና የማጽዳት ኮድ እና ምርመራን ለማምረት AIን ከትክክለኛው መረጃ ጋር መጠቀም።
• በአርቴፊሻል ኢንተለጀንስ የተጠቆመ እያንዳንዱ የጽዳት እርምጃ (ስረዛ፣ ምደባ፣ ለውጥ) እንዴት በመተንተን ውጤቱ ላይ ተጽዕኖ እንደሚያሳድር እና የሚቀለበስ እና የሰነድ የስራ ሂደትን እንደሚፈጥር የማየት ችሎታ
• የማጽዳት ውሳኔዎች መረጃን በሚያመነጨው የሂደቱ እውቀት ላይ የተመሰረቱ መሆናቸውን መጠበቅ እና አርቴፊሻል ኢንተለጀንስ ቁጥጥር የሚደረግበት ረዳት እንጂ ዓይነ ስውር አውቶሜትድ አይደለም

እያንዳንዱ ልምድ ያለው ተንታኝ አንድ እውነት ያውቃል፡ አብዛኛው ጊዜ የተግባር ፕሮጄክት ሞዴሊንግ አይደለም፣ ነገር ግን መረጃን የማጽዳት ስራ (ስህተቶችን፣ ግድፈቶችን እና መረጃዎችን የማረም ስራ እና ለመተንተን ዝግጁ ማድረግ)። ጣት አንድ ሻካራ ደንብ እንደ, ስለ ጊዜ 70-80% ወደ መረዳት, ማጽዳት እና ውሂብ መለወጥ; ለትክክለኛው ትንተና ከ20-30% ብቻ ይቀራል. በዚህ ክፍል ውስጥ፣ አርቴፊሻል ኢንተለጀንስ (AI) ይህን ከባድ ሸክም እንዴት እንደሚያቃልል ደረጃ በደረጃ እንመለከታለን፣ ነገር ግን የትኞቹ ውሳኔዎች አሁንም ከእርስዎ ጋር መቆየት አለባቸው እና ለምን።

አስቀድመን ሁለት መሰረታዊ እውነታዎችን እናስቀምጥ። በመጀመሪያ ፣ የጽዳት ውሳኔዎች መረጃውን በሚያወጣው ሂደት ላይ ባለው እውቀት ላይ የተመሰረቱ ናቸው-እሴት ለምን እንደጠፋ ፣ ለምን ቁጥሩ በጣም ትልቅ እንደሆነ እርስዎ ብቻ ያውቃሉ። AI መረጃውን አያይም, አውድ አያውቀውም; ኮድ ይጽፋል, ውሳኔ አይሰጥም. በሁለተኛ ደረጃ, እያንዳንዱ የጽዳት እርምጃ የትንታኔውን ውጤት ሊለውጥ ይችላል. የውጭ አካልን መሰረዝ ኮፊሸን ሊገለበጥ ይችላል; የጎደለውን አማካኝ መሙላት በሰው ሰራሽ መንገድ ልዩነትን ሊቀንስ ይችላል። ስለዚህ ማጽዳቱ ሊቀለበስ እና መመዝገብ አለበት: ጥሬውን በጭራሽ አይንኩ, እያንዳንዱን እርምጃ በኮድ ያድርጉ, የእያንዳንዱን እርምጃ ተፅእኖ ይመዝግቡ.

የደረጃ በደረጃ የጽዳት ስራ ሂደት

1. መረጃውን እወቅ. በመጀመሪያ አወቃቀሩን ይመልከቱ: የረድፎች ብዛት (ምልከታዎች) እና አምዶች (ተለዋዋጮች), የእያንዳንዱ ተለዋዋጭ አይነት (ቁጥር, ምድብ, ቀን), ማጠቃለያ ስታቲስቲክስ, የጠፋ ቁጥር. ለዚህ "የውሂብ መገለጫ" ኮድ AI ን መጠየቅ ይችላሉ; ነገር ግን ውጤቱን አንብበዋል እና እንደ "ይህ ተለዋዋጭ ለምን እንደ ጽሑፍ መጣ?"

2. የጎደለውን መረጃ ይረዱ እና ይመድቡ. የጠፋ መረጃ በሦስት ዓይነቶች ይከፈላል. MCAR (ሙሉ በሙሉ በዘፈቀደ የጠፋ)፡ የጠፋው በምንም ምክንያት አይደለም፣ ለምሳሌ ሴንሰር በዘፈቀደ ወድቋል። MAR (በዘፈቀደ ይጎድላል)፡- መጉደል በሌሎች በተስተዋሉ ተለዋዋጮች ላይ የተመሰረተ ነው፣ ለምሳሌ አዛውንቶች ብዙ ጊዜ ጥያቄን ባዶ ይተዉታል፣ ነገር ግን እድሜን ያውቃሉ። ኤምኤንአር (በነሲብ የጠፋ አይደለም)፡ የመጥፋት ጉድለት በራሱ ባልታየው ዋጋ ይወሰናል፣ ለምሳሌ ከፍተኛ ገቢ ያላቸው ገቢያቸውን አይዘግቡም። ይህ ልዩነት ወሳኝ ነው, ምክንያቱም የመፍትሄውን ዘዴ ስለሚወስን እና AI ይህንን ለእርስዎ ሊወስን አይችልም.

3. ጉድለቱን መቋቋም. አማራጮች፡ ዝርዝር በሆነ መንገድ መሰረዝ፣ አማካኝ/አማካይ ግምት፣ ሞዴል ላይ የተመሰረተ ብዙ ግምት። በ MCAR ውስጥ መሰረዝ በአንጻራዊነት ደህንነቱ የተጠበቀ ነው ነገር ግን የናሙና መጠኑን ይቀንሳል. በ MAR ውስጥ ብዙ ምደባ የበለጠ ተገቢ ነው። በMNAR ውስጥ አድልዎ አለመሆንን የሚያረጋግጥ ምንም ቀላል ዘዴ የለም። የጉድለት ዘዴው መቅረጽ አለበት ወይም ቢያንስ የስሜታዊነት ትንተና መደረግ አለበት። አማካኝ መሙላት ቀላል ነገር ግን አደገኛ ነው፡ ልዩነትን ይቀንሳል፣ ግንኙነቶችን ያዳክማል እና እርግጠኛ አለመሆንን ይደብቃል።

4. የውጭ አካላትን ይፈትሹ. ውጫዊ እይታ ከሌሎቹ በጣም ርቆ የሚገኝ ምልከታ ነው። ሁለቱን ጥያቄዎች ይለያዩ፡ ይህ ስህተት ነው (ዕድሜ 999 በመረጃ ግቤት ውስጥ ተጽፏል) ወይንስ እውነተኛ ነገር ግን የላቀ ዋጋ (የቢሊየነር ገቢ) ነው? ሳንካዎችን አስተካክል; እውነትን አትሰርዙ ምክንያቱም ውሂብን ይወክላሉ። ውጫዊውን "ስለሚያስቸግር" መሰረዝ ውሂቡን ወደ ውጤቱ እያዞርክ ነው።

5. ኮድ እና ወጥነት. ምድቦችን ("ወንድ"፣"ወንድ"፣"ኢ" ሁሉንም ወደ አንድ ኮድ አስተካክል)፣ ቀኖችን ወደ አንድ ቅርጸት፣ አሃዶችን ወደ አንድ ሚዛን ያመጣሉ፣ የተባዙ ረድፎችን ያግኙ። ይህ AI በተሻለ ሁኔታ የሚረዳበት አነስተኛው አደገኛ ደረጃ ነው።

6. ሰነድ እና አግድ. ጥሬ እና የጸዳ ውሂብን በመለየት እያንዳንዱን እርምጃ በኮድ እና በአስተያየት መስመር ይቅረጹ። ስለዚህ አንድ ዳኛ "እነዚህ ምልከታዎች ለምን ተጣሉ?" መልስህ ዝግጁ ነው።

ጥንቃቄ: በውጤቶች ላይ በመመርኮዝ የጽዳት ውሳኔዎችን አታድርጉ. "ይህን መስመር ሲሰርዙት ኮፊቲፊሽኑ ጉልህ ይሆናል" የሚለውን መስመር መሰረዝ በጣም ተንኮለኛው የ p-hacking አይነት ሲሆን በሚቀጥለው ክፍል ውስጥ እንመለከታለን።

የንጽጽር ሰንጠረዥ፡ የጎደሉ የውሂብ ዘዴዎች

ዘዴ

መቼ ተገቢ ነው?

አደጋ

የ AI ሚና

አንድ ረድፍ ሰርዝ

MCAR፣ ዝቅተኛ የጠፋ መጠን

ናሙና ትንሽ ይሆናል፣ በMAR/MNAR አድልዎ

ኮዱን ይጽፋል; አንተ ትወስናለህ

አማካኝ/አማካይ ምደባ

ፈጣን የመጀመሪያ ደረጃ ትንተና

ልዩነትን ይቀንሳል, ግንኙነትን ይደብቃል

ቀላል ነው ግን አይመክረውም; ማስጠንቀቅ አለበት።

ብዙ ምደባ (ኤምአይ)

MAR, አስፈላጊ ተለዋዋጮች

በትክክል ካልተጫነ አሳሳች ይሆናል።

ኮድ እና ጥቅል (አይጦች) ይመክራል

ሜካኒዝም ሞዴሊንግ

MNAR

ውስብስብ, ግምት-ተኮር

ረቂቅ ብቻ; ኤክስፐርት ያስፈልጋል

አራት ሊገለበጡ የሚችሉ ጥያቄዎች

1. የውሂብ መገለጫ፡-

የእርስዎ ሚና፡ የውሂብ ማጽዳት ረዳት። ውሂቡን አላጋራም, R ኮድ እፈልጋለሁ. እኔ አንድ data.frame አለኝ 'አሃዝ' የሚባል; ተለዋዋጮች፡ መታወቂያ፣ ዕድሜ (ቁጥር)፣ ገቢ (ቁጥር)፣ ትምህርት (ምድብ)፣ ክልል (ምድብ)፣ ቀን (ቀን)። ተግባር፡ አይነት የሚያወጣ ኮድ ይፃፉ፣ ለእያንዳንዱ ተለዋዋጭ የጎደለ ቁጥር እና ተመን፣ የቁጥር ማጠቃለያ ስታቲስቲክስ እና የድግግሞሽ ሰንጠረዥ ለምድብ። የአስተያየት መስመር ያክሉ።

2. የጠፋ የውሂብ ምርመራ፡

ከላይ ላለው 'አሃዝ' መረጃ የጎደለውን ስርዓተ-ጥለት የሚመረምር ኮድ ይፃፉ፡ - የእያንዳንዱ ተለዋዋጭ የጎደለ መጠን፣ - ቀላል ሠንጠረዥ/ግራፍ የጎደለውን ከሌሎች ተለዋዋጮች ጋር ያለውን ግንኙነት ያሳያል። የኮዱን ውጤት እመለከታለሁ እና የ MCAR / MAR / MNAR ልዩነት አደርጋለሁ; የመመርመሪያ መሳሪያውን ብቻ ነው ያመርቱት, በምደባ ዘዴ ላይ አይወስኑ.

3. የውጭ ፍተሻ (አይሰረዝም):

ሳይሰርዙ ውጭ የሆኑትን የሚመረምር ለተለዋዋጭ 'ገቢ' ኮድ ይፃፉ፡ ቦክስፕሎት፣ IQR ላይ የተመሰረቱ ድንበሮች እና የሰንጠረዥ ዝርዝር የውጭ ምልከታዎች + እሴቶች። እነዚህ ስህተቶች ወይም እውነት መሆናቸውን አያለሁ. ራስ-ሰር ስረዛን ያክሉ።

4. የኮድ ደረጃ አሰጣጥ፡-

በ'ትምህርት' ተለዋዋጭ እሴቶቹ የተጻፉት ተቀላቅለው "አንደኛ ደረጃ ትምህርት ቤት", የመጀመሪያ ደረጃ ትምህርት ቤት", የመጀመሪያ ደረጃ", "ሁለተኛ ደረጃ ትምህርት ቤት", ሁለተኛ ደረጃ ትምህርት ቤት", "ዩኒቨርሲቲ" "ዩኒቪ". እነዚህን ወደ ወጥ ምድቦች የሚያስተካክል R ኮድ ይፃፉ; እያንዳንዱን ልወጣ ማረጋገጥ እንድችል የካርታ ሰንጠረዡን በግልፅ አሳይ። የማታውቀውን እሴት ወደ "ያልታወቀ" አዘጋጅ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ውሂቡን ያጽዱ, ክፍተቶቹን ይሙሉ, ውጫዊውን ያስወግዱ.

ይህ ፍላጎት አደገኛ ነው፡ ዓይነ ስውር ስልጣንን ለ AI ይሰጣል። ምን ዓይነት የጎደለ, ምን ዓይነት መሙላት, ምን ዓይነት እርስ በርሱ የሚጋጭ እውነት - አንዳቸውም ግልጽ አይደሉም. ውጤቱ በምስጢር የተዛባ የውሂብ ስብስብ ሊሆን ይችላል.

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ የጽዳት ረዳት፣ ውሳኔ ሰጪው እርስዎ አይደሉም። ደረጃ በደረጃ ሂዱ እና የእያንዳንዱን ደረጃ ተፅእኖ የሚዘግብ ኮድ ፃፉ፡ 1) የጎደለውን ስርዓተ-ጥለት አሳይ (አትሰርዝ/አትሙላ)፣ 2) እጩዎችን ዘርዝር (አትሰርዝ)፣ 3) የምድብ አለመግባባቶችን ከካርታ ሠንጠረዥ ጋር አስተካክል። ለውጡን ለማየት እና ለማረጋገጥ ከእያንዳንዱ እርምጃ በኋላ የረድፍ ብዛት እና ማጠቃለያ ስታቲስቲክስን ያትሙ። አውቶማቲክ ምደባ/መሰረዝ።

ልዩነቱ ግልጽ ነው፡ ጠንካራ ፍላጎት AI ን እንደ ክትትል የሚደረግበት ረዳት አድርጎ ያስቀምጣል፣ የሚቀለበስ እና የተመዘገቡ እርምጃዎችን ይፈጥራል።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - አማካይ የምደባ ወጥመድ። ለ 5,000 ሰዎች የአንድ ተንታኝ የገቢ መረጃ 18% ጠፍቷል። እሱ "ክፍተቶቹን መሙላት" ለ AI ነገረው; AI ሁሉንም አማካኝ አድርጓል። ውጤት፡ የገቢ ልዩነት በ22 በመቶ ቀንሷል፣ እና የትምህርት እና የገቢ ግንኙነት ቅንጅት ከነበረው ደካማ ሆነ። ትክክለኛው መንገድ፡ ጉድለቱ MAR ነበር (በትምህርት ምክንያት)፣ በበርካታ ምደባዎች (አይጦች) መሞላት ነበረበት። ትምህርት: የመሙያ ዘዴው በመሳሪያው ላይ የተመሰረተ ነው.

ጉዳይ 2 - የውጭ ማጽዳት ግኝቱን ይለውጣል. በአንድ ጽኑ መረጃ ውስጥ 3 በጣም ትላልቅ ድርጅቶች (ከጠቅላላው ምልከታ 0.6%) ነበሩ። እነዚህ በ AI "ማጽዳት" ጥቆማ ተሰርዘዋል; የልኬት ቅንጅት ኢኮኖሚ ከአዎንታዊ ወደ አሉታዊነት ተለወጠ። ይሁን እንጂ, እነዚያ 3 ኩባንያዎች እውነተኛ እና የኢንዱስትሪው አስፈላጊ አካል ነበሩ. ትክክለኛው መንገድ ከመሰረዝ ይልቅ በሁለቱም ሙሉ እና ጠንካራ ግምት ሪፖርት ማድረግ ነበር። ትምህርት፡ እውነተኛ ወጣ ገባዎች ዳታ እንጂ ጫጫታ አይደሉም።

ጉዳይ 3 - ጸጥ ያለ ኮድ መስጠት ስህተት። በአንድ ፓነል ውስጥ፣ የቀን ተለዋዋጭ በሁለት የተለያዩ ቅርጸቶች ("2020-03-01" እና "01/03/2020") መጣ። በአይአይ የተሰራው ጥምር ኮድ ለተለያዩ እሴቶች ሲያሳስታቸው፣ 1,400 ምልከታዎች አልተዛመደም እና የዕድገት መጠኑ አስቂኝ ሆነ። ተንታኙ የረድፍ ቆጠራውን ካላጣራ ምንም አይሆንም። ትምህርት፡ የክትትል ቆጠራዎች እና ከእያንዳንዱ እርምጃ በኋላ የንፅህና ማረጋገጫዎች የግድ ናቸው።

የተለመዱ ስህተቶች

• በአማካይ ክፍተቱን በጭፍን መሙላት። ልዩነትን ይቀንሳል፣ እርግጠኛ አለመሆንን ይደብቃል፣ እና በMAR/MNAR አድልዎ ይፈጥራል። በመጀመሪያ ዘዴውን ይመድቡ.
• ውጫዊውን መሰረዝ "ስለሚያስቸግር". እውነተኛ ውጫዊ መረጃን ይወክላሉ; መሰረዝ ውጤቱን ማጠፍ ነው. ስህተቱን አስተካክል፣ እውነተኛውን ጠብቅ።
• ጥሬ ውሂብን መታ ማድረግ. ጥሬ መረጃን በጭራሽ አታሻሽል; ወደነበረበት እንዲመለስ ሁሉንም ማጽጃውን በተለየ ቅጂ በኮዱ ያድርጉ።
• የእርምጃዎችን ተፅእኖ አለመለካት. የረድፍ ቆጠራ እና ማጠቃለያ ስታቲስቲክስ ከእያንዳንዱ እርምጃ በኋላ ካልተፈተሸ ጸጥ ያሉ ስህተቶች ይከማቻሉ።
• በዚህ ምክንያት ማጽዳት. "ይህን መስመር ሲጨምሩ ውጤቱ የተሻለ ይሆናል" የሚለው ሎጂክ p-hacking ነው; ጽዳት ከመተንተን ውጤቱ በፊት እና በተናጥል የታቀደ መሆን አለበት.

ጠቃሚ ምክር: ከማጽዳቱ በፊት እና በኋላ ጎን ለጎን ተመሳሳይ መሰረታዊ ስታቲስቲክስ (አማካይ, መካከለኛ, ምልከታዎች, ጥቂት ትስስሮች) የሚያስቀምጥ "በፊት / በኋላ" ሰንጠረዥ ያስቀምጡ. ያልተጠበቀ ዝላይ የተደበቀ ስህተት በጣም ጥሩ አስተላላፊ ነው።

በማጠቃለያው

መረጃን ማፅዳት በጣም ጊዜ የሚወስድ እና ውሳኔ የሚፈልግ የተጨባጭ ስራ ደረጃ ነው። ኤአይኤ በዚህ ጊዜ ኃይለኛ የኮድ ጀነሬተር ነው፣ ነገር ግን ቀረጻዎቹን መጥራት አይችልም፡ የጎደለውን የውሂብ አይነት (MCAR/MAR/MNAR) ይመድባሉ፣ ውጫዊው ስህተት ወይም እውነት መሆኑን ይወስኑ፣ እያንዳንዱን እርምጃ እንዲቀለበስ እና እንዲመዘገብ ያድርጉ። ለ AI ዓይነ ስውር “ግልጽ” ስልጣን ከመስጠት ይልቅ ተጽኖውን የሚለካ እና የተረጋገጠ የደረጃ በደረጃ የስራ ፍሰት ያዘጋጁ። ከእያንዳንዱ እርምጃ በኋላ የተመልካቾችን ብዛት እና ማጠቃለያ ስታቲስቲክስን መፈተሽ ለፀጥተኛ ስህተቶች ምርጡ መፍትሄ ነው።

የመተግበሪያ ተግባር

በመረጃ ስብስብ (የራስዎ ውሂብ ወይም የናሙና ስብስብ) ውስጥ የጎደሉትን እና ውጫዊዎችን የያዙ ቢያንስ ሁለት ተለዋዋጮችን ይምረጡ። ከላይ ባለው "ደረጃ በደረጃ፣ አትሰርዝ/አትሙላ" የሚለውን ጥያቄ በመጠቀም ከ AI የመመርመሪያ ኮድ ጠይቅ እና አሂድ። ጉድለቱን እንደ MCAR/MAR/MNAR መድቡ እና ማስረጃችሁን በአንድ ዓረፍተ ነገር ጻፉ። Examine the contradictory candidates one by one and decide which one is a mistake and which one is real. በመጨረሻም ከማጽዳቱ በፊት/በኋላ "ቅድመ-በኋላ" ሰንጠረዥ አዘጋጅ እና ያልተጠበቁ ለውጦች ካሉ ሪፖርት ያድርጉ።

የማረጋገጫ ዝርዝር

• [ ] ጥሬ ውሂቡን ሳልለውጥ በተለየ ቅጂ አጸዳሁት።
• [ ] ጉድለቱን እንደ MCAR/MAR/MNAR መደብኩኝ እና በዚህ መሰረት ስልቱን መረጥኩ።
• [ ] ስህተቶቹን ወይም እውነተኛዎቹን አንድ በአንድ መረመርኳቸው; በጭፍን አልሰረዝኩትም።
• [ ] ከእያንዳንዱ የጽዳት ደረጃ በኋላ የምልከታዎችን እና የማጠቃለያ ስታቲስቲክስን አረጋገጥኩ።
• [] ሁሉንም ደረጃዎች በኮድ እና በአስተያየት መስመር መዘገብኩ; ሊቀለበስ የሚችል.
• [ ] ጽዳትን የተመሰረተው መረጃውን በሚያወጣው ሂደት እውቀት ላይ እንጂ በመተንተን ውጤት ላይ አይደለም.