ኤክስፕሎራቶሪ ውሂብ ትንተና እና ምስላዊነት፡ በአርቴፊሻል ኢንተለጀንስ ግራፊንግ እና ትርጓሜ

ትርፍ፡

• ገላጭ ስታቲስቲክስ እና የስርጭት/ግንኙነት ገበታዎችን በአርቴፊሻል ኢንተለጀንስ ድጋፍ የማዘጋጀት ችሎታ እና በመረጃው እና በጥያቄው መሰረት ትክክለኛውን የገበታ አይነት መምረጥ
• በአርቴፊሻል ኢንተለጀንስ በተዘጋጁ ምስሎች ውስጥ አሳሳች ምርጫዎችን (የተሰበረ ዘንግ ፣ ተገቢ ያልሆነ ሚዛን ፣ ከመጠን በላይ ማለስለስ) የማወቅ ችሎታ እና ሐቀኛ የእይታ መርሆዎችን ተግባራዊ ማድረግ።
• የዳሰሳ ትንተናን መለየት መቻል መላምቶችን ለማመንጨት እና በተመሳሳይ መረጃ ግኝት እና ማረጋገጫ የማግኘት ወጥመድ ነው (ይህም ለp-hacking በር ይከፍታል)።

መረጃውን ካጸዱ በኋላ፣ የተግባራዊ ተመራማሪው የመጀመሪያ ስራ እሱን ማወቅ ነው። ይህ ደረጃ ኤክስፕሎራቶሪ ዳታ ትንተና (EDA - Exploratory Data Analysis) ይባላል፡- መረጃውን በግራፍ እና በማጠቃለያ ስታቲስቲክስ የመመርመር እና አወቃቀሩን፣ ቅጦችን እና አስገራሚ ነገሮችን የማየት ሂደት ነው። አላማው እስካሁን መላምትን መሞከር ሳይሆን ከመረጃው ጋር መተዋወቅ፣ጥያቄዎችን ማፍለቅ እና ወደፊት ለሚገነቡት ሞዴል መሰረት መጣል ነው። በዚህ ክፍል ውስጥ፣ አርቴፊሻል ኢንተለጀንስ (AI) EDA እና ምስላዊነትን እንዴት እንደሚያፋጥን እንመለከታለን፣ ነገር ግን ለምን የሚያመርታቸው ግራፊክስ በጥንቃቄ ኦዲት መደረግ አለበት።

በመጀመሪያ ሁለት መሠረታዊ ልዩነቶችን እናድርግ። በመጀመሪያ፣ ገላጭ ስታቲስቲክስ (እንደ አማካኝ፣ መካከለኛ፣ መደበኛ ልዩነት፣ ኳርቲልስ ያሉ መረጃዎችን የሚያጠቃልሉ ቁጥሮች) እና ምስላዊ (ተመሳሳይ መረጃን በግራፊክ በማሳየት) እርስ በርስ ይደጋገማሉ። አንድ ላይ ሆነው ውሂቡን ይገልጻሉ. ሁለተኛ፣ እና በጣም ወሳኝ፡ ግኝት እና ማረጋገጫ መለየት አለበት። የመመርመሪያ ትንተና መላምቶችን ለማመንጨት ነው; መላምቱን በተመሳሳዩ ዳታ መመርመር እና " ሞከርኩት እና ጉልህ ሆኖ አግኝቼዋለሁ" ማለት ለ p-hacking በር ይከፍታል ይህም በሚቀጥለው ክፍል እንመለከታለን። ውሂቡን ለማየት እና ስርዓተ-ጥለት ለማየት ነጻ ነው; ነገር ግን ያንን ስርዓተ-ጥለት በተመሳሳይ መረጃ ውስጥ "የተረጋገጠ ግኝት" ማወጅ አሳሳች ነው።

ደረጃ በደረጃ የማሰስ ትንተና

1. የዩኒየር እይታ. እያንዳንዱን ተለዋዋጭ ለየብቻ ይመርምሩ፡ ስርጭቱ የተመጣጠነ ወይም የተዛባ ነው; ምን ያህል ኮረብታዎች አሉ; ውጫዊዎቹ የት አሉ? ለቁጥራዊ ተለዋዋጮች ፣ ሂስቶግራም (እሴቶችን ወደ ክልሎች በመከፋፈል ድግግሞሽ ያሳያል) እና ቦክስፕሎት (የቦክስፕሎት - ሚዲያን ፣ አራተኛ እና ከፍተኛ እሴቶችን የሚያሳይ ገበታ); ለምድብ ተለዋዋጮች የድግግሞሽ ሰንጠረዦችን እና የአሞሌ ገበታዎችን ይጠቀሙ።

2. የሁለትዮሽ እይታ. በሁለት ተለዋዋጮች መካከል ያለውን ግንኙነት ተመልከት፡ ለሁለት የቁጥር ተለዋዋጮች መበተን (እያንዳንዱን ምልከታ በ x-y አውሮፕላን ላይ እንደ ነጥብ ያሳያል)፣ በቡድን የተከፋፈለ የሳጥን አቀማመጥ ለቁጥር-ምድብ፣ መስቀል ታብ ለሁለት ምድብ። የኮሬሌሽን ኮፊሸንን ከመመልከትዎ በፊት የተበታተነውን ሴራ መመልከትዎን እርግጠኛ ይሁኑ፡ ተመሳሳይ ትስስር በጣም የተለያዩ ንድፎችን ሊያሳይ ይችላል (ታዋቂው Anscombe quartet ይህንን ያሳያል፡ አራት የመረጃ ስብስቦች ተመሳሳይ ስታቲስቲክስ አላቸው ነገር ግን ሲነደፍ ሙሉ ለሙሉ የተለየ ሆኖ ተገኘ)።

3. ትክክለኛውን የገበታ አይነት ይምረጡ. The chart type depends on your question and data type. ለማሰራጨት ሂስቶግራም; ለግንኙነት መበታተን; የመስመር ገበታ በጊዜ ሂደት ለውጥ; ለምድብ ንጽጽር የአሞሌ ገበታ; (በጥንቃቄ) የተቆለለ አሞሌ ለጠቅላላው ክፍሎች ሬሾ። AI በፍጥነት ለእርስዎ ኮድ ያመነጫል, ነገር ግን "የየትኛው ግራፍ ለየትኛው ጥያቄ" ውሳኔ የእርስዎ ነው.

4. ስርዓተ ጥለቱን አስተውል፣ ውጤቱን አታውጅ። እንደ "የግኝት ማስታወሻ" የሚያዩትን ማንኛውንም አስደሳች ስርዓተ-ጥለት ይቅረጹ ነገር ግን የተረጋገጠ ግኝት አድርገው አይቁጠሩት። ማረጋገጫ የሚከናወነው በተለየ ደረጃ ነው፣ በተለይም በተለየ ውሂብ ወይም አስቀድሞ ከተወሰነ መርሃ ግብር ጋር።

ሐቀኛ የእይታ መርሆዎች

ግራፊክስ ያሳምናል; ስለዚህ, የማሳሳት ኃይሉም ከፍተኛ ነው. AI ውበትን ሊያደርግ ይችላል ነገርግን አንዳንድ ጊዜ አሳሳች ምርጫዎችን ሊያደርግ ይችላል. እነዚህን መመሪያዎች ይመልከቱ፡-

• በባር ገበታዎች ውስጥ፣ y-ዘንጉ በዜሮ መጀመር አለበት። የተቆራረጠው ዘንግ እንደ ትልቅ ትናንሽ ልዩነቶች ያሳያል.
• ልኬቱ ወጥነት ያለው መሆን አለበት. ሁለት ገበታዎች እየተነጻጸሩ ከሆነ፣ ተመሳሳዩን የዘንግ ክልል ይጠቀሙ።
• ከመጠን በላይ ማለስለስ ትክክለኛውን ንድፍ ሊደብቅ ይችላል. የአዝማሚያ መስመር ጥሩ ይመስላል፣ ነገር ግን ውሂቡን ከልክ በላይ "ያለሰልስ" ከሆነ፣ አሳሳች ሊሆን ይችላል።
• ቀለም እና 3D ማስዋቢያ ትኩረትን እንጂ ውሂብን አያዛባም። ቀላልነትን ይምረጡ።
• የጎደለው መረጃ እና የናሙና መጠን መታየት አለበት። "n=12" እና "n=12,000" መመሳሰል የለባቸውም።

ትኩረት፡ በ AI የተሰሩ ግራፊክስ ቆንጆዎች ስለሆኑ ብቻ እውነት አይደሉም። በጣም የተለመደው ስህተት በባር ገበታ ውስጥ ዘንግ ከዜሮ መጀመር እና በሁለቱ ቡድኖች መካከል ያለውን ልዩነት ማጋነን ነው. ሁልጊዜ ዘንግ ይፈትሹ.

የንጽጽር ገበታ፡ ጥያቄ → ገበታ

ጠይቅ

ትክክለኛ ገበታ

የተለመደ ስህተት

ይህ ተለዋዋጭ እንዴት ይሰራጫል?

ሂስቶግራም/ሳጥን ሴራ

የፓይ ሰንጠረዥን ተጠቀም

ሁለት የቁጥር ተለዋዋጮች ተዛማጅ ናቸው?

ሴራ መበተን

የግንኙነቶችን ብዛት በመመልከት ብቻ

በጊዜ ሂደት እንዴት ተለውጧል?

የመስመር ገበታ

አዝማሚያን ከባር ገበታ ጋር መንገር

በቡድኖች መካከል ያለው ልዩነት ምንድን ነው?

በቡድን የተሰራ ሳጥን/ባር (ከባዶ)

የተቆራረጠ ዘንግ ዘንግ

ከፊል-ወደ-ሙሉ ጥምርታ?

የተቆለለ አሞሌ (በጥንቃቄ)

ባለብዙ ቁራጭ አምባሻ ገበታ

አራት ሊገለበጡ የሚችሉ ጥያቄዎች

1. ራስ-አግኝት ኮድ፡-

የእርስዎ ሚና፡ EDA ረዳት። ውሂቡን አላጋራም, የ R (ggplot2) ኮድ እፈልጋለሁ. በ'data' data.frame ውስጥ የቁጥር (ገቢ፣ ዕድሜ፣ ወጪ) እና ምድብ (ክልል፣ ትምህርት) ተለዋዋጮች አሉ። ተግባር፡ ለእያንዳንዱ አሃዛዊ ሂስቶግራም፣ ለእያንዳንዱ ምድብ የአሞሌ ገበታ እና ለገቢ ዕድሜ የተበታተነ ቦታን የሚያዘጋጅ ኮድ ይፃፉ። በባር ገበታዎች ውስጥ፣ y-ዘንጉ ከZERO ይጀምር። የአስተያየት መስመር ያክሉ።

2. የግንኙነት ግምገማ (ግንኙነት + ምስላዊ አንድ ላይ):

ሁለቱም የፔርሰንን የገቢ እና የወጪ ትስስር የሚያሰላ እና የተበታተነ ሴራ + መስመራዊ አዝማሚያን የሚያሰሉ ኮድ ይጻፉ። የግንኙነት ቆጠራውን (Anscombe ማስጠንቀቂያ) ከማመንዎ በፊት ገበታው ላይ እንድመረምር የሚያስታውሰኝ የአስተያየት መስመር ጨምር። የአዝማሚያ መስመርን ከመጠን በላይ ለስላሳ አያድርጉ።

3. የታማኝነት ኦዲት፡-

Check the following ggplot code for honest visualization:[code]. የሚከተለውን ያረጋግጡ እና ያርሙ፡- y-ዘንጉ ከዜሮ ይጀምራል፣ ሚዛኑ ወጥነት ያለው ነው፣ የናሙና መጠኑ ይታያል፣ ከመጠን ያለፈ ማለስለስ አለ? ለእያንዳንዳቸው ያደረጓቸውን እርማት ምክንያቶች ያብራሩ።

4. የግኝት ማስታወሻ ማዘጋጀት (ግኝት አይደለም)፡-

እኔ ባዘጋጃቸው ግራፎች መሰረት፣ OBSERVATIONSን እንደ 'የግኝት ማስታወሻ' ይዘርዝሩ። እያንዳንዱን ንጥል ነገር ‘የሚሞከር መላምት’ በሚለው ቋንቋ ይጻፉ እንጂ ‘የማጠቃለያ ግኝት’ አይደለም። ምሳሌ፡ 'የከፍተኛ ትምህርት ገቢ የበለጠ የተስፋፋ ይመስላል። በተለየ መረጃ መሞከር አለበት።' የምክንያት እና ግልጽ መግለጫዎችን ያስወግዱ።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

ከምርቱ ጥሩ ግራፎችን ይስሩ እና ምን ማለታቸው እንደሆነ ንገሩኝ።

ይህ ጥያቄ አሳሳች ውጤትን ይጋብዛል፡ “ቆንጆ” ውበት ላይ ያተኩራል፣ “ምን ማለት ነው” AI ከግኝት ወደ ትክክለኛ መደምደሚያ እንዲዘል ይገፋፋዋል። ምክንያት፣ የተጋነኑ አስተያየቶች ይከተላሉ።

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ ሐቀኛ EDA አጋዥ፡ ተግባር፡ (1) ለጥያቄዬ የሚስማማውን የገበታ አይነት መርጠህ መጽደቂያውን ጻፍ፣(2) ዘንግውን ከዜሮ በባር ገበታዎች አስጀምር፣(3) ውጤቱን በዲስኮቨርይ ማስታወሻ ቋንቋ ተርጉም፡ ምንም ፍቺ/ምክንያታዊ የይገባኛል ጥያቄ በ"መሞከር አለብኝ" ቋንቋ መላምት አይጠቁምም፣(4)አስጠንቅቁኝ<30 ናሙናው ትንሽ ከሆነ።

ልዩነት: ጠንካራ የገበታውን አይነት ያጸድቃል, የታማኝነት ደንቦችን ያስገድዳል እና ግኝቶችን ከማረጋገጫ ጋር አያደናቅፍም.

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - የተለየ ዘንግ ማጋነን. አንድ ተንታኝ የሁለት ቅርንጫፎችን እርካታ (7.8 እና 8.0፤ ከ10) በባር ገበታ አሳይቷል። የ YZ ዘንግ ከ 7.5 ሲጀምሩ, ሁለተኛው ቅርንጫፍ ከመጀመሪያው ሁለት እጥፍ ማለት ይቻላል ታየ; ልዩነቱ ግን 2.5% ብቻ ነበር። ማኔጅመንቱ በተሳሳተ ስሜት ስር ቅርንጫፍ ሊሸልም ነበር። ዘንግውን ከባዶ ስጀምር ልዩነቱ የማይታይ ነበር። ትምህርት፡ የዘንግ ምርጫ ብቻውን ግንዛቤን ይለውጣል።

ጉዳይ 2 - ግንኙነቱን ማመን እና ሰንጠረዡን መዝለል። አንድ ተመራማሪ በሁለት ተለዋዋጮች መካከል r = 0.81 አይቷል እና "ጠንካራ የመስመር ግንኙነት" ጽፏል. አማካሪው የተበታተነውን ሴራ ሲጠይቅ፣ ግንኙነቱ በእውነቱ በአንድ ጽንፍ ምልከታ ምክንያት እንደሆነ ታይቷል፣ እና ያ ነጥብ ሲወገድ ግንኙነቱ ወደ 0.12 ወርዷል። Lesson: correlation count is no substitute for a graph; ሁልጊዜ መበታተንን ይመልከቱ.

ጉዳይ 3 - ግራ የሚያጋባ ግኝት ከማረጋገጫ ጋር። አንድ ተማሪ በ40-ተለዋዋጭ የመረጃ ስብስብ ውስጥ ያሉትን ሁሉንም ጥንድ ጥምር ግንኙነቶች ተመልክቶ ከፍተኛውን (r=0.52) መርጦ "በትምህርት እና በቁጠባ (p=0.004) መካከል ትልቅ ግንኙነት አግኝተናል" ሲል ጽፏል። ይሁን እንጂ በ 40 ተለዋዋጮች ውስጥ በመቶዎች የሚቆጠሩ ጥንዶች ነበሩ; ከፍተኛውን መምረጥ በአጋጣሚ ምክንያት የተሳሳተ ግኝት ነበር. ትምህርት፡ የተገኘው ስርዓተ-ጥለት በተመሳሳዩ መረጃ ውስጥ “መሞከር እና ጉልህ ሊባል አይችልም”። የተለየ ማረጋገጫ ያስፈልጋል።

የተለመዱ ስህተቶች

• በአሞሌ ገበታ ውስጥ ዘንግ ከዜሮ አለመጀመር። ትንሽ ልዩነትን ያጋነናል; በጣም የተለመደው ምስላዊ ውሸት. ሁልጊዜ ያረጋግጡ.
• ትስስሩን በመመልከት እና ሰንጠረዡን መዝለል. The same correlation comes from very different patterns; ከውጭ ግንኙነት ጋር ሊጣጣም ይችላል. በመጀመሪያ, መበታተን.
• በግኝቱ ውስጥ የተገኘውን ስርዓተ-ጥለት እንደ "ማስረጃ" በተመሳሳዩ መረጃዎች ውስጥ ግምት ውስጥ ማስገባት. ይህ p-የጠለፋ መግቢያ ነው; ማረጋገጫው በተናጠል ይከናወናል.
• የተሳሳተ የገበታ አይነት። እንደ ባር ለ አዝማሚያ እና ለስርጭት ኬክ ያሉ ግጥሚያዎች አሳሳች ናቸው። በጥያቄው መሰረት ዘውግ ይምረጡ።
• የናሙናውን መጠን መደበቅ. n=8 እና n=8,000 በተመሳሳይ ግራፍ ላይ አንድ አይነት መምሰል የለባቸውም፤ እርግጠኛ አለመሆን መታየት አለበት።

ጠቃሚ ምክር፡ ገበታ ከማተምህ በፊት፡ ራስህን ጠይቅ፡ "ዘንግ ከቀየርኩ ታሪኩ ይቀየራል?" መልሱ አዎ ከሆነ፣ ምናልባት ምሶሱን ከሐቀኝነት የጎደለው ቦታ ጀምረው ይሆናል።

በማጠቃለያው

የዳሰሳ መረጃ ትንተና መረጃን የማሟላት፣ ንድፎችን የማየት እና መላምቶችን የማመንጨት ደረጃ ነው። ማረጋገጫ አይደለም. AI በፍጥነት ገላጭ ስታቲስቲክስ እና የግራፍ ኮድ ያመነጫል፣ ነገር ግን በጥያቄዎ ላይ በመመስረት የግራፍ አይነትን ይመርጣሉ እና የፍትሃዊነት መርሆዎችን ይቆጣጠራሉ (ዜሮ ዘንግ ፣ ወጥነት ያለው ሚዛን ፣ ግልፅ አለመረጋጋት)። የግንኙነት ቁጥሩን ከማመንዎ በፊት የተበታተነውን ይመልከቱ; በግኝት ውስጥ ያገኙትን ስርዓተ-ጥለት በተመሳሳይ ውሂብ ውስጥ እንደ "ማስረጃ" አታውጁ። የ AI ቆንጆ ግራፍ ትክክለኛ ግራፍ ማለት አይደለም.

የመተግበሪያ ተግባር

በውሂብ ስብስብ ውስጥ ቢያንስ ሶስት ተለዋዋጮችን ይምረጡ። የአሳሽ ግራፎችን (ሂስቶግራም ፣ መበተን ፣ ቦክስ) የሚያመነጭ ኮድ እንዲፈልግ ይጠይቁ እና የታማኝነት ህጎችን በሚያስከብር ጥያቄ ያሂዱ። ለእያንዳንዱ ገበታ፡ (1) የገበታው አይነት ለጥያቄው ተገቢነት፣ (2) የዘንግ ታማኝነት፣ (3) የናሙና መጠኑ ታይነት ያረጋግጡ። ቢያንስ አንድ "የግኝት ማስታወሻ" በመላምት ቋንቋ ይፃፉ ("... ለብቻው የሚሞከር ይመስላል")። ከሁለቱም ቆጠራ እና መበተን ጋር ያለውን ዝምድና መርምር እና በመካከላቸው አለመግባባት ካለ ሪፖርት አድርግ።

የማረጋገጫ ዝርዝር

• [ ] በጥያቄዬ እና በመረጃ አይነት ላይ በመመስረት የገበታውን አይነት መርጫለሁ።
• [] በአሞሌ ገበታዎች ውስጥ የ y-ዘንግን ከዜሮ እጀምራለሁ; የዘንግ ሐቀኝነትን አረጋገጥኩ።
• [] ቁርኝቱን ከማመንዎ በፊት የተበታተነውን ቦታ ተመለከትኩ።
• [] የናሙናውን መጠን እና እርግጠኛ አለመሆንን በግራፉ ላይ አንጸባርቄያለሁ።
• [ ] በአሰሳ ውስጥ ያገኘኋቸውን ንድፎች እንደ "ማስረጃ" ሳይሆን "መሞከር ያለበት መላምት" ብዬ ነው የጻፍኩት።
• [ ] ለማረጋገጫ ተመሳሳዩን ውሂብ እንደማልጠቀም እና የተለየ እርምጃ እንደሚያስፈልግ አስተውያለሁ።