ኤክስፕሎራቶሪ ውሂብ ትንተና (EDA)፡ ስርጭቶች፣ ግንኙነቶች እና የመጀመሪያ ግንዛቤዎች

ትርፍ፡

• በተገቢ ግራፎች (ሂስቶግራም ፣ የሳጥን ሴራ ፣ የተበታተነ ቦታ) የተለዋዋጮችን ስርጭት ፣ መሃል ፣ መስፋፋት እና ያልተለመዱ ነገሮችን የመመርመር ችሎታ።
• ተያያዥነት በትክክል የመተርጎም ችሎታ እና ከተበታተነው ሴራ ጋር አንድ ላይ ለማንበብ, ከምክንያታዊነት ጋር ግራ ሳይጋባ
• የማጠቃለያ ስታቲስቲክስ አሳሳች ሊሆን እንደሚችል የመረዳት ችሎታ (የ Anscombe ትምህርት) እና የሞዴሊንግ አቅጣጫን የሚወስኑ መላምቶችን ማዳበር።

ሞዴል ከመገንባቱ በፊት መረጃውን ማወቅ ያስፈልጋል. አንድ ዶክተር በሽተኛውን ሳይመረምር መድሃኒት እንደማይሰጥ ሁሉ የውሂብ ሳይንቲስትም መረጃውን "ሳይመረምር" ሞዴል አይገነባም. ይህ ምርመራ ኤክስፕሎራቶሪ ዳታ ትንተና (ኢዲኤ በአጭሩ) ይባላል፡- የመረጃውን ስርጭት፣ግንኙነት፣ድንቅ ሁኔታ እና ወጥመዶችን በእይታ እና በስዕላዊ የማወቅ ደረጃ ነው። የ EDA አላማ መላምቶችን ማመንጨት፣ ስህተቶችን መያዝ እና የሞዴሊንግ አቅጣጫን መወሰን ነው። አርቲፊሻል ኢንተለጀንስ በዚህ ደረጃ ላይ በጣም ኃይለኛ ረዳት ነው: የትኛው ገበታ ተስማሚ እንደሆነ ይጠቁማል, ኮዱን ይጽፋል, ስርጭትን ይተረጉማል. ነገር ግን አንድ ሰው በመስክ እውቀቱ፣ የሚያየው ስርዓተ-ጥለት እውን ወይም በአጋጣሚ መሆኑን ይወስናል።

EDA ምን ይፈልጋል?

EDA ለአራት ጥያቄዎች መልስ ይፈልጋል። ስርጭት፡ እያንዳንዱ ተለዋዋጭ እንዴት ይሰራጫል-ተመጣጣኝ፣ የተዛባ ወይም ባለ ሁለት ጫፍ? ማዕከላዊ ዝንባሌ እና መስፋፋት፡- አማካኝ፣ መካከለኛ፣ መደበኛ መዛባት ምንድናቸው? ግንኙነቶች: ተለዋዋጮች እርስ በርስ የሚዛመዱት እንዴት ነው? ያልተለመዱ ነገሮች፡ ያልተጠበቁ እሴቶች፣ ክፍተቶች፣ ቡድኖች አሉ? እነዚህ አራት ጥያቄዎች የትኛው ባህሪ እንደሚሰራ እና የትኛው ሞዴል ተስማሚ እንደሆነ ይወስናሉ.

አንዳንድ መሰረታዊ ፅንሰ ሀሳቦችን እንገልፃለን። ሂስቶግራም የቁጥር ተለዋዋጭ እሴቶችን ወደ ክፍተቶች የሚከፋፍል እና በእያንዳንዱ ክፍተት ውስጥ ምን ያህል ምልከታዎች እንዳሉ የሚያሳይ ግራፍ ነው። ስርጭቱን ለማየት ፈጣኑ መንገድ ነው። Skewness በአንድ አቅጣጫ ያለውን ስርጭት ፈረቃ ነው; እንደ ገቢ ያሉ ተለዋዋጮች ወደ ቀኝ የተዘበራረቁ ናቸው (አብዛኛዎቹ ዝቅተኛ፣ ጥቂቶች በጣም ከፍተኛ)። የሳጥን ሴራ በጨረፍታ ሚዲያን ፣ ኳርቲልስ እና ወጣ ያሉ ያሳያል። የተበታተነ ሴራ የሁለት አሃዛዊ ተለዋዋጮች ከደመና ነጥቦች ጋር ያለውን ግንኙነት ያሳያል።

ግንኙነት፡ ግንኙነት አለ ግን ተጠንቀቅ

ቁርኝት - ሁለት ተለዋዋጮች እንዴት አንድ ላይ እንደሚንቀሳቀሱ መለኪያ; በ -1 እና +1 መካከል ያለው ቁጥር - በጣም ጥቅም ላይ የዋለው እና በጣም የተሳሳተ የ EDA መሳሪያ ነው። +1 ፍፁም የሆነ የጋራ መጨመር ማለት ነው፣ -1 ፍፁም የተገላቢጦሽ ግንኙነት ማለት ነው፣ 0 ማለት ምንም የመስመር ግንኙነት የለውም ማለት ነው። ሁለት ትላልቅ ወጥመዶች አሉ. በመጀመሪያ, ታዋቂው ህግ: ተያያዥነት መንስኤ አይደለም. በአይስ ክሬም ሽያጭ የማነቅ ጉዳዮች ይጨምራሉ; አንዱ ወደ ሌላው ስለሚመራ ሳይሆን በጋ (የተደበቀው ሦስተኛው ተለዋዋጭ) ሁለቱንም ስለሚቀሰቅስ ነው። ሁለተኛ፣ ቁርኝት የሚለካው መስመራዊ ግንኙነትን ብቻ ነው። ወደ 0 የሚጠጋ ጠንካራ ግን ከርቪላይንያር ግንኙነትን ሊያመለክት ይችላል።ስለዚህ ቁርኝትን ሲመለከቱ የተበታተነውን ሴራም መመልከትዎን ያረጋግጡ።

ይጠንቀቁ፡ AI የግንኙነት ቁጥር ሲሰጥ፣ ወደ ምክንያት ቋንቋ ሊገባ ይችላል፣ እንደ “A ጨምር B”። ይህ አደገኛ ነው። ቁርኝት አንድ ላይ መንቀሳቀስን ብቻ ያሳያል; ምክኒያቱን የሚያረጋግጡት ልምድ፣የጎራ እውቀት እና ጥንቃቄ የተሞላበት ግንዛቤ ብቻ ነው።

Anscombe ኳርት፡ ለምን ቁጥሩን ብቻ አይመለከቱም።

በስታቲስቲክስ ውስጥ አንድ ታዋቂ ምሳሌ አለ-Anscombe quartet። አራት የተለያዩ የውሂብ ስብስቦች ከሞላ ጎደል ተመሳሳይ አማካኝ፣ ተመሳሳይ ልዩነት እና ተመሳሳይ ትስስር አላቸው (0.82)። ነገር ግን በግራፍ ሲገለጽ፣ ሙሉ ለሙሉ የተለየ ይመስላሉ - አንድ ቀጥተኛ መስመር፣ አንድ ጠመዝማዛ፣ አንድ ደመና በአንድ ውጫዊ ተጎታች። ትምህርቱ ግልጽ ነው: ማጠቃለያ ስታቲስቲክስ አሳሳች ናቸው, ግራፉን መመልከት የግድ ነው. AI አማካኞችን እና ቁርኝቶችን ሊሰጥዎት ይችላል ነገርግን ግራፉን ሳያዩ እነዚህን ቁጥሮች ማመን ወደ Anscombe ወጥመድ ውስጥ እየገባ ነው።

ከዚህ በታች ያለው ሠንጠረዥ ከየትኛው ጥያቄ ጋር እንደሚስማማ ጠቅለል አድርጎ ያሳያል፡-

ጥያቄ

ተስማሚ ግራፊክ

ምን ያሳያል

የአንድ ነጠላ ተለዋዋጭ ስርጭት

ሂስቶግራም / KDE

ቅርጽ, ውዝዋዜ, የቁመቶች ብዛት

መሃል እና outliers

የሳጥን ሴራ

ሚዲያን ፣ ኳርቲልስ ፣ ወጣ ያሉ

የሁለት ቁጥሮች ግንኙነት

መበተን ገበታ

አቅጣጫ, ጥንካሬ, ኩርባ

ምድብ ንጽጽር

የአሞሌ ገበታ

በቡድኖች መካከል ያለው ልዩነት

በጊዜ መለወጥ

የመስመር ገበታ

አዝማሚያ, ወቅታዊነት

ሁለገብ ግንኙነት

የግንኙነት ሙቀት ካርታ

አጠቃላይ የግንኙነት ማትሪክስ

የሲምፕሰን አያዎ (ፓራዶክስ)፡ የተዋሃደ መረጃ ሊዋሽ ይችላል።

በኤዲኤ ውስጥ ሊታወቅ የሚገባው ስውር ወጥመድ የሲምፕሰን አያዎ (ፓራዶክስ) ነው፡ አንድ ንድፍ ሁሉንም መረጃዎች አንድ ላይ ሲመረመሩ አንድ አቅጣጫ ሊያሳይ ይችላል፣ ነገር ግን ውሂቡ ትርጉም ወዳለው ንዑስ ቡድኖች ሲከፋፈል ይገለበጣል። ክላሲክ ምሳሌ፡ በዩኒቨርሲቲ ውስጥ የሴት አመልካቾች አጠቃላይ ተቀባይነት መጠን ከወንዶች ያነሰ ይመስላል። ነገር ግን በመምሪያው ክፍል ሲታይ፣ የሴቶች ተቀባይነት መጠን በአብዛኛዎቹ ክፍሎች ውስጥ ከወንዶች ከፍ ያለ ነው። ከየት ነው? ሴቶች ይበልጥ ተወዳዳሪ (ዝቅተኛ ተቀባይነት ተመኖች) ክፍሎች አመልክተዋል; ጥምር ቁጥሩ ይህን የተደበቀ ተለዋዋጭ ያከማቻል። ትምህርቱ ግልጽ ነው፡ አጠቃላይ ወይም አማካኝ ስንመለከት ያ ቁጥር ትርጉም ባላቸው ንዑስ ቡድኖች (ክፍል፣ ክፍለ ጊዜ፣ ቻናል) ሲከፋፈል ተመሳሳይ ታሪክ ይናገር እንደሆነ ያረጋግጡ። AI የተቀናጀ መጠን ሲሰጥዎ “ሲከፋፍሉ አሁንም ልክ ነው” ብሎ መጠየቅ ብዙ አሳሳች ውጤቶችን ቀደም ብሎ ይይዛል።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - ሁለት የተደበቁ ኮረብታዎች. አንድ ተንታኝ የደንበኞች አማካይ ዕድሜ 41 ሆኖ አግኝቶ እንደ "መካከለኛ ዕድሜ ላይ ያለ ሕዝብ" ሲል ዘግቧል። ነገር ግን ሂስቶግራም ሁለት ጫፎችን አሳይቷል-ከ22-28 እና 55-62 የዕድሜ ቡድኖች. አማካዩ 41 በትክክል ማንንም አይወክልም። ትምህርት፡ አማካዩን ከማመንዎ በፊት ስርጭቱን ያቅዱ።

ጉዳይ 2 - የተዛባ ግንኙነት. አንድ ቡድን በ"ማስታወቂያ ወጪ" እና "ሽያጭ" መካከል የ0.78 ትስስር አግኝቶ በጀቱን በእጥፍ ጨምሯል። ይሁን እንጂ ሁለቱም የቀሰቀሱት ወቅታዊ ዘመቻዎች ነበሩ; ከዘመቻ ውጪ ባለው ጊዜ ግንኙነቱ ወደ 0.10 ወርዷል። 340 ሺህ TL ተጨማሪ ማስታወቂያ የሚጠበቀውን መመለስ አልቻለም። ትምህርት፡- የምክንያት ግኑኝነት ስህተት ውድ ነው።

ጉዳይ 3 - በብቸኛ ተቃራኒው የተዘረጋው መስመር. የሪል እስቴት ትንተና በካሬ ሜትር እና ዋጋ (r=0.80) መካከል ጠንካራ ግንኙነት አሳይቷል። የተበታተነ ሴራ ሲሳል, ግንኙነቱ በሙሉ ማለት ይቻላል በአንድ 12 ሚሊዮን TL የቅንጦት ቪላ ተፈጠረ; ያ ነጥብ ሲወገድ ግንኙነቱ ወደ 0.31 ወርዷል። ትምህርት: ሁልጊዜ ከተበታተነው ሴራ ጋር ያለውን ግንኙነት ያንብቡ.

አራት ሊገለበጡ የሚችሉ አብነቶች

1) ራስ-ሰር EDA ማጠቃለያ፡-

ፓንዳስ አለኝ df. የሚያወጣውን ኮድ ይፃፉ፡ (1) df.info() እና df.describe()፣ (2) ሂስቶግራም ለእያንዳንዱ የቁጥር አምድ፣ (3) ለእያንዳንዱ ምድብ አምድ መቁጠር። አስተያየት አይስጡ, የግኝት ኮድ ብቻ ያመነጫሉ; ንድፎችን እተረጎማለሁ.

2) ግንኙነት + ምስላዊ (ከምክንያታዊነት ማስጠንቀቂያ ጋር)

የግንኙነት ማትሪክስ እና ለቁጥራዊ አምዶች የሙቀት ካርታ የሚስል ኮድ ይፃፉ። እንዲሁም የ 3 ከፍተኛ ተዛማጅ ጥንዶች የተበታተነ ቦታን ይሳሉ። ቁርኝት መንስኤን እንደማያመለክት የሚያስታውስ የአስተያየት መስመርን በውጽአት ላይ ጨምር። የምክንያት የይገባኛል ጥያቄዎችን አያቅርቡ።

3) የስርጭት ምርመራ;

ለ"income_tl" አምድ፡ ሂስቶግራምን፣ ቦክስ ፕላንን፣ የተዛባ እሴትን እና መካከለኛ/አማካኝ ንፅፅርን የሚያዘጋጅ ኮድ ይፃፉ። ስርጭቱ የተዛባ መሆኑን ወይም አለመሆኑን እተረጎማለሁ; ኮዱን ብቻ ይስጡ።

4) የክፍል ንጽጽር፡-

ደንበኞችን በ"ቻናል" (ዌብ/ሞባይል) ያወዳድሩ፡ ለእያንዳንዱ ቻናል አማካኝ መጠን፣ መካከለኛ መጠን፣ የትዕዛዝ ብዛት እና የመጠን ስርጭት ሳጥን የሚያዘጋጅ ኮድ ይፃፉ። በሁለቱ ቻናሎች መካከል ላለው ልዩነት ስታቲስቲካዊ ጠቀሜታ የትኛው ፈተና ተገቢ እንደሆነ ይጠቁሙ፣ ግን ውሳኔው የእኔ ነው።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ ጥያቄ፡

በዚህ ውሂብ ውስጥ አንድ አስደሳች ነገር ያግኙ።

"የሚስብ" አልተገለጸም; AI ውሂቡን አያየውም, ስለዚህ ያዘጋጃል ወይም አጠቃላይ መግለጫዎችን ይሰጣል. ምንም አቅጣጫ የለም, ምንም ተለዋዋጮች, ምንም ዓላማ የለም.

ኃይለኛ ጥያቄ፡-

የእርስዎ ሚና፡ EDA ረዳት። df አምዶች፡ ዕድሜ (int)፣ ገቢ_ቲኤል (ተንሳፋፊ)፣ ከተማ (ምድብ)፣ ቻናል (ድር/ሞባይል)፣ መጠን (ተንሳፋፊ)። ዓላማው: "በመጠን" ላይ ተጽእኖ ያላቸውን ምክንያቶች ለማወቅ. ተግባር፡ (1) የመጠን ስርጭትን የሚያሳይ ኮድ፣ (2) በመጠን እና በእድሜ እና በገቢ_tl መካከል ያሉ የስርጭት ግራፎች፣ (3) በሰርጥ መከፋፈል ውስጥ ያለ መጠን መጠን። የይገባኛል ጥያቄ ማቋቋም; የግኝቱን ኮድ ብቻ አምጣ እና ስርዓተ-ጥለትን እተረጎማለሁ።

እዚህ, ዓላማው, ተለዋዋጮች እና "ምክንያት የመጠየቅ" ገደብ ግልጽ ነው.

የተለመዱ ስህተቶች

• በማጠቃለያ ስታቲስቲክስ ላይ ብቻ መተማመን። Anscombe quartet እንደሚያሳየው, ተመሳሳይ አማካኝ በጣም የተለያዩ ስርጭቶችን ይደብቃል; ገበታ ይመልከቱ።
• ለምክንያት የተሳሳተ ግንኙነት። የጋራ ድርጊት አንዱ ወደ ሌላው እንደሚመራ አያመለክትም; ከተደበቁ ተለዋዋጮች ይጠንቀቁ።
• የተበታተነ ሴራ ሳይኖር ትስስርን መመልከት. አንድ ነጠላ ውጫዊ ወይም ኩርባነት ቁጥሩን ያሳስታል።
• ከአማካይ ጋር ባለ ሁለት ጫፍ/የተዛባ ስርጭትን ማጠቃለል። አማካዩ ማንንም ላይወክል ይችላል።
• EDA መዝለል እና በቀጥታ ወደ ሞዴሉ መሄድ። ያልታወቀ መረጃ ማለት ዓይነ ስውር ሞዴል ማለት ነው።

ጠቃሚ ምክር፡ በእያንዳንዱ አዲስ የውሂብ ስብስብ የመጀመሪያዎቹን 30 ደቂቃዎች ግራፎችን በመሳል ብቻ ያሳልፉ፡ የእያንዳንዱ አሃዛዊ ሂስቶግራም፣ የተበታተነ ጉልህ ጥንዶች፣ የምድቦች ባር ገበታ። እነዚህ 30 ደቂቃዎች ለመጪዎቹ ቀናት የወደፊት የሞዴሊንግ ስህተቶችን ይከላከላሉ.

በማጠቃለያው

EDA ሞዴል ከመገንባቱ በፊት መረጃውን የማወቅ ደረጃ ነው እና ለአራት ጥያቄዎች መልስ ይፈልጋል፡ ስርጭት፣ መሀል ስርጭት፣ ግንኙነት እና ያልተለመዱ። ማጠቃለያ ስታቲስቲክስ አሳሳች ሊሆን ይችላል; ግራፉን መመልከት የግድ ነው (Anscombe lecture)። ቁርኝት ኃይለኛ መሳሪያ ነው, ነገር ግን መንስኤ አይደለም እና በእርግጠኝነት ከተበታተነ ሴራ ጋር ተያይዞ መነበብ አለበት. AI ግራፊክስን ለመጠቆም እና ኮድ ለመጻፍ በጣም ጥሩ ማፋጠን ነው; ነገር ግን ሰዎች የሚያዩት ስርዓተ-ጥለት እውን ወይም በአጋጣሚ መሆኑን በመስክ እውቀታቸው ይተረጉማሉ።

የመተግበሪያ ተግባር

የውሂብ ስብስብ ይምረጡ እና ኢዲኤ ብቻ ያድርጉ፡ ቢያንስ ሶስት የቁጥር ተለዋዋጮች ሂስቶግራምን፣ የሁለት ጥንድ ተለዋዋጮችን የተበታተነ ቦታ እና የግንኙነት ሙቀት ካርታ ያውጡ። ቢያንስ አንድ "አስደንጋጭ" (እንደ ሁለት ከፍታዎች ስርጭት, ለተንኮል ግንኙነት እጩ, በአንድ ውጫዊ የተሳበ ግንኙነት) ይፈልጉ እና በአንድ ዓረፍተ ነገር ያብራሩ. ምንም አይነት የምክንያት የይገባኛል ጥያቄ ሳያደርጉ ይፃፉ።

የማረጋገጫ ዝርዝር

• [ ] የእያንዳንዱን የቁጥር ተለዋዋጭ ስርጭት ግራፍ አውጥቻለሁ?
• [ ] ከተበታተነው ጋር ያለውን ዝምድና ተመልክቻለሁ?
• [ ] ምክኒያት እና ተያያዥነት ተለያይቻለሁ?
• [ ] የተዛባ ወይም ባለ ሁለት ጫፍ ስርጭቶችን አላስተዋልኩም እና አማካኙን በጭፍን አምናለሁ?
• [ ] ከኢዲኤ ግኝቶቼ ቢያንስ አንድ የሞዴሊንግ ገጽታ/ መላምት አግኝቻለሁ?