กำไร:
- ความสามารถในการสำรวจการกระจาย ศูนย์กลาง การแพร่กระจาย และความผิดปกติของตัวแปรด้วยกราฟที่เหมาะสม (ฮิสโตแกรม แผนภาพกล่อง แผนภาพกระจาย)
- ความสามารถในการตีความความสัมพันธ์ได้อย่างถูกต้องและอ่านร่วมกับแผนภาพกระจายได้ โดยไม่สับสนกับความเป็นเหตุเป็นผล
- ความสามารถในการเข้าใจว่าสถิติสรุปอาจทำให้เข้าใจผิด (บทเรียน Anscombe) และพัฒนาสมมติฐานที่กำหนดทิศทางของการสร้างแบบจำลอง
ก่อนที่จะสร้างแบบจำลองจำเป็นต้องทราบข้อมูลก่อน เช่นเดียวกับที่แพทย์ไม่ได้สั่งยาโดยไม่ตรวจผู้ป่วย นักวิทยาศาสตร์ด้านข้อมูลก็ไม่ได้สร้างแบบจำลองโดยไม่ "ตรวจสอบ" ข้อมูล การตรวจสอบนี้เรียกว่าการวิเคราะห์ข้อมูลเชิงสำรวจ (เรียกสั้น ๆ ว่า EDA): เป็นขั้นตอนของการค้นพบการกระจายตัว ความสัมพันธ์ ความประหลาดใจ และกับดักของข้อมูลทั้งทางภาพและกราฟิก วัตถุประสงค์ของ EDA คือการสร้างสมมติฐาน ตรวจจับข้อผิดพลาด และกำหนดทิศทางของการสร้างแบบจำลอง ปัญญาประดิษฐ์เป็นผู้ช่วยที่ทรงพลังมากในขั้นตอนนี้ โดยจะแนะนำว่าแผนภูมิใดเหมาะสม เขียนโค้ด และตีความการแจกแจง แต่คนๆ หนึ่งจะตัดสินใจด้วยความรู้ของเขา/เธอว่ารูปแบบที่เขาเห็นนั้นเป็นเรื่องจริงหรือเป็นเรื่องบังเอิญ
EDA มองหาอะไร?
EDA ค้นหาคำตอบสำหรับคำถามสี่ข้อ การกระจายตัว: แต่ละตัวแปรมีการกระจายอย่างไร มีลักษณะสมมาตร บิดเบี้ยว หรือมีสองยอด แนวโน้มและการแพร่กระจายจากศูนย์กลาง: ค่าเฉลี่ย, ค่ามัธยฐาน, ส่วนเบี่ยงเบนมาตรฐานคืออะไร? ความสัมพันธ์: ตัวแปรมีความสัมพันธ์กันอย่างไร? ความผิดปกติ: มีค่า ช่องว่าง และการจัดกลุ่มที่ไม่คาดคิดหรือไม่ คำถามสี่ข้อนี้จะกำหนดว่าคุณลักษณะใดจะใช้งานได้และรุ่นใดเหมาะสม
มากำหนดแนวคิดพื้นฐานบางประการกัน ฮิสโตแกรมเป็นกราฟที่แบ่งค่าของตัวแปรตัวเลขออกเป็นระยะ ๆ และแสดงจำนวนการสังเกตในแต่ละช่วงเวลา เป็นวิธีดูการกระจายตัวที่เร็วที่สุด ความเบ้คือการเปลี่ยนแปลงของการกระจายไปในทิศทางเดียว ตัวแปรเช่นรายได้จะเบ้ไปทางขวา (ส่วนใหญ่ต่ำ น้อยมากน้อยมาก) แผนภูมิกล่องแสดงค่ามัธยฐาน ควอร์ไทล์ และค่าผิดปกติโดยสรุป แผนภูมิกระจายแสดงความสัมพันธ์ของตัวแปรตัวเลขสองตัวกับกลุ่มจุด
Correlation : มีความสัมพันธ์แต่ต้องระวัง
สหสัมพันธ์ - การวัดว่าตัวแปรสองตัวเคลื่อนตัวเข้าหากันอย่างไร ตัวเลขระหว่าง -1 ถึง +1 — เป็นเครื่องมือที่ใช้มากที่สุดและเข้าใจผิดที่สุดของ EDA +1 หมายถึง การเพิ่มขึ้นร่วมที่สมบูรณ์แบบ, -1 หมายถึง ความสัมพันธ์ผกผันที่สมบูรณ์แบบ, 0 หมายถึง ไม่มีความสัมพันธ์เชิงเส้น มีกับดักใหญ่สองอัน ประการแรก กฎที่มีชื่อเสียง: ความสัมพันธ์ไม่ใช่สาเหตุ กรณีสำลักเพิ่มขึ้นตามยอดขายไอศกรีม ไม่ใช่เพราะอันหนึ่งนำไปสู่อีกอันหนึ่ง แต่เป็นเพราะฤดูร้อน (ตัวแปรที่สามที่ซ่อนอยู่) ทริกเกอร์ทั้งสองอย่าง ประการที่สอง ความสัมพันธ์วัดเฉพาะความสัมพันธ์เชิงเส้นเท่านั้น อาจบ่งบอกถึงความสัมพันธ์ที่แข็งแกร่งแต่โค้งงอใกล้กับ 0 ดังนั้นเมื่อดูความสัมพันธ์ อย่าลืมดูแผนภาพกระจายด้วย
ข้อควรระวัง: เมื่อ AI ให้ตัวเลขความสัมพันธ์ มันอาจหลุดลอยไปเป็นภาษาเชิงสาเหตุ เช่น “A เพิ่ม B” สิ่งนี้เป็นอันตราย ความสัมพันธ์บ่งชี้ถึงการเคลื่อนไหวร่วมกันเท่านั้น มีเพียงประสบการณ์ ความรู้ในขอบเขต และการอนุมานอย่างรอบคอบเท่านั้นที่สร้างเหตุผลได้
วง Anscombe: ทำไมไม่ดูแค่ตัวเลขล่ะ
มีตัวอย่างที่มีชื่อเสียงในทางสถิติ: วง Anscombe ชุดข้อมูลที่ต่างกันสี่ชุดมีค่าเฉลี่ย ความแปรปรวนเท่ากัน และความสัมพันธ์เท่ากัน (0.82) แต่เมื่อวาดกราฟ พวกมันดูแตกต่างไปจากเดิมอย่างสิ้นเชิง เส้นตรงเส้นหนึ่ง เส้นโค้งเส้นหนึ่ง เส้นเมฆถูกดึงโดยค่าผิดปกติเส้นเดียว บทเรียนชัดเจน สถิติสรุปทำให้เข้าใจผิด ต้องดูกราฟ AI สามารถให้ค่าเฉลี่ยและสหสัมพันธ์แก่คุณได้ แต่การเชื่อตัวเลขเหล่านั้นโดยไม่เห็นกราฟกำลังตกหลุมพรางของ Anscombe
ตารางด้านล่างจะสรุปว่าแผนภูมิใดเหมาะกับคำถามใด:
คำถาม
กราฟิกที่เหมาะสม
แสดงให้เห็นอะไร
การกระจายตัวของตัวแปรตัวเดียว
ฮิสโตแกรม / KDE
รูปร่าง ความเบ้ จำนวนจุดยอด
ศูนย์กลางและค่าผิดปกติ
พล็อตกล่อง
ค่ามัธยฐาน ควอไทล์ ค่าผิดปกติ
ความสัมพันธ์ของตัวเลขสองตัว
แผนภูมิกระจาย
ทิศทาง ความแข็งแกร่ง ความโค้ง
การเปรียบเทียบหมวดหมู่
แผนภูมิแท่ง
ความแตกต่างระหว่างกลุ่ม
เปลี่ยนแปลงไปตามกาลเวลา
แผนภูมิเส้น
เทรนด์ ฤดูกาล
ความสัมพันธ์หลายตัวแปร
แผนที่ความร้อนสหสัมพันธ์
เมทริกซ์ความสัมพันธ์ทั่วไป
ความขัดแย้งของซิมป์สัน: ข้อมูลรวมสามารถโกหกได้
กับดักลับๆ ใน EDA ที่ต้องระวังคือความขัดแย้งของซิมป์สัน: รูปแบบอาจแสดงทิศทางเดียวเมื่อข้อมูลทั้งหมดได้รับการตรวจสอบร่วมกัน แต่จะกลับกันเมื่อข้อมูลถูกแบ่งออกเป็นกลุ่มย่อยที่มีความหมาย ตัวอย่างคลาสสิก: อัตราการตอบรับโดยรวมของผู้สมัครหญิงในมหาวิทยาลัยดูเหมือนจะต่ำกว่าเพศชาย แต่เมื่อดูเป็นแผนกต่อแผนก อัตราการยอมรับของผู้หญิงยังสูงกว่าผู้ชายในแผนกส่วนใหญ่ จากไหน? ผู้หญิงนำไปใช้กับแผนกที่มีการแข่งขันสูง (อัตราการยอมรับต่ำกว่า) จำนวนที่รวมกันจะเก็บตัวแปรที่ซ่อนอยู่นี้ บทเรียนมีความชัดเจน: เมื่อดูผลรวมหรือค่าเฉลี่ย อย่าลืมตรวจสอบว่าตัวเลขนั้นบอกเล่าเรื่องราวเดียวกันหรือไม่เมื่อแยกออกเป็นกลุ่มย่อยที่มีความหมาย (กลุ่ม ช่วงเวลา ช่องทาง) เมื่อ AI ให้อัตรารวมแก่คุณ การถามว่า “คุณยังแบ่งกลุ่มได้หรือไม่” จะตรวจจับผลลัพธ์ที่ทำให้เข้าใจผิดส่วนใหญ่ได้ตั้งแต่เนิ่นๆ
มินิเคสสามอัน
กรณีที่ 1 — เนินเขาที่ซ่อนอยู่สองลูก นักวิเคราะห์รายหนึ่งพบว่าลูกค้าที่มีอายุเฉลี่ยอยู่ที่ 41 ปี และรายงานว่าเป็นกลุ่ม "กลุ่มวัยกลางคน" แต่ฮิสโตแกรมแสดงจุดสูงสุดสองจุด ได้แก่ กลุ่มอายุ 22-28 และ 55-62 ปี ค่าเฉลี่ย 41 ไม่ได้เป็นตัวแทนของใครเลย บทเรียน: พล็อตการกระจายก่อนที่จะเชื่อค่าเฉลี่ย
กรณีที่ 2 — ความสัมพันธ์ปลอม ทีมหนึ่งพบความสัมพันธ์ 0.78 ระหว่าง "ค่าโฆษณา" และ "ยอดขาย" และเพิ่มงบประมาณเป็นสองเท่า อย่างไรก็ตาม สิ่งที่กระตุ้นทั้งสองอย่างคือแคมเปญตามฤดูกาล ในช่วงนอกแคมเปญ ความสัมพันธ์ลดลงเหลือ 0.10 การโฆษณาเพิ่มเติม 340,000 TL ไม่ได้ให้ผลตอบแทนที่คาดหวัง บทเรียน: ความสัมพันธ์ที่ผิดพลาดสำหรับสาเหตุมีราคาแพง
กรณีที่ 3 — เส้นที่ลากโดยผู้ที่แตกต่างเพียงคนเดียว การวิเคราะห์อสังหาริมทรัพย์แสดงให้เห็นความสัมพันธ์ที่แข็งแกร่งระหว่างพื้นที่เป็นตารางฟุตและราคา (r=0.80) เมื่อวาดแผนกระจาย ความสัมพันธ์เกือบทั้งหมดถูกสร้างขึ้นโดยวิลล่าหรู 12 ล้าน TL เพียงหลังเดียว เมื่อลบจุดนั้นออกไป ความสัมพันธ์ก็ลดลงเหลือ 0.31 บทเรียน: อ่านความสัมพันธ์พร้อมกับแผนภาพกระจายเสมอ
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) สรุป EDA อัตโนมัติ:
ฉันมีแพนด้า df เขียนโค้ดที่สร้าง: (1) df.info() และ df.describe(), (2) ฮิสโตแกรมสำหรับแต่ละคอลัมน์ตัวเลข (3) นับสำหรับแต่ละคอลัมน์หมวดหมู่ อย่าแสดงความคิดเห็น เพียงสร้างโค้ดการค้นพบ ฉันตีความรูปแบบ
2) สหสัมพันธ์ + ภาพ (โดยคำนึงถึงสาเหตุ):
เขียนโค้ดที่วาดเมทริกซ์สหสัมพันธ์และแผนที่ความร้อนสำหรับคอลัมน์ตัวเลข วาดแผนภาพกระจายของคู่ที่มีความสัมพันธ์กันสูงสุด 3 คู่ด้วย เพิ่มบรรทัดความคิดเห็นในเอาต์พุตเพื่อเตือนคุณว่าความสัมพันธ์ไม่ได้หมายความถึงสาเหตุ อย่าทำการเรียกร้องที่เป็นเหตุเป็นผล
3) การวินิจฉัยการแพร่กระจาย:
สำหรับคอลัมน์ "income_tl" ให้เขียนโค้ดที่สร้างฮิสโตแกรม พล็อตของกล่อง ค่าความเบ้ และการเปรียบเทียบค่ามัธยฐาน/ค่าเฉลี่ย ฉันจะตีความว่าการกระจายตัวนั้นเบ้หรือไม่ เพียงแค่ให้รหัส
4) การเปรียบเทียบกลุ่ม:
เปรียบเทียบลูกค้าตาม "ช่องทาง" (เว็บ/มือถือ): เขียนโค้ดที่สร้าง Boxplot ของจำนวนเงินเฉลี่ย จำนวนมัธยฐาน จำนวนคำสั่งซื้อ และการกระจายจำนวนสำหรับแต่ละช่องทาง แนะนำว่าการทดสอบใดเหมาะสมกับนัยสำคัญทางสถิติของความแตกต่างระหว่างสองช่องทางนี้ แต่การตัดสินใจขึ้นอยู่กับฉัน
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
พรอมต์ที่อ่อนแอ:
ค้นหาสิ่งที่น่าสนใจในข้อมูลนี้
“น่าสนใจ” ไม่ได้กำหนดไว้ AI ไม่เห็นข้อมูล ดังนั้นจึงสร้างหรือสร้างข้อความทั่วไป ไม่มีทิศทาง ไม่มีตัวแปร ไม่มีจุดมุ่งหมาย
พรอมต์อันทรงพลัง:
บทบาทของคุณ: ผู้ช่วย EDA คอลัมน์ df: อายุ (int), Income_tl (ลอย), เมือง (หมวดหมู่), ช่อง (เว็บ/มือถือ), จำนวน (ลอย) วัตถุประสงค์: เพื่อค้นหาปัจจัยที่ส่งผลต่อ "ปริมาณ" ภารกิจ: (1) โค้ดพล็อตการกระจายของจำนวนเงิน (2) กราฟการกระจายระหว่างจำนวนเงินและอายุและ Income_tl (3) พล็อตกล่องของจำนวนเงินในการแจกแจงช่อง การสร้างข้อเรียกร้องเชิงสาเหตุ เพียงสร้างโค้ดการค้นพบแล้วฉันจะตีความรูปแบบ
ในที่นี้ วัตถุประสงค์ ตัวแปร และขีดจำกัดของ "การอ้างสาเหตุ" มีความชัดเจน
ข้อผิดพลาดทั่วไป
- อาศัยสถิติสรุปเพียงอย่างเดียว ดังที่วง Anscombe แสดงไว้ ค่าเฉลี่ยเดียวกันจะซ่อนการแจกแจงที่แตกต่างกันมาก ดูแผนภูมิ
- ความสัมพันธ์ที่ผิดพลาดสำหรับสาเหตุ การร่วมมือไม่ได้บ่งชี้ว่าสิ่งหนึ่งนำไปสู่อีกสิ่งหนึ่ง ระวังตัวแปรที่ซ่อนอยู่
- การดูความสัมพันธ์โดยไม่มีแผนภาพกระจาย ค่าผิดปกติหรือความโค้งเพียงจุดเดียวทำให้ตัวเลขเข้าใจผิด
- สรุปการแจกแจงแบบสองยอด/เบ้ด้วยค่าเฉลี่ย ค่าเฉลี่ยอาจไม่เป็นตัวแทนของใครเลย
- ข้าม EDA และมุ่งตรงไปที่โมเดล ข้อมูลที่ไม่รู้จักหมายถึงโมเดลที่มองไม่เห็น
เคล็ดลับ: สำหรับชุดข้อมูลใหม่ทุกชุด ใช้เวลา 30 นาทีแรกในการวาดกราฟ: ฮิสโตแกรมของตัวเลขแต่ละชุด แผนภาพกระจายของคู่ที่มีนัยสำคัญ แผนภูมิแท่งของหมวดหมู่ 30 นาทีเหล่านี้ป้องกันข้อผิดพลาดในการสร้างแบบจำลองในอนาคตสำหรับวันต่อๆ ไป
โดยสรุป
EDA เป็นระยะของการทำความรู้จักข้อมูลก่อนที่จะสร้างแบบจำลองและค้นหาคำตอบสำหรับคำถามสี่ข้อ: การกระจาย การแพร่กระจายแบบกึ่งกลาง ความสัมพันธ์ และความผิดปกติ สถิติสรุปอาจทำให้เข้าใจผิด การดูกราฟเป็นสิ่งจำเป็น (Anscombe Lecture) สหสัมพันธ์เป็นเครื่องมือที่ทรงพลัง แต่สาเหตุไม่ได้เป็นเช่นนั้น และควรอ่านร่วมกับแผนภูมิกระจายอย่างแน่นอน AI เป็นตัวเร่งที่ยอดเยี่ยมในการแนะนำกราฟิกและการเขียนโค้ด แต่ผู้คนตีความด้วยความรู้ภาคสนามว่ารูปแบบที่พวกเขาเห็นนั้นเป็นเรื่องจริงหรือเป็นเรื่องบังเอิญ
งานสมัคร
เลือกชุดข้อมูลและทำ EDA: แยกฮิสโตแกรมของตัวแปรตัวเลขอย่างน้อยสามตัว แผนภูมิกระจายของตัวแปรสองคู่ และแผนที่ความร้อนสหสัมพันธ์ ค้นหา "ความประหลาดใจ" อย่างน้อยหนึ่งรายการ (เช่น การแจกแจงที่มียอดสองยอด ความเป็นไปได้ของความสัมพันธ์ปลอม ความสัมพันธ์ที่ถูกดึงดูดโดยค่าผิดปกติเพียงค่าเดียว) แล้วอธิบายในประโยคเดียว เขียนโดยไม่อ้างเหตุผลใดๆ
รายการตรวจสอบ
- [ ] ฉันได้ทำกราฟการกระจายตัวของตัวแปรตัวเลขแต่ละตัวแล้วหรือยัง?
- [ ] ฉันได้ดูความสัมพันธ์กับ Scatterplot แล้วหรือยัง?
- [ ] ฉันแยกเหตุและความสัมพันธ์ออกจากกันหรือไม่?
- [ ] ฉันไม่ได้สังเกตเห็นการแจกแจงแบบเบ้หรือแบบสองยอดแล้วเชื่อค่าเฉลี่ยโดยสุ่มสี่สุ่มห้าใช่หรือไม่
- [ ] ฉันได้รับแง่มุม/สมมติฐานด้านการสร้างแบบจำลองอย่างน้อยหนึ่งรายการจากการค้นพบ EDA ของฉันหรือไม่