דגימה, ייצוג והטיה

רווחים:

• היכולת להגדיר בבירור את היקום ולהעריך את הייצוגיות של שיטת הדגימה ומי אינו נכלל באופן שיטתי
• יכולת להבחין בין הטיה בנתונים לבין סטריאוטיפים הנישאים על ידי בינה מלאכותית ולשלוט בשניהם
• יכולת לבטא ממצאים מוגבלים למדגם, ללא הגזמה, ולכתוב סעיף מגבלות כנה.

הרעיון המכריע ביותר של מחקר חברתי הוא המדגם - כלומר תת-הקבוצה שאתה בוחר כי אינך יכול לבחון את כל הקבוצה שבה אתה מעוניין (היקום/אוכלוסיה: כל האנשים או היחידות שהמחקר רוצה לדבר עליהם) בזה אחר זה. למי ניתן להכליל את ממצאי המחקר (כלומר, "האם תוצאה זו תקפה רק עבור אנשים אלה או עבור קבוצה רחבה יותר") תלוי לחלוטין בייצוגיות המדגם. התוצאה של מדגם שגוי או מוטה שגויה, לא משנה עד כמה היא מנותחת. ביחידה זו תלמדו כיצד להשתמש בבינה מלאכותית כדי לחשוב על עיצוב מדגם, לזהות הטיה - סחיפה שיטתית של נתונים או פרשנות בכיוון אחד, ולהביע ביושר את גבולות ההכללה.

יש להבחין כאן בשני סוגים של דעות קדומות. הראשון הוא הטיה בנתונים: המדגם מייצג יתר על המידה קבוצה אחת ומייצג פחות קבוצה אחרת (למשל אלה שיכולים להשתתף רק בסקר המקוון, כלומר בעלי גישה לאינטרנט). השני הוא ההטיה של ה-AI עצמו: ה-AI נושא את הדפוסים של הטקסטים עליהם הוא אומן ויכול לייצר הכללות סטריאוטיפיות לגבי קבוצה חברתית. חוקר חברתי טוב חייב להיות ערני לשניהם; AI יכול לעזור לך לזהות את שניהם, או שהוא יכול להגדיל את שניהם.

צעד אחר צעד: חשיבה על ייצוג

1. תאר את היקום. למי אתה רוצה לספר על הממצא שלך? "כל המצביעים בטורקיה" ו"הבוחרים הצעירים בשכונה באיסטנבול" הם יקומים שונים מאוד. לא ניתן לקבוע מדגם מבלי לכתוב זאת בבירור.

2. בחר את שיטת הדגימה. שיטות כמו אקראי (לכולם יש סיכוי שווה להיבחר), מרובדים (חלוקת היקום לקבוצות ובחירה מכל קבוצה), כדור שלג (משתתף אחד ממליץ על אחר) נותנות כוחות ייצוג שונים. AI יכול להסביר את היתרונות והחסרונות של כל שיטה בשפה פשוטה.

3. שאלו מי נשאר בחוץ. כל דגימה מפספסת מישהו. סקר מקוון מפספס את אלה ללא אינטרנט, סקר טלפוני מפספס את אלה ללא קווים, ראיון בשעות היום מתגעגע לעובדים. בינה מלאכותית מייצרת רשימת בדיקה טובה עבור "את מי שיטה זו מוציאה באופן שיטתי?"

4. מפה מקורות הטיה. רשום מקורות כגון הטיית בחירה (מי נבחר), הטיית תגובה (מי עונה), הטיית היזכרות (זכרון שגוי של העבר).

5. כתוב את גבול ההכללה. נסח את הממצא כ"צעירים במדגם הזה", ולא "כל בני נוער". AI יכול לסמן הכללות יתר בטיוטה שלך.

טיפ: דוח מחקר טוב מתחזק, לא נחלש, על ידי סעיף "הגבלות". כתיבה כנה על מי שהדגימה שלך לא מייצגת הופכת את המחקר שלך לאמין יותר. בקש מה-AI לעצב את הסעיף הזה, אך אשר את כל המגבלות בעצמך.

שלושה מיני תיקים

מקרה 1 - הטיית בחירה נסתרת. כדי למדוד שביעות רצון משירותי העירייה, צוות אחד העלה סקר לאתר העירייה ומצא 78% שביעות רצון. כששאלתי את AI "למי חסר המדגם הזה?", הסתבר שהסגמנט שכבר משתמש באתר (כלומר יש לו גישה לשירות וכנראה מרוצה יותר) הוא ייצוג יתר. הממצא תוקן ל-"78% בקרב משתמשי האתר".

מקרה 2 - סטריאוטיפ של AI. כאשר חוקר העביר AI לסכם את "השקפה של קשישים כפריים על טכנולוגיה", AI הוסיף מסגרת סטריאוטיפית שלא הייתה בנתונים, כגון "קשישים מפחדים מטכנולוגיה". כשהחוקר הבין את זה ואמר "רק הסתמכו על האמירות בתמליל", ניתן היה לראות שבנתונים יש למעשה מגוון רחב של עמדות.

מקרה 3 - תיקון דגימה מרובדת. במדגם של 500 איש, נשים היו 30%, לעומת 51% באוכלוסייה. AI הסביר את היגיון הניפוח בשפה פשוטה, והצוות שקלל את התוצאות לפי פרופורציות האוכלוסייה, והביא לתמונה מייצגת יותר.

ארבע תבניות הניתנות להעתקה

1) ביקורת על המדגם:

היקום של המחקר שלי: [תיאור]. שיטת הדגימה שלי היא: [שיטה]. המשימה שלך: רשום מי מדגם זה עלול באופן שיטתי לתת ייצוג או יתר של ייצוג. שקול שגיאות בחירה, תגובה וזכירה בנפרד. תן המלצת הפחתה לכל סיכון. אל תגזים בממצאי; הראה גבולות ביושר.

2) בקרת הכללה:

בדוק את משפטי הממצא הבאים: [טקסט]. סמן כל הכללת יתר. שכתוב הצהרות כמו "כולם/כולם/צעירים/נשים" עם אמירה צרה יותר שהנתונים תומכים בה למעשה. לדוגמה, במקום "צעירים עושים X", "Y% מבני הנוער במדגם זה דיווחו על X." סמן כל טענה שמקורה לא ברור.

3) לכידת הטיית AI:

נתתי לך את הסיכום למטה. בדוק: האם שיפוטים, תארים או הכללות שהוספת באמת קיימים בטקסט הנתון? סמן והסר ביטויים שאינם בטקסט אך מגיעים מהדפוסים שלך. פשוט היצמד למה שכתוב בטקסט.

4) סעיף מגבלות טיוטת:

כתוב טיוטה של ​​סעיף "הגבלות" על סמך מידע השיטה הבא: גודל מדגם [n], שיטה [x], הקשר [y]. הסבר כיצד כל מגבלה עשויה להשפיע על הממצאים. לא הגזמה ולא הערכת חסר; תהיה מאוזן וישר. אני אאשר כל פריט.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

לפי תוצאות הסקר שלי, לרוב הצעירים יש דעה זו. כתוב את זה במשפט חזק.

זה מייצר הכללת יתר מבלי להטיל ספק במדגם. בינה מלאכותית מחליקה בקלות לטענה שהנתונים אינם נושאים, כגון "צעירים בטורקיה..."

הנחיה עוצמתית:

המדגם שלי: 220 סטודנטים לתואר ראשון באוניברסיטה אחת, סקר מקוון, השתתפות מרצון. ברצוני להביע ממצא: 61% מהמשתתפים הביעו דעה X. כתבו זאת במשפט אקדמי ללא סלסולים המציין בבירור את גבולות המדגם (ייצוג, הטיית התנדבות). הגבל את ההכללה למדגם זה.

ההבדל: המשפט השני מייצר טענה שניתנת להגנה שהנתונים ממש תומכים בה.

שיטות דגימה וייצוגיות

שיטה

איך זה עובד

כוח הייצוג

סיכון אופייני

אקראי פשוט

סיכוי שווה לכולם

גבוה

עלות הובלה

מרובדת

חלקו ובחרו לקבוצות

גבוה

שגיאת הגדרת הקבוצה

מכסה

מילוי תעריפי קבוצות

בינוני

הטיה בתוך הקבוצה

קל

אל תשאל אף אחד שאפשר להשיג

נמוך

הטיית בחירה חמורה

כדור שלג

לפי הצעת משתתף

נמוך

דמיון ברשת הפנים

טעויות נפוצות

• הקמת מדגם מבלי להגדיר את היקום. לא ניתן להעריך ייצוג מבלי לדעת למי תכליל.
• הכללת דגימת נוחות לכלל האוכלוסייה. הטעות הנפוצה ביותר; "משיבים בסקר" מבולבלים עם "כולם".
• לעולם אל תשאל מי נשאר בחוץ. כל שיטה חוטפת מישהו; חפש את זה במודע.
• לא שם לב לסטריאוטיפ שהוסף על ידי AI. המודל עשוי להוסיף סטריאוטיפים שאינם קיימים בנתונים.
• הסתרת מגבלות. הסתרת השבריריות של המדגם הופכת את המחקר לשביר, לא אמין.

לסיכום

ערכו של ממצא הוא כמו הייצוגיות של המדגם שעליו הוא מבוסס. AI; הוא כלי עזר רב עוצמה בהסבר שיטות דגימה, מיפוי מי מיוצג חסר, סימון של הכללות יתר, וניסוח סעיף מגבלות כנה. אבל היזהרו משתי הטיות: ההטיה של הנתונים עצמם והסטריאוטיפים שנושאים על ידי ה-AI. הגדירו את היקום בצורה ברורה, שאלו מי נותר בחוץ, הגבל את ההכללה למדגם ורשום מגבלות בכנות.

משימת יישום

תאר את האוכלוסייה ושיטת הדגימה למחקר אמיתי או היפותטי. חלץ את מי שעשוי להיות מתחת/מיוצג יתר על המידה מה-AI עם תבנית "ביקורת דגימה" וזיהוי לפחות שלושה מקורות להטיה. לאחר מכן תרגם הצהרת ממצא להצהרה צרה שהנתונים תומכים בה למעשה עם דפוס "בדיקת הכללה". לבסוף, כתוב סעיף הגבלות כנה של חצי עמוד.

רשימת בדיקה

• [ ] הגדרתי בבירור את היקום (למי אני אכלל).
• [ ] הערכתי את הייצוגיות של שיטת הדגימה.
• [ ] רשמתי מי הושאר בשיטתיות.
• [ ] הבעתי את הממצאים מוגבלים למדגם וללא הגזמה.
• [ ] הסרתי את הסטריאוטיפים/הכללות שהוסיפו בינה מלאכותית.