רווחים:
- יכולת דיווח על ממצאים אמפיריים לקהל היעד (אקדמי, מדיניות, ניהול) בתמיכת בינה מלאכותית, בשפה כנה וחד משמעית
- יכולת כתיבה מלאה של מסקנות, מגבלות והצהרות אתיות (סודיות נתונים, ניגוד עניינים, חשיפת שימוש בבינה מלאכותית) ולהימנע מצג מטעה
- היכולת של בינה מלאכותית לזהות טיוטות של דוחות המייצרות שפה מוגזמת, חד צדדית או סיבתית ולשמור על האחריות הזו לטקסט ולטענות הסופיות מוטלת על החוקר.
מבחן מודול
1. חוקר שואל 'מהו מקדם המתאם בין אבטלה לאינפלציה בטורקיה בין 2015 ל-2020?' מבלי למסור נתונים כלשהם לבינה מלאכותית. הוא שואל וכותב את המספר 0.62 ישירות למאמר שלו. מהי הטעות הבסיסית בגישה זו?
- א) ציפייה לסטטיסטיקה קונקרטית מבינה מלאכותית מבלי לתת נתונים מאומתים; ✔ שימוש במספר שאולי הומצא מבלי לאמת אותו
- ב) אין להשתמש במקדם המתאם במאמר.
- ג) לא ניתן לחשב מתאם בין אבטלה לאינפלציה
- ד) בינה מלאכותית יכולה לגשת לנתונים רק לאחר 2020
הסבר: מודל שפת הבינה המלאכותית אינו יכול לייצר נתונים סטטיסטיים ללא גישה למערך הנתונים; המספר שהוא נותן הוא ככל הנראה הזיה (מפוברק). יש לחשב מקדמים, יחסים ותוצאות בדיקה מתוך הנתונים המאומתים של החוקר עצמו, ולא לקחת מזיכרון המודל.
2. מה המשמעות של נתונים חסרים 'לא חסרים באקראי' (MNAR) ולמה זה חשוב?
- א) החסר נובע מהערך הבלתי נצפה עצמו; לכן הקצאה פשוטה יכולה ליצור הטיה ✔
- ב) הנתונים נעלמים באופן אקראי לחלוטין ואינם יוצרים כל הטיה.
- ג) תמיד יש לפתור נתונים חסרים על ידי מחיקת השורה.
- ד) נתונים חסרים אינם משפיעים בשום צורה על הניתוח.
הסבר: במקרה של MNAR (Missing Not At Random), החסר עצמו תלוי בגודל הערך שלא נצפה (למשל, בעלי הכנסה גבוהים אינם מדווחים על הכנסתם). במקרה זה, מחיקה פשוטה או הקצאה ממוצעת נותנת תוצאות מוטות; יש לעצב את המנגנון של החסר. אין ליישם באופן עיוור את שיטת ההקצאה המוצעת על ידי בינה מלאכותית מבלי להכיר את המנגנון הזה.
3. אנליסט גורם ל-AI ליצור תרשים עמודות, וה-AI מתחיל את ציר ה-y ב-40 במקום אפס. ההבדל בפועל של 2% בין שתי הקבוצות נראה עצום על הגרף. מהי הגישה הנכונה?
- א) התחלת הציר מאפס או שינוי סוג התרשים; ✔ להראות את הגודל האמיתי של ההבדל מבלי להטעות
- ב) שימוש בתרשים כפי שהוא מכיוון שבינה מלאכותית עושה את הבחירה הטובה ביותר
- ג) התחלת הציר ב-45 כדי להגדיל עוד יותר את ההבדל
- ד) לעולם אל תשתמש בוויזואליים במקום תרשימי עמודות
הסבר: בתרשים עמודות, הציר המקווקו (ציר ה-y שאינו מתחיל מאפס) מטעה על ידי הגזמת הבדלים קטנים. בהדמיה כנה, הציר של תרשימי עמודות צריך להתחיל מאפס או שההבדל צריך להיות מודע בבירור. באחריות האנליסט לאמת את התמונה ולתקן אותה במידת הצורך.
4. כיצד העובדה שמקדם הוא 'משמעותי' (p<0.05) ברגרסיה ליניארית, לעתים קרובות מוצגת בצורה שגויה בפרשנות של בינה מלאכותית?
- א) הצגה מוגזמת של משמעות שכן ההשפעה גדולה וחשובה או שנקבעה סיבתיות ✔
- ב) מובהקות תמיד מצביעה על כך שההשפעה קטנה
- ג) p<0.05 מוכיח שהמקדם נכון לחלוטין
- ד) אין לדווח על מקדמים מובהקים.
הסבר: מובהקות סטטיסטית מתייחסת לעוצמת הראיות לכך שההשפעה שונה מאפס; זה לא אומר שההשפעה גדולה, חשובה או סיבתית. בינה מלאכותית מציגה לעתים קרובות את המילה 'משמעותית' כ'השפעה משמעותית/חזקה'. על החוקר גם להעריך את גודל ההשפעה, מרווח סמך והקשר.
5. למה מתייחס המונח 'p-hacking' ומדוע AI יכול להקל עליו?
- א) ניסיון ניתוחים מרובים עד שיהיה הגיוני; AI עושה זאת מהר מאוד, ומגדיל את הסיכון ✔
- ב) ניתוח נתונים פעם אחת ועם תוכנית קבועה מראש
- ג) הרחבת המדגם כדי להגדיל את ערך ה-p
- ד) דיווח סטטיסטיקה תיאורית בלבד
הסבר: p-hacking הוא ניסיון של משתנים שונים, תת-דגימות, טרנספורמציות או מודלים עד שמופיעה תוצאה משמעותית; זה מייצר ממצאים מזויפים המבוססים על מקריות. מכיוון שבינה מלאכותית יכולה לנסות עשרות גרסאות של דגמים תוך שניות, היא יכולה להאיץ את ה-p-hacking ללא תוכנית כנה. הֲגָנָה; רישום מראש, תוכנית ניתוח קבועה ותיקון השוואה מרובה.
6. מדוע מציאת רגרסיה גבוהה בריבוע R בין שתי סדרות זמן לא נייחות (שורש יחידה) עשויה להיות מטעה?
- א) רגרסיה מזויפת עלולה להתרחש עקב מגמה נפוצה; ✔ תפוקה גבוהה בריבוע R ללא קשר אמיתי
- ב) ריבוע R גבוה תמיד מוכיח קשר סיבתי חזק.
- ג) לא ניתן להיכנס לרגרסיה לסדרות לא נייחות כלל.
- ד) לא ניתן לחשב ריבוע R בסדרות זמן
הסבר: אם אין קשר קואינטגרציה משותף בין סדרות לא נייחות, רגרסיה מזויפת עלולה לייצר ריבוע R גבוה ומקדם משמעותי רק בשל מגמה משותפת; ואילו אין קשר אמיתי. לכן, יש לבצע תחילה בדיקות נייחות ושורש יחידות, ובמידת הצורך יש לקחת הבדלים או לבדוק שילוב.
7. איזו הנחה בסיסית מבוססת על תקפות עיצוב ה-Difference-in-Differences?
- א) הנחת מגמות מקבילות: קבוצות ילכו באותו כיוון אם לא הייתה התערבות ✔
- ב) קבוצות טיפול וביקורת זהות לחלוטין בהתחלה
- ג) התפלגות נורמלית של המדגם
- ד) משתנים אינם מכילים נתונים חסרים
הסבר: DiD מניח שבהיעדר התערבות, משתנה התוצאה עבור קבוצות הטיפול והביקורת היה מתקדם במקביל לאורך זמן (הנחת מגמות מקבילות). אם הנחה זו לא מתקיימת, האומדן מוטה. בינה מלאכותית יכולה לייצר את קוד DiD, אבל תפקידו של החוקר להגן ולבדוק מגמות מקבילות.
8. איזה מהבאים הוא תרגול חובה לניתוח שניתן לשחזר?
- א) תיקון ה-Seed בשלבים אקראיים, הקלטת גרסאות חבילה וקוד ✔
- ב) העתק ידנית את התוצאות לגיליון האלקטרוני ומחק את הקוד
- ג) זה נורמלי לראות תוצאות שונות בכל ריצה.
- ד) שמירה על גרפיקה סופית בלבד, לא שיתוף נתונים וקוד
תיאור: יכולת שחזור; ניתן לקבל שוב את אותה תוצאה עם אותם נתונים וקוד. תיקון ה-Seed בשלבים אקראיים, שמירת גרסאות חבילה וביצוע הקוד בתוך המסמך (תכנות קרוא וכתוב) הם אבני היסוד של זה. העתקת תוצאות ידנית או מבוססת קליקים, ללא רישום שלבים, פוגעת בשחזור.
9. מהי הטרוססדסטיות מעוותת רגרסיה לינארית ומה הפתרון הנפוץ לה?
- א) זה מעוות שגיאות תקן; הפתרון הוא שגיאות תקן חזקות או טרנספורמציה מתאימה ✔
- ב) זה מבטל לחלוטין את הערכות המקדמים ואין לו פתרון
- ג) מפחית תמיד ריבוע R לאפס
- ד) מתרחש רק אם המדגם קטן מאוד וניתן להתעלם ממנו
הסבר: הטרוסקדסטיות משאירה הערכות מקדם חסרות פניות, אך מחשבת שגיאות סטנדרטיות; זה הופך את ערכי p ורווחי סמך ללא אמינים. פתרון נפוץ הוא שימוש בשגיאות תקן חזקות/HC או המרה מתאימה. יש לוודא שהפתרון שהציע ה-AI פותר את הבעיה ולא מסתיר אותה.
10. חוקר מעלה מיקרו נתונים המכילים מידע והכנסה על זיהוי ברמת המטופל לכלי צ'אט ציבורי של AI ואומר 'עשה רגרסיה'. מה הבעיה העיקרית בהתנהגות הזו?
- א) העלאת נתונים אישיים/מורשיים לכלי חיצוני מהווה הפרה של סודיות וחוזה ✔
- ב) רגרסיה לא יכולה להיעשות על ידי בינה מלאכותית בכלל
- ג) נתוני מיקרו אינם מתאימים לרגרסיה כלל
- ד) AI תמיד טועה בחישוב הרגרסיה
הסבר: נתונים אישיים/מיוחדים כגון זהות והכנסה מוגנים תחת KVKK/GDPR ורוב הסכמי השימוש בנתונים; העלאתם למכשיר חיצוני שיכול לאחסן נתונים היא הפרה. הדרך הנכונה; אנונימיזציה של נתונים, שימוש בכלים מאובטחים מקומיים/מוסדיים, או פשוט בקשת קוד מבינה מלאכותית והרצת הקוד בסביבה שלו.
11. מה נצפה כאשר מולטי-קולינאריות גבוהה?
- א) מקדמים הופכים ללא יציבים ושגיאות תקן מתנפחות; מקדמים בודדים עשויים להתברר כחסרי משמעות ✔
- ב) ריבוע R תמיד יורד לאפס
- ג) אומדני המקדמים נעשים מדויקים יותר כל הזמן
- ד) קנה המידה של המשתנה התלוי משתנה
הסבר: במולטי-קולינאריות גבוהה, משתנים בלתי תלויים נמצאים בקורלציה חזקה זה עם זה; הערכות המקדמים הופכות לבלתי יציבות, טעויות התקן מתנפחות, ומקדמים בודדים עשויים להתברר כחסרי משמעות, בעוד שהמודל הכולל עשוי להיות משמעותי. הוא מאובחן לפי קריטריונים כמו VIF. בינה מלאכותית עשויה להציע ביטול משתנה, אבל זה תלוי בחוקר להחליט איזה משתנה צריך להישאר תיאורטי.
12. מהו כוח סטטיסטי ומה הסיכון של מחקר בעל כוח נמוך?
- א) אפשרות לזיהוי האפקט הקיים; צריכת חשמל נמוכה מחמיצה אפקטים אמיתיים והופכת את הממצאים ללא אמינים ✔
- ב) הסתברות להפחתת ערך p; הספק נמוך תמיד נותן תוצאות אמינות יותר
- ג) ערך קבוע בלתי תלוי בגודל המדגם
- ד) מושג שתקף רק כאשר נעשה שימוש בבינה מלאכותית
הסבר: כוח הוא ההסתברות לזיהוי אפקט שקיים בפועל (1 פחות שגיאה מסוג II). מחקרים בעלי עוצמה נמוכה עשויים לפספס השפעות אמיתיות; בנוסף, מעט התוצאות המשמעותיות עשויות לשאת גודל אפקט מוגזם ('קללת המנצח') והשיעור חיובי כוזב עולה. לכן, חישוב הספק/דגימה חשוב לפני הניתוח.
13. מדוע יש צורך מבחינה אתית לחשוף את השימוש בבינה מלאכותית במאמר?
- א) לשקיפות ואחריות; ✔ הקוראים והשופטים יכולים להעריך את התהליך והאחריות נשארת על המחבר
- ב) השימוש בבינה מלאכותית מבטל את התוצאות באופן אוטומטי
- ג) מבוקש על ידי מגזינים למטרות פרסום בלבד
- ד) העברת זכויות היוצרים של ההסבר לבינה מלאכותית
גילוי נאות: יש צורך בשקיפות כדי שהקורא והסוקרים יוכלו להעריך כיצד התוצאות הופקו; כתבי עת ומוסדות רבים דורשים כעת חשיפה של שימוש בבינה מלאכותית. בנוסף, מכיוון שבינה מלאכותית יכולה לייצר שגיאות/הזיות, זה עניין של כנות לציין שהאחריות נשארת על המחבר ואילו שלבים נבחנו.
14. מה דורשת 'הגבלת ההחרגה' בשיטת משתנה המכשיר (IV)?
- א) הכלי משפיע על התוצאה רק דרך המשתנה הפנימי, אין דרך ישירה אחרת ✔
- ב) למכשיר אין קשר עם משתנה התוצאה.
- ג) המכשיר אינו קשור למשתנה האנדוגני.
- ד) אמצעים הוא תמיד משתנה בינארי (0/1).
הסבר: אילוץ ההדרה מחייב שהמכשיר ישפיע על משתנה התוצאה רק דרך המשתנה ההסברתי האנדוגני ולא דרך כל אמצעי ישיר אחר או גורמים לא נצפים. הנחה זו אינה ניתנת לבדיקה מלאה מנתונים; הוא מוגן על יסודות תיאורטיים ומוסדיים. ה-AI עשוי לכתוב את קוד IV, אך תפקידו של החוקר להגן על תקפות הכלי.
15. מה המשמעות של בעיית 'גן שבילי התפצלות' בניתוחים גמישים ללא הרשמה מראש?
- א) יותר מדי בחירות ניתוח סבירות שנעשו על סמך הנתונים מגדילות את שיעור חיובי השווא, אפילו שלא במתכוון ✔
- ב) שיטות הניתוח חייבות להיות יחידות וחובה
- ג) בעיה שמתרחשת רק כאשר מתרחשת רמאות מכוונת.
- ד) מצב שנעלם מאליו ככל שהדגימה גדלה
הסבר: לאחר צפייה בנתונים, החוקר יכול לעשות בחירות סבירות רבות לגבי איזה משתנה, תת-קבוצה, טרנספורמציה או סף להשתמש. גם אם אין 'p-hacking' בודד, הגמישות הזו מגדילה את שיעור החיובים השגויים מכיוון שהמשמעותי נבחרת למעשה מתוך מספר רב של ניתוחים. רישום מראש ותוכנית ניתוח קבועה מגבילים את הגמישות הזו.