Табыстар:
- Әлемді нақты анықтай алу және іріктеу әдісінің репрезентативтілігін және кімнің жүйелі түрде алынып тасталатынын бағалай білу
- Жасанды интеллект жүргізетін деректердегі қиғаштық пен стереотиптерді ажырата білу және екеуін де бақылау
- Үлгімен шектелген тұжырымдарды асыра сілтеусіз жеткізу және шектеулер бөлімін шынайы жазу.
Әлеуметтік зерттеулердің ең маңызды концепциясы - бұл таңдау, яғни сіз таңдаған ішкі топ, себебі сізді қызықтыратын бүкіл топты (ғалам/популяция: зерттеу айтқысы келетін барлық адамдар немесе бірліктер) бір-бірлеп зерттей алмайсыз. Зерттеу нәтижелері кімге жалпылануы мүмкін (яғни, «бұл нәтиже тек осы адамдар үшін немесе кеңірек топ үшін жарамды ма») толығымен таңдаманың репрезентативтілігіне байланысты. Қате немесе біржақты үлгінің нәтижесі қаншалықты жақсы талданса да қате. Бұл бөлімде сіз үлгі дизайны туралы ойлану, бір бағытта деректердің жүйелі ауытқуын немесе интерпретацияны анықтау және жалпылау шегін шынайы көрсету үшін AI пайдалануды үйренесіз.
Бұл жерде алдын ала қараудың екі түрін ажырату қажет. Біріншісі - деректердегі біржақтылық: іріктеу бір топты артық көрсетеді және басқа топты аз көрсетеді (мысалы, тек онлайн сауалнамаға қатыса алатындар, яғни интернетке қол жетімділер). Екіншісі - АИ-нің өзіндік бейімділігі: АИ өзі үйренген мәтіндердің үлгілерін алып жүреді және әлеуметтік топ туралы стереотиптік жалпылаулар жасай алады. Жақсы әлеуметтік зерттеуші екеуіне де сергек болуы керек; AI екеуін де тануға көмектеседі немесе екеуін де үлкейте алады.
Қадам бойынша: өкілдік туралы ойлау
1. Ғаламға сипаттама беріңіз. Өзіңіздің тапқаныңыз туралы кімге айтқыңыз келеді? «Түркиядағы барлық сайлаушылар» мен «Стамбулдағы бір аудандағы жас сайлаушылар» мүлдем басқа әлемдер. Мұны анық жазбай үлгіні орнату мүмкін емес.
2. Үлгі алу әдісін таңдаңыз. Кездейсоқ (әркімнің таңдалу мүмкіндігі бірдей), стратифицирленген (ғаламды топтарға бөлу және әр топтан таңдау), қарлы доп (бір қатысушы екіншісіне ұсыныс жасау) сияқты әдістер әртүрлі өкілдік өкілеттіктерін береді. AI әрбір әдістің жақсы және жаман жақтарын қарапайым тілмен түсіндіре алады.
3. Кім қалдырылғанын сұраңыз. Әрбір үлгі біреуді сағынады. Онлайн сауалнама интернеті жоқтарды, телефон сауалнамасы қалалық телефоны жоқтарды, күндізгі сұхбат қызметкерлерді сағынады. AI «бұл әдіс кімді жүйелі түрде жоққа шығарады?» деген сұраққа жақсы бақылау тізімін жасайды.
4. Картада ауытқу көздері. Таңдаудың бұрмалануы (кім таңдалады), жауаптың бұрмалануы (кім жауап береді), еске түсіру бұрмалануы (өткенді қате есте сақтау) сияқты көздерді тізімдеңіз.
5. Жалпылау шегін жазыңыз. Қорытындыны «барлық жасөспірімдер» емес, «осы үлгідегі жастар» деп айтыңыз. AI сіздің жобаңыздағы артық жалпылауларды белгілей алады.
Кеңес: Жақсы зерттеу есебі «шектеулер» бөлімі арқылы әлсіретілмейді, күшейтіледі. Сіздің үлгіңіз кімге жатпайтыны туралы шынайы жазу сіздің зерттеуіңізді сенімдірек етеді. Бұл бөлімнің жобасын AI жасаңыз, бірақ кез келген шектеулерді өзіңіз растаңыз.
үш шағын іс
1-жағдай — жасырын таңдау бағыты. Муниципалитеттің қызметтеріне қанағаттанушылықты өлшеу үшін бір топ муниципалитеттің веб-сайтына сауалнама жүргізіп, 78% қанағаттанғанын анықтады. Мен AI-дан «бұл үлгі кім жетіспейді?» деп сұрағанымда, сайтты бұрыннан қолданатын сегмент (яғни, қызметке қол жеткізе алатын және қанағаттанған болуы мүмкін) шамадан тыс ұсынылғаны анықталды. Қорытынды «сайт пайдаланушылары арасында 78%» түзетілді.
2-жағдай – АИ стереотипі. Зерттеуші AI «ауылдық қарттардың технологияға деген көзқарасын» қорытындылағанда, AI деректерде жоқ стереотиптік шеңберді қосты, мысалы, «егде адамдар технологиядан қорқады». Зерттеуші мұны түсініп, «тек транскрипттегі мәлімдемелерге сүйеніңіз» деген кезде, деректерде көптеген көзқарастар бар екені көрінді.
3-жағдай — стратификацияланған іріктеуді түзету. 500 адамнан тұратын іріктеуде әйелдер 30% құрады, популяциядағы 51%. AI салмақтау логикасын қарапайым тілмен түсіндірді, ал команда нәтижелерді популяциялық пропорцияларға сәйкес салмақтады, нәтижесінде репрезентативті сурет пайда болды.
Көшірілетін төрт үлгі
1) Үлгіге сын:
Менің зерттеуімнің ғаламы: [сипаттама]. Менің іріктеу әдісім: [әдіс]. Сіздің тапсырмаңыз: бұл үлгі жүйелі түрде кімдерді кем немесе артық көрсете алатынын тізімдеңіз. Таңдау, жауап беру және еске түсіру қателерін бөлек қарастырыңыз. Әрбір тәуекел үшін азайту бойынша ұсыныс беріңіз. Менің тұжырымымды асыра айтпа; Шекараларды адал көрсетіңіз.
2) Жалпылау бақылауы:
Мына табу сөйлемдерін қарастырыңыз: [мәтін]. Әрбір артық жалпылауды белгілеңіз. Деректер шын мәнінде қолдайтын қысқарақ мәлімдемемен «барлығы/барлығы/жастар/әйелдер» сияқты мәлімдемелерді қайта жазыңыз. Мысалы, «жастар X жасайды» дегеннің орнына «Осы үлгідегі жасөспірімдердің Y% X деп хабарлады.» Белгісіз шыққан кез келген шағымды белгілеңіз.
3) AI бейімділігін түсіру:
Төменде қысқаша мәлімет бердім. Тексеріңіз: берілген мәтінде сіз қосқан пайымдаулар, сын есімдер немесе жалпылаулар ШЫНАЙДЫ ма? Мәтінде жоқ, бірақ өзіңіздің үлгілеріңізден шыққан өрнектерді белгілеңіз және алып тастаңыз. Тек мәтіндегі нәрсені ұстаныңыз.
4) Жобаның шектеулер бөлімі:
Келесі әдіс ақпаратына негізделген «Шектеулер» бөлімінің жобасын жазыңыз: үлгі өлшемі [n], әдіс [x], контекст [y]. Әрбір шектеу нәтижелерге қалай әсер ететінін түсіндіріңіз. Өсірелеу де, кеміту де емес; Теңдестірілген және адал болыңыз. Мен әрбір элементті растаймын.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Сауалнама қорытындысы бойынша жастардың көпшілігі осындай пікірде. Мұны күшті сөйлеммен жазыңыз.
Бұл үлгіге күмән келтірместен артық жалпылауды тудырады. Жасанды интеллект «Түркиядағы жастар...» сияқты деректер көтермейтін талаптарға оңай түседі.
Күшті шақыру:
Менің үлгісім: бір университеттегі 220 бакалавриат студенттері, онлайн сауалнама, ерікті қатысу. Мен қорытындыны айтқым келеді: қатысушылардың 61%-ы X пікірін білдірді. Мұны іріктеменің шегін анық көрсететін (өкілдік, еріктілік көзқарасы) қарапайым академиялық сөйлеммен жазыңыз. Жалпылауды осы үлгімен шектеңіз.
Айырмашылық: екінші сөйлем деректер шын мәнінде қолдайтын қорғалатын талапты тудырады.
Таңдау әдістері және репрезентативтілік
Әдіс
Бұл қалай жұмыс істейді
өкілдік күші
Типтік тәуекел
қарапайым кездейсоқ
Барлығына бірдей мүмкіндік
жоғары
тасымалдау құны
стратификацияланған
Топқа бөлу және таңдау
жоғары
Топты анықтау қатесі
квота
Топтық мөлшерлемелерді толтыру
орташа
Топ ішіндегі ыңғайсыздық
оңай
Қол жеткізуге болатын ешкімнен сұрамаңыз
төмен
Таңдаудың қатаң ауытқуы
қар добы
Қатысушылардың ұсынысы бойынша
төмен
Ішкі желі ұқсастығы
Жалпы қателер
- Ғаламды анықтамай үлгіні орнату. Кімге жалпылайтыныңызды білмей, өкілдікті бағалау мүмкін емес.
- Бүкіл популяцияға ыңғайлы іріктеуді жалпылау. Ең жиі кездесетін қателік; «сауалнама респонденттері» «барлығымен» шатастырылады.
- Ешқашан кім қалды деп сұрамайды. Әрбір әдіс біреуді ұрлайды; Мұны саналы түрде іздеңіз.
- AI қосқан стереотипті байқамау. Модель деректерде жоқ стереотиптерді қосуы мүмкін.
- Шектеулерді жасыру. Үлгінің әлсіздігін жасыру зерттеуді сенімді емес, нәзік етеді.
Қысқаша айтқанда
Қорытындының құндылығы ол негізделген үлгінің репрезентативтілігімен бірдей. AI; іріктеу әдістерін түсіндіруде, кімнің аз ұсынылғанын анықтауда, артық жалпылауды белгілеуде және шынайы шектеулер бөлімін құруда күшті көмекші болып табылады. Бірақ екі жақтылықтан сақ болыңыз: деректердің өзіне тәуелділік және AI стереотиптері. Ғаламды нақты анықтаңыз, кім қалдырылғанын сұраңыз, жалпылауды үлгімен шектеңіз және шектеулерді адал жазыңыз.
Қолданбалы тапсырма
Нақты немесе гипотетикалық зерттеу үшін популяцияны және іріктеу әдісін сипаттаңыз. «Іріктеу сыны» үлгісімен AI-дан төмен/артық ұсынылуы мүмкін адамдарды шығарып, кем дегенде үш қиғаштық көзін анықтаңыз. Содан кейін табу мәлімдемесін деректер шын мәнінде «жалпылауды тексеру» үлгісімен қолдайтын тар мәлімдемеге аударыңыз. Соңында, жарты беттік шектеулер бөлімін жазыңыз.
бақылау парағы
- [ ] Мен ғаламды нақты анықтадым (кімге жалпылаймын).
- [ ] Мен іріктеу әдісінің репрезентативтілігін бағаладым.
- [ ] Кімдерді жүйелі түрде қалдырғанын тізімдедім.
- [ ] Мен қорытындыларды үлгімен шектеліп, әсірелеусіз айттым.
- [ ] Мен AI қосқан стереотиптерді/жалпылауларды алып тастадым.