Работен тек од крај до крај, управување и одговорно користење — Вештачката интелигенција во социологијата и социјалните истражувања

Добивки:

Способност да се планира истражување како кохерентен работен тек во шест фази од дизајн до документација
Способност да се определи границата за безбедна употреба на вештачката интелигенција во секоја фаза и да се потврди претходниот излез при етапните транзиции
Способност да се воспостави протокол за одговорна употреба на ниво на тим и да се самоевалуира според пет основни принципи

Во претходните десет единици, опфативме вештачка интелигенција во секоја фаза од општественото истражување: прашања и литература, земање примероци, анкета и квантитативна анализа, квалитативно кодирање и тема, мешани методи, визуелизација, етика, репродуктивност и пишување. Сето тоа го собираме во оваа последна единица. Целта е да се поврзат индивидуалните вештини во работниот тек од крај до крај - конзистентен, безбеден и искрен процес од истражувањето до објавеното откритие. Ние, исто така, ќе одиме подалеку од поединецот и ќе зборуваме за управувањето: заедничките правила за тоа како тим, оддел или институција може одговорно да користи вештачка интелигенција во општествено истражување.

Вредноста на размислувањето од крај до крај е дека одлуката што ја донесувате во секоја фаза влијае на следната. Пристрасен примерок не може да се спаси дури и со совршена анализа; Непроверен извор го побива и најдоброто пишување. Затоа е неопходно да се користи вештачката интелигенција со истите принципи во секоја фаза: хранете ја со моќни ресурси, проверете го секој резултат, заштита на човечкото расудување, однапред да се грижите за етиката и приватноста, да го документирате процесот транспарентно. Овие принципи може да се сумираат во една реченица: ВИ го забрзува истражувањето, но не го заменува истражувачот.

Чекор по чекор: проток од крај до крај

1. Дизајн (прашање + етика + примерок). Воспоставете јасни прашања, одобрување на етиката на преработка и планирање на доверливоста и проценете ја репрезентативноста на примерокот. Во оваа фаза, вештачката интелигенција помага во стеснувањето на прашање и етичкиот скрининг на ризикот.

2. Собирање податоци (анкета + интервју). Подгответе солидна анкета и водич за интервју. ВИ фаќа замки за прашања; Задачата за собирање на податоците и односот на учесниците е ваша.

3. Обработка (чистење + кодирање + анонимизација). Анонимизирајте, исчистете, шифрирајте податоци. ВИ произведува нацрти; Вие ја одобрувате секоја одлука и шифрарник.

4. Анализа (квантитативна + квалитативна + триангулација). Извршете ја статистиката преку програмата, поврзете ги темите со наводници, вкрстувајте ги наодите. ВИ го објаснува методот, а не пресметката.

5. Презентација (визуелизација + пишување). Направете искрени графики и оригинален текст. Секој извор и број се проверени; Декларирана е улогата на ВИ.

6. Документација (дневник + брзо снимање + споделување). Документирајте одлуки, барања и конверзии и споделете анонимни податоци и код ако е можно.

Совет: чувајте листа за проверка од крај до крај на вашето биро. Прашајте при преминот на секој чекор: „Дали го потврдив резултатот од овој чекор, дали сум безбеден за примерок/етички/извор, дали не оставив никаква трага?“ Лабавото во една фаза го ослабува целиот синџир.

три мини футроли

Случај 1 - Најслабата алка во синџирот. Еден тим направи одлична квалитативна анализа, но нивниот примерок дојде од една онлајн група. Без разлика колку добро шифрирале, наодот останал заглавен во оваа група. Лекција: квалитетот од крај до крај е добар само како најслабата фаза; пристрасноста во дизајнот не може да се коригира во анализата.

Случај 2 - Управувањето со тимот функционираше. Истражувачки центар напиша заеднички протокол за употреба на вештачка интелигенција за целиот тим: која алатка, кои податоци се анонимизирани, со кој чекор за верификација. Новопристигнатиот асистент работеше безбедно од првиот ден следејќи го протоколот; Личните грешки се намалени.

Случај 3 - Транспарентен синџир доби доверба на судијата. Во една статија е прикачен дневникот за одлуки, дневниците за брзи информации и изјавата за вештачка интелигенција. Рецензентите можеа да го следат процесот од почеток до крај и се согласија, сметајќи дека е „продуктивен и искрен“. Транспарентноста беше лепилото што ги врзуваше сите поединечни чекори заедно.

Четири шаблони за копирање

1) Генерирање на список за проверка од крај до крај:

Моето истражување ќе помине низ следните фази: дизајн, собирање податоци, обработка, анализа, презентација, документација. Направете листа за проверка за секоја фаза: каде можам безбедно да користам вештачка интелигенција во таа фаза, каков резултат треба да проверам, кој етички/ризик за приватност треба да го земам предвид, што треба да документирам? Дајте го во табела.

2) Нацрт протокол на тимска вештачка интелигенција:

Нацртај протокол за употреба на вештачка интелигенција за тим за социјално истражување. Вклучете: одобрени алатки, правило за анонимизација на податоци, во кои улогата АИ е дозволена/ограничена/забранета, задолжителни чекори за проверка, правило за декларација на вештачка интелигенција, одговорност. Напишете едноставни, акциони ставки.

3) Контрола на фазна транзиција:

Ја завршив [Фаза X], продолжувам во [Фаза Y]. Наведете ги работите што треба да ги проверам пред оваа транзиција: дали го потврдив излезот од претходната фаза, дали носам грешка (погрешен примерок, непроверен извор, непроверена одлука) што ќе ја прекине следната фаза? Дали сум подготвен за транзиција, и ако не, што да поправам?

4) Самооценување за одговорна употреба:

Ревизија на истражувањето што го завршувам за одговорно користење на вештачката интелигенција. Оценете и посочете ги слабостите во однос на овие пет принципи: (1) хранење со силен извор, (2) потврдување на секој резултат, (3) зачувување на човечкото расудување, (4) етичност и доверливост, (5) транспарентна документација. Процес: [резиме]

Слаб промпт / Силен промпт

Слаба навестување:

Направете го ова истражување од почеток до крај со вештачка интелигенција и завршете го.

Ова се обидува да ја пренесе целата одговорност на моделот. Резултат: пристрасен примерок, фабрикуван извор, непроверена статистика и неодбранлив текст. Ниту една фаза од крај до крај не е безбедна.

Моќен потсетник:

Сакам да го планирам моето истражување од крај до крај. Во секоја фаза (дизајн, податоци, обработка, анализа, презентација, документација), тој служи како патоказ за тоа каде можам безбедно да користам вештачка интелигенција, каде е потребно човечко расудување и верификација и кои етички и ризици за приватност треба да ги земам во предвид. Запомнете дека јас сум одговорен.

Разликата: вториот пристап ја позиционира ВИ како придружник; Од самиот почеток прифаќа дека одлуките и верификацијата припаѓаат на луѓето.

Политики за одговорно користење од крај до крај

принцип

Апликација

Во која единица

Нахранете се со моќен извор

Обезбедете свои податоци/извор

1, 2

Побарајте го примерокот

Ревизија на застапеност и пристрасност

Направете ја пресметката во програмата

Правејќи вештачка интелигенција да произведува броеви

задржи лојалноста

Поврзете ја понудата со бројот на линијата

Чувајте ја контрадикторноста отворена

Триангулација, искрена презентација

6, 7

Најпрво етиката и приватноста

Анонимизирај, проверена алатка

Документирајте го процесот

Дневник, брзо снимање

Одржувајте ја оригиналноста

Потврдете го изворот, вашиот сопствен глас

Вообичаени грешки

Разгледување на фазите одделно и заборавање на синџирот. Пристрасноста во една фаза ја расипува целата студија.
Пренесување на одговорноста на вештачката интелигенција. Одлуката, верификацијата и етиката секогаш лежат кај човекот.
Нема заеднички правила во тимот. Индивидуалната употреба предизвикува недоследност и ризик.
Документацијата ја оставаме за крај. Трагата се задржува во текот на целиот процес; не може да се запамети подоцна.
Откако ќе научите и ќе се опуштите. Одговорното користење е дисциплина која повторно се применува во секој проект.

Сумирано

Вистинската вредност на вештачката интелигенција во општественото истражување не се јавува во поединечни задачи, туку во конзистентен и одговорен работен тек од крај до крај. Применете ги истите принципи во секоја фаза, од дизајн до документација: изворно извор, проверете го секој резултат, чувајте го човечкото расудување, дадете приоритет на етиката и доверливоста, документирајте го процесот транспарентно. Заеднички протокол на ниво на тим ги прави овие принципи постојани. Синџирот е силен само како неговата најслаба алка; Не опуштајте се во ниту една фаза. ВИ го забрзува истражувањето, но никогаш не ги заменува расудувањето, одговорноста и интегритетот на истражувачот.

Задача за апликација

Направете патоказ во шест чекори за вашиот сопствен истражувачки проект (реален или планиран) со шаблон „генерирање списоци за проверка од крај до крај“. Во секоја фаза, запишете каде ќе користите вештачка интелигенција, што ќе потврдите и кои етички/приватни ризици ќе ги земете предвид. Потоа користете го шаблонот „самооценување за одговорна употреба“ за да се оцените во однос на петте принципи, идентификувајќи ги вашите две најслаби точки и како да ги зајакнете.

листа за проверка

[ ] Истражувањето го планирав како проток во шест фази од крај до крај.
[ ] Ја одредив границата за безбедна употреба на вештачката интелигенција во секоја фаза.
[ ] Го потврдив претходниот излез на секоја етапна транзиција.
[ ] Задржана е етиката, доверливоста и документацијата насекаде.
[ ] Самооценував одговорна употреба наспроти пет принципи.

Модул испит

1. Кое од наведеното е најточно позиционирање на вештачката интелигенција во социологијата и социјалните истражувања?

А) Вештачката интелигенција може сама да одговори на прашањето на истражувањето, толкувањето и етичката одлука без човечко одобрување.
Б) Вештачката интелигенција работи само во сумирање на текст, таа нема никаква врска со другите фази на истражување
В) Вештачката интелигенција е резиме, препис, код и нацрт-асистент; Одговорноста за толкување, рамка и етичка одлука е на истражувачот ✔
Г) Бидејќи вештачката интелигенција е секогаш понепристрасна од луѓето, толкувањето треба целосно да се остави на неа.

Опис: Вештачка интелигенција; е асистент кој резимира текстови, уредува транскрипти, предлага код и пишува нацрти. Одговорноста за критичката работа како што се истражувачко прашање, теоретска рамка, судење на примерокот, толкување и етичка одлука му припаѓа на истражувачот; Непроверениот излез може да доведе до лажна референца, фабрикувана статистика или погрешно припишување.

2. Зошто е ризично да се каже директно на вештачката интелигенција „наведете ги 10-те најважни статии на оваа тема со библиографија“ при скенирање на литературата?

А) ВИ може да состави извори, автори и DOI кои изгледаат реалистични, но не постојат; Мора да го најдете изворот од базата на податоци ✔
Б) Вештачката интелигенција работи многу бавно и губи време кога наведува ресурси
В) На вештачката интелигенција и недостасува турската литература затоа што може да најде само англиски извори
Г) Списокот расте бидејќи вештачката интелигенција го повторува истиот извор повеќе пати

Опис: Прегледот на литературата е задача каде што вештачката интелигенција произведува најмногу халуцинации; Може да состави статии, автори и DOI кои изгледаат реално, но не постојат. Пронаоѓањето извори е работа на базите на податоци; ВИ треба да ги синтетизира само вистинските резимеа што ќе ги најдете.

3. Во однос на кој проблем највнимателно треба да се толкува задоволството од 78% во анкета објавена на веб-страницата на општината?

А) Процентуалната пресметка е неточна; Стапките на задоволство никогаш не можат да се изразат како единствен број
Б) Бидејќи анкетата беше предолга, на учесниците им беше досадно и одговараа по случаен избор
В) Социолошки е невозможно да се измери задоволството, па резултатот е неважечки
Г) Примерокот носи пристрасност во изборот; Бидејќи само корисниците на страницата можат да учествуваат, наодот не може да се генерализира за целото општество ✔

Објаснување: Анкетата објавена на веб-страницата ги презастапува оние кои веќе ја користат страницата (кои можат да пристапат до услугата и веројатно се позадоволни); Ова е пристрасност во изборот. Наодот може да се генерализира само за „корисниците на страницата“, а не за целото општество.

4. Зошто не е безбедно да се залепи збир на податоци од 300 реда како текст и да се каже на вештачката интелигенција да ја „пресмета средната вредност“?

А) Бидејќи вештачката интелигенција може да чита само до 100 линии податоци, таа отфрла повеќе
Б) Јазичниот модел не е калкулатор; Кога аритметиката во текст може да произведе погрешни броеви, пресметката мора да се направи во програмата ✔
В) Просекот е социолошки бесмислена мерка и воопшто не треба да се пресметува.
Г) Кога податоците се залепени како текст, вештачката интелигенција автоматски ги брише

Објаснување: Јазичниот модел не е калкулатор и може погрешно да ги произведе средната вредност, процентот или p-вредноста кога се изведува аритметика во текстот. Вистинската пресметка треба да се направи во статистичка програма или табела; ВИ треба да се користи само за метод и толкување.

5. Што треба да се направи пред да се прифати цитат предложен од вештачката интелигенција во квалитативната анализа на теми?

А) Ако цитатот изгледа течно и импресивно, може да се додаде директно во извештајот
Б) Доколку должината на понудата не надминува еден став, нема потреба од верификација
В) Треба да се потврди со бројот на линијата дека цитатот всушност се појавува во преписот ✔
Г) Цитатот е автоматски сигурен бидејќи вештачката интелигенција го наведува изворот

Објаснување: Срцето на квалитативното истражување е верноста на сопствените зборови на учесникот. ВИ може да состави цитат што е течен, но воопшто не постои во транскриптот. Затоа, секој цитат треба да биде поврзан и потврден со вистинската изјава во текстот и по можност со бројот на линијата.

6. Ако, во една студија, 72% кажат „јас рециклирам“ во анкетата, но во интервјуата повеќето од нив всушност велат дека тоа го прават нередовно, како треба да се постапува со оваа контрадикторност?

А) Противречноста не треба да се крие; треба да се прикаже како наод со можни објаснувања како пристрасност на социјалната пожелност ✔
Б) Податоците од интервјуто треба да се отфрлат како неточни и да се пријават само резултатите од истражувањето
В) Податоците од анкетата треба да се отфрлат бидејќи се неточни, треба да се пријави само интервјуто
Г) Двата податоци треба да се отстранат од извештајот бидејќи контрадикторноста е засрамувачка

Објаснување: Несовпаѓањето помеѓу квантитативните и квалитативните наоди не е мана, но често е највредното откритие. Контрадикторноста овде укажува на феномен како што е „пристрасноста на социјалната пожелност“ и треба да се претстави како наод без да се крие.

7. Што треба да се направи ако разликата помеѓу две групи (51% наспроти 54%) изгледа како „џиновска празнина“ на графикон со y-оска почнува од 50?

А) Табелата треба да се остави како што е бидејќи разликата веќе изгледа голема
Б) Разликата треба целосно да се скрие со прикажување на еден просек наместо две групи
В) Разликата треба да биде уште поимпресивна со додавање на тродимензионален ефект на графикот.
Г) Y-оската треба да се иницијализира од нула; скратената оска го доведува читателот во заблуда со преувеличување на малите разлики ✔

Објаснување: Скратената оска (не почнува од нула) доведува во заблуда мала разлика со тоа што ја прави да изгледа огромна. Во чесен столбест дијаграм, оската треба да започне на нула; па разликата е видлива во нејзината реална, мала големина. Целта на визуелното не е убедување, туку правилна комуникација.

8. Зошто едноставното бришење имиња од транскриптите честопати не е доволна анонимизација?

А) Бришењето име е секогаш доволно; ниту една друга информација не го открива идентитетот
Б) Индиректните идентификатори (уникатна улога, локација, ретка карактеристика) можат да подарат лице без неговото име ✔
В) Анонимизацијата е неопходна само ако има телефонски број
Г) Бришењето имиња е бесмислено бидејќи го прави текстот нечитлив

Објаснување: Само бришењето на името не е доволно; Индиректните дескриптори како „единствениот фармацевт во населбата Х“ или „единствената жена инспектор во општината“ можат сами да го дадат лицето. Правилната анонимизација бара чистење на сите директни и индиректни идентификатори.

9. Зошто е важно да се евидентираат инструкциите, користениот модел и датумот во анализата направена со вештачка интелигенција?

А) Бидејќи тоа е само законска обврска, нема научна вредност
Б) Потсетите се чуваат од комерцијални причини бидејќи носат авторски права.
В) Го прави процесот може да се следи и репродуцира; Во спротивно, „ВИ рече така“ нема да биде научно оправдување ✔
Г) Регистрацијата е само формалност бидејќи моделот секогаш го дава истиот одговор

Објаснување: Јазичните модели не го даваат точно истиот одговор секој пат; Ако не се евидентираат известувањата и информациите за моделот, процесот станува црна кутија и никој друг (дури и вие) не може да ја репродуцира работата. Овие записи се „список на материјали“ на делото и се основа на репродуктивноста.

10. Каде е границата помеѓу легитимната употреба на вештачка интелигенција во академското пишување и нарушувањето на академскиот интегритет?

А) ВИ може да ви помогне да ја изразите вашата содржина; Сепак, прекршување е да размислувате во ваше име и да произведувате содржина и да ја прикажувате како ваша работа ✔
Б) Секој текст произведен од вештачка интелигенција може да се користи директно, се додека граматиката е точна
В) Сè додека вештачката интелигенција додава ресурси, целосното печатење на содржината на неа е без проблеми.
Г) Употребата на вештачка интелигенција е забранета под сите околности и не може да се користи во која било фаза.

Обелоденување: Користењето вештачка интелигенција за разјаснување на вашиот сопствен нацрт и подобрување на јазикот и структурата е легитимно и прогласено за транспарентно. Ако имате содржина напишана од вештачка интелигенција и ја прикажувате како сопствена работа, истовремено ја нарушува оригиналноста и речиси сигурно произведува измислени извори. Линија: вештачката интелигенција ви помага да ги изразите вашите мисли, таа не мисли наместо вас.

11. Што значи принципот „Квалитетот од крај до крај е до најслаба фаза“ во општественото истражување?

А) Важна е само последната фаза, правописот; грешките во претходните фази се поправаат со правопис.
Б) Фазите се независни една од друга; Грешката во едната не влијае на другите
В) Најсилната фаза го спасува целиот синџир, па затоа е доволно да се фокусирате на една фаза
Г) Слабоста во една фаза (пристрасен примерок, непроверен извор) не може да се коригира во подоцнежните фази и ја ослабува целата студија ✔

Објаснување: Одлуката во секоја фаза влијае на следната: пристрасен примерок не може да се спаси дури и со совршена анализа; Непроверен извор го побива и најдоброто пишување. Затоа, истите принципи на одговорна употреба треба да се применуваат во секоја фаза, од дизајн до документација.

12. Ако вештачката интелигенција го сумира преписот што го дадовте и додаде рамка што ја нема во текстот, како на пример „постарите луѓе се плашат од технологијата“, за што е ова пример?

А) Тоа е точно резиме на вистинското мислење на учесникот
Б) Тоа е воведување на стереотип што го носи вештачката интелигенција од сопствените податоци за обука во податоците ✔
В) Тоа е резултат на тест за статистичка значајност
Г) Тоа е доказ дека анонимизацијата е успешно спроведена

Објаснување: Ова е пример на стереотип (стереотипна генерализација) што вештачката интелигенција ја носи од текстовите на кои се обучува. Моделот може да додаде проценка што всушност не е присутна во податоците. Истражувачот треба да го отстрани овој додаток велејќи „само потпирајте се на изјавите во текстот“.

13. Кое од наведеното е добро стеснето истражувачко прашање?

А) Зошто општеството е во ваква ситуација?
Б) Дали луѓето се среќни?
В) Кои се причините за студентите на возраст од 18-25 години да не учествуваат на локалните избори? ✔
Г) Каква е врската помеѓу социјалните медиуми и сè?

Објаснување: Доброто истражувачко прашање е одговорно, ограничено и значајно; Нејзината популација, контекст и фокус се јасни. Наместо широко барање како „Зошто младите се оддалечуваат од политиката?“, може да се истражува прашање што вклучува одредена возрасна група, контекст и конкретен фокус.

14. Зошто не е вистинска триангулација ако две различни онлајн анкети регрутираат учесници од иста група на социјални медиуми и дадат исти резултати?

А) Двата извора не се независни бидејќи доаѓаат од ист пристрасен примерок; ова е повторување на истата пристрасност ✔
Б) Секогаш е непотребно да се користат две анкети, доволно е едно истражување
В) Онлајн анкетите никогаш не даваат валидни податоци
Г) Фактот што го даваат истиот резултат докажува дека резултатот е апсолутно точен.

Објаснување: Триангулацијата е вкрстено тестирање на наод со вистински независни извори. Ако два извора доаѓаат од ист пристрасен примерок, за нив е погрешно да се „потврдат“ меѓусебно; ова е повторување на истата пристрасност, а не независна потврда.