Ток рада од краја до краја, управљање и одговорно коришћење — Вештачка интелигенција у социологији и друштвеним истраживањима

Добици:

Способност планирања истраживања као кохерентног тока рада у шест фаза од дизајна до документације
Способност да се одреди граница безбедне употребе вештачке интелигенције у свакој фази и да се верификује претходни излаз у прелазним фазама
Способност успостављања протокола одговорне употребе на нивоу тима и самоевалуације према пет основних принципа

У претходних десет јединица, обрађивали смо АИ у свакој фази друштвеног истраживања: питања и литературу, узорковање, анкету и квантитативну анализу, квалитативно кодирање и тему, мешовите методе, визуелизацију, етику, репродуктивност и писање. Све то спајамо у ову последњу целину. Циљ је да се индивидуалне вештине повежу у ток рада од краја до краја—доследан, сигуран и поштен процес од истраживачког питања до објављеног налаза. Такође ћемо отићи даље од појединца и разговарати о управљању: заједничким правилима о томе како тим, одељење или институција могу одговорно да користе вештачку интелигенцију у друштвеним истраживањима.

Вредност размишљања од краја до краја је да одлука коју донесете у свакој фази утиче на следећу. Пристрасни узорак се не може спасити чак ни савршеном анализом; Непроверен извор побија чак и најбоље писање. Зато је неопходно користити вештачку интелигенцију са истим принципима у свакој фази: хранити је моћним ресурсима, верификовати сваки резултат, заштитити људско расуђивање, унапред водити рачуна о етици и приватности, документовати процес транспарентно. Ови принципи се могу сажети у једну реченицу: АИ убрзава истраживање, али не замењује истраживача.

Корак по корак: ток од краја до краја

1. Дизајн (питање + етика + узорак). Поставите јасна питања, прерадите етичко одобрење и планирање поверљивости и процените репрезентативност узорка. У овој фази, АИ помаже у сужавању питања и скринингу етичког ризика.

2. Прикупљање података (анкета + интервју). Припремите солидан водич за анкету и интервју. АИ хвата замке питања; Задатак прикупљања података и односа учесника је ваш.

3. Обрада (чишћење + кодирање + анонимизација). Анонимизирајте, очистите, кодирајте податке. АИ производи нацрте; Ви одобравате сваку одлуку и шифрарник.

4. Анализа (квантитативна + квалитативна + триангулација). Проведите статистику кроз програм, повежите теме са цитатима, унакрсно проверите налазе. АИ објашњава метод, а не прорачун.

5. Презентација (визуелизација + писање). Направите искрену графику и оригинални текст. Сваки извор и број је проверен; Декларисана је улога вештачке интелигенције.

6. Документација (дневник + брзо снимање + дељење). Документујте одлуке, упите и конверзије и делите анонимне податке и код ако је могуће.

Савет: Држите контролну листу од краја до краја на свом столу. Питајте при сваком прелазу корака: „Да ли сам потврдио резултат овог корака, да ли сам сигуран узорак/етички/извор, да ли нисам оставио никакав траг?“ Лагање у једној фази слаби цео ланац.

три мини кофера

Случај 1 — Најслабија карика у ланцу. Један тим је урадио одличну квалитативну анализу, али њихов узорак је дошао из једне онлајн групе. Без обзира на то колико су добро кодирали, налаз се заглавио у овој групи. Поука: квалитет од краја до краја је онолико добар колико и најслабија фаза; пристрасност у дизајну не може се исправити у анализи.

Случај 2 — Управљање тимом је функционисало. Истраживачки центар је написао заједнички протокол коришћења АИ за цео тим: који алат, који подаци су анонимизовани, са којим кораком верификације. Новопридошли асистент радио је безбедно од првог дана по протоколу; Личне грешке су се смањиле.

Случај 3 — Транспарентни ланац задобио поверење судија. Један чланак је приложио дневник одлука, дневнике брзих информација и изјаву АИ. Рецензенти су могли да посматрају процес од почетка до краја и сложили су се, сматрајући га „производљивим и поштеним“. Транспарентност је била лепак који је повезао све појединачне кораке.

Четири шаблона за копирање

1) Генерисање контролне листе од краја до краја:

Моје истраживање ће проћи кроз следеће фазе: пројектовање, прикупљање података, обрада, анализа, презентација, документација. Направите контролну листу за сваку фазу: где могу безбедно да користим вештачку интелигенцију у тој фази, који излаз треба да проверим, који етички ризик/ризик приватности треба да узмем у обзир, шта треба да документујем? Дајте у табелу.

2) Нацрт тимског АИ протокола:

Нацртајте протокол коришћења АИ за тим за друштвена истраживања. Укључује: одобрене алате, правило анонимизације података, у којој је улога АИ дозвољена/ограничена/забрањена, обавезни кораци верификације, правило АИ декларације, одговорност. Напишите једноставне ставке које се могу применити.

3) Контрола фазног прелаза:

Завршио сам [фазу Кс], прелазим на [фазу И]. Наведите ствари које треба да проверим пре ове транзиције: да ли сам верификовао излаз претходне фазе, да ли имам грешку (погрешан узорак, непроверен извор, непраћена одлука) која ће прекинути следећу фазу? Да ли сам спреман за транзицију, а ако нисам, шта да поправим?

4) Самопроцена одговорног коришћења:

Ревизија истраживања које сам завршио ради одговорне употребе АИ. Оцените и укажите на слабости у односу на ових пет принципа: (1) снажно храњење извора, (2) потврђивање сваког резултата, (3) очување људског расуђивања, (4) етика и поверљивост, (5) транспарентна документација. Процес: [сажетак]

Слаби промпт / Јаки промпт

Слабо обавештење:

Урадите ово истраживање од почетка до краја са АИ и завршите га.

Ово покушава да сву одговорност пренесе на модел. Резултат: пристрасан узорак, измишљени извор, непроверена статистика и неодбрањив текст. Ниједна фаза од краја до краја није сигурна.

Снажан упит:

Желим да планирам своје истраживање од краја до краја. У свакој фази (дизајн, подаци, обрада, анализа, презентација, документација), служи као путоказ за то где могу безбедно да користим вештачку интелигенцију, где је потребно људско расуђивање и верификација и које етичке ризике и ризике приватности треба да узмем у обзир. Запамтите да сам ја одговоран.

Разлика: други приступ позиционира АИ као пратиоца; Од почетка прихвата да одлуке и провере припадају људима.

Смернице одговорног коришћења од краја до краја

принцип

Апликација

У којој јединици

Храни се моћним извором

Наведите своје податке/извор

1, 2

Испитајте узорак

Ревизија заступања и пристрасности

Укључите прорачун у програм

Направити АИ да производи бројеве

задржати лојалност

Повежите цитат са бројем реда

Држите контрадикцију отвореном

Триангулација, искрена презентација

6, 7

Етика и приватност на првом месту

Анонимизирај, проверен алат

Документујте процес

Дневник, брзо снимање

Одржавајте оригиналност

Проверите извор, свој глас

Уобичајене грешке

Разматрање етапа одвојено и заборављање ланца. Пристрасност у једној фази поквари целу студију.
Преношење одговорности на АИ. Одлука, провера и етика увек су у рукама човека.
У тиму не постоје заједничка правила. Индивидуална употреба производи недоследност и ризик.
Документацију остављамо за крај. Траг се задржава током целог процеса; не може се сетити касније.
Једном када научите и опустите се. Одговорно коришћење је дисциплина која се поново примењује у сваком пројекту.

Укратко

Права вредност АИ у друштвеним истраживањима се не јавља у појединачним задацима, већ у доследном и одговорном току рада од краја до краја. Примените исте принципе у свакој фази, од дизајна до документације: моћно изворите, верификујте сваки резултат, задржите људско расуђивање, дајте приоритет етици и поверљивости, документујте процес транспарентно. Заједнички протокол на нивоу тима чини ове принципе трајним. Ланац је јак онолико колико је јака његова најслабија карика; Не опуштајте се ни у једној фази. АИ убрзава истраживање, али никада не замењује расуђивање, одговорност и интегритет истраживача.

Задатак апликације

Направите мапу пута у шест корака за сопствени истраживачки пројекат (стварни или планирани) са шаблоном „генерисање контролне листе од краја до краја“. У свакој фази запишите где ћете користити вештачку интелигенцију, шта ћете верификовати и које етичке ризике/ризике приватности ћете узети у обзир. Затим користите шаблон „самооцењивање одговорног коришћења“ да бисте оценили себе у односу на пет принципа, идентификујући своје две најслабије тачке и како да их ојачате.

контролна листа

[ ] Планирао сам истраживање као шестостепени ток од краја до краја.
[ ] Одредио сам границу безбедне употребе АИ у свакој фази.
[ ] Проверио сам претходни излаз у свакој фази транзиције.
[ ] Одржавана етика, поверљивост и документација.
[ ] Самопроцењивао сам одговорну употребу према пет принципа.

Модул Екам

1. Шта је од следећег најтачније позиционирање вештачке интелигенције у социологији и друштвеним истраживањима?

А) Вештачка интелигенција може сама да одговори на истраживачко питање, тумачење и етичку одлуку без људског одобрења.
Б) Вештачка интелигенција ради само у сумирању текста, нема никакве везе са другим фазама истраживања
Ц) Вештачка интелигенција је резиме, транскрипт, шифра и помоћник за нацрт; Одговорност за тумачење, оквир и етичку одлуку лежи на истраживачу ✔
Д) Пошто је вештачка интелигенција увек непристраснија од људи, тумачење треба у потпуности препустити њој.

Опис: Вештачка интелигенција; је асистент који сумира текстове, уређује транскрипте, предлаже код и пише нацрте. Одговорност за критички рад, као што су истраживачко питање, теоријски оквир, просуђивање узорка, тумачење и етичка одлука, припада истраживачу; Непроверени излаз може довести до лажне референце, измишљене статистике или погрешног приписивања.

2. Зашто је ризично директно рећи вештачкој интелигенцији „навести 10 најважнијих чланака о овој теми са библиографијом“ приликом скенирања литературе?

А) АИ може да направи изворе, ауторе и ДОИ који изгледају реално, али не постоје; Морате пронаћи извор из базе података ✔
Б) Вештачка интелигенција ради веома споро и губи време приликом пописивања ресурса
В) Вештачкој интелигенцији недостаје турска литература јер може да пронађе само енглеске изворе
Д) Листа расте како вештачка интелигенција више пута понавља исти извор

Опис: Преглед литературе је задатак где АИ производи највише халуцинација; Може да прави чланке, ауторе и ДОИ који изгледају реално, али не постоје. Проналажење извора је посао база података; АИ би требало да синтетише само стварне сажетке које пронађете.

3. У смислу ког проблема најпажљивије треба тумачити резултат од 78% задовољства у анкети постављеној на веб страници општине?

А) Обрачун процента је нетачан; Стопе задовољства никада не могу бити изражене као један број
Б) Пошто је анкета била предугачка, учесници су се досађивали и одговарали су насумично
В) Социолошки је немогуће измерити задовољство, па је резултат неважећи
Д) Узорак носи пристрасност селекције; Пошто само корисници сајта могу да учествују, налаз се не може генерализовати на цело друштво ✔

Објашњење: Анкета постављена на веб-сајту у великој мери представља оне који већ користе сајт (који могу да приступе услузи и вероватно су задовољнији); Ово је пристрасност селекције. Налаз се може генерализовати само на „кориснике сајта“, а не на цело друштво.

4. Зашто није безбедно да налепите скуп података од 300 редова као текст и кажете АИ да „израчуна средњу вредност“?

А) Пошто вештачка интелигенција може да прочита само до 100 редова података, она одбацује више
Б) Језички модел није калкулатор; Када аритметика у тексту може да произведе погрешне бројеве, прорачун се мора обавити у програму ✔
В) Просек је социолошки бесмислена мера и не треба га уопште рачунати.
Д) Када се подаци налепе као текст, АИ их аутоматски брише

Објашњење: Језички модел није калкулатор и може погрешно да произведе средњу вредност, проценат или п-вредност када изводи аритметику у тексту. Стварни прорачун треба да се уради у статистичком програму или табели; АИ би требало да се користи само за методу и интерпретацију.

5. Шта треба урадити пре него што прихватите цитат који је предложила вештачка интелигенција у квалитативној анализи теме?

А) Ако цитат изгледа течно и импресивно, може се додати директно у извештај
Б) Ако дужина цитата не прелази један пасус, нема потребе за провером
Ц) Треба да се потврди бројем реда да се цитат заиста појављује у транскрипту ✔
Д) Цитат је аутоматски поуздан јер вештачка интелигенција цитира извор

Објашњење: Срж квалитативног истраживања је верност сопственим речима учесника. АИ може да направи цитат који течно говори, али уопште не постоји у транскрипту. Стога, сваки цитат треба да буде повезан и верификован са стварном тврдњом у тексту и по могућности са бројем реда.

6. Ако, у студији, 72% каже 'Рециклирам' у анкети, али у интервјуима већина њих заправо каже да то ради нередовно, како треба да се реши ова контрадикција?

А) Противречност не треба скривати; треба представити као налаз са могућим објашњењима као што је пристрасност друштвене пожељности ✔
Б) Податке из интервјуа треба одбацити као нетачне и пријавити само резултат анкете
Ц) Податке из анкете треба одбацити јер су нетачни, само треба извести интервју
Д) Оба податка треба уклонити из извештаја јер је контрадикција срамотна

Објашњење: Неслагање између квантитативних и квалитативних налаза није мана, али је често највреднији налаз. Контрадикција овде указује на феномен као што је 'пристрасност друштвене пожељности' и треба је представити као налаз без скривања.

7. Шта треба урадити ако разлика између две групе (51% наспрам 54%) изгледа као 'џиновски јаз' на графикону са и-осом која почиње од 50?

А) Графикон треба оставити какав јесте јер разлика већ изгледа велика
Б) Разлику треба потпуно сакрити приказивањем једног просека уместо две групе
Ц) Разлику треба учинити још импресивнијом додавањем тродимензионалног ефекта на графикон.
Д) И-оса треба да буде иницијализована од нуле; скраћена оса обмањује читаоца преувеличавањем малих разлика ✔

Објашњење: Скраћена оса (не почиње од нуле) доводи у заблуду малу разлику чинећи да изгледа огромно. У искреном тракастом графикону, оса треба да почиње од нуле; па је разлика видљива у њеној стварној, малој величини. Сврха визуелног није убеђивање, већ коректна комуникација.

8. Зашто једноставно брисање имена из транскрипата често није довољна анонимизација?

А) Брисање имена је увек довољно; никакве друге информације не откривају идентитет
Б) Индиректни идентификатори (јединствена улога, локација, ретка карактеристика) могу дати особу без њеног имена ✔
Ц) Анонимизација је неопходна само ако постоји број телефона
Д) Брисање имена је бесмислено јер чини текст нечитљивим

Објашњење: Само брисање имена није довољно; Индиректни дескриптори као што су 'једини фармацеут у насељу Кс' или 'једина жена инспектор у општини' могу сами одати особу. Правилна анонимизација захтева брисање свих директних и индиректних идентификатора.

9. Зашто је важно да се забележе упутства, модел који се користи и датум у анализи извршеној вештачком интелигенцијом?

А) Пошто је то само законска обавеза, она нема научну вредност
Б) Упутства се чувају из комерцијалних разлога јер носе ауторска права.
Ц) Чини процес следљивим и поновљивим; У супротном, „АИ је тако рекао“ не би било научно оправдање ✔
Г) Регистрација је само формалност јер модел увек даје исти одговор

Објашњење: Језички модели не дају потпуно исти одговор сваки пут; Ако се упити и информације о моделу не забележе, процес постаје црна кутија и нико други (чак ни ви) не може да репродукује рад. Ови записи су 'преглед материјала' рада и основа су поновљивости.

10. Где је граница између легитимне употребе вештачке интелигенције у академском писању и кршења академског интегритета?

А) АИ вам може помоћи да изразите сопствени садржај; Међутим, за вас је прекршај размишљати у своје име и производити садржај и представљати га као свој рад ✔
Б) Сваки текст произведен од стране вештачке интелигенције може се користити директно, све док је граматика тачна
Ц) Све док вештачка интелигенција додаје ресурсе, штампање садржаја у потпуности на њој је без проблема.
Д) Употреба вештачке интелигенције је забрањена у свим околностима и не може се користити ни у једној фази.

Откривање: Коришћење вештачке интелигенције за разјашњавање сопственог нацрта и побољшање језика и структуре је легитимно и проглашено транспарентним. Имати садржај написан од стране вештачке интелигенције и представљати га као сопствено дело нарушава оригиналност и готово сигурно производи измишљене изворе. Линија: АИ вам помаже да изразите своје мисли, не мисли уместо вас.

11. Шта у друштвеним истраживањима значи принцип „Квалитет од краја до краја је до најслабије фазе“?

А) Важна је само последња фаза, правопис; грешке у претходним фазама се исправљају правописом.
Б) Фазе су независне једна од друге; Грешка у једном не утиче на друге
Ц) Најјача фаза спасава цео ланац, па је довољно фокусирање на једну фазу
Д) Слабост у једној фази (пристрасни узорак, непроверен извор) не може се исправити у каснијим фазама и слаби целу студију ✔

Објашњење: Одлука у свакој фази утиче на следећу: пристрасан узорак не може бити сачуван чак ни савршеном анализом; Непроверен извор побија чак и најбоље писање. Стога, исти принципи одговорног коришћења треба да се примењују у свакој фази, од пројектовања до документације.

12. Ако вештачка интелигенција сумира транскрипт који сте дали и додаје оквир којег нема у тексту, на пример „старији се плаше технологије“, шта је ово пример?

А) То је тачан сажетак правог мишљења учесника
Б) То је увођење стереотипа које вештачка интелигенција носи из сопствених података о обуци у податке ✔
Ц) То је резултат теста статистичке значајности
Д) То је доказ да је анонимизација успешно спроведена

Објашњење: Ово је пример стереотипа (стереотипне генерализације) који АИ носи из текстова на којима је обучена. Модел може додати суд који заправо није присутан у подацима. Истраживач треба да избаци овај додатак тако што ће рећи „само се ослоните на изјаве у тексту“.

13. Шта од следећег је добро сужено истраживачко питање?

А) Зашто је друштво у овој ситуацији?
Б) Да ли су људи срећни?
Ц) Који су разлози због којих студенти од 18 до 25 година не учествују на локалним изборима? ✔
Д) Какав је однос између друштвених медија и свега?

Објашњење: Добро истраживачко питање је одговорно, ограничено и смислено; Његова популација, контекст и фокус су јасни. Уместо широког захтева попут „Зашто се млади људи окрећу од политике?“, може се истражити питање које укључује специфичну старосну групу, контекст и конкретан фокус.

14. Зашто није тачна триангулација ако две различите онлајн анкете регрутују учеснике из исте групе друштвених медија и дају исте резултате?

А) Два извора нису независна јер потичу из истог пристрасног узорка; ово је понављање исте пристрасности ✔
Б) Увек је непотребно користити две анкете, довољна је једна анкета
Ц) Онлине анкете никада не дају валидне податке
Д) Чињеница да дају исти резултат доказује да је резултат апсолутно тачан.

Објашњење: Триангулација је унакрсно тестирање налаза са заиста независним изворима. Ако два извора потичу из истог пристрасног узорка, погрешно је да они 'потврђују' један другог; ово је понављање исте пристрасности, а не независна потврда.