Добици:
- Способност да се истраживање учини следљивим бележењем методолошких одлука, упутстава и информација о моделу
- Способност одвајања необрађених података од обрађених података и документовања свих корака конверзије
- Бити у стању да транспарентно декларише улогу вештачке интелигенције у одељку о методама и примени тест „да ли се то може репродуковати“
Најосновнија карактеристика науке је да се налаз не заснива на речи једне особе, већ на процесу који други могу проверити. Репродуцибилност је способност другог истраживача, узимајући податке и метод студије, да постигне исти резултат пратећи исте кораке. Сличан концепт је и транспарентност: истраживач јасно документује шта је урадио и зашто је донео коју одлуку. У доба вештачке интелигенције, ова два концепта су постала лакша и критичнија. Лако, јер АИ помаже у документовању процеса; критично, јер ако не оставите траг одлука АИ, нико — чак ни ви — не може да репродукује ваш рад. У овој јединици ћете научити како да своје истраживање учините поновљивим и транспарентним.
Срж проблема је у следећем: када радите са вештачком интелигенцијом, доносите много малих одлука — који упит сте користили, који модел, која подешавања, који резултат сте прихватили, а који сте одбили. Ако ове одлуке нису документоване, можда ћете добити другачији излаз када покренете исту промпт другог дана (језички модели не дају потпуно исти одговор сваки пут). Када рецензент или колега пита „како сте дошли до ове анализе теме“, „АИ је тако рекао“ није научни одговор. Транспарентност је управо отварање ове „црне кутије“ и омогућавање праћења процеса.
Корак по корак: успостављање следљивог истраживања
1. Водите дневник одлука. Запишите сваку важну методолошку одлуку – зашто овај узорак, зашто овај код, зашто сте прихватили овај предлог АИ – у датираном часопису. АИ помаже у организовању овог дневника.
2. Сачувајте упите и информације о моделу. Водите евиденцију о сваком упиту који сте користили, на ком моделу АИ сте га покренули и ког датума. Ово је „листа материјала“ за ваш рад.
3. Одвојите необрађене податке од обрађених података. Задржите оригиналне податке непромењеним; урадите све конверзије (чишћење, кодирање) одвојено са документованим корацима. Тако да свако може да гледа од почетка.
4. Јасно напишите улогу АИ. У одељку о методама искрено наведите у којим задацима и како сте користили АИ. Већина часописа и институција сада то захтева.
5. Делите податке и код ако је могуће. Када етика и приватност дозвољавају, дељење анонимних података и кода за анализу у отвореним репозиторијумима је врхунац транспарентности.
Савет: Једноставан тест: „Могу ли поново да урадим ово истраживање за 6 месеци?“ Ако нисте документовали своје упите, одлуке и кораке, одговор је највероватније „не“. Учините то производним за себе; Онда се то дешава и неком другом.
три мини кофера
Случај 1 — Анализа без трага је пропала. Један истраживач је извршио анализу теме помоћу вештачке интелигенције, али није забележио који је одзивник користио. Када је судија питао "како сте дошли до ових тема?" није могао да прикаже процес; Морао је да понови анализу изнова, овога пута водећи дневник. Изгубио је две недеље.
Случај 2 — Дневник одлука завршава дискусију. Дошло је до неслагања у тиму који је питао "зашто смо комбиновали ове кодове?" Али дневник одлука је садржао датум и оправдање за сваку одлуку о спајању. Аргумент је решен за неколико минута када је АИ сумирао дневник и приказао га хронолошки.
Случај 3 — Транспарентно откривање података изградило је поверење. У једном чланку, аутори су експлицитно написали да смо користили АИ „за уређивање транскрипта и почетни предлог кода, при чему су два истраживача ручно верификовала све кодове“. Рецензенти су ову транспарентност оценили позитивном; Утврђено је да је много поузданији од коришћења скривене вештачке интелигенције.
Четири шаблона за копирање
1) Шаблон дневника одлука:
Направите табелу методолошке евиденције одлука. Колоне: датум, одлука, образложење, алтернативе, улога АИ (ако постоји), ко је то одобрио. Убаците моје напомене о одлуци испод у ову табелу и означите сва образложења која недостају као „мора се попунити“. Напомене: [овде]
2) Нацрт изјаве о употреби АИ:
Нацртајте пасус који транспарентно објашњава моју употребу вештачке интелигенције да бих ставио у одељак о методама. Користио сам га у овим задацима: [лист]. НИСАМ га користио у следећим задацима: [лист]. Ручно сам проверио све излазе. Модел и датум: [к]. Користите искрен, потцењен, академски језик.
3) Инспекција поновљивости:
Описујем свој истраживачки процес: [сажетак]. Може ли други истраживач ово да репродукује? Наведите недокументоване, нејасне или неоткривене кораке: који подаци, која трансформација, који промпт, која одлука недостаје? Реци ми шта да снимим за сваки простор.
4) Мапа порекла података:
Наведите све кораке трансформације од необрађених података до мог коначног налаза као ток: необрађени подаци → чишћење → кодирање → анализа → налаз. Покажите шта је урађено на сваком кораку, којим алатом и каквом одлуком. Означите корак који се не може пратити. Процес: [овде]
Слаби промпт / Јаки промпт
Слабо обавештење:
Напишите метод ове анализе у једном пасусу.
АИ производи параграф генеричке методе без документовања процеса; Како је одлука донета и где је коришћена вештачка интелигенција остаје нејасно. Ово није производно.
Снажан упит:
Напишите продуктиван опис за одељак метода. Користите следеће информације: извор података [к], узорак [и], кораци анализе [з], АИ модел који сам користио и његов датум [т], тачна улога АИ [р], процес људске верификације [д]. Напишите довољно конкретно да неко други може да прати ове кораке и да их репродукује. Питајте ме за све информације које сам изоставио.
Разлика: други приступ чини процес конкретним, следљивим и заиста поновљивим.
Транспарентни слојеви
слој
Оно што је документовано
Зашто је то важно?
дневник одлука
Методолошке одлуке + образложење
брани правосуђе
Промпт регистрација
Брзина коришћена, модел, датум
Чини АИ поправљивим
Порекло података
Необрађене → обрађене конверзије
отвара степенице
АИ изјава
Улога и граница АИ
поштење
дељење
Анонимни подаци + код
Крајња транспарентност
Уобичајене грешке
- Не чувају се упити. Ако не држите упутства која сте користили, не можете демонстрирати процес.
- То значи "АИ је тако рекао." Научно оправдање је процес и суд, а не реч модела.
- Преписивање необрађених података. Задржите оригинал; Учините конверзије одвојеним и документованим.
- Скривање употребе АИ. Транспарентна изјава гради поверење; Скривање узрокује губитак угледа.
- Оставите га непроизводљивим чак и за себе. Посао који не можете поново да радите после 6 месеци није наука.
Укратко
Репродуцибилност и транспарентност трансформишу студију из речи једне особе у науку коју свако може да тестира. Ово је још важније када се ради са АИ, јер ако се одлуке модела не поштују, процес постаје црна кутија. Водите евиденцију одлука, бележите упите и информације о моделу, одвојите необрађене податке од обрађених, искрено наведите улогу вештачке интелигенције и делите податке и код када етика дозвољава. Студија која прође тест „Могу ли да се репродукујем после 6 месеци“ такође је поуздана за друге.
Задатак апликације
За малу анализу коју радите или планирате, забележите најмање 5 методолошких одлука са образложењима помоћу „шаблона дневника одлука“. Чувајте упутства која користите, модел и датум у посебној датотеци. Затим користите шаблон „ревизија поновљивости“ да АИ пронађе недокументоване празнине у вашем процесу и затвори сваку празнину. Коначно, напишите скицу „изјаве о употреби АИ“ и транспарентан пасус који ћете ставити у одељак о методама.
контролна листа
- [ ] У часопису сам написао разлоге за сваку значајну методолошку одлуку.
- [ ] Снимио сам упите које сам користио, модел и датум.
- [ ] Задржао сам необрађене податке и документовао трансформације.
- [ ] Искрено сам декларисао улогу АИ у одељку о методама.
- [ ] Применио сам тест „Могу ли да репродукујем после 6 месеци“.