Добивки:
- Способност да се направи истражувањето следливо со евидентирање на методолошки одлуки, инструкции и информации за моделот
- Способност да се одделат необработените податоци од обработените податоци и да се документираат сите чекори на конверзија
- Можност транспарентно да ја декларира улогата на вештачката интелигенција во делот за методи и да го примени тестот „дали може да се репродуцира“
Најфундаменталната карактеристика на науката е дека наодот не се заснова на зборот на една личност, туку на процес што може да го проверат другите. Репродуктивноста е способност на друг истражувач, земајќи ги податоците и методот на студијата, да го достигне истиот резултат следејќи ги истите чекори. Сличен концепт е и транспарентноста: истражувачот јасно документира што направил и зошто донел каква одлука. Во ерата на вештачката интелигенција, овие два концепта станаа полесни и покритични. Лесно, бидејќи вештачката интелигенција помага во процесите на документи; критично, затоа што ако не оставите трага од одлуките на вештачката интелигенција, никој - дури ни вие - не може да ја репродуцира вашата работа. Во оваа единица ќе научите како вашето истражување да го направите репродуктивно и транспарентно.
Срцето на проблемот е следново: кога работите со вештачка интелигенција, донесувате многу мали одлуки - кој потсетник сте го користеле, кој модел, кои поставки, кој излез сте го прифатиле и кои сте отфрлиле. Ако овие одлуки не се документирани, може да добиете различен излез кога ќе го извршите истото барање на различен ден (јазичните модели не го даваат точно истиот одговор секој пат). Кога рецензент или колега прашува „како дојдовте до оваа анализа на темата“, „Ви го кажа тоа“ не е научен одговор. Транспарентноста е токму за отворање на оваа „црна кутија“ и за следење на процесот.
Чекор по чекор: воспоставување на истражување кое може да се следи
1. Водете дневник за одлуки. Запишете ја секоја важна методолошка одлука - зошто овој примерок, зошто овој код, зошто го прифативте овој предлог за вештачка интелигенција - во дневник со датум. ВИ помага да се организира овој дневник.
2. Зачувајте ги потсетниците и информациите за моделот. Водете евиденција за секое известување што сте го користеле, на кој модел со вештачка интелигенција сте го користеле и на кој датум. Ова е „списокот на материјали“ за вашата работа.
3. Одделете ги необработените податоци од обработените податоци. Чувајте ги оригиналните податоци непроменети; направете ги сите конверзии (чистење, кодирање) одделно со документирани чекори. Така што секој може да гледа од почеток.
4. Напишете ја јасно улогата на вештачката интелигенција. Во делот метод, искрено наведете во кои задачи и како сте користеле вештачка интелигенција. Повеќето списанија и институции сега го бараат тоа.
5. Споделете податоци и код ако е можно. Кога дозволуваат етиката и приватноста, споделувањето анонимизирани податоци и аналитички код во отворени складишта е врвот на транспарентноста.
Совет: Едноставен тест: „Можам ли сам да го направам ова истражување повторно за 6 месеци? Ако не сте ги документирале вашите барања, одлуки и чекори, одговорот најверојатно е „не“. Направете го тоа продуктивно за себе; Тогаш тоа се случува и за некој друг.
три мини футроли
Случај 1 - Анализата без трага пропадна. Еден истражувач извршил анализа на темата со вештачка интелигенција, но не забележал кој потсетник го користел. Кога судијата праша „како дојдовте до овие теми? тој не можеше да го покаже процесот; Тој мораше да ја повтори анализата одново, овој пат водејќи дневник. Изгуби две недели.
Случај 2 - Дневникот на одлуки ја завршува дискусијата. Се појави несогласување во тимот кој праша „зошто ги комбиниравме овие кодови? Но, дневникот за одлуки содржеше датум и оправдување за секоја одлука за спојување. Расправијата беше решен за неколку минути кога вештачката интелигенција го сумираше дневникот и го прикажа хронолошки.
Случај 3 - Транспарентното обелоденување изгради доверба. Во една статија, авторите експлицитно напишаа дека користевме вештачка интелигенција „за уредување на препис и првичен предлог код, при што двајца истражувачи рачно ги потврдуваат сите кодови“. Рецензентите сметаат дека оваа транспарентност е позитивна; Утврдено е дека е многу посигурен отколку користење на ВИ со наметка.
Четири шаблони за копирање
1) Шаблон за дневник за одлуки:
Креирајте табела за дневник на методолошки одлуки. Колони: датум, одлука, образложение, алтернативи, улога на вештачка интелигенција (ако има), кој ја одобрил. Вметнете ги моите белешки за одлуки подолу во оваа табела и означете ги сите образложенија што недостасуваат како „мора да се пополнат“. Забелешки: [тука]
2) Нацрт изјава за употреба на вештачка интелигенција:
Нацртајте став кој транспарентно ја објаснува мојата употреба на вештачка интелигенција за да го ставите во делот за методи. Го користев во овие задачи: [листа]. НЕ го користев во следните задачи: [листа]. Рачно ги потврдив сите излези. Модел и датум: [x]. Користете искрен, недооценено, академски јазик.
3) Инспекција на репродуктивност:
Го опишувам мојот истражувачки процес: [резиме]. Може ли друг истражувач да го репродуцира ова? Наведете недокументирани, нејасни или чекори што не можат да се следат: кои податоци, која трансформација, која навестување, која одлука недостасува? Кажи ми што да снимам за секој простор.
4) Карта на потекло на податоци:
Наведете ги сите чекори на трансформација од необработени податоци до моето последно откритие како проток: необработени податоци → чистење → кодирање → анализа → наоѓање. Покажете што е направено на секој чекор, со која алатка и со каква одлука. Обележете го чекорот што не може да се следи. Процес: [тука]
Слаб промпт / Силен промпт
Слаба навестување:
Напишете го методот на оваа анализа во еден параграф.
ВИ произведува параграф за генерички метод без да го документира процесот; Како е донесена одлуката и каде е користена вештачката интелигенција, останува нејасно. Ова не може да се изработи.
Моќен потсетник:
Напишете производствен опис за делот метод. Користете ги следните информации: извор на податоци [x], примерок [y], чекори за анализа [z], моделот на вештачка интелигенција што го користев и неговиот датум [t], точната улога на AI [r], процесот на верификација на човекот [d]. Напишете доволно конкретно за некој друг да може да ги следи овие чекори и да ги репродуцира. Прашајте ме за сите информации што сум ги изоставил.
Разликата: вториот пристап го прави процесот конкретен, следен и вистински репродуктивен.
Слоеви на транспарентност
слој
Што е документирано
Зошто е важно?
дневник на одлуки
Методолошки одлуки + образложение
го брани судството
Брза регистрација
Искористено брзо, модел, датум
Ја прави вештачката интелигенција подвижна
Потекло на податоците
Необработени → обработени конверзии
отвора чекори
Изјава за вештачка интелигенција
Улогата и границата на вештачката интелигенција
искреност
споделување
Анонимни податоци + код
Крајна транспарентност
Вообичаени грешки
- Не се зачувуваат потсетници. Ако не ја задржите инструкцијата што сте ја користеле, не можете да го демонстрирате процесот.
- Тоа значи „Ви го кажа тоа“. Научното оправдување е процес и расудување, а не збор на моделот.
- Препишување на необработени податоци. Чувајте го оригиналот; Направете конверзии одделни и документирани.
- Сокривање на употребата на вештачка интелигенција. Транспарентната изјава гради доверба; Криењето предизвикува губење на угледот.
- Оставајќи го непродуктивно дури и за себе. Работа која не можете повторно да ја работите по 6 месеци не е наука.
Сумирано
Репродуктивноста и транспарентноста ја трансформираат студијата од збор на една личност во наука што секој може да ја тестира. Ова е уште покритично кога работите со вештачка интелигенција, бидејќи ако не се следат одлуките на моделот, процесот станува црна кутија. Водете дневник за одлуки, снимајте потсетници и информации за моделите, одделете ги необработените податоци од обработените, искрено изјавувајте ја улогата на вештачката интелигенција и споделувајте податоци и код кога етиката дозволува. Студијата што го поминува тестот „Дали можам да се репродуцирам по 6 месеци“ е исто така доверлива за другите.
Задача за апликација
За мала анализа што ја правите или планирате, запишете најмалку 5 методолошки одлуки со оправдување со „шаблонот за дневник за одлуки“. Чувајте ги инструкциите што ги користите, моделот и датумот во посебна датотека. Потоа користете го шаблонот „ревизија на репродуктивност“ за вештачката интелигенција да најде недокументирани празнини во вашиот процес и да ја затвори секоја празнина. Конечно, напишете преглед на „Изјавата за употреба на ВИ“ и транспарентен пасус што ќе се стави во делот методи.
листа за проверка
- [ ] Ги напишав причините за секоја важна методолошка одлука во списанието.
- [ ] Ги снимив потсетниците што ги користев, моделот и датумот.
- [ ] Ги задржав непроменетите сурови податоци и ги документирав трансформациите.
- [ ] Искрено ја објавив улогата на вештачката интелигенција во делот за методи.
- [ ] Го применив тестот „Дали можам да се репродуцирам по 6 месеци“.