Tyrimų projektavimo ir duomenų analizės palaikymas

Pelnas:

• Gebėjimas naudoti dirbtinį intelektą kaip minčių partnerį rengiant tyrimo klausimus, hipotezes, masto parinkimo ir analizės planus
• Gebėjimas atlikti kiekybinės analizės (kodo/išvesties interpretavimo) ir kokybinės analizės (teminio kodavimo juodraščio) palaikymą statistiniu ir metodiniu tikslumu.
• Gebėjimas sukurti apsauginį refleksą naudojant dirbtinį intelektą nuo p-reikšmių medžioklės, sufabrikuotos statistikos ir neetiško duomenų apdorojimo

Psichologija – mokslas, sistemingai tiriantis žmogaus elgesį, o šio mokslo pagrindas – tyrimai. Nesvarbu, ar rašote baigiamąjį darbą, ar vertinate programos efektyvumą įstaigoje, ar ruošiate straipsnį; Geram tyrimui reikalingas tvirtas planas, tiksli analizė ir sąžiningas aiškinimas. Dirbtinis intelektas (DI) gali būti minties partneris kiekviename tyrimo etape: ryškinant tyrimo klausimą, išryškinant galimas skales, parengiant analizės kodą, aiškinant statistinę išvestį paprasta kalba, pateikiant pirminius temų pasiūlymus jūsų kokybiniuose duomenyse. Tačiau dirbtinis intelektas taip pat haliucinuoja statistikoje, siūlo metodinę klaidą ir, kas pavojingiausia, gali nesąmoningai atverti duris neetiškai praktikai (pvz., p-reikšmių medžioklei). Šiame skyriuje išmoksite naudoti AI kaip galingą, bet prižiūrimą asistentą atliekant tyrimus.

Kur AI padeda atlikti tyrimus?

Projektavimo fazė: tyrimo klausimo patikslinimas, hipotezės teiginio paaštrinimas, galimų kintamųjų ir painiavos (trečiųjų faktorių, kurie turi įtakos rezultatui, bet nenagrinėjami) įvertinimas, tinkamų projektų priminimas. AI čia yra smegenų šturmo partneris; Jūs nuspręsite.

Kiekybinė analizė: paaiškinimas, kada tinkamas analizės metodas (pvz., t testas, ANOVA, regresija), analizės kodo rengimas (pvz., R arba Python), statistinės išvesties interpretavimas. AI rašo kodą, bet jūs esate atsakingi už kodo gaunamo rezultato tikslumą ir metodo tinkamumą.

Kokybinė analizė: pradiniai kodo pasiūlymai interviu stenogramose, galimi temų pavadinimai, kodų knygos juodraštis. AI suteikia atskaitos tašką; Tyrėjas prideda interpretacinio gylio.

Atsargiai: AI nėra statistikas. Tai gali pasiūlyti neteisingą testą, praleisti prielaidas, sudaryti klaidingą koeficientą arba p reikšmę. Kiekvieną metodinį sprendimą ir kiekvieną skaičių patikrinkite savarankiškai (savo žiniomis, statistiniu šaltiniu ar ekspertu).

Etinės raudonos linijos: p-hacking ir duomenų apdorojimas

Viena iš pavojingiausių tyrimų etikos spąstų yra p-hacking: pakartotinis analizės keitimas, kintamųjų pridėjimas/pašalinimas arba duomenų apkarpymas, kol gaunamas reikšmingas rezultatas. Paklauskite AI: „Ką galiu padaryti, kad rezultatas būtų prasmingas? Klausimas " reiškia patekti į šiuos spąstus to nesuvokiant. Į tokio tipo klausimą dirbtinis intelektas gali pateikti pasiūlymų, pvz., "Išskleiskite šį kintamąjį, pažiūrėkite į šį pogrupį". Šie pasiūlymai "veikia" statistiškai, bet yra moksliškai apgaulingi.

Panašiai AI gali pasiūlyti „užbaigti“ duomenis, kurių nėra, arba be pagrindo ištrinti nukrypimus. Duomenys analizuojami tokie, kokie yra; Pakeitimai gali būti atliekami tik laikantis iš anksto nustatytų, skaidrių ir pagrįstų taisyklių.

Patarimas: prieš pamatydami duomenis užsirašykite analizės planą (kokį testą atliksite, su kokiais kintamaisiais, kokiai hipotezei). Naudokite AI, kad paaiškintumėte šį planą, o ne „pagražintumėte“ rezultatą. Iš anksto parašytas planas yra stipriausia apsauga nuo p-hacking.

Žingsnis po žingsnio: saugus tyrimų srautas, pagrįstas AI

1. Paaiškinkite klausimą ir hipotezę. Leiskite AI ištirti problemą, kad ją paaštrintų, bet jūs nuspręsite.
2. Iš anksto parašykite analizės planą. Kuris testas, kuri prielaida, kokia hipotezė. Leiskite AI prižiūrėti planą.
3. Kodo juodraštis, patikrinkite išvestį. Leiskite AI parašyti kodą; Paleiskite jį, patikrinkite rezultatą savarankiškai.
4. Patikrinkite prielaidas. Išbandykite prielaidas, kurias AI praleidžia, pvz., normalumą ir dispersijos homogeniškumą.
5. Apsvarstykite kokybinius kodus kaip juodraščius. Apsvarstykite pradinio AI temas; Perskaitykite ir patikrinkite duomenis patys.
6. Pranešk sąžiningai. Užsirašykite ir beprasmį rezultatą; Venkite įsilaužimo ir atrankinio pranešimo.

trys mini dėklai

1 atvejis – p-hacking spąstai. Kai pagrindinė tyrėjo hipotezė nepasirodo reikšminga (p=0,21), jis klausia AI „būdų, kaip rezultatą įprasminti“. AI siūlo įvairias pogrupių analizes ir kintamųjų išgavimą; Kai tyrėjas tai išbando, jis gauna p = 0,04. Tačiau šis rezultatas yra klaidingas: jei išbandysite 10 skirtingų analizių, viena iš jų bus reikšminga atsitiktinai. Teisingas būdas: pranešti apie iš anksto nustatytą analizę, sąžiningai parašyti beprasmį rezultatą.

2 atvejis. Kodas ir išvesties komentaras. Absolventas nori išbandyti 120 dalyvių duomenų skirtumus tarp dviejų grupių, bet nėra susipažinęs su statistikos programine įranga. Jis išspausdina analizės kodo juodraštį į AI, paleidžia jį ir AI interpretuoja išvestį. Tada jis patikrina t-testo prielaidas iš statistinio šaltinio ir savarankiškai patikrina rezultatą. AI sutrumpina mokymosi kreivę, tačiau galutinį sprendimą priima studentas.

3 atvejis. Kokybinis kodavimas. Tyrėjas AI pateikia 18 anoniminių interviu nuorašų ir prašo pateikti pradinių kodų pasiūlymų. AI pateikia apie 30 kodų ir 5 temų pasiūlymų. Tyrėjas jas laiko pradžia ir pats perskaito visas nuorašas; Pridedama tema, kurios AI praleido, atskiriant dvi, kurias neteisingai sujungė. Jis taip pat patikrina patikimumą su antruoju koduotuvu. AI sustiprėjo, bet interpretacija kilo iš žmogaus.

Kopijuojami raginimai ir šablonai

Padėkite man išsiaiškinti tyrimo klausimą. Mano klausimo juodraštis: [klausimas]. Klauskite/pasiūlykite: priklausomi nuo nepriklausomi kintamieji, galimi painiavos, tinkamas tyrimo planas. Sprendimas yra mano; Tiesiog paaiškinkite galimybes ir riziką, nepriverskite rezultato.

Peržiūrėkite mano analizės planą: [planas]. Įvertinkite: ar mano pasirinktas testas atitinka hipotezę, kokias prielaidas turėčiau patikrinti, ar imties dydis yra pakankamas, ar yra kokių nors metodologinių rizikų, kurių nepastebėjau? Pateikite siūlymus, kaip sutvirtinti planą, o ne pakeisti rezultatą.

Paprasta kalba interpretuokite šią statistikos išvestį: koks rezultatas ką reiškia, kokias prielaidas reikia patikrinti, kur yra pernelyg didelio interpretavimo rizika? Sąžiningai nurodykite visus nereikšmingus rezultatus. Išvestis: [išvestis]

Žemiau yra anoniminių interviu stenogramos. Pirmajame etape teminiam kodavimui generuojamas GALIMAS kodas ir tema PASIŪLYMAI. Atminkite, kad tai yra pradinis juodraštis ir aš perskaitysiu ir tikrinsiu duomenis; Nepateikite to kaip galutinio rezultato. Nuorašai: [anoniminiai nuorašai]

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas: "Rezultatas nebuvo reikšmingas duomenims, kaip padaryti p reikšmę reikšmingą?"

Šis raginimas ragina AI pasiūlyti p-įsilaužimą; Net jei išvestis „veikia“ statistiškai, tai yra mokslinė apgaulė.

Stiprus raginimas: "Anksčiau apibrėžiamas analizės planas yra [planas]. Rezultatas nebuvo reikšmingas (p=0,21). Kaip turėčiau tai sąžiningai pranešti, kokios gali būti nereikšmingo rezultato pasekmės ir ką rekomenduočiau atlikti būsimam tyrimui?"

Šis raginimas nukreipia AI į sąžiningą mokslą; Jis rezultato neiškraipo, iš jo mokosi.

Dažnos klaidos

• Kvietimas į p-hacking. Klausimas „Įprasmink rezultatą“; Tai mokslinė apgaulė.
• Metodo taikymas jo nepatvirtinus. Naudojant AI siūlomą testą, nepatikrinus jo prielaidų.
• Sudarytos statistikos priėmimas. Nepatvirtinate AI pateikto koeficiento / p vertės savo analize.
• Klaidingi kokybiniai kodai galutinei analizei. Ataskaitų apie AI temas teikimas neskaitant duomenų.
• Slėpti beprasmį rezultatą. Atrankinis ataskaitų teikimas, pranešant tik tai, kas prasminga.

Apibendrinant

AI yra galingas minčių partneris atliekant atitinkamus tyrimus, analizuojant planą, rengiant kodą, interpretuojant išvestį ir kuriant kokybinį kodavimą. Bet jis daro klaidų statistikoje ir haliucinacijose; Pavojingiausias dalykas yra tai, kad jis gali nesąmoningai atverti duris neetiškiems metodams, tokiems kaip p-hacking. Iš anksto surašykite analizės planą, patikrinkite kiekvieną metodą ir skaičių atskirai, patikrinkite prielaidas, kokybinius kodus traktuokite kaip juodraščius ir patys perskaitykite duomenis bei sąžiningai praneškite beprasmius rezultatus. AI pagreitina; Mokslinis sąžiningumas kyla iš jūsų.

Taikymo užduotis

Sukurkite nedidelį tyrimo scenarijų (pvz., palyginkite dvi grupes pagal skalę). Pirmiausia vienoje pastraipoje parašykite savo analizės planą. Tada leiskite dirbtiniam intelektui atlikti šio plano auditą ir paklauskite, ar yra kokių nors prielaidų ar rizikos, kurių praleidote. Be to, leiskite dirbtiniam intelektui išaiškinti nedidelę įsivaizduojamą išvestį ir patys patikrinkite, ar jos aiškinimas nėra pernelyg tvirtas. Parašykite sąžiningą pranešimo sakinį neįsitraukdami į „P“ įsilaužimą.

kontrolinis sąrašas

• [ ] Analizės planą parašiau prieš pamatydamas duomenis.
• [ ] Nepriklausomai patikrinau AI pasiūlyto metodo prielaidas.
• [ ] Kiekvieną AI pateiktą statistiką patikrinau savo analize.
• [ ] Kokybinius kodus laikiau pirminiais juodraščiais ir pats perskaičiau duomenis.
• [ ] Taip pat nuoširdžiai pranešiau apie nereikšmingus rezultatus.
• [ ] Vengiau įsilaužimo ir atrankinių pranešimų.