Uurimistöö kavandamise ja andmete analüüsi tugi

Kasu:

• Võimalus kasutada tehisintellekti mõttepartnerina uurimisküsimuste, hüpoteeside, skaalavaliku ja analüüsiplaanide koostamisel
• Võimalus auditeerida statistilise ja metoodilise täpsusega kvantitatiivse analüüsi (koodi/väljundi tõlgendamise) ja kvalitatiivse analüüsi (temaatilise kodeerimise mustand) tuge
• Võimalus arendada tehisintellekti kasutamisel kaitserefleksi p-väärtuste jahi, fabritseeritud statistika ja ebaeetilise andmetöötluse vastu

Psühholoogia on teadus, mis uurib süstemaatiliselt inimeste käitumist ja selle teaduse aluseks on uurimistöö. Olenemata sellest, kas kirjutate lõputööd, mõõdate programmi tõhusust asutuses või koostate artiklit; Hea uurimus nõuab kindlat disaini, täpset analüüsi ja ausat tõlgendamist. Tehisintellekt (AI) võib olla mõttepartneriks igas uurimistöö etapis: uurimisküsimuse teravdamisel, võimalike skaalade esilekutsumisel, analüüsikoodi koostamisel, statistilise väljundi arusaadavas keeles selgitamisel, teie kvalitatiivsetesse andmetesse esialgsete teemade ettepanekute joonistamisel. Kuid tehisintellekt hallutsineerib ka statistikas, viitab metoodilistele vigadele ja mis kõige ohtlikum, võib tahtmatult avada ukse ebaeetilistele tavadele (nagu p-väärtuste jaht). Selles üksuses õpite kasutama tehisintellekti võimsa, kuid juhendatud abilisena uurimistöös.

Kus AI teadusuuringutes aitab?

Disainifaas: Uurimisküsimuse selgitamine, hüpoteesi väite teravdamine, võimalike muutujate ja segajate (kolmandad tegurid, mis mõjutavad tulemust, kuid mida ei uurita) arvestamine, sobivate kavandite meeldetuletamine. AI on siin ajurünnaku partner; Sina otsustad.

Kvantitatiivne analüüs: analüüsimeetodi (nt t-test, ANOVA, regressioon) sobivuse selgitamine, analüüsikoodi koostamine (nt R või Python), statistilise väljundi tõlgendamine. AI kirjutab koodi, kuid vastutate koodi poolt toodetud tulemuse õigsuse ja meetodi sobivuse eest.

Kvalitatiivne analüüs: esialgsed koodisoovitused intervjuu transkriptsioonides, võimalikud teemapealkirjad, koodiraamatu mustand. AI annab lähtepunkti; Uurija lisab tõlgendussügavust.

Ettevaatust: AI ei ole statistik. See võib soovitada vale testi, jätta eeldused välja, tekitada võltsitud koefitsiendi või p-väärtuse. Kontrollige iga metoodilist otsust ja iga numbrit iseseisvalt (oma teadmiste, statistilise allika või eksperdiga).

Eetilised punased jooned: p-häkkimine ja andmetöötlus

Uurimiseetika üks ohtlikumaid lõkse on p-häkkimine: analüüsi korduv muutmine, muutujate lisamine/eemaldamine või andmete kärpimine kuni sisulise tulemuseni. Küsige AI-lt: "Mida saan teha, et tulemus oleks tähendusrikas?" "Küsimine" tähendab sellesse lõksu langemist, ilma et oleksite seda arugi saanud. Seda tüüpi küsimusele võib tehisintellekt anda selliseid soovitusi nagu "eraldake see muutuja, vaadake seda alarühma". Need soovitused "töötavad" statistiliselt, kuid on teaduslikult petlikud.

Samuti võib tehisintellekt soovitada "lõpetada" andmeid, mida pole olemas, või kustutada kõrvalekalded ilma põhjuseta. Andmeid analüüsitakse nii, nagu nad on; Muudatusi saab teha ainult eelnevalt määratletud, läbipaistvate ja põhjendatud reeglitega.

Näpunäide: kirjutage enne andmete nägemist üles oma analüüsiplaan (millise testi teete, milliste muutujatega, millise hüpoteesiga). Kasutage tehisintellekti selle plaani selgitamiseks, mitte tulemuse "kaunindamiseks". Eelnevalt kirjutatud plaan on tugevaim kaitse p-häkkimise vastu.

Samm-sammult: tehisintellekti toel töötav ohutu uurimisvoog

1. Täpsustage küsimust ja hüpoteesi. Laske AI-l probleemi teravdamiseks uurida, kuid teie otsustate.
2. Kirjutage eelnevalt oma analüüsiplaan. Milline test, milline eeldus, milline hüpotees. Las tehisintellekt jälgib plaani.
3. Koodi mustand, kontrolli väljundit. Laske AI-l koodi kirjutada; Käivitate seda, kontrollige tulemust iseseisvalt.
4. Kontrollige eeldusi. Testige ennast eeldustega, mida tehisintellekt vahele jätab, nagu normaalsus ja dispersiooni homogeensus.
5. Kaaluge kvalitatiivseid koode mustanditena. Mõelge AI esialgse teemadele; Lugege ja kontrollige andmeid ise.
6. Teatage ausalt. Pane kirja ka mõttetu tulemus; Vältige p-häkkimist ja valikulist aruandlust.

kolm minikarpi

Juhtum 1 – p-häkkimise lõks. Kui teadlase põhihüpotees ei osutu oluliseks (p=0,21), küsib ta tehisintellektilt "viise, kuidas tulemus tähendusrikkaks muuta". AI soovitab erinevaid alarühmade analüüse ja muutujate ekstraheerimist; Kui uurija neid proovib, saab ta p = 0,04. Kuid see tulemus on vale: kui proovite 10 erinevat analüüsi, on üks neist juhuslikult märkimisväärne. Õige tee: etteantud analüüsi aruandlus, mõttetu tulemuse aus kirjutamine.

Juhtum 2 – kood ja väljundi kommentaar. Kraadiõpilane soovib testida kahe rühma vahelisi erinevusi 120 osaleja andmetes, kuid ta ei tunne statistikatarkvara. See prindib analüüsikoodi mustandi AI-le, käivitab selle ja laseb tehisintellektil väljundit tõlgendada. Seejärel kontrollib ta statistilisest allikast t-testi eeldusi ja kontrollib tulemust iseseisvalt. AI lühendab õppimiskõverat, kuid lõpliku otsuse teeb õpilane.

3. juhtum – kvalitatiivne kodeerimine. Teadlane edastab AI-le 18 anonüümset intervjuu ärakirja ja küsib esialgseid koodisoovitusi. AI pakub välja umbes 30 koodi ja 5 teemasoovitust. Uurija peab neid alguseks ja loeb kõik ärakirjad ise läbi; See lisab teema, millest AI vahele jäi, eraldades kaks, mida ta valesti kombineeris. Samuti kontrollib see töökindlust teise kodeerijaga. AI astus üles, kuid tõlgendus tuli inimesest välja.

Kopeeritavad viibad ja mallid

Aidake mul uurimisküsimust täpsustada. Minu küsimuse mustand: [küsimus]. Küsige/soovitage järgmist: sõltuvad sõltumatud muutujad, võimalikud segajad, sobiv uurimistöö. Otsus on minu; Lihtsalt selgitage võimalusi ja riske, ärge suruge tulemust peale.

Vaadake minu analüüsiplaani: [plaan]. Hinnake: kas minu valitud test sobib hüpoteesiga, milliseid eeldusi peaksin kontrollima, kas valimi suurus tundub piisav, kas on metoodilisi riske, millest olen tähelepanuta jätnud? Andke ettepanekuid plaani tugevdamiseks, mitte tulemuse muutmiseks.

Tõlgenda lihtsas keeles järgmist statistilist väljundit: mis tulemus mida tähendab, milliseid eeldusi tuleb kontrollida, kus on ületõlgendamise oht? Esitage kõik ebaolulised tulemused ausalt. Väljund: [väljund]

Allpool on anonüümsed intervjuu ärakirjad. Esimeses etapis genereeritakse temaatiliseks kodeerimiseks VÕIMALIKUD kood ja teema SOOVITUSED. Pidage meeles, et see on esialgne mustand ja ma loen ja kontrollin andmeid; Ärge esitage seda lõpliku tulemusena. Ärakirjad: [anonüümsed ärakirjad]

Nõrk viip / Tugev viip

Nõrk viip: "Tulemus ei olnud andmetes oluline, kuidas muuta p-väärtus oluliseks?"

See viip kutsub AI-d soovitama p-häkkimist; Isegi kui väljund statistiliselt "töötab", on tegemist teadusliku pettusega.

Tugev viip: "Varem määratletud analüüsiplaan on [plaan]. Tulemus ei olnud oluline (p=0,21). Kuidas ma peaksin sellest ausalt teatama, millised võiksid olla ebaolulise tulemuse võimalikud tagajärjed ja mida ma soovitaksin tulevaseks uuringuks?"

See viip suunab tehisintellekti ausale teadusele; Ta ei moonuta tulemust, vaid õpib sellest.

Levinud vead

• Kutse p-häkkimisele. Küsib "Muuda tulemus tähendusrikkaks"; See on teaduslik pettus.
• Meetodi rakendamine ilma seda kinnitamata. Tehisintellekti soovitatud testi kasutamine ilma selle eeldusi kontrollimata.
• Väljamõeldud statistika vastuvõtmine. Ei kinnita oma analüüsiga tehisintellekti antud koefitsienti/p-väärtust.
• Kvalitatiivsete koodide eksitamine lõppanalüüsiks. Tehisintellekti teemade aruandlus ilma andmeid lugemata.
• Mõttetu tulemuse varjamine. Valikuline aruandlus, teatades ainult sellest, mis on tähendusrikas.

Kokkuvõttes

AI on võimas mõttepartner kõnealuste uuringute teravdamisel, analüüsiplaani auditeerimisel, koodi koostamisel, väljundi tõlgendamisel ja kvalitatiivse kodeerimise loomisel. Kuid ta teeb statistikas vigu ja hallutsinatsioone; Kõige ohtlikum on see, et see võib teadmatult avada ukse ebaeetilistele meetoditele nagu p-häkkimine. Kirjutage eelnevalt välja oma analüüsiplaan, kontrollige iga meetodit ja numbrit iseseisvalt, kontrollige eeldusi, käsitlege kvalitatiivseid koode mustanditena ja lugege ise andmeid ning esitage mõttetuid tulemusi ausalt. AI kiirendab; Teaduslik ausus pärineb sinust.

Rakenduse ülesanne

Koostage väike uurimisstsenaarium (nt kahe rühma võrdlemine skaalal). Esiteks kirjutage oma analüüsiplaan ühes lõigus. Seejärel laske tehisintellektil seda plaani auditeerida ja küsige, kas on mingeid eeldusi või riske, millest te märkasite. Samuti laske tehisintellektil tõlgendada väikest kujuteldavat väljundit ja kontrollige ise, kas selle tõlgendus on liiga enesekindel. Kirjutage aus aruandluslause ilma P-häkkimiseta.

kontrollnimekiri

• [ ] Kirjutasin oma analüüsiplaani enne andmete nägemist.
• [ ] Olen iseseisvalt kontrollinud tehisintellekti pakutud meetodi eeldusi.
• [ ] Kontrollisin iga tehisintellekti antud statistikat oma analüüsiga.
• [ ] Kvalitatiivseid koode võtsin esialgseteks mustanditeks ja lugesin andmed ise läbi.
• [ ] Teatasin ausalt ka ebaolulistest tulemustest.
• [ ] Vältisin p-häkkimist ja valikulist aruandlust.