Ieguvumi:
- Spēja izmantot mākslīgo intelektu kā domu partneri pētījuma jautājumu, hipotēžu, mēroga atlases un analīzes plānu sastādīšanā
- Spēja pārbaudīt kvantitatīvās analīzes (koda/izejas interpretācijas) un kvalitatīvās analīzes (tematiskās kodēšanas uzmetuma) atbalstu ar statistisku un metodoloģisku precizitāti
- Spēja attīstīt aizsargrefleksu mākslīgā intelekta izmantošanā pret p-vērtību medībām, safabricētu statistiku un neētisku datu apstrādi
Psiholoģija ir zinātne, kas sistemātiski pēta cilvēka uzvedību, un šīs zinātnes pamatā ir pētniecība. Neatkarīgi no tā, vai rakstāt diplomdarbu, novērtējat programmas efektivitāti iestādē vai gatavojat rakstu; Labam pētījumam ir nepieciešams stingrs dizains, precīza analīze un godīga interpretācija. Mākslīgais intelekts (AI) var būt domu partneris katrā pētījuma posmā: precizējot pētījuma jautājumu, izsaucot iespējamos mērogus, sastādot analīzes kodu, izskaidrojot statistikas rezultātus vienkāršā valodā, zīmējot sākotnējos ieteikumus par tēmām jūsu kvalitatīvajos datos. Bet AI arī halucinē statistikā, liecina par metodoloģisku kļūdu un, visbīstamākais, var netīši atvērt durvis neētiskām darbībām (piemēram, p-vērtību medībām). Šajā nodaļā jūs iemācīsities izmantot AI kā spēcīgu, bet uzraudzītu palīgu pētniecībā.
Kur AI palīdz pētniecībā?
Projektēšanas fāze: Pētījuma jautājuma noskaidrošana, hipotēzes formulējuma asināšana, iespējamo mainīgo un neskaidrību (trešie faktori, kas ietekmē rezultātu, bet netiek pārbaudīti) apsvēršana, atbilstošu dizainu atgādināšana. AI šeit ir prāta vētras partneris; Jūs izlemjat.
Kvantitatīvā analīze: paskaidrojiet, kad analīzes metode (piemēram, t-tests, ANOVA, regresija) ir piemērota, analīzes koda (piem., R vai Python) sastādīšana, statistikas rezultātu interpretācija. AI raksta kodu, bet jūs esat atbildīgs par koda radītā rezultāta precizitāti un metodes piemērotību.
Kvalitatīva analīze: sākotnējie koda ieteikumi interviju stenogrammās, iespējamie tēmu nosaukumi, kodu grāmatas melnraksts. AI sniedz sākuma punktu; Pētnieks pievieno interpretācijas dziļumu.
Uzmanību: AI nav statistiķis. Tas var ieteikt nepareizu testu, izlaist pieņēmumus, radīt viltotu koeficientu vai p-vērtību. Pārbaudiet katru metodisko lēmumu un katru skaitli neatkarīgi (ar savām zināšanām, statistikas avotu vai ekspertu).
Ētiskās sarkanās līnijas: p-datorurķēšana un datu apstrāde
Viena no bīstamākajām pētniecības ētikas kļūmēm ir p-hacking: atkārtota analīzes maiņa, mainīgo lielumu pievienošana/noņemšana vai datu apgriešana, līdz parādās jēgpilns rezultāts. Pajautājiet AI: “Ko es varu darīt, lai rezultāts būtu nozīmīgs?” Jautāt " nozīmē iekrist šajā slazdā, to neapzinoties. Uz šāda veida jautājumiem AI var sniegt ieteikumus, piemēram, "izņemiet šo mainīgo, skatiet šo apakšgrupu". Šie ieteikumi "darbojas" statistiski, taču ir zinātniski krāpnieciski.
Tāpat AI var ieteikt “pabeigt” datus, kas neeksistē, vai dzēst novirzes bez pamatojuma. Dati tiek analizēti tādi, kādi tie ir; Izmaiņas var veikt tikai ar iepriekš definētiem, pārredzamiem un pamatotiem noteikumiem.
Padoms. Pirms datu skatīšanas pierakstiet savu analīzes plānu (kuru testu veiksit, ar kuriem mainīgajiem, kādai hipotēzei). Izmantojiet AI, lai precizētu šo plānu, nevis lai “izskaistinātu” rezultātu. Iepriekš uzrakstīts plāns ir spēcīgākā aizsardzība pret p-uzlaušanu.
Soli pa solim: droša pētniecības plūsma, ko nodrošina AI
- Precizējiet jautājumu un hipotēzi. Ļaujiet AI izpētīt problēmu, lai to saasinātu, bet jūs izlemjat.
- Iepriekš uzrakstiet savu analīzes plānu. Kurš tests, kurš pieņēmums, kura hipotēze. Ļaujiet AI pārraudzīt plānu.
- Koda uzmetums, pārbaudiet izvadi. Ļaujiet AI rakstīt kodu; Palaidiet to, pārbaudiet rezultātu neatkarīgi.
- Pārbaudiet pieņēmumus. Pārbaudiet sevi pieņēmumiem, kurus mākslīgais intelekts izlaiž, piemēram, normālu un dispersijas viendabīgumu.
- Apsveriet kvalitatīvos kodus kā melnrakstus. Apsveriet AI sākotnējās tēmas; Izlasiet un pārbaudiet datus pats.
- Paziņojiet godīgi. Pierakstiet arī bezjēdzīgo rezultātu; Izvairieties no uzlaušanas un selektīvas ziņošanas.
trīs mini futrāļi
1. gadījums — uzlaušanas slazds. Ja pētnieka galvenā hipotēze izrādās nenozīmīga (p=0,21), viņš jautā AI “veidus, kā rezultātu padarīt jēgpilnu”. AI ierosina dažādas apakšgrupu analīzes un mainīgo ieguvi; Kad pētnieks tos izmēģina, viņš iegūst p = 0,04. Taču šis rezultāts ir nepatiess: ja izmēģināsiet 10 dažādas analīzes, viena no tām nejauši būs nozīmīga. Pareizais veids: ziņot par iepriekš definētu analīzi, godīgi uzrakstīt bezjēdzīgo rezultātu.
2. gadījums — Kods un izvades komentārs. Absolvents vēlas pārbaudīt atšķirības starp divām grupām datos no 120 dalībniekiem, taču viņš nezina statistikas programmatūru. Tas izdrukā analīzes koda melnrakstu AI, palaiž to un liek AI interpretēt izvadi. Pēc tam viņš pārbauda t-testa pieņēmumus no statistikas avota un neatkarīgi pārbauda rezultātu. AI saīsina mācīšanās līkni, bet galīgais lēmums ir studenta ziņā.
3. gadījums — kvalitatīva kodēšana. Pētnieks ievada AI 18 anonīmus interviju atšifrējumus un lūdz sākotnējos koda ieteikumus. AI nāk klajā ar aptuveni 30 kodiem un 5 tēmu ieteikumiem. Pētnieks tos uzskata par sākumu un pats izlasa visus atšifrējumus; Tas pievieno tēmu, kuru AI palaida garām, atdalot divas, kuras tas nepareizi apvienoja. Tas arī pārbauda uzticamību ar otru kodētāju. AI pastiprinājās, bet interpretācija nāca no cilvēka.
Kopējamas uzvednes un veidnes
Palīdziet man precizēt pētījuma jautājumu. Mans jautājuma projekts: [jautājums]. Jautājiet/iesakiet sekojošo: atkarīgie-neatkarīgie mainīgie, iespējamie sajaukšanas faktori, atbilstošs pētījuma plāns. Lēmums ir mans; Vienkārši izskaidrojiet iespējas un riskus, neuzspiediet rezultātu.
Apskatiet manu analīzes plānu: [plāns]. Novērtējiet: vai manis izvēlētais tests atbilst hipotēzei, kādi pieņēmumi man jāpārbauda, vai izlases lielums šķiet pietiekams, vai ir kādi metodoloģiski riski, kurus esmu neievērojis? Sniedziet ieteikumus plāna nostiprināšanai, nevis iznākuma mainīšanai.
Interpretējiet šādu statistikas rezultātu vienkāršā valodā: kāds rezultāts ko nozīmē, kādi pieņēmumi ir jāpārbauda, kur ir pārmērīgas interpretācijas risks? Godīgi norādiet visus nenozīmīgos rezultātus. Izvade: [izeja]
Zemāk ir anonīmi interviju atšifrējumi. Pirmajā posmā tematiskajai kodēšanai tiek ģenerēts IESPĒJAMAIS kods un tēma IETEIKUMI. Atcerieties, ka šis ir sākotnējais melnraksts, un es lasīšu un pārbaudīšu datus; Nepasniedziet to kā galīgu rezultātu. Atšifrējumi: [anonīmi atšifrējumi]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne: "Rezultāts nebija nozīmīgs datos, kā padarīt p-vērtību nozīmīgu?"
Šī uzvedne aicina AI ieteikt p-uzlaušanu; Pat ja izlaide "strādā" statistiski, tā ir zinātniska krāpšana.
Spēcīga uzvedne: "Analīzes plāns, ko es definēju iepriekš, ir [plāns]. Rezultāts nebija nozīmīgs (p=0,21). Kā par to ziņot godīgi, kādas varētu būt nenozīmīgā rezultāta iespējamās sekas, un ko es ieteiktu turpmākam pētījumam?"
Šī uzvedne novirza AI uz godīgu zinātni; Viņš nesagroza rezultātu, viņš no tā mācās.
Biežas kļūdas
- Uzaicinājums uz p-hacking. Jautāt "Padariet rezultātu jēgpilnu"; Tā ir zinātniska krāpšana.
- Metodes izmantošana bez apstiprināšanas. Izmantojot AI ieteikto testu, nepārbaudot tā pieņēmumus.
- Sagatavotās statistikas pieņemšana. Neapstiprināt AI norādīto koeficientu/p vērtību ar savu analīzi.
- Kvalitatīvie kodi gala analīzei. Ziņošana par AI tēmām, nelasot datus.
- Bezjēdzīgā rezultāta slēpšana. Selektīva ziņošana, ziņojot tikai par to, kas ir nozīmīgs.
Rezumējot
AI ir spēcīgs domu partneris attiecīgo pētījumu asināšanai, analīzes plāna auditēšanai, koda izstrādei, izvades interpretācijai un kvalitatīvas kodēšanas uzsākšanai. Bet viņš pieļauj kļūdas statistikā un halucinācijās; Visbīstamākais ir tas, ka tas var neapzināti atvērt durvis neētiskām metodēm, piemēram, p-hacking. Iepriekš uzrakstiet analīzes plānu, pārbaudiet katru metodi un numuru atsevišķi, pārbaudiet pieņēmumus, uzskatiet kvalitatīvos kodus kā melnrakstus un pats izlasiet datus un godīgi ziņojiet par bezjēdzīgiem rezultātiem. AI paātrina; Zinātniskā integritāte nāk no jums.
Lietojumprogrammas uzdevums
Izveidojiet nelielu izpētes scenāriju (piem., salīdzinot divas grupas mērogā). Vispirms vienā rindkopā uzrakstiet analīzes plānu. Pēc tam lieciet AI pārbaudīt šo plānu un jautājiet, vai ir kādi pieņēmumi vai riski, kurus esat palaidis garām. Tāpat lieciet AI interpretēt nelielu iedomātu izvadi un paši pārbaudiet, vai tā interpretācija nav pārāk pārliecinoša. Uzrakstiet godīgu ziņojuma teikumu, neiesaistoties P-uzlaušanā.
kontrolsaraksts
- [ ] Es uzrakstīju savu analīzes plānu pirms datu apskates.
- [ ] Esmu neatkarīgi pārbaudījis AI ieteiktās metodes pieņēmumus.
- [ ] Es pārbaudīju katru AI sniegto statistiku, izmantojot savu analīzi.
- [ ] Kvalitatīvos kodus uzskatīju par sākotnējiem melnrakstiem un pats izlasīju datus.
- [ ] Es arī godīgi ziņoju par nenozīmīgiem rezultātiem.
- [ ] Es izvairījos no uzlaušanas un selektīvas ziņošanas.