Dizajn istraživanja i podrška za analizu podataka

Dobici:

• Sposobnost korištenja umjetne inteligencije kao misaonog partnera u izradi istraživačkih pitanja, hipoteza, odabira skale i planova analize
• Sposobnost revizije podrške za kvantitativnu analizu (interpretacija koda/izlaza) i kvalitativnu analizu (tematski nacrt kodiranja) sa statističkom i metodološkom tačnošću
• Sposobnost razvijanja zaštitnog refleksa u korištenju umjetne inteligencije protiv lova na p-vrijednosti, izmišljene statistike i neetičke obrade podataka

Psihologija je nauka koja sistematski proučava ljudsko ponašanje, a osnova ove nauke je istraživanje. Bilo da pišete tezu, mjerite efektivnost programa u instituciji ili pripremate članak; Dobro istraživanje zahtijeva solidan dizajn, tačnu analizu i iskreno tumačenje. Umjetna inteligencija (AI) može biti misaoni partner u svakoj fazi istraživanja: izoštravanje istraživačkog pitanja, evociranje mogućih skala, sastavljanje koda analize, objašnjavanje statističkih rezultata jednostavnim jezikom, crtanje početnih prijedloga tema u vašim kvalitativnim podacima. Ali AI također halucinira u statistici, sugerira metodološku grešku i što je najopasnije, može nesvjesno otvoriti vrata neetičkim praksama (kao što je lov na p-vrijednosti). U ovoj jedinici naučit ćete koristiti AI kao moćnog, ali nadgledanog pomoćnika u istraživanju.

Gdje AI pomaže u istraživanju?

Faza dizajna: Pojašnjavanje istraživačkog pitanja, izoštravanje hipoteze, razmatranje mogućih varijabli i zbunjujućih faktora (treći faktori koji utiču na rezultat, ali se ne ispituju), podsjećanje na odgovarajuće dizajne. AI je ovdje partner za razmišljanje; Vi odlučujete.

Kvantitativna analiza: Objašnjavanje kada je metoda analize (kao što je t-test, ANOVA, regresija) prikladna, izrada koda analize (npr. R ili Python), tumačenje statističkog rezultata. AI piše kod, ali vi ste odgovorni za tačnost rezultata proizvedenog kodom i prikladnost metode.

Kvalitativna analiza: Početni prijedlozi koda u transkriptima intervjua, mogući naslovi tema, nacrt šifrarnika. AI daje polaznu tačku; Istraživač dodaje dubinu interpretacije.

Oprez: AI nije statističar. Može sugerirati pogrešan test, izostaviti pretpostavke, proizvesti lažni koeficijent ili p-vrijednost. Provjeri svaku metodološku odluku i svaki broj nezavisno (svojim znanjem, statističkim izvorom ili stručnjakom).

Etičke crvene linije: p-hakovanje i obrada podataka

Jedna od najopasnijih zamki istraživačke etike je p-hakiranje: uzastopno mijenjanje analize, dodavanje/uklanjanje varijabli ili skraćivanje podataka dok se ne pojavi značajan rezultat. Pitajte AI "šta mogu učiniti da bi moj rezultat bio smislen?" Pitati " znači upasti u ovu zamku a da toga niste svjesni. Na ovu vrstu pitanja, AI može dati prijedloge kao što su "izdvojite ovu varijablu, pogledajte ovu podgrupu"; Ovi prijedlozi "funkcionišu" statistički, ali su naučno lažni.

Isto tako, AI može predložiti "kompletiranje" podataka koji ne postoje ili brisanje odstupanja bez opravdanja. Podaci se analiziraju takvi kakvi jesu; Promjene se mogu vršiti samo uz unaprijed definirana, transparentna i opravdana pravila.

Savjet: Zapišite svoj plan analize (koji test ćete raditi, s kojim varijablama, za koju hipotezu) prije nego što vidite podatke. Koristite AI da razjasnite taj plan, a ne da „uljepšate“ ishod. Unaprijed napisani plan je najjača zaštita od p-hakovanja.

Korak po korak: siguran tok istraživanja koji pokreće AI

1. Pojasnite pitanje i hipotezu. Neka AI istraži problem da ga izoštri, ali vi odlučujete.
2. Napišite svoj plan analize unaprijed. Koji test, koja pretpostavka, koja hipoteza. Neka AI nadgleda plan.
3. Nacrt koda, provjeri izlaz. Neka AI napiše kod; Pokrenite ga, nezavisno provjerite rezultat.
4. Provjerite pretpostavke. Testirajte sebe pretpostavke koje AI preskače, kao što su normalnost i homogenost varijanse.
5. Razmotrite kvalitativne kodove kao nacrte. Razmotrite teme AI inicijala; Sami pročitajte i provjerite podatke.
6. Javite se iskreno. Zapišite i besmisleni rezultat; Izbjegavajte p-hakovanje i selektivno izvještavanje.

tri mini kofera

Slučaj 1 — p-hacking zamka. Kada se istraživačeva glavna hipoteza ne pokaže značajnom (p=0,21), on pita AI „načine da rezultat učini smislenim“. AI predlaže različite analize podgrupa i izdvajanje varijabli; Kada istraživač ovo pokuša, dobija p = 0,04. Ali ovaj rezultat je lažan: ako pokušate sa 10 različitih analiza, jedna od njih će slučajno biti značajna. Pravi način: izvještavanje o unaprijed definiranoj analizi, iskreno pisanje besmislenog rezultata.

Slučaj 2 — Kod i izlazni komentar. Diplomirani student želi da testira razlike između dvije grupe u podacima od 120 učesnika, ali nije upoznat sa statističkim softverom. On ispisuje nacrt koda analize u AI, pokreće ga i daje AI da interpretira izlaz. Zatim provjerava pretpostavke t-testa iz statističkog izvora i samostalno provjerava rezultat. AI skraćuje krivulju učenja, ali konačna odluka je na učeniku.

Slučaj 3 — Kvalitativno kodiranje. Istraživač daje AI 18 anonimnih transkripata intervjua i traži početne prijedloge koda. AI dolazi sa oko 30 kodova i 5 prijedloga tema. Istraživač ih smatra početkom i sam čita sve transkripte; Dodaje temu koju je AI propustio, odvajajući dvije koje je pogrešno kombinirao. Također provjerava pouzdanost sa drugim enkoderom. AI se pojačao, ali interpretacija je došla od čovjeka.

Kopirani upiti i predlošci

Pomozite mi da izoštrim istraživačko pitanje. Moje nacrt pitanja: [pitanje]. Pitajte/predložite sljedeće: zavisne nezavisne varijable, moguće zbunjujuće, odgovarajući dizajn istraživanja. Odluka je moja; Samo objasnite opcije i rizike, nemojte forsirati ishod.

Pogledajte moj plan analize: [plan]. Procijenite: da li test koji sam izabrao odgovara hipotezi, koje pretpostavke trebam provjeriti, čini li se veličina uzorka dovoljna, postoje li metodološki rizici koje sam previdio? Dajte prijedloge za učvršćivanje plana, a ne za promjenu ishoda.

Protumačite sljedeće statističke rezultate jednostavnim jezikom: koji rezultat šta znači, koje pretpostavke treba provjeriti, gdje je rizik od prevelike interpretacije? Iskreno navedite sve nebitne rezultate. Izlaz: [izlaz]

Ispod su transkripti anonimnih intervjua. U prvoj fazi se generišu MOGUĆI kod i PRIJEDLOZI tema za tematsko kodiranje. Zapamtite da su ovo početni nacrti i ja ću čitati i provjeriti podatke; Nemojte to predstavljati kao konačan rezultat. Transkripti: [anonimni transkripti]

Slaba prompt / Jaka prompt

Slab upit: "Rezultat nije bio značajan u podacima, kako da učinim p-vrijednost značajnom?"

Ovaj prompt poziva AI da predloži p-hakovanje; Čak i ako rezultat "funkcioniše" statistički, to je naučna prevara.

Snažan upit: "Plan analize koji sam ranije definirao je [plan]. Rezultat nije bio značajan (p=0,21). Kako da to iskreno prijavim, koje bi mogle biti implikacije beznačajnog rezultata i šta bih preporučio za buduću studiju?"

Ovaj poziv usmjerava AI ka poštenoj nauci; On ne iskrivljuje rezultat, on uči iz njega.

Uobičajene greške

• Poziv na p-hakovanje. Pitati "Učinite rezultat smislenim"; Ovo je naučna prevara.
• Primjena metode bez potvrđivanja. Korištenje AI predloženog testa bez provjere njegovih pretpostavki.
• Prihvatanje izmišljene statistike. Ne potvrđujući koeficijent/p-vrijednost koju je dala AI svojom analizom.
• Pogrešiti kvalitativne kodove za konačnu analizu. Izvještavanje o temama AI bez čitanja podataka.
• Sakrivanje besmislenog rezultata. Selektivno izvještavanje prijavljivanjem samo onoga što ima smisla.

Ukratko

AI je moćan misaoni partner u istraživanju izoštravanja pitanja, revizije plana analize, izrade koda, interpretacije izlaza i početka kvalitativnog kodiranja. Ali on pravi greške u statistici i halucinacijama; Najopasnije je to što može nesvjesno otvoriti vrata neetičkim metodama poput p-hackinga. Napišite svoj plan analize unaprijed, provjerite svaku metodu i broj nezavisno, provjerite pretpostavke, tretirajte kvalitativne kodove kao nacrte i sami pročitajte podatke i iskreno prijavite besmislene rezultate. AI ubrzava; Naučni integritet dolazi od vas.

Zadatak aplikacije

Postavite mali istraživački scenario (npr. poređenje dvije grupe na skali). Prvo, napišite svoj plan analize u jednom pasusu. Zatim neka AI revidira ovaj plan i pitajte postoje li neke pretpostavke ili rizici koje ste propustili. Također, neka AI protumači mali zamišljeni rezultat i provjerite je li njegovo tumačenje pretjerano asertivno. Napišite iskrenu izvještavajuću rečenicu bez uključivanja u P-hakovanje.

kontrolna lista

• [ ] Napisao sam svoj plan analize prije nego što sam vidio podatke.
• [ ] Nezavisno sam provjerio pretpostavke metode koju je predložila AI.
• [ ] Provjerio sam svaku statistiku koju je AI dao svojom analizom.
• [ ] Smatrao sam kvalitativne kodove kao početne nacrte i sam pročitao podatke.
• [ ] Iskreno sam prijavio i beznačajne rezultate.
• [ ] Izbjegavao sam p-hakovanje i selektivno izvještavanje.