Jedinica 4 / 11

Dizajn ankete i kvantitativna analiza podataka

Dobici:

  • Sposobnost otkrivanja vodećih, dvostrukih i dvosmislenih zamki u anketnim pitanjima i povezivanja svakog pitanja s konceptom
  • Sposobnost izvođenja stvarnih statističkih izračuna u programu i korištenje umjetne inteligencije samo za odabir metode i interpretaciju
  • Sposobnost razlikovanja statističke značajnosti od praktične važnosti i provjere pretpostavki testa

Kvantitativno istraživanje je pristup koji društvene pojave mjeri brojevima i analizira statistikom: ono traži odgovore na pitanja kao što su koliko ljudi, po kojoj stopi, kolika je razlika između kojih skupina. Najčešći alat za ovaj pristup je anketa—metoda prikupljanja usporedivih podataka od velikog broja ljudi pomoću standardnih pitanja. Postavljanje dobre ankete i ispravna analiza pristiglih podataka zahtijeva vještinu; Loše pitanje kvari rezultat od samog početka. U ovoj jedinici naučit ćete kako koristiti umjetnu inteligenciju za osmišljavanje anketnih pitanja, konstruirati ljestvice (opcije odgovora koje ocjenjuju stav, npr. "uopće se slažem... uopće se ne slažem") i analizirati dolazne podatke; ali ćete naučiti zašto biste trebali zadržati statističku prosudbu.

Ono gdje je AI najvrjednija u kvantitativnoj analizi nije u samom izračunu, već u objašnjavanju kako napraviti izračun i što rezultat znači. Umjetna inteligencija može umjesto vas ocrtati kod analize (npr. naredbe za pokretanje u R-u ili Pythonu), objasniti jednostavnim jezikom kada treba koristiti statistički test i pomoći vam da protumačite izlaz. Ali nikada ne vjerujte brojevima koje umjetna inteligencija generira "na pamet" u tekstu: jezični model nije kalkulator i može proizvesti krivu srednju vrijednost, postotak ili p-vrijednost. Stvarni izračun se radi u stvarnom statističkom programu.

Korak po korak: od ankete do pregleda

1. Povežite svako pitanje s pojmom. Svako pitanje koje postavite u anketu trebalo bi mjeriti koncept u vašem istraživačkom pitanju. Nemojte dodavati pitanja samo zato što bi "bilo zanimljivo". AI vam pomaže provjeriti preslikavanje koncepta i pitanja u tablici.

2. Izbacite loša pitanja. Vodeća ("Jeste li zadovoljni ovom izvrsnom uslugom?"), dvostruka pitanja ("Je li usluga bila brza i jeftina?"), nejasna ("Je li vam se često sviđala?") pitanja iskrivljuju podatke. AI je dobra u označavanju ovih zamki u vašem nacrtu ankete.

3. Uspostavite ljestvicu dosljedno. Ako koristite Likertovu ljestvicu (skala slaganja od 5 ili 7 točaka), neka smjer i ocjene budu dosljedni tijekom cijele ankete. AI hvata nedosljednosti.

4. Brisanje podataka. Ulazni podaci mogu sadržavati odgovore koji nedostaju, nedosljednosti ili dva zapisa iste osobe. AI može navesti korake čišćenja i nacrt koda; Vi odlučujete.

5. Odaberite ispravan test i TUMAČITE ga. Uspoređujete li dvije skupine, tražite odnos? AI objašnjava koji je test prikladan; Vaš je posao pokrenuti test u programu te pročitati i shvatiti izlaz.

Pažnja: nemojte reći umjetnoj inteligenciji "izračunaj prosjek ovih podataka" i zapišite dobiveni broj izravno u izvješće. Jezični model čini greške u aritmetici. Neka se izračun izvrši u proračunskoj tablici ili statističkom programu; Koristite AI samo za njegovu metodu i interpretaciju.

tri mini kućišta

Slučaj 1 — Sugestivno pitanje ispravljeno. U nacrtu ankete postavljeno je pitanje "Koliko ste zadovoljni uslugom prijevoza u našoj uspješnoj općini?" Imao je pitanje. AI je primijetio da je pridjev "uspješan" gurnuo odgovor na pozitivan. Pitanje je "Kako ocjenjujete gradsku prijevoznu uslugu?" bila neutralizirana i rezultati su bili ujednačeniji.

Slučaj 2 — AI je pogrešno izračunao. Istraživač je zalijepio 300 redaka podataka kao tekst u AI i rekao "pronađi prosječnu dob"; YZ je rekao 34.2. Kada se isti podaci stave u tablicu, stvarni prosjek je bio 31,7. AI je pogrešno izračunao tekst; To je popravljeno kada je račun premješten u program.

Slučaj 3 — Razjašnjen odabir testa. Tim je želio usporediti prosječni rezultat dviju grupa, ali nisu znali koji test koristiti. YZ je objasnio da je t-test (test koji ispituje je li razlika između srednjih vrijednosti dviju grupa nasumična) prikladan za "dvije neovisne grupe, kontinuiranu varijablu", naveo je svoje pretpostavke i dao nacrt koda. Tim je proveo test u programu i protumačio rezultat.

Četiri predloška za kopiranje

1) Revizija anketnog pitanja:

Pregledajte anketna pitanja u nastavku. Provjerite za svako pitanje: je li sugestivno, je li dvostruko pitanje (dvije stvari u jednom pitanju), je li dvosmisleno, preklapaju li se/nedostaju li opcije odgovora? Dajte problem i bolju verziju jedan pored drugog. Provjerite je li smjer ljestvice dosljedan. Pitanja: [ovdje]

2) Tablica mapiranja koncepta i pitanja:

Moje istraživačko pitanje: [pitanje]. Moji ključni pojmovi: [popis]. Rasporedite sljedeća anketna pitanja u tablicu: koji koncept mjeri svako pitanje? Označite pitanja koja se ne povezuju ni s jednim pojmom ("extra") i pojmove koji nemaju pitanja ("idle"). Anketa: [ovdje]

3) Plan čišćenja podataka (nacrt koda):

Imam skup podataka ankete sa sljedećim varijablama: [varijable]. Daj mi popis za provjeru čišćenja podataka i nacrt koda S REDOVIMA KOMENTARA za [R/Python]: nedostajući podaci, outlieri, dvostruki zapisi, nedosljedno kodiranje. Pokrenut ću kod i provjeriti izlaz; Ne računaj.

4) Statistički komentar (ja sam napravio izračun):

Pokrenuo sam [test name] i dobio sljedeći izlaz: [output]. Protumačite ovaj rezultat jednostavnim jezikom: što to znači u praksi, napravite razliku između statističke značajnosti i praktične važnosti i podsjetite vas koje pretpostavke treba provjeriti. Ne preuveličavajte rezultat; Reci mi i svoje granice.

Slab upit / Jak upit

Slab upit:

Izračunajte srednje vrijednosti skupina u ovim podacima i recite koja je veća. [500 redaka podataka]

AI pokušava izračunati unutar teksta i može proizvesti pogrešne brojeve. Štoviše, nepouzdano je odgovoriti na pitanje "Postoji li značajna razlika" bez statističkog testiranja.

Snažan upit:

Želim usporediti rezultate dviju skupina: kontinuirana varijabla, dvije neovisne skupine. (1) Koji je statistički test prikladan i zašto? (2) Koje su njegove pretpostavke? (3) Nacrt koda komentara za [R/Python]. Izračun ću napraviti u programu; Vi samo dajete metodu i kod, nemojte generirati brojeve.

Razlika: AI se više ne koristi kao nepouzdan kalkulator, već kao pouzdan savjetnik za metode.

Podjela rada u kvantitativnim zadacima

Potraga

Je li umjetna inteligencija sigurna?

Kako koristiti

Revizija dizajna pitanja

da

Označavanje zamki

Dosljednost ljestvice

da

popis za provjeru

Kod za brisanje podataka

Da (skica)

Pokrenite kod

Račun u tekstu

br

Nikad ne vjeruj

Izbor testa

da

Objasnite metodu

Zaključni komentar

Da (podrška)

Na vama je da procijenite

Uobičajene greške

  • Izravno koristeći broj koji je generirao AI. Jezični model je pogrešan u aritmetici; Unesi izračun u program.
  • Postavljanje sugestivnog pitanja. Pridjevi i pretpostavke iskrivljuju odgovor.
  • Brkanje statističke značajnosti s praktičnom značajnošću. "Značajna" može biti čak i mala razlika; Pogledajte veličinu.
  • Preskačući pretpostavke. Svaki test ima preduvjete; Ne komentirajte bez provjere.
  • Postavljanje dodatnih pitanja. Svako anketno pitanje treba biti povezano s konceptom; ostalo napuhava podatke.

Ukratko

AI u kvantitativnom istraživanju; On je snažan savjetnik u hvatanju zamki anketnih pitanja, mapiranju koncepta pitanja, izradi koda za čišćenje i analizu podataka te tumačenju rezultata jednostavnim jezikom. Ali nikada ne dopustite umjetnoj inteligenciji da napravi stvarni izračun; Jezični model nije kalkulator. Vi birate test, ali ga pokrećete u programu, čitate izlaz i razlikujete statističku značajnost od praktične važnosti. AI ubrzava metodu; Odgovornost za problem i komentar je vaša.

Zadatak aplikacije

Napišite nacrt ankete s 10 pitanja. Imajte AI oznaku i ispravite sugestivna, dvosmislena i dvosmislena pitanja s predloškom "Revizija anketnih pitanja". Zatim izradite mali uzorak podataka (20-30 redaka) i izračunajte stvarnu srednju vrijednost i postotke u programu za proračunske tablice; Dajte iste podatke umjetnoj inteligenciji kao tekst, usporedite ih s dobivenim brojevima i prijavite razliku. Na kraju, imajte izlaz testa interpretiran s predloškom "tumačenje statistike".

popis za provjeru

  • [ ] Svako anketno pitanje povezao sam s konceptom.
  • [ ] Eliminirao sam sugestivna, dvostruka i dvosmislena pitanja.
  • [ ] Napravio sam stvarni izračun u statističkom programu, ne AI.
  • [ ] Provjerio sam testne pretpostavke.
  • [ ] Razlikovao sam statističku značajnost od praktične važnosti.