Unitate 4 / 11

Proiectarea anchetei și analiza cantitativă a datelor

Câștiguri:

  • Abilitatea de a detecta capcanele conducătoare, duble și ambigue în întrebările sondajului și de a conecta fiecare întrebare la un concept
  • Abilitatea de a efectua calcule statistice reale într-un program și de a utiliza inteligența artificială numai pentru selectarea și interpretarea metodelor
  • Abilitatea de a distinge semnificația statistică de semnificația practică și de a verifica ipotezele testului

Cercetarea cantitativă este o abordare care măsoară fenomenele sociale cu numere și le analizează cu statistici: caută răspunsuri la întrebări precum câți oameni, cu ce ritm, ce diferență există între ce grupuri. Cel mai comun instrument pentru această abordare este sondajul - o metodă de colectare a datelor comparabile de la un număr mare de persoane folosind întrebări standard. Crearea unui sondaj bun și analizarea corectă a datelor primite necesită abilități; O întrebare proastă strică rezultatul de la bun început. În această unitate, veți învăța cum să utilizați inteligența artificială pentru a concepe întrebări de sondaj, a construi scale (opțiuni de răspuns care evaluează o atitudine, de exemplu, „total de acord... total dezacord”) și pentru a analiza datele primite; dar veți învăța de ce ar trebui să păstrați judecata statistică.

Acolo unde AI este cel mai valoroasă în analiza cantitativă nu este în calculul în sine, ci în explicarea modului în care se face calculul și a ceea ce înseamnă rezultatul. AI poate descrie codul de analiză pentru dvs. (de exemplu, comenzi pentru a rula în R sau Python), vă poate explica în limbaj simplu când să utilizați un test statistic și vă poate ajuta să interpretați rezultatul. Dar niciodată nu aveți încredere în numerele pe care AI le generează „din capul tău” în text: un model de limbă nu este un calculator și poate produce o medie, un procent sau o valoare p greșită. Calculul propriu-zis se face într-un program de statistică real.

Pas cu pas: de la sondaj la recenzie

1. Leagă fiecare întrebare la un concept. Fiecare întrebare pe care o puneți în sondaj ar trebui să măsoare un concept din întrebarea dvs. de cercetare. Nu adăugați întrebări doar pentru că „ar fi interesant”. AI vă ajută să verificați maparea concept-întrebare într-un tabel.

2. Eliminați întrebările proaste. Întrebări de conducere („Sunteți mulțumit de acest serviciu grozav?”), întrebări duble („Serviciul a fost rapid și ieftin?”), întrebări vagi („Ți-a plăcut des?”) denaturează datele. Inteligența artificială este bună la semnalarea acestor capcane în sondajul dvs. preliminar.

3. Stabiliți scala în mod consecvent. Dacă utilizați o scală Likert (o scară de acord cu 5 sau 7 puncte), mențineți direcția și evaluările consecvente pe parcursul sondajului. AI prinde inconsecvențe.

4. Ștergeți datele. Datele primite pot conține răspunsuri lipsă, inconsecvențe sau două înregistrări ale aceleiași persoane. AI poate enumera pașii de curățare și codul de schiță; Tu decizi.

5. Alegeți testul corect și INTERPRETAȚI-l. Comparați două grupuri, căutați o relație? AI explică ce test este adecvat; Este datoria ta să rulezi testul în program și să citești și să dai sens rezultatului.

Atenție: Nu spuneți AI „calculați media acestor date” și scrieți numărul rezultat direct în raport. Modelul limbajului face erori în aritmetică. Faceți calculul într-o foaie de calcul sau program de statistică; Folosiți AI numai pentru metoda și interpretarea sa.

trei mini cutii

Cazul 1 — Întrebarea principală a fost corectată. Un proiect de sondaj a întrebat „Cât de mulțumit sunteți de serviciul de transport al municipalității noastre de succes?” Avea o întrebare. AI a marcat că adjectivul „reușit” a împins răspunsul la pozitiv. Întrebarea este „Cum evaluați serviciul de transport al municipalității?” a fost neutralizat și rezultatele au fost mai echilibrate.

Cazul 2 — Calcul greșit al AI prins. Un cercetător a lipit 300 de rânduri de date ca text în IA și a spus „găsește vârsta medie”; YZ a spus 34.2. Când aceleași date au fost introduse într-un tabel, media reală a fost 31,7. AI a calculat greșit în text; S-a remediat când contul a fost mutat în program.

Cazul 3 – Selecția testului a fost clarificată. O echipă a vrut să compare scorul mediu al două grupuri, dar nu știa ce test să folosească. YZ a explicat că testul t (un test care testează dacă diferența dintre mediile a două grupuri este aleatorie) a fost adecvat pentru „două grupuri independente, o variabilă continuă”, a enumerat ipotezele sale și a furnizat o schiță a codului. Echipa a rulat testul în program și a interpretat rezultatul.

Patru șabloane copiabile

1) Auditul întrebărilor din sondaj:

Consultați întrebările sondajului de mai jos. Verificați pentru fiecare întrebare: este conducătoare, este o întrebare dublă (două lucruri într-o singură întrebare), este ambiguă, opțiunile de răspuns se suprapun/lipsesc? Dați problema și o versiune mai bună una lângă alta. Verificați dacă direcția scării este consecventă. Întrebări: [aici]

2) Tabel de mapare concept-întrebare:

Întrebarea mea de cercetare: [întrebare]. Conceptele mele cheie: [lista]. Aranjați următoarele întrebări ale sondajului într-un tabel: ce concept măsoară fiecare întrebare? Marcați întrebările care nu se conectează la niciun concept ("extra") și conceptele care nu au întrebări ("inactiv"). Sondaj: [aici]

3) Plan de curățare a datelor (schiță de cod):

Am un set de date de sondaj cu următoarele variabile: [variabile]. Dați-mi o listă de verificare pentru curățarea datelor și o schiță de cod CU RINDURI DE COMENTARII pentru [R/Python]: date lipsă, valori aberante, înregistrări duplicate, codare inconsecventă. Voi rula codul și voi verifica rezultatul; Nu face matematica.

4) Comentariu statistic (eu am făcut calculul):

Am rulat un [nume test] și am obținut următoarea ieșire: [ieșire]. Interpretați acest rezultat într-un limbaj simplu: ce înseamnă în practică, faceți distincția între semnificația statistică și semnificația practică și amintiți-vă ce ipoteze trebuie verificate. Nu exagerați rezultatul; Spune-mi și mie limitele tale.

Prompt slab / Prompt puternic

Prompt slab:

Calculați mediile grupurilor din aceste date și spuneți care dintre ele este mai mare. [500 de linii de date]

AI încearcă să calculeze în text și poate produce numere greșite. În plus, nu este de încredere să răspunzi la întrebarea „Există o diferență semnificativă” fără testare statistică.

Solicitare puternică:

Vreau să compar scorurile a două grupuri: o variabilă continuă, două grupuri independente. (1) Ce test statistic este adecvat și de ce? (2) Care sunt ipotezele sale? (3) Schiță de cod de comentariu pentru [R/Python]. Voi face calculul în program; Dați doar metoda și codul, nu generați numere.

Diferența: AI nu mai este folosit ca un calculator nesigur, ci ca un consilier de metodă de încredere.

Diviziunea muncii în sarcini cantitative

Căutare

Este AI sigur?

Cum se utilizează

Auditul de proiectare a întrebărilor

Da

Marcarea capcanelor

Consistență la scară

Da

lista de verificare

Cod de ștergere a datelor

Da (schiță)

Tu rulezi codul

Cont în text

nu

Niciodată să nu ai încredere

Selecția testului

Da

Explicați metoda

Comentariu de încheiere

Da (suport)

Depinde de tine să judeci

Greșeli comune

  • Utilizând direct numărul generat de AI. Modelul de limbaj este greșit în aritmetică; Faceți calculul în program.
  • Punerea unei întrebări conducătoare. Adjectivele și presupunerile denaturează răspunsul.
  • Confundând semnificația statistică cu semnificația practică. „Semnificativ” poate fi chiar o mică diferență; Uită-te la dimensiune.
  • Sărind peste ipoteze. Fiecare test are premise; Nu comentați fără a verifica.
  • Pune întrebări suplimentare. Fiecare întrebare din sondaj ar trebui să fie legată de un concept; restul umflă datele.

În concluzie

IA în cercetarea cantitativă; El este un consultant puternic în prinderea capcanelor întrebărilor din sondaj, maparea concept-întrebări, redactarea codului de curățare și analiză a datelor și interpretarea rezultatului într-un limbaj simplu. Dar niciodată nu lăsați AI să facă calculul propriu-zis; Modelul lingvistic nu este un calculator. Alegeți testul, dar îl rulați în program, citiți rezultatul și faceți distincția între semnificația statistică și semnificația practică. AI accelerează metoda; Responsabilitatea pentru problemă și comentariu vă aparține.

Sarcina de aplicare

Scrieți o schiță de sondaj cu 10 întrebări. Aveți semnalizarea AI și corectați întrebările inițiale, duplicate și ambigue cu șablonul „Audit întrebări de sondaj”. Apoi creați un set mic de date eșantion (20-30 de rânduri) și calculați media reală și procentele într-un program de foaie de calcul; Dați aceleași date AI ca text, comparați-le cu numerele rezultate și raportați diferența. În cele din urmă, au o ieșire de test interpretată cu șablonul „interpretare statistică”.

lista de verificare

  • [ ] Am legat fiecare întrebare din sondaj de un concept.
  • [ ] Am eliminat întrebările conducătoare, duble și ambigue.
  • [ ] Am făcut calculul propriu-zis în programul de statistică, nu AI.
  • [ ] Am verificat ipotezele testului.
  • [ ] Am deosebit semnificația statistică de semnificația practică.