Nyereség:
- Képes a kutatást koherens, hat szakaszból álló munkafolyamatként megtervezni a tervezéstől a dokumentációig
- Képes meghatározni a mesterséges intelligencia biztonságos felhasználási határát minden szakaszban, és ellenőrizni a korábbi kimenetet a szakaszváltásoknál
- Képes csapatszinten felelős használati protokoll kialakítására és öt alapelv szerinti önértékelésre
Az előző tíz egységben a MI-vel foglalkoztunk a társadalomkutatás minden szakaszában: kérdések és irodalom, mintavétel, felmérés és kvantitatív elemzés, kvalitatív kódolás és téma, vegyes módszerek, vizualizáció, etika, reprodukálhatóság és írás. Ebben az utolsó egységben mindezt egyesítjük. A cél az, hogy az egyéni készségeket egy végponttól végpontig terjedő munkafolyamattá kapcsolja össze – egy következetes, biztonságos és őszinte folyamat a kutatási kérdéstől a közzétett megállapításig. Túllépünk az egyénen, és beszélünk az irányításról: azokról a közös szabályokról, amelyek arra vonatkoznak, hogy egy csapat, egy osztály vagy egy intézmény miként használhatja felelősen az AI-t a társadalomkutatásban.
A teljes körű gondolkodás értéke abban rejlik, hogy az egyes szakaszokban hozott döntések hatással vannak a következőre. Az elfogult mintát még tökéletes elemzéssel sem lehet megmenteni; Egy ellenőrizetlen forrás a legjobb írást is megcáfolja. Ezért szükséges, hogy az AI-t minden szakaszban ugyanazokkal az elvekkel használjuk: tápláljuk erős erőforrásokkal, ellenőrizzünk minden kimenetet, védjük az emberi ítélőképességet, ügyeljünk előre az etikára és a magánélet védelmére, átláthatóan dokumentáljuk a folyamatot. Ezek az elvek egy mondatban összefoglalhatók: az AI felgyorsítja a kutatást, de nem helyettesíti a kutatót.
Lépésről lépésre: végponttól-végig áramlás
1. Tervezés (kérdés + etika + minta). Tegyen fel világos kérdéseket, dolgozza át az etikai jóváhagyást és a titoktartási tervezést, és értékelje a minta reprezentativitását. Ebben a szakaszban az AI segít megkérdőjelezni a szűkítést és az etikai kockázatszűrést.
2. Adatgyűjtés (felmérés + interjú). Készítsen megbízható felmérést és interjút. A mesterséges intelligencia elkapja a kérdéscsapdákat; Az adatgyűjtés és a résztvevői kapcsolat az Ön feladata.
3. Feldolgozás (tisztítás + kódolás + anonimizálás). Adatok anonimizálása, tisztítása, kódolása. A mesterséges intelligencia tervrajzokat készít; Minden döntést és kódkönyvet jóváhagysz.
4. Elemzés (kvantitatív + minőségi + háromszögelés). Futtassa a statisztikát a programon keresztül, kapcsolja össze a témákat idézetekkel, ellenőrizze az eredményeket. Az AI a módszert magyarázza, nem a számítást.
5. Prezentáció (vizualizáció + írás). Készítsen őszinte grafikát és eredeti szöveget. Minden forrás és szám ellenőrizve van; Az AI szerepe deklarálva van.
6. Dokumentáció (napló + prompt felvétel + megosztás). Dokumentálja a döntéseket, felszólításokat és konverziókat, és lehetőség szerint ossza meg a névtelen adatokat és kódot.
Tipp: Tartsa a végpontok közötti ellenőrzőlistát az asztalánál. Minden egyes lépésnél kérdezze meg: "Érvényesítettem ennek a lépésnek a kimenetét, biztonságos-e a minta/etikai/forrás, nem hagytam nyomot?" Az egyik szakasz lazasága gyengíti az egész láncot.
három mini tok
1. eset – A lánc leggyengébb láncszeme. Egy csapat kiváló kvalitatív elemzést végzett, de mintájuk egyetlen online csoportból származott. Bármilyen jól kódoltak is, a lelet ebben a csoportban ragadt meg. Tanulság: a végponttól végpontig minőség csak annyira jó, mint a leggyengébb szakasz; a tervezési torzítást az elemzés során nem lehet korrigálni.
2. eset – A csoportirányítás működött. Egy kutatóközpont közös mesterségesintelligencia-használati protokollt írt az egész csapat számára: melyik eszköz, mely adatok anonimizáltak, melyik ellenőrzési lépéssel. Egy újonnan érkezett asszisztens az első naptól kezdve biztonságosan dolgozott a protokoll betartásával; A személyes hibák csökkentek.
3. eset – Az átlátszó lánc megnyerte a játékvezetői bizalmat. Az egyik cikk csatolta a döntési naplót, a prompt naplókat és az AI-nyilatkozatot. A bírálók végignézhették a folyamatot az elejétől a végéig, és egyetértettek abban, hogy „termelhető és őszinte” volt. Az átlátszóság volt az a ragasztó, amely az egyes lépéseket összekötötte.
Négy másolható sablon
1) Végpontok közötti ellenőrzőlista generálás:
Kutatásom a következő szakaszokon megy keresztül: tervezés, adatgyűjtés, feldolgozás, elemzés, bemutatás, dokumentálás. Készítsen ellenőrzőlistát minden szakaszhoz: hol használhatom biztonságosan az AI-t abban a szakaszban, milyen kimenetet kell ellenőriznem, milyen etikai/adatvédelmi kockázatot vegyek figyelembe, mit dokumentáljak? Adja meg egy táblázatban.
2) Csapat AI protokolltervezet:
Készítsen MI használati protokollt egy társadalomkutató csoport számára. Tartalmazza: jóváhagyott eszközök, adat anonimizálási szabály, amelyben a szerep azAI engedélyezett/korlátozott/tiltott, kötelező ellenőrzési lépések, mesterséges intelligencia deklarációs szabály, elszámoltathatóság. Írjon egyszerű, használható elemeket.
3) Fázisátmenet vezérlés:
Befejeztem az [X fázist], és továbbmegyek az [Y fázisra]. Sorolja fel azokat a dolgokat, amelyeket ellenőriznem kell az átállás előtt: ellenőriztem-e az előző szakasz kimenetét, hordozok-e olyan hibát (rossz minta, ellenőrizetlen forrás, nyomon nem követett döntés), amely megszakítja a következő szakaszt? Készen állok az átállásra, és ha nem, mit tegyek?
4) Felelősségteljes használat önértékelése:
Vizsgálja meg azt a kutatást, amelyet a mesterséges intelligencia felelős használatára vonatkozóan végeztem. Pontozzon és mutasson rá a gyenge pontokra ezzel az öt elvvel szemben: (1) erős forrástáplálás, (2) minden eredmény érvényesítése, (3) az emberi ítélőképesség megőrzése, (4) etika és titoktartás, (5) átlátható dokumentáció. Folyamat: [összefoglaló]
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Végezze el ezt a kutatást az elejétől a végéig az MI segítségével, és fejezze be.
Ez megkísérli az összes felelősséget a modellre hárítani. Eredmény: elfogult minta, kitalált forrás, ellenőrizetlen statisztikák és védhetetlen szöveg. Egyetlen végponttól végéig szakasz sem biztonságos.
Erőteljes felszólítás:
A kutatásomat a végétől a végéig szeretném megtervezni. Minden szakaszban (tervezés, adatok, feldolgozás, elemzés, prezentáció, dokumentáció) útitervként szolgál arra vonatkozóan, hogy hol tudom biztonságosan használni az AI-t, hol van szükség emberi megítélésre és ellenőrzésre, és milyen etikai és adatvédelmi kockázatokat kell figyelembe vennem. Ne feledje, hogy én vagyok a felelős.
A különbség: a második megközelítés az MI-t társként pozicionálja; Kezdettől fogva elfogadja, hogy a döntések és az ellenőrzés az embereké.
Végponttól végpontig felelős használati irányelvek
elv
Alkalmazás
Melyik egységben
Takarmány erős forrásból
Adja meg saját adatait/forrását
1, 2
Kérdezze le a mintát
Képviselet és elfogultság auditálása
3
Helyezze be a számítást a programba
A mesterséges intelligencia előállítása számokat
4
megtartani a hűséget
Link idézet sorszámmal
5
Tartsa nyitva az ellentmondást
Háromszögelés, őszinte előadás
6, 7
Első az etika és a magánélet
Anonimizálás, ellenőrzött eszköz
8
Dokumentálja a folyamatot
Napló, azonnali felvétel
9
Az eredetiség megőrzése
Ellenőrizze a forrást, a saját hangját
10
Gyakori hibák
- A szakaszokat külön-külön figyelembe véve, és elfelejtve a láncot. Az elfogultság egy szakaszban elrontja az egész tanulmányt.
- A felelősség átruházása az AI-ra. A döntés, az ellenőrzés és az etika mindig az emberé.
- Nincsenek közös szabályok a csapatban. Az egyéni használat következetlenséget és kockázatot okoz.
- A dokumentációt a végére hagyva. A nyom az egész folyamat során megmarad; később nem lehet emlékezni.
- Ha egyszer tanulsz és lazítasz. A felelősségteljes használat egy olyan tudományág, amelyet minden projektben újra alkalmaznak.
Összefoglalva
Az AI valódi értéke a társadalomkutatásban nem az egyéni feladatokban jelentkezik, hanem egy következetes és elszámoltatható munkafolyamatban a végétől a végéig. Alkalmazza ugyanazokat az elveket minden szakaszban, a tervezéstől a dokumentálásig: hatékonyan kell forrást szerezni, ellenőrizni minden kimenetet, megőrizni az emberi megítélést, előtérbe helyezni az etikát és a titoktartást, átláthatóan dokumentálni a folyamatot. A csapatszintű közös protokoll állandósítja ezeket az elveket. A lánc csak annyira erős, mint a leggyengébb láncszeme; Ne lazítson egyik szakaszban sem. A mesterséges intelligencia felgyorsítja a kutatást, de soha nem helyettesíti a kutató ítélőképességét, felelősségét és feddhetetlenségét.
Pályázati feladat
Hozzon létre egy hat lépésből álló ütemtervet saját kutatási projektjéhez (valós vagy tervezett) egy „végponttól végpontig terjedő ellenőrzőlista-generálás” sablonnal. Minden szakaszban írja le, hogy hol fogja használni az AI-t, mit fog ellenőrizni, és milyen etikai/adatvédelmi kockázatokat vesz figyelembe. Ezután használja a „felelősségteljes önértékelés” sablont, hogy pontozza magát az öt alapelv alapján, azonosítsa a két leggyengébb pontját, és hogyan erősítheti meg azokat.
ellenőrző lista
- [ ] A kutatást a végétől a végéig hat szakaszból álló folyamatként terveztem.
- [ ] Minden szakaszban meghatároztam az AI biztonságos használatának határát.
- [ ] Minden szakaszátmenetnél ellenőriztem az előző kimenetet.
- [ ] Mindvégig betartotta az etikát, a titoktartást és a dokumentációt.
- [ ] Öt alapelv alapján értékeltem a felelősségteljes használatot.
Modul vizsga
1. Az alábbiak közül melyik a legpontosabb pozicionálás a mesterséges intelligencia számára a szociológiában és társadalomkutatásban?
- A) A mesterséges intelligencia emberi jóváhagyás nélkül képes önállóan megválaszolni a kutatási kérdést, az értelmezést és az etikai döntést.
- B) A mesterséges intelligencia csak összefoglaló szövegben működik, más kutatási szakaszokhoz semmi köze
- C) A mesterséges intelligencia egy összefoglaló, átirat, kód és vázlat asszisztens; Az értelmezés, a keret és az etikai döntések felelőssége a kutatóé ✔
- D) Mivel a mesterséges intelligencia mindig pártatlanabb, mint az ember, az értelmezést teljes mértékben rá kell bízni.
Leírás: Mesterséges intelligencia; egy asszisztens, aki szövegeket összegez, átiratokat szerkeszt, kódot javasol és piszkozatokat ír. A kritikus munkákért, például a kutatási kérdésért, az elméleti keretért, a minta megítéléséért, az értelmezésért és az etikai döntésért a kutatót terheli a felelősség; Az ellenőrizetlen kimenet hamis hivatkozáshoz, kitalált statisztikákhoz vagy téves hozzárendeléshez vezethet.
2. Miért kockázatos közvetlenül azt mondani a mesterséges intelligenciának, hogy „sorolja fel a 10 legfontosabb cikket erről a témáról bibliográfiával együtt”, amikor a szakirodalom átvizsgálja?
- A) A mesterséges intelligencia létrehozhat olyan forrásokat, szerzőket és DOI-kat, amelyek reálisnak tűnnek, de nem léteznek; A forrást az adatbázisból kell megtalálnia ✔
- B) A mesterséges intelligencia nagyon lassan működik, és időt veszít az erőforrások felsorolásával
- C) A mesterséges intelligencia hiányolja a török irodalmat, mert csak angol nyelvű forrásokat találhat
- D) A lista bővül, ahogy a mesterséges intelligencia többször megismétli ugyanazt a forrást
Leírás: Az irodalom áttekintése az a feladat, ahol a mesterséges intelligencia a legtöbb hallucinációt okozza; Képes olyan cikkeket, szerzőket és DOI-kat alkotni, amelyek valósághűnek tűnnek, de nem léteznek. A forráskeresés az adatbázisok feladata; A mesterséges intelligencia csak az Ön által talált tényleges összefoglalókat szintetizálja.
3. Melyik probléma szempontjából kell a legkörültekintőbben értelmezni a 78%-os elégedettségi eredményt egy önkormányzat honlapján?
- A) A százalékos számítás hibás; Az elégedettségi ráta soha nem fejezhető ki egyetlen számmal
- B) Mivel a kérdőív túl hosszú volt, a résztvevők megunták és véletlenszerűen válaszoltak
- C) Szociológiailag lehetetlen mérni az elégedettséget, ezért az eredmény érvénytelen
- D) A minta szelekciós torzítást hordoz; Mivel csak az oldal felhasználói vehetnek részt, a megállapítás nem általánosítható az egész társadalomra ✔
Magyarázat: A honlapon közzétett felmérés felülreprezentálja azokat, akik már használják az oldalt (akik hozzáférnek a szolgáltatáshoz és valószínűleg elégedettebbek); Ez egy kiválasztási torzítás. A megállapítás csak a „webhely felhasználóira” általánosítható, nem pedig az egész társadalomra.
4. Miért nem biztonságos egy 300 soros adatkészletet szövegként beilleszteni, és azt mondani az AI-nak, hogy „számolja ki az átlagot”?
- A) Mivel a mesterséges intelligencia legfeljebb 100 adatsort tud olvasni, többet dob el
- B) A nyelvi modell nem számológép; Ha a szövegben végzett aritmetika hibás számokat eredményezhet, a számítást a ✔ programban kell elvégezni
- C) Az átlag szociológiailag értelmetlen mérőszám, és egyáltalán nem szabad számolni.
- D) Ha az adatokat szövegként illeszti be, az AI automatikusan törli azokat
Magyarázat: A nyelvi modell nem számológép, és előfordulhat, hogy hibásan állítja elő az átlagot, a százalékot vagy a p-értéket, amikor szövegben számtani. A tényleges számítást statisztikai programban vagy táblázatban kell elvégezni; A mesterséges intelligencia csak módszerre és értelmezésre használható.
5. Mit kell tenni a mesterséges intelligencia által a kvalitatív témaelemzésben javasolt árajánlat elfogadása előtt?
- A) Ha az idézet gördülékenynek és lenyűgözőnek tűnik, akkor közvetlenül hozzáadhatja a jelentéshez
- B) Ha az idézet hossza nem haladja meg az egy bekezdést, nincs szükség ellenőrzésre
- C) A sorszámmal igazolni kell, hogy az idézet valóban szerepel-e az átiratban ✔
- D) Az idézet automatikusan megbízható, mert a mesterséges intelligencia hivatkozik a forrásra
Magyarázat: A kvalitatív kutatás lényege a résztvevő saját szavaihoz való hűség. Az AI képes olyan idézetet készíteni, amely folyékony, de egyáltalán nem szerepel az átiratban. Ezért minden idézetet csatolni kell és ellenőrizni kell a szövegben szereplő tényleges állításhoz, lehetőleg a sorszámhoz.
6. Ha egy tanulmányban 72%-uk azt mondja, hogy „újrahasznosítok” egy felmérésben, de az interjúk során a legtöbben azt mondják, hogy ezt szabálytalanul teszik, hogyan kell kezelni ezt az ellentmondást?
- A) Az ellentmondást nem szabad elrejteni; leletként kell bemutatni lehetséges magyarázatokkal, például a társadalmi kívánatossági torzítással ✔
- B) Az interjú adatait el kell dobni, mivel pontatlanok, és csak a felmérés eredményét kell jelenteni
- C) A felmérés adatait el kell vetni, mert hibásak, csak az interjút kell közölni
- D) Mindkét adatot el kell távolítani a jelentésből, mert az ellentmondás kínos
Magyarázat: A mennyiségi és a minőségi eredmények közötti eltérés nem hiba, hanem gyakran a legértékesebb megállapítás. Az ellentmondás itt olyan jelenségre mutat rá, mint a „társadalmi kívánatossági torzítás”, és úgy kell bemutatni, mint egy megállapítást anélkül, hogy elrejteni kellene.
7. Mi a teendő, ha a két csoport közötti különbség (51% vs 54%) „óriási résnek” tűnik a grafikonon, ahol az y tengely 50-től kezdődik?
- A) A diagramot úgy kell hagyni, ahogy van, mert a különbség már így is nagynak tűnik
- B) A különbséget teljesen el kell rejteni, ha két csoport helyett egyetlen átlagot mutatunk
- C) A különbséget még lenyűgözőbbé kell tenni egy háromdimenziós effektus hozzáadásával a grafikonhoz.
- D) Az Y tengelyt nulláról kell inicializálni; csonka tengely félrevezeti az olvasót azáltal, hogy eltúlozza az apró eltéréseket ✔
Magyarázat: A csonka tengely (nem nulláról indulva) félrevezet egy kis különbséget azáltal, hogy hatalmasnak tűnik. Egy őszinte oszlopdiagramban a tengelynek nulláról kell kezdődnie; így a különbség a valódi, kis méretében látható. A látvány célja nem a meggyőzés, hanem a helyes kommunikáció.
8. Miért nem elegendő az anonimizálás, ha egyszerűen töröljük a neveket az átiratokból?
- A) Egy név törlése mindig elegendő; semmilyen más információ nem fedi fel a személyazonosságot
- B) A közvetett azonosítók (egyedi szerep, hely, ritka jellemzők) név nélkül is kiadhatnak egy személyt ✔
- C) Az anonimizálás csak telefonszám esetén szükséges
- D) A nevek törlése értelmetlen, mert olvashatatlanná teszi a szöveget
Magyarázat: A név törlése nem elég; Az olyan közvetett leírók, mint az „az egyetlen gyógyszerész az X környéken” vagy „az egyetlen női felügyelő a településen”, maguktól is kiadhatják a személyt. A megfelelő anonimizáláshoz minden közvetlen és közvetett azonosító törlése szükséges.
9. Miért fontos a felszólításokat, az alkalmazott modellt és a dátumot rögzíteni egy mesterséges intelligenciával végzett elemzésben?
- A) Mivel ez csak jogi kötelezettség, nincs tudományos értéke
- B) A promptokat kereskedelmi okokból őrzik meg, mert szerzői jogvédelem alatt állnak.
- C) Nyomon követhetővé és reprodukálhatóvá teszi a folyamatot; Ellenkező esetben az „AI mondta” nem lenne tudományos indoklás ✔
- D) A regisztráció csak formalitás, mert a modell mindig ugyanazt a választ adja
Magyarázat: A nyelvi modellek nem minden alkalommal pontosan ugyanazt a választ adják; Ha a promptokat és a modellinformációkat nem rögzítik, a folyamat fekete dobozzá válik, és senki más (még Ön sem) tudja reprodukálni a munkát. Ezek a feljegyzések a munka „anyagjegyzéke”, és a reprodukálhatóság alapját képezik.
10. Hol a határ a mesterséges intelligencia jogszerű használata tudományos írásokban és az akadémiai integritás megsértése között?
- A) A mesterséges intelligencia segíthet kifejezni saját tartalmait; Azonban jogsértést jelent, ha az Ön nevében gondolkodik, és tartalmat állít elő, és azt a saját munkájaként mutatja be ✔
- B) Bármilyen mesterséges intelligencia által előállított szöveg közvetlenül felhasználható, amennyiben a nyelvtan helyes
- C) Amíg a mesterséges intelligencia erőforrásokat ad hozzá, a tartalom teljes kinyomtatása problémamentes.
- D) A mesterséges intelligencia használata minden körülmények között tilos, és semmilyen szakaszban nem használható.
Közzététel: A mesterséges intelligencia használata saját tervezetének tisztázására, valamint a nyelvezet és a szerkezet javítására legitim és átláthatónak nyilvánított. A mesterséges intelligencia által írt tartalom és a saját munkádként való bemutatása egyszerre sérti az eredetiséget, és szinte biztosan kitalált forrásokat eredményez. Sor: Az AI segít kifejezni a gondolatait, nem gondolkodik helyetted.
11. Mit jelent a társadalomkutatásban a „végponttól végpontig minőség a leggyengébb szakaszig” elv?
- A) Csak az utolsó szakasz, a helyesírás a fontos; az előző szakaszok hibáit helyesírással javítják ki.
- B) A szakaszok függetlenek egymástól; Az egyik hiba nem érinti a többit
- C) A legerősebb fázis megmenti a teljes láncot, így elegendő egyetlen fázisra összpontosítani
- D) Az egyik szakasz gyengesége (elfogult minta, ellenőrizetlen forrás) a későbbi szakaszokban nem javítható, és gyengíti az egész vizsgálatot ✔
Magyarázat: Az egyes szakaszok döntése a következőt érinti: egy torz minta még tökéletes elemzéssel sem menthető meg; Egy ellenőrizetlen forrás a legjobb írást is megcáfolja. Ezért a felelős használat ugyanazokat az elveit kell alkalmazni minden szakaszban, a tervezéstől a dokumentációig.
12. Ha a mesterséges intelligencia összegzi az Ön által adott átiratot, és egy olyan keretet ad hozzá, amely nem szerepel a szövegben, például „az idősek félnek a technológiától”, akkor mi ez a példa?
- A) Pontosan összefoglalja a résztvevő valódi véleményét
- B) Ez egy olyan sztereotípia bevezetése, amelyet a mesterséges intelligencia saját képzési adataiból hordoz az adatokba ✔
- C) Statisztikai szignifikancia teszt eredménye
- D) Ez annak bizonyítéka, hogy az anonimizálást sikeresen végrehajtották
Magyarázat: Ez egy példa egy sztereotípiára (sztereotip általánosításra), amelyet az MI hordoz azokból a szövegekből, amelyekre kiképezték. A modell hozzáadhat egy olyan ítéletet, amely valójában nem szerepel az adatokban. A kutatónak ki kell gyomlálnia ezt a kiegészítést azzal, hogy „csak hagyatkozzon a szövegben szereplő állításokra”.
13. Az alábbiak közül melyik egy jól leszűkített kutatási kérdés?
- A) Miért van ilyen helyzetben a társadalom?
- B) Boldogok az emberek?
- C) Milyen okok miatt nem vesznek részt a 18-25 év közötti egyetemisták az önkormányzati választásokon? ✔
- D) Mi a kapcsolat a közösségi média és minden között?
Magyarázat: A jó kutatási kérdés megválaszolható, korlátozott és értelmes; Népessége, kontextusa és fókusza világos. Egy olyan széles körű kérés helyett, mint például „Miért fordulnak el a fiatalok a politikától?”, egy konkrét korcsoportot, kontextust és konkrét fókuszt magában foglaló kérdés kutatható.
14. Miért nem igaz háromszögelés, ha két különböző online felmérés ugyanabból a közösségi média csoportból toboroz résztvevőket, és ugyanazokat az eredményeket adják?
- A) A két forrás nem független, mert ugyanabból a torzított mintából származnak; ez ugyanazon elfogultság megismétlése ✔
- B) Mindig felesleges két felmérést használni, elég egy felmérés
- C) Az online felmérések soha nem adnak érvényes adatokat
- D) Az a tény, hogy ugyanazt az eredményt adják, azt bizonyítja, hogy az eredmény teljesen helyes.
Magyarázat: A háromszögelés egy megállapítás kereszttesztelése valóban független forrásokkal. Ha két forrás ugyanabból az elfogult mintából származik, félrevezető, ha „megerősítik” egymást; ez ugyanazon elfogultság megismétlése, nem független megerősítés.