Keuntungan:
- Mampu mendefinisikan alam semesta dengan jelas dan mengevaluasi keterwakilan metode pengambilan sampel dan siapa yang dikecualikan secara sistematis
- Kemampuan membedakan bias dalam data dan stereotip yang dibawa oleh kecerdasan buatan dan mengontrol keduanya
- Kemampuan mengungkapkan temuan sebatas sampel, tanpa berlebihan, dan menulis bagian batasan yang jujur.
Konsep penelitian sosial yang paling penting adalah sampel — yaitu subkelompok yang Anda pilih karena Anda tidak dapat memeriksa seluruh kelompok yang Anda minati (alam semesta/populasi: semua orang atau unit yang ingin dibicarakan dalam penelitian) satu per satu. Kepada siapa temuan suatu penelitian dapat digeneralisasikan (yaitu, "apakah hasil ini hanya valid untuk orang-orang ini atau untuk kelompok yang lebih luas") bergantung sepenuhnya pada keterwakilan sampel. Hasil dari sampel yang salah atau bias adalah salah, tidak peduli seberapa baik sampel tersebut dianalisis. Dalam unit ini, Anda akan mempelajari cara menggunakan AI untuk memikirkan desain sampel, mendeteksi bias — penyimpangan data atau interpretasi sistematis dalam satu arah, dan secara jujur mengungkapkan batasan generalisasi.
Di sini perlu dibedakan dua jenis prasangka. Yang pertama adalah bias dalam data: sampel terlalu mewakili satu kelompok dan kurang mewakili kelompok lain (misalnya mereka yang hanya bisa berpartisipasi dalam survei online, yaitu mereka yang memiliki akses internet). Yang kedua adalah bias AI itu sendiri: AI membawa pola teks yang telah dilatihnya dan dapat menghasilkan generalisasi stereotip tentang suatu kelompok sosial. Seorang peneliti sosial yang baik harus waspada terhadap keduanya; AI dapat membantu Anda mengenali keduanya, atau dapat memperbesar keduanya.
Langkah demi langkah: memikirkan tentang representasi
1. Jelaskan alam semesta. Kepada siapa Anda ingin memberi tahu tentang temuan Anda? “Semua pemilih di Türkiye” dan “pemilih muda di sebuah lingkungan di Istanbul” adalah dunia yang sangat berbeda. Suatu sampel tidak dapat dibuat tanpa menuliskannya dengan jelas.
2. Pilih metode pengambilan sampel. Metode-metode seperti acak (setiap orang mempunyai kesempatan yang sama untuk dipilih), bertingkat (membagi alam semesta menjadi kelompok-kelompok dan memilih dari masing-masing kelompok), bola salju (satu peserta merekomendasikan peserta lain) memberikan kekuatan representasi yang berbeda. AI dapat menjelaskan kelebihan dan kekurangan setiap metode dalam bahasa yang sederhana.
3. Tanyakan siapa yang tertinggal. Setiap pengambilan sampel merindukan seseorang. Survei online merindukan mereka yang tidak memiliki internet, survei telepon merindukan mereka yang tidak memiliki telepon rumah, wawancara siang hari merindukan karyawan. AI menghasilkan daftar periksa yang bagus untuk “siapa yang dikecualikan secara sistematis oleh metode ini?”
4. Memetakan sumber bias. Cantumkan sumber-sumber seperti bias seleksi (siapa yang dipilih), bias respons (siapa yang menjawab), bias mengingat (salah mengingat masa lalu).
5. Tuliskan batas generalisasinya. Ungkapkan temuan tersebut sebagai “orang muda dalam sampel ini”, bukan “semua remaja”. AI dapat menandai generalisasi berlebihan dalam draf Anda.
Tip: Laporan penelitian yang baik diperkuat, bukan dilemahkan, oleh bagian "keterbatasan". Menulis dengan jujur tentang siapa yang tidak diwakili oleh sampel Anda akan membuat penelitian Anda lebih dapat diandalkan. Mintalah AI menyusun bagian ini, tetapi konfirmasikan sendiri batasannya.
tiga kasus mini
Kasus 1 — Bias seleksi tersembunyi. Untuk mengukur kepuasan terhadap layanan pemerintah kota, sebuah tim melakukan survei di situs web pemerintah kota dan menemukan 78% kepuasan. Ketika saya bertanya kepada AI “siapa sampel ini yang hilang?”, ternyata segmen yang sudah menggunakan situs tersebut (yaitu, memiliki akses ke layanan dan mungkin lebih puas) terlalu terwakili. Temuan ini dikoreksi menjadi “78% di antara pengguna situs.”
Kasus 2 — Stereotip AI. Ketika seorang peneliti meminta AI untuk merangkum “pandangan orang lanjut usia di pedesaan terhadap teknologi”, AI menambahkan kerangka stereotip yang tidak ada dalam data, seperti “orang lanjut usia takut terhadap teknologi”. Ketika peneliti menyadari hal tersebut dan berkata “hanya mengandalkan pernyataan-pernyataan yang ada pada transkrip”, terlihat bahwa sebenarnya terdapat berbagai macam sikap dalam data tersebut.
Kasus 3 — Koreksi pengambilan sampel bertingkat. Dalam sampel 500 orang, perempuan berjumlah 30%, dibandingkan dengan 51% populasi. AI menjelaskan logika pembobotan dalam bahasa yang sederhana, dan tim memberi bobot pada hasil berdasarkan proporsi populasi, sehingga menghasilkan gambaran yang lebih representatif.
Empat templat yang dapat disalin
1) Kritik terhadap sampel:
Alam semesta penelitian saya: [deskripsi]. Metode pengambilan sampel saya adalah: [metode]. Tugas Anda: membuat daftar siapa saja yang mungkin kurang atau terlalu terwakili dalam sampel ini. Pertimbangkan kesalahan pilihan, respons, dan penarikan kembali secara terpisah. Memberikan rekomendasi mitigasi untuk setiap risiko. Jangan membesar-besarkan temuan saya; Tunjukkan batasan dengan jujur.
2) Kontrol generalisasi:
Periksa kalimat temuan ini: [teks]. Tandai setiap generalisasi yang berlebihan. Tulis ulang pernyataan seperti “semua/semua orang/remaja/perempuan” dengan pernyataan yang lebih sempit yang benar-benar didukung oleh data. Misalnya, alih-alih “kaum muda melakukan X”, “Y% remaja dalam sampel ini melaporkan X.” Tandai setiap klaim yang asal usulnya tidak diketahui.
3) Penangkapan bias AI:
Saya memberi Anda ringkasan di bawah ini. Periksa: apakah ada penilaian, kata sifat, atau generalisasi yang Anda tambahkan BENAR-BENAR ada dalam teks yang diberikan? Tandai dan hapus ekspresi apa pun yang tidak ada dalam teks tetapi berasal dari pola Anda sendiri. Tetap berpegang pada apa yang ada dalam teks.
4) Bagian batasan draf:
Tulis draf bagian "Keterbatasan" berdasarkan informasi metode berikut: ukuran sampel [n], metode [x], konteks [y]. Jelaskan bagaimana setiap keterbatasan dapat mempengaruhi temuan. Tidak melebih-lebihkan atau meremehkan; Bersikaplah seimbang dan jujur. Saya akan mengkonfirmasi setiap item.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Menurut hasil survei saya, sebagian besar anak muda berpendapat demikian. Tulis ini dalam kalimat yang kuat.
Hal ini menghasilkan generalisasi yang berlebihan tanpa pernah mempertanyakan sampel. AI dengan mudah melontarkan klaim yang tidak sesuai dengan data, seperti "Kaum muda di Türkiye..."
Perintah yang kuat:
Sampel saya: 220 mahasiswa sarjana di satu universitas, survei online, partisipasi sukarela. Saya ingin menyampaikan temuan: 61% peserta menyatakan pendapat X. Tuliskan ini dalam kalimat akademis tanpa embel-embel yang dengan jelas menyatakan batasan sampel (representasi, bias kesukarelaan). Batasi generalisasi pada sampel ini.
Perbedaannya: kalimat kedua menghasilkan klaim yang dapat dipertahankan dan didukung oleh data.
Metode pengambilan sampel dan keterwakilannya
Metode
Bagaimana cara kerjanya
kekuatan representasi
Resiko yang khas
acak sederhana
Kesempatan yang sama untuk semua orang
tinggi
biaya transportasi
bertingkat
Bagilah dan pilih menjadi beberapa kelompok
tinggi
Kesalahan definisi grup
kuota
Mengisi tarif grup
sedang
Bias dalam kelompok
mudah
Jangan tanya siapa pun yang bisa dihubungi
rendah
Bias seleksi yang parah
bola salju
Atas saran peserta
rendah
Kesamaan intrajaringan
Kesalahan umum
- Menetapkan sampel tanpa mendefinisikan alam semesta. Representasi tidak dapat dievaluasi tanpa mengetahui kepada siapa Anda akan menggeneralisasi.
- Menggeneralisasi convenience sampling ke seluruh populasi. Kesalahan paling umum; "responden survei" bingung dengan "semua orang".
- Jangan pernah bertanya siapa yang tertinggal. Setiap metode menculik seseorang; Carilah ini secara sadar.
- Tidak memperhatikan stereotip yang ditambahkan oleh AI. Model tersebut mungkin menambahkan stereotip yang tidak ada dalam data.
- Menyembunyikan keterbatasan. Menyembunyikan kelemahan sampel membuat penelitian menjadi rapuh dan tidak dapat diandalkan.
Singkatnya
Nilai suatu temuan sama besarnya dengan keterwakilan sampel yang dijadikan dasar temuan tersebut. AI; merupakan bantuan yang ampuh dalam menjelaskan metode pengambilan sampel, memetakan siapa yang kurang terwakili, menandai generalisasi yang berlebihan, dan menyusun bagian batasan yang jujur. Namun waspadalah terhadap dua bias: bias data itu sendiri dan stereotip yang dibawa oleh AI. Definisikan alam semesta dengan jelas, tanyakan siapa yang tertinggal, batasi generalisasi pada sampel, dan tuliskan batasan dengan jujur.
Tugas aplikasi
Jelaskan populasi dan metode pengambilan sampel untuk penelitian nyata atau hipotetis. Ekstrak siapa yang mungkin kurang/lebih terwakili dari AI dengan template “kritik sampel” dan identifikasi setidaknya tiga sumber bias. Kemudian terjemahkan pernyataan temuan menjadi pernyataan sempit yang benar-benar didukung oleh data dengan pola “pemeriksaan generalisasi”. Terakhir, tulislah bagian batasan setengah halaman yang jujur.
daftar periksa
- [ ] Saya telah mendefinisikan alam semesta dengan jelas (kepada siapa saya akan menggeneralisasinya).
- [ ] Saya mengevaluasi keterwakilan metode pengambilan sampel.
- [ ] Saya mencantumkan siapa yang secara sistematis tidak disertakan.
- [ ] Temuan saya ungkapkan sebatas sampel dan tidak berlebihan.
- [ ] Saya menghapus stereotip/generalisasi yang ditambahkan AI.