Kazanimlar:
- Evreni net tanımlayıp örnekleme yönteminin temsil gücünü ve kimin sistematik olarak dışarıda kaldığını değerlendirebilme
- Verideki yanlılık ile yapay zekanın taşıdığı stereotipleri ayırt edip her ikisini de denetleyebilme
- Bulguları örneklemle sınırlı, abartısız ifade edip dürüst bir sınırlılıklar bölümü yazabilme
Sosyal araştırmanın en can alıcı kavramı örneklemdir (sample) — yani tüm ilgilendiğiniz grubu (evren/popülasyon: araştırmanın hakkında konuşmak istediği bütün insanlar ya da birimler) tek tek inceleyemeyeceğiniz için seçtiğiniz alt grup. Bir araştırmanın bulgularının kime genellenebileceği (yani "bu sonuç sadece bu kişiler için mi, yoksa daha geniş bir grup için mi geçerli") tamamen örneklemin temsil gücüne bağlıdır. Yanlış ya da yanlı bir örneklemden çıkan sonuç, ne kadar güzel analiz edilirse edilsin, yanlıştır. Bu ünitede YZ'yi örneklem tasarımını düşünmede, önyargıları (bias — verinin ya da yorumun sistematik biçimde bir yöne kayması) tespit etmede ve genelleme sınırlarını dürüstçe ifade etmede nasıl kullanacağınızı öğreneceksiniz.
Burada iki tür önyargıyı ayırt etmek gerekir. Birincisi verideki önyargı: örneklem bir grubu fazla, başka bir grubu eksik temsil eder (ör. sadece çevrimiçi ankete katılabilenler, yani internet erişimi olanlar). İkincisi YZ'nin kendi önyargısı: YZ, eğitildiği metinlerdeki kalıpları taşır ve bir toplumsal grup hakkında basmakalıp (stereotip) genellemeler üretebilir. İyi bir sosyal araştırmacı her ikisine karşı da uyanık olmalıdır; YZ ikisini birden fark etmenize yardım edebilir de, ikisini birden büyütebilir de.
Adım adım: temsili düşünmek
1. Evreni tanımlayın. Bulgunuzu kim için söylemek istiyorsunuz? "Türkiye'deki tüm seçmenler" ile "İstanbul'da bir mahalledeki genç seçmenler" çok farklı evrenlerdir. Bunu net yazmadan örneklem kurulamaz.
2. Örnekleme yöntemini seçin. Rastgele (herkesin seçilme şansı eşit), tabakalı (evreni gruplara bölüp her gruptan seçme), kartopu (bir katılımcının başkasını önermesi) gibi yöntemler farklı temsil güçleri verir. YZ her yöntemin artı ve eksisini sade dille açıklayabilir.
3. Kimin dışarıda kaldığını sorun. Her örnekleme birilerini kaçırır. Çevrimiçi anket internetsizleri, telefon anketi sabit hat olmayanları, gündüz yapılan görüşme çalışanları kaçırır. YZ, "bu yöntem kimi sistematik olarak dışarıda bırakır" sorusuna iyi bir kontrol listesi üretir.
4. Yanlılık kaynaklarını haritalayın. Seçim yanlılığı (kimin seçildiği), yanıt yanlılığı (kimin cevap verdiği), hatırlama yanlılığı (geçmişi yanlış hatırlama) gibi kaynakları listeleyin.
5. Genelleme sınırını yazın. Bulguyu "tüm gençler" değil, "bu örneklemdeki gençler" diye ifade edin. YZ, taslağınızdaki aşırı genellemeleri işaretleyebilir.
İpucu: İyi bir araştırma raporu "sınırlılıklar" (limitations) bölümüyle güçlenir, zayıflamaz. Örnekleminizin kimi temsil etmediğini dürüstçe yazmak, çalışmanızı daha güvenilir kılar. YZ'den bu bölümü taslaklatın, ama her sınırlılığı kendiniz teyit edin.
Üç mini vaka
Vaka 1 — Gizli seçim yanlılığı. Bir ekip, bir belediyenin hizmetlerinden memnuniyeti ölçmek için belediyenin web sitesine anket koydu ve %78 memnuniyet buldu. YZ'ye "bu örneklem kimi kaçırıyor" diye sorunca, siteyi zaten kullanan (yani hizmete erişebilen ve muhtemelen daha memnun) kesimin fazla temsil edildiği ortaya çıktı. Bulgu "site kullanıcıları arasında %78" diye düzeltildi.
Vaka 2 — YZ'nin stereotipi. Bir araştırmacı YZ'ye "kırsalda yaşayan yaşlıların teknolojiye bakışını" özetlettiğinde, YZ verilerde olmayan "yaşlılar teknolojiden korkar" gibi basmakalıp bir çerçeve ekledi. Araştırmacı bunu fark edip "yalnızca transkriptteki ifadelere dayan" deyince, veride aslında çok çeşitli tutumlar olduğu görüldü.
Vaka 3 — Tabakalı örneklem düzeltmesi. 500 kişilik bir örneklemde kadınlar %30, evrende ise %51'di. YZ, ağırlıklandırma (weighting — az temsil edilen grubun yanıtlarına daha fazla katsayı vererek dengeleme) mantığını sade dille açıkladı ve ekip, sonuçları evren oranlarına göre ağırlıklandırarak daha temsili bir tablo elde etti.
Dört kopyalanabilir şablon
1) Örneklem eleştirisi:
Araştırmamın evreni: [tanım]. Örnekleme yöntemim: [yöntem].Görevin: bu örneklemin kimi sistematik olarak eksik ya da fazlatemsil edebileceğini listelemek. Seçim, yanıt ve hatırlamayanlılıklarını ayrı ayrı ele al. Her risk için bir azaltmaönerisi ver. Bulgumu abartma; sınırları dürüstçe göster.
2) Genelleme denetimi:
Şu bulgu cümlelerini incele: [metin]. Her aşırı genellemeyiişaretle. "Tüm/herkes/gençler/kadınlar" gibi ifadeleri, veriningerçekten desteklediği daha dar bir ifadeyle yeniden yaz.Örneğin "gençler X yapar" yerine "bu örneklemdeki gençlerin%Y'si X bildirdi". Kaynağı belirsiz her iddiayı işaretle.
3) YZ önyargısı yakalama:
Aşağıdaki özeti sana ben verdim. Kontrol et: eklediğin herhangibir yargı, sıfat veya genelleme verilen metinde GERÇEKTEN var mı?Metinde olmayan, senin kendi kalıplarından gelen her ifadeyiişaretle ve çıkar. Yalnızca metinde geçenlere sadık kal.
4) Sınırlılıklar bölümü taslağı:
Aşağıdaki yöntem bilgilerine dayanarak bir "Sınırlılıklar"bölümü taslağı yaz: örneklem büyüklüğü [n], yöntem [x],bağlam [y]. Her sınırlılığın bulguları nasıl etkileyebileceğiniaçıkla. Abartma da küçümseme de; dengeli ve dürüst ol.Ben her maddeyi teyit edeceğim.
Zayıf prompt / Güçlü prompt
Zayıf prompt:
Anket sonuçlarıma göre gençlerin çoğu bu görüşte. Bunu güçlübir cümleyle yaz.
Bu, örneklemi hiç sorgulamadan aşırı genelleme üretir. YZ "Türkiye'de gençler..." gibi verinin taşımadığı bir iddiaya kolayca kayar.
Güçlü prompt:
Örneklemim: tek bir üniversitede 220 lisans öğrencisi, çevrimiçianket, gönüllü katılım. Bir bulguyu ifade etmek istiyorum:katılımcıların %61'i X görüşünü bildirdi. Bunu, örnekleminsınırını (temsil, gönüllülük yanlılığı) açıkça belirten,abartısız bir akademik cümleyle yaz. Genellemeyi bu örneklemlesınırla.
Fark: ikinci cümle verinin gerçekten desteklediği, savunulabilir bir iddia üretir.
Örnekleme yöntemleri ve temsil gücü
Yöntem
Nasıl çalışır
Temsil gücü
Tipik risk
Basit rastgele
Herkese eşit şans
Yüksek
Ulaşım maliyeti
Tabakalı
Gruplara bölüp seçme
Yüksek
Grup tanımı hatası
Kota
Grup oranlarını doldurma
Orta
Grup içi yanlılık
Kolayda
Ulaşılabilene sorma
Düşük
Ağır seçim yanlılığı
Kartopu
Katılımcı önerisiyle
Düşük
Ağ içi benzerlik
Sık yapılan hatalar
- Evreni tanımlamadan örneklem kurmak. Kime genelleyeceğinizi bilmeden temsil değerlendirilemez.
- Kolayda örneklemi tüm topluma genellemek. En sık hata; "ankete katılanlar" ile "herkes" karıştırılır.
- Kimin dışarıda kaldığını hiç sormamak. Her yöntem birilerini kaçırır; bunu bilinçli arayın.
- YZ'nin eklediği stereotipi fark etmemek. Model, veride olmayan basmakalıp yargılar ekleyebilir.
- Sınırlılıkları saklamak. Örneklemin zayıflığını gizlemek çalışmayı güvenilir değil, kırılgan yapar.
Özetle
Bir bulgunun değeri, dayandığı örneklemin temsil gücü kadardır. YZ; örnekleme yöntemlerini açıklamada, kimin eksik temsil edildiğini haritalamada, aşırı genellemeleri işaretlemede ve dürüst bir sınırlılıklar bölümü taslaklamada güçlü bir yardımcıdır. Ama iki önyargıya karşı uyanık olun: verinin kendi yanlılığı ve YZ'nin taşıdığı stereotipler. Evreni net tanımlayın, kimin dışarıda kaldığını sorun, genellemeyi örneklemle sınırlayın ve sınırlılıkları dürüstçe yazın.
Uygulama görevi
Gerçek ya da varsayımsal bir araştırma için evreni ve örnekleme yöntemini tanımlayın. "Örneklem eleştirisi" şablonuyla YZ'den kimin eksik/fazla temsil edilebileceğini çıkartın ve en az üç yanlılık kaynağı belirleyin. Sonra bir bulgu cümlesini "genelleme denetimi" şablonuyla verinin gerçekten desteklediği dar bir ifadeye çevirin. Son olarak yarım sayfalık dürüst bir sınırlılıklar bölümü yazın.
Kontrol listesi
- [ ] Evreni (kime genelleyeceğimi) net tanımladım.
- [ ] Örnekleme yönteminin temsil gücünü değerlendirdim.
- [ ] Kimin sistematik olarak dışarıda kaldığını listeledim.
- [ ] Bulguları örneklemle sınırlı, abartısız ifade ettim.
- [ ] YZ'nin eklediği stereotip/genellemeleri ayıkladım.