Kazanimlar:
- Algoritmik yanlılığın veri, tasarım ve kullanım kaynaklarını tanır ve çıktıyı grup bazında test eder.
- Geri bildirim döngüsü ve temsil hatasının eşitsizliği nasıl büyüttüğünü açıklar ve etki denetimi kurar.
- Her otomatik kararda açıklanabilirlik ve itiraz yolunu güvence altına alarak hesap verebilirliği sağlar.
Kamu, gücünü herkese eşit uygulamak zorundadır: benzer durumdaki iki vatandaşa benzer muamele, farklı durumlara ölçülü farklılık. Bu eşitlik ilkesi anayasal bir zorunluluktur. Yapay zeka bu alanı hem iyileştirebilir hem de sessizce bozabilir. İyileştirebilir, çünkü tutarlı uygulanan bir kural, keyfîlik ve insan önyargısını azaltabilir. Bozabilir, çünkü YZ modelleri geçmiş veriden öğrenir ve geçmiş veri, geçmişin ayrımcılığını taşır. Eğer bir sistem, tarihsel olarak belli bir grubun dezavantajlı olduğu veriyle eğitilirse, o dezavantajı geleceğe taşır — üstelik "objektif algoritma" kisvesi altında, fark edilmesi daha da zor biçimde. Bu ünitede, kamuda YZ kullanırken algoritmik yanlılığı (model çıktısının belirli gruplar aleyhine sistematik biçimde sapması) nasıl tanıyacağınızı, nasıl azaltacağınızı ve en önemlisi algoritmik hesap verebilirliği (bir otomatik kararın gerekçesinin açıklanabilir, denetlenebilir ve itiraz edilebilir olması) nasıl sağlayacağınızı öğreneceksiniz.
Yanlılık nereden gelir?
Algoritmik yanlılığın birkaç kaynağı vardır ve kamuda hepsi risklidir:
- Tarihsel yanlılık: Eğitim verisi geçmişteki eşitsizliği içerir. Örneğin geçmişte bir bölgeye daha az hizmet gitmişse, "talep verisi" o bölgeyi düşük ihtiyaçlı gösterebilir — oysa talep düşük çünkü hizmet yoktu.
- Temsil yanlılığı: Bazı gruplar veride az temsil edilir (dijital erişimi olmayanlar, azınlık dil grupları) ve model onlar için kötü çalışır.
- Vekil değişken (proxy) yanlılığı: Model doğrudan yasak bir kritere (etnik köken, din) bakmasa bile, onunla ilişkili bir vekile (mahalle, isim, posta kodu) bakarak aynı ayrımcılığı üretebilir.
- Ölçüm yanlılığı: Ölçtüğümüz şey aslında ölçmek istediğimiz şey değildir. "Şikayet sayısı" ihtiyaçtan çok, şikayet edebilme gücünü ölçer.
Dikkat: "Modelden hassas veriyi (cinsiyet, etnisite) çıkardım, artık adil" demek yanıltıcıdır. Vekil değişkenler üzerinden ayrımcılık devam edebilir. Adalet, girdiyi silmekle değil, çıktıyı gruplar arası test etmekle sağlanır.
Adaleti test etmek: çıktıya bakın
Bir sistemin adil olup olmadığı, niyetine değil sonucuna bakılarak anlaşılır. Temel yöntem: kararı gruplara ayırıp karşılaştırmak. Kabul/ret oranı, hata oranı, bekleme süresi gibi çıktılar, farklı gruplar (cinsiyet, yaş, bölge, gelir) arasında anlamlı biçimde farklılaşıyor mu? Farklılaşıyorsa, bu fark meşru bir gerekçeye mi dayanıyor yoksa ayrımcılık mı? Bu analiz kişisel veri gerektirebileceği için toplulaştırılmış ve KVKK'ya uygun yapılmalıdır.
İpucu: Yeni bir YZ destekli karar sistemini yaygınlaştırmadan önce, kararlarını demografik gruplara göre kırıp bir "adalet raporu" çıkarın. Fark bulursanız, "bu fark açıklanabilir mi?" sorusunu bir insan komitesine taşıyın.
Açıklanabilirlik ve itiraz: hesap verebilirliğin kalbi
Kamuda hiçbir vatandaş, "sistem öyle karar verdi" cevabıyla bir hakkından mahrum edilemez. Her otomatik ya da YZ-destekli karar için üç şey sağlanmalı:
- Açıklanabilirlik: Karar neye dayandı, hangi faktörler etkili oldu, sade bir dille anlatılabilmeli.
- İtiraz yolu: Vatandaş karara itiraz edip bir insanın gözden geçirmesini isteyebilmeli.
- Denetim izi: Kararın hangi veri, hangi model/sürüm ve hangi sorumluyla verildiği kayıtlı olmalı.
Üç mini vaka
Vaka 1 — Vekil değişken yakalandı. Bir yardım önceliklendirme modeli hassas verileri kullanmıyordu ama "posta kodu"na bakıyordu. Adalet testinde, belirli mahallelerin sistematik olarak düşük öncelik aldığı görüldü — posta kodu, gelir ve etnik yoğunlukla ilişkiliydi. Değişken çıkarıldı ve öncelik doğrudan ihtiyaç göstergelerine bağlandı.
Vaka 2 — Temsil açığı. Bir chatbot, Türkçe dışı ana dile sahip vatandaşların sorularında %41 daha sık yanlış yönlendirme yapıyordu; eğitim verisi bu grubu az içeriyordu. Çok dilli destek ve insana devir eşiği eklenince fark kapandı.
Vaka 3 — Açıklanamayan ret. Bir kurum, bir başvuruyu otomatik reddetti; vatandaş "neden?" diye sorduğunda memur açıklayamadı çünkü modelin gerekçesi anlaşılır değildi. Olay, açıklanabilirliği zayıf modellerin hak-doğuran kararlarda kullanılamayacağını gösterdi; sistem, gerekçe üreten ve insan onayı gerektiren bir modele çevrildi.
Dört kopyalanabilir şablon
1) Yanlılık kaynağı taraması:
Rolün: algoritmik adalet uzmanı. Aşağıdaki YZ destekli kararsürecini incele. Olası yanlılık kaynaklarını listele:(1) tarihsel yanlılık, (2) temsil yanlılığı (az temsil edilengrup), (3) vekil değişkenler (yasak kriterle ilişkili sütun),(4) ölçüm yanlılığı. Her biri için somut bir örnek ver venasıl test edileceğini söyle.SÜREÇ: [karar süreci ve kullanılan veriler]
2) Adalet testi planı:
Aşağıdaki karar çıktısı için bir adalet testi planı üret:hangi gruplara göre (yaş, cinsiyet, bölge, gelir) kırılımyapmalıyım, hangi metrikleri (kabul oranı, hata oranı,bekleme süresi) karşılaştırmalıyım, farkın meşru muayrımcı mı olduğuna nasıl karar veririm. KVKK uyarısını ekle.KARAR: [ne kararı]
3) Karar açıklaması (vatandaşa):
Aşağıdaki karar için vatandaşın anlayacağı bir açıklamataslağı yaz: hangi faktörler etkili oldu, sade dille.Sonuna itiraz hakkını ve bir insanın gözden geçirmesiniisteyebileceğini [teyit edilecek süre ile] ekle. "Sistemöyle karar verdi" gibi kapalı ifade kullanma.KARAR: [özet ve etkili faktörler]
4) Yaygınlaştırma öncesi hesap verebilirlik kontrolü:
Aşağıdaki YZ destekli karar sistemini yaygınlaştırmadan öncebir hesap verebilirlik kontrol listesi üret: açıklanabilir mi,itiraz yolu var mı, denetim izi (veri/model sürümü/sorumlu)tutuluyor mu, adalet testi yapıldı mı, insan onay noktasınerede. Eksikleri kırmızı bayrak olarak işaretle.SİSTEM: [tarif]
Zayıf prompt / Güçlü prompt
Zayıf: "Bu karar modeli adil mi?"
Güçlü: "Rolün algoritmik adalet uzmanı. Bu yardım önceliklendirme modeli için önce yanlılık kaynaklarını tara (tarihsel, temsil, vekil değişken, ölçüm) ve her biri için somut örnek ver. Sonra bir adalet testi planı çıkar: hangi gruplara göre kırılım, hangi metrikler, farkın meşruluğuna nasıl karar verilir; KVKK uyarısını ekle. En son, sistemi yaygınlaştırmadan önce açıklanabilirlik, itiraz yolu ve denetim izi için bir kontrol listesi ver ve eksikleri kırmızı bayrakla işaretle."
Fark: güçlü prompt yanlılığı kaynağında arar, çıktıyı gruplara göre test ettirir ve hesap verebilirliği yaygınlaştırma şartına bağlar.
Adalet boyutları ve kontroller
Boyut
Risk
Kontrol
Tarihsel veri
Geçmiş eşitsizliği taşır
Çıktıyı gruplara göre test et
Temsil
Bazı grup için kötü çalışır
Grup bazlı hata oranı
Vekil değişken
Gizli ayrımcılık
Değişken-hassas kriter ilişkisi
Açıklanabilirlik
Gerekçesiz karar
Sade açıklama üret
İtiraz
Hak kaybı
İnsan gözden geçirme yolu
Geri bildirim döngüsü ve temsil hatası
Algoritmik ayrımcılığın en sinsi biçimi tek bir yanlış kararda değil, zamanla kendini besleyen bir geri bildirim döngüsünde (bir modelin çıktısının, sonraki eğitim verisini etkileyerek mevcut yanlılığı pekiştirmesi) ortaya çıkar. Örneğin bir denetim modeli belirli bir mahalleyi "riskli" işaretlerse, oraya daha çok denetim gider, daha çok kayıt oluşur, model o mahalleyi daha da riskli görür — oysa fark, gerçek riskte değil, bakılan yerde artmıştır. Buna zemin hazırlayan şey çoğu zaman temsil hatasıdır (eğitim verisinin bazı grupları eksik ya da çarpık yansıtması). Kamuda bu döngüler, dezavantajlı grupları giderek daha ağır bir gözetim ve yaptırım altına sokabilir. Korunmanın yolu, modelin çıktısını değil etkisini de izlemek: kararların grup bazlı dağılımını düzenli denetlemek ve model önerilerini körü körüne uygulamamaktır.
Mini vaka — kendini büyüten şüphe. Bir sosyal yardım usulsüzlük tespit modeli, geçmişte daha çok denetlenmiş bir bölgeyi yüksek riskli işaretledi. Ekip, denetim yoğunluğunu veriden ayıklayıp "nüfusa oranlı gerçek tespit oranını" ölçünce bölgeler arası farkın büyük ölçüde kaybolduğunu gördü; model bir eşitsizliği gerçek risk sanıyordu.
Grup bazlı etki denetimi sablonu:
Görev: Aşağıdaki karar verisini gruplara göre incele (kişisel veri yok, kategorik özet).Veri: [grup | toplam karar | olumsuz karar oranı | denetim yoğunluğu]Çıktı: 1) Olumsuz karar oranı gruplar arasında anlamlı fark gösteriyor mu? 2) Fark, gerçek riskten mi yoksa denetim/temsil yoğunluğundan mı kaynaklanıyor olabilir? 3) Geri bildirim döngüsü belirtisi var mı? 4) İnsan denetimi önerileri.Kural: Nedensellik iddiası kurma; olası açıklamaları ve test yollarını listele.
Dikkat: "Model tarafsız çünkü herkese aynı kuralı uyguluyor" savı yanıltıcıdır. Aynı kural, çarpık bir veriye uygulandığında eşitsizliği korur ve büyütür. Adalet, kuralın değil, sonucun eşitliğiyle ölçülür.
Sık yapılan hatalar
- Hassas veriyi silip "adil oldu" sanmak. Vekil değişkenler ayrımcılığı sürdürür; çıktıyı test edin.
- Adaleti niyetle ölçmek. Adalet sonuçta görünür; kararları gruplara ayırıp karşılaştırın.
- Az temsil edilen grubu unutmak. Model azınlık grup için sessizce kötü çalışabilir; grup bazlı hata bakın.
- Açıklanamayan modeli hak-doğuran kararda kullanmak. Gerekçe üretemeyen sistem, kamu kararı veremez.
- İtiraz yolu koymamak. Her otomatik karara insan gözden geçirmesi bağlanmalı.
- Denetim izi tutmamak. Hangi veri/model/sorumluyla karar verildiği kayıtlı olmalı.
Özetle
Kamuda YZ, tutarlılığı artırabilir ama geçmişin ayrımcılığını da sessizce taşıyabilir. Yanlılık tarihsel veriden, temsil açığından, vekil değişkenlerden ve hatalı ölçümden gelir; hassas veriyi silmek çözmez. Adalet, çıktının gruplar arasında test edilmesiyle sağlanır. Ve hiçbir vatandaş "sistem öyle dedi" ile hakkından edilemez: her karar açıklanabilir, itiraz edilebilir ve denetlenebilir olmalıdır. Hesap veren, algoritma değil, kurumdur.
Uygulama görevi
Biriminizdeki YZ-destekli ya da otomatik bir karar sürecini seçin. "Yanlılık kaynağı taraması" şablonuyla olası yanlılıkları listeleyin ve en az bir vekil değişken riski bulun. "Adalet testi planı" ile hangi grup kırılımlarına bakacağınızı belirleyin. Bir örnek karar için "Karar açıklaması" şablonuyla vatandaşa yönelik bir açıklama üretin.
Kontrol listesi
- [ ] Yanlılık kaynaklarını (tarihsel, temsil, vekil, ölçüm) taradım.
- [ ] Hassas veriyi silmekle yetinmedim; çıktıyı gruplara göre test ettim.
- [ ] Az temsil edilen gruplar için hata oranını kontrol ettim.
- [ ] Her karar için sade, açıklanabilir gerekçe sağladım.
- [ ] İtiraz ve insan gözden geçirme yolu tanımladım.
- [ ] Denetim izi (veri/model sürümü/sorumlu) tutuluyor.