Ünite 7 / 11

Hasta Memnuniyeti ve Geri Bildirim Analizi: Anket ve Metin Madenciliği

Kazanimlar:

  • Hasta memnuniyeti anketlerini ve serbest metin geri bildirimlerini yapay zeka desteğiyle temaya ayırıp duygu analizi yapabilme
  • Şikayet ve öneri metinlerinden eyleme dönük içgörü ve iyileştirme taslağı üretebilme
  • Örneklem yanlılığı, otomatik duygu etiketinin hatası ve gizliliğin korunması gibi tuzakları yorumdan önce yakalayabilme

Hastalar sadece iyileşmek için gelmez; kendilerine nasıl davranıldığını, ne kadar beklediklerini, kime derdini anlatabildiğini de yaşar ve hatırlar. Hasta memnuniyeti hem etik bir sorumluluk hem de kurumun itibarını ve bazı yerlerde geri ödemesini etkileyen bir performans boyutudur. Ama memnuniyet verisi çoğu zaman iki biçimde gelir: yıldız/puanla ölçülen anketler ve serbest yazılan yorumlar. Yüzlerce serbest yorumu tek tek okumak zaman alır. İşte yapay zeka burada güçlüdür: yüzlerce metni temaya ayırır, duygu tonunu çıkarır, öne çıkan şikâyet ve övgüleri özetler. Bu ünitede bunu nasıl yapacağınızı, ama daha da önemlisi yanlış okumaktan nasıl kaçınacağınızı göreceğiz. Sınır: YZ metni özetler ve tema çıkarır; ama otomatik duygu etiketi yanılabilir, örneklem yanlı olabilir — genelleme ve karar yöneticiye aittir.

Metin madenciliğinin temel kavramları

Birkaç terim: Metin madenciliği, yazılı metinlerden otomatik olarak örüntü ve anlam çıkarma işidir. Duygu analizi (sentiment), bir metnin olumlu/olumsuz/nötr tonunu otomatik sınıflamadır. Tema/konu çıkarımı, çok sayıda yorumu ortak başlıklara (temizlik, bekleme, iletişim, ücret) gruplamadır. NPS (Net Promoter Score), "bizi tavsiye eder misiniz" sorusuna dayanan bir sadakat göstergesidir. Memnuniyet verisini iki ayrı boyutta düşünmek yararlıdır: nicel boyut (puanlar, NPS) size "ne kadar" sorusunun cevabını verir; nitel boyut (serbest yorumlar) ise "neden" sorusunun cevabını taşır. İkisi ayrı ayrı eksik kalır; bir arada okununca hem sorunun büyüklüğünü hem kaynağını görürsünüz.

Bu araçların güçlü ama tehlikeli bir yanı var. Duygu analizi, dilin inceliklerinde yanılır. "Harika, yine 3 saat bekledim" cümlesi kelime kelime bakınca "harika" içerdiği için olumlu görünebilir; oysa ironiktir. "Kötü değildi" olumsuzlama içerir. Türkçede ekler ve deyimler bunu daha da zorlaştırır. İkinci tehlike örneklem yanlılığıdır: anketi genelde ya çok memnun ya çok kızgın olanlar doldurur; ortadaki sessiz çoğunluk görünmez. Bu yüzden YZ'nin çıkardığı tablo, "yazanların" görüşüdür, "tüm hastaların" değil.

Bu araçların gerçek değeri sayıda değil, yöndedir. Bir yıldız puanı size "memnuniyet 3,8" der ama neyin düzeltileceğini söylemez; serbest metin ise tam olarak neyin canını sıktığını anlatır. YZ'nin işi bu ham anlatıyı yönetilebilir başlıklara indirgemektir: 600 yorumu okuyamazsınız ama "yorumların yüzde 30'u yönlendirme karışıklığından bahsediyor" cümlesini bir aksiyona çevirebilirsiniz. Yine de bu indirgeme bir kayıp da içerir: tek bir hastanın çarpıcı, tekil ama önemli bir güvenlik uyarısı, "yüzde 2'lik küçük tema" içinde kaybolabilir. Bu yüzden nicel özetin yanında, güvenlik veya ciddi şikâyet sinyali taşıyan tekil yorumları ayrıca taramak gerekir; sayı büyük resmi, tekil yorum ise kritik istisnayı gösterir.

Adım adım: YZ ile geri bildirim analizi

  1. Anonimleştir. Yorumlardaki isim, hekim adı, oda numarası gibi tanımlayıcıları çıkar.
  2. Temaya ayır. YZ'den yorumları ortak başlıklara gruplamasını iste; başlık sayısını sen belirle.
  3. Duygu tonunu çıkar ama doğrula. Her tema için olumlu/olumsuz oranını al; sonra örnek yorumları kendin oku.
  4. Eyleme dönük içgörü. En sık ve en yakıcı temayı seç; somut iyileştirme önerisi taslağı çıkar.
  5. Örneklem kontrolü. Kaç kişi yazdı, kimler yazdı, temsili mi? Genellemeyi bu sınıra göre yap.
  6. Yönetsel karar. İyileştirme kararı ve önceliklendirme yöneticinindir; YZ sadece içgörü hazırlar.
Dikkat: YZ'nin verdiği "yüzde 78 olumlu" gibi bir sayı, ironiyi ve olumsuzlamayı yanlış okumuş olabilir. Her tema için birkaç ham yorumu mutlaka kendiniz okuyup etiketin gerçekle uyumunu kontrol edin.

Üç mini vaka

Vaka 1 — Gizli tema. Bir hastanede aylık 640 serbest yorum birikmişti; kimse tümünü okuyamıyordu. Hasta hakları birimi anonim yorumları YZ'ye verip temaya ayırttı. En büyük olumsuz tema beklendiği gibi "bekleme süresi" değil, "yönlendirme karışıklığı" (hastalar hangi kata gideceğini bulamıyordu) çıktı. Basit bir tabela ve yönlendirme personeli düzenlemesiyle bu tema iki ayda belirgin azaldı. YZ gizli temayı görünür kıldı; çözüm ekibindi.

Vaka 2 — İroni tuzağı. Bir birim YZ'nin "yüzde 82 olumlu" özetine sevinip yönetime "memnuniyet yüksek" dedi. Kalite sorumlusu örnek yorumları okudu: "Muhteşem, randevu saatinden 2 saat sonra girdim" gibi ironik cümleler olumlu sayılmıştı. Gerçek olumlu oran daha düşüktü. Sorumlu, YZ etiketini birkaç düzine yorumu elle okuyarak kalibre etti ve sunumu düzeltti.

Vaka 3 — Örneklem yanlılığı. Bir poliklinikte online ankete sadece 45 kişi yanıt vermişti ve çoğu çok olumsuzdu. Bir yönetici "poliklinik battı" paniğine kapıldı. Analist, bu 45 kişinin o ayki 3.200 hastanın küçük ve yanlı bir dilimi olduğunu, üstelik ankete kızgınların daha çok yanıt verdiğini hatırlattı. Panik yerine, temsili bir çıkış anketi başlatıldı; gerçek tablo çok daha dengeliydi.

Dört kopyalanabilir şablon

1) Tema çıkarımı:

Rolün: hasta deneyimi analistine yardımcı asistan.Aşağıda anonim serbest hasta yorumları var (isim/hekim adı yok).Görev: yorumları 6-8 ortak temaya ayır (örn. bekleme, iletişim,temizlik, yönlendirme, ücret). Her tema için kaç yorum düştüğünüve 2 örnek alıntı ver. Yorumları uydurma; sadece verdiklerimi kullan.

2) Duygu + doğrulama uyarısı:

Her tema için olumlu/olumsuz/nötr oranını çıkar. AMA ironi,olumsuzlama ve alaycı ifadelerin duygu etiketini yanıltabileceğinibelirt ve emin olmadığın 5 yorumu "elle kontrol edilsin" diyeayrı listele. Kesin yüzde olarak sunma; yaklaşık ver.

3) Eyleme dönük içgörü:

En sık ve en olumsuz temayı seç. Bu tema için: olası kök neden,kısa vadede uygulanabilir 3 iyileştirme ve her birinin tahminietkisi/maliyeti hakkında bir taslak çıkar. Bunun bir öneriolduğunu, kararın yöneticide olduğunu belirt.

4) Örneklem kontrol notu:

Bu analizde toplam yanıt sayısı [N], o dönemki hasta sayısı [M].Bana örneklemin temsililiği hakkında bir uyarı notu yaz:yanıt oranı düşükse veya kızgın hastalar aşırı temsil ediliyorsa,sonuçları genellemenin risklerini 4 maddede açıkla.

Zayıf prompt / Güçlü prompt

Zayıf prompt:

Bu yorumlar iyi mi kötü mü, yüzde kaç memnun söyle.

Tema yok, doğrulama yok, örneklem uyarısı yok; tek bir yanıltıcı yüzde döner.

Güçlü prompt:

Aşağıda [N] anonim hasta yorumu var, o dönemki hasta sayısı [M].Yorumları temaya ayır, her tema için yaklaşık duygu tonunu ver amaironi/olumsuzlama nedeniyle emin olmadıklarını işaretle. En yakıcıtemaya bir iyileştirme önerisi taslağı çıkar ve örneklemintemsililiği hakkında bir uyarı notu ekle.

Adım

YZ'nin katkısı

İnsanın kontrolü

Tema ayırma

Yüzlerce yorumu gruplar

Başlıklar anlamlı mı

Duygu etiketi

Hızlı ton çıkarır

İroni/olumsuzlama kontrolü

İçgörü

İyileştirme taslağı

Uygulanabilirlik, maliyet

Genelleme

Özet sunar

Örneklem temsili mi

Sık yapılan hatalar

  • Duygu etiketini olduğu gibi kabul etmek. İroni ve olumsuzlama yanıltır; örnekleri okuyun.
  • Küçük/yanlı örneklemden genelleme. 45 kızgın yorum tüm hastaları temsil etmez.
  • Anonimleştirmeyi atlamak. Yorumlarda hekim/hasta adı olabilir; çıkarın.
  • Sadece olumsuza odaklanmak. Olumlu temalar da neyi koruyacağınızı gösterir.
  • İçgörüyü karar sanmak. İyileştirme kararı ve önceliği yöneticinindir.
İpucu: Her analiz sonunda rastgele 15-20 ham yorumu kendiniz okuyup YZ'nin etiketiyle karşılaştırın. Bu 10 dakikalık "kalibrasyon" alışkanlığı, ironi ve olumsuzlama tuzaklarını yakalar ve YZ özetine ne kadar güveneceğinizi öğretir.

Özetle

Hasta memnuniyeti verisi hem puan hem serbest metin olarak gelir ve YZ yüzlerce yorumu temaya ayırıp özetlemede çok güçlüdür. Ama otomatik duygu etiketi ironi ve olumsuzlamada yanılır; anket örneklemi genelde yanlıdır. Bu yüzden YZ çıktısı ham yorumlarla ve örneklem büyüklüğüyle doğrulanmadan genellenmez. Anonimlik korunur, içgörü hazırlanır; ama iyileştirme kararı ve önceliği daima yöneticinindir.

Uygulama görevi

Anonim bir yorum seti (gerçek ya da varsayımsal 20-30 yorum) alın. "Tema çıkarımı" ve "Duygu + doğrulama uyarısı" şablonlarıyla YZ'den tema ve ton isteyin. Sonra en az 10 ham yorumu kendiniz okuyup YZ'nin etiketiyle karşılaştırın; kaç tanesinde ironi/olumsuzlama nedeniyle hata bulduğunuzu ve örneklemin temsililiğini 5 maddede yazın.

Kontrol listesi

  • [ ] Yorumları anonimleştirdim mi (hasta/hekim adı yok)?
  • [ ] Duygu etiketini ham yorumlarla kalibre ettim mi?
  • [ ] Örneklem büyüklüğünü ve yanlılığını değerlendirdim mi?
  • [ ] Hem olumlu hem olumsuz temalara baktım mı?
  • [ ] İyileştirme kararını ve önceliği yöneticiye bıraktım mı?