Keuntungan:
- Ini merancang aliran respons aman yang mengklasifikasikan pertanyaan warga, menghasilkan rancangan respons, dan mendelegasikannya kepada manusia bila diperlukan.
- Ini mengukur kualitas chatbot berdasarkan topik per topik dengan indikator cakupan, akurasi, pergantian dan tingkat resolusi serta menemukan titik buta.
- Ini menentukan pertanyaan warga mana yang dapat dijawab secara otomatis dan mana yang harus diserahkan kepada otoritas manusia.
Titik dimana pelayanan publik paling banyak berhubungan dengan masyarakat adalah meja pelayanan: telepon, box office, email, call center, website institusi dan media sosial. Seorang warga bertanya "Bagaimana cara saya membayar pajak properti?", "Di mana saya bisa mendapatkan sertifikat tempat tinggal?", "Dokumen apa yang diperlukan untuk dokumen ini?" dia bertanya. Banyak dari pertanyaan-pertanyaan ini yang berulang; Jawabannya jelas; namun volumenya tinggi dan terbatas pada jam kerja. Chatbot (asisten perangkat lunak yang menghasilkan jawaban otomatis atas pertanyaan tertulis atau suara) dan sistem respons yang didukung AI memenuhi beban berulang ini dan mengarahkan petugas ke tugas-tugas yang memerlukan keahlian nyata. Dalam unit ini, Anda akan mempelajari cara menggunakan AI dalam layanan masyarakat secara menyeluruh—mulai dari klasifikasi pertanyaan hingga pembuatan respons, multibahasa, aksesibilitas, dan aspek yang paling penting, mencegah misinformasi.
Mengapa pertanyaan warga negara itu sulit?
Pertanyaan warga negara sulit dalam tiga hal. Pertama, keakuratan: daftar dokumen yang salah membawa warga negara ke institusi dengan sia-sia; Jangka waktu yang salah akan mengakibatkan hilangnya hak. Kedua, kesetaraan: dua orang yang menanyakan pertanyaan yang sama tidak dapat diberikan jawaban yang berbeda; Selain itu, setiap orang harus memahaminya, terlepas dari tingkat pendidikan, bahasa, atau disabilitas. Ketiga, privasi: warga sering menuliskan informasi pribadinya ketika mengajukan pertanyaan (“ID TR saya ini, bagaimana permohonan saya?”) dan data ini harus dilindungi.
Kunci untuk menempatkan AI dalam ketiga batasan ini adalah: AI adalah sebuah antarmuka yang menyampaikan informasi akurat yang telah disetujui sebelumnya kepada masyarakat dalam bahasa yang sesuai; Ia tidak menghasilkan undang-undang dengan sendirinya. Cara untuk mencapai hal ini adalah dengan menghubungkan chatbot ke basis pengetahuan yang disetujui organisasi (FAQ, ringkasan peraturan, panduan layanan) — ini disebut RAG (retrieval-augmented generation) di mana AI mengambil bagian yang relevan dari repositori dokumen tepercaya dan merespons hanya berdasarkan data tersebut sebelum menghasilkan jawaban.
Tip: Selalu sertakan sumber dalam respons chatbot: "Informasi ini didasarkan pada [panduan layanan / nomor edaran], [halaman resmi] untuk status saat ini." Jawaban yang tidak bersumber tidak dapat diverifikasi dan mengurangi kepercayaan masyarakat.
Langkah demi langkah: menyiapkan alur respons masyarakat
- Tentukan ruang lingkupnya. Masalah apa yang akan ditanggapi oleh chatbot (pajak, prosedur pencatatan sipil, perizinan) dan masalah apa yang akan dikatakan "Saya mengarahkan Anda ke unit terkait"? Lebih baik mendelegasikannya kepada manusia daripada mengarang-ngarang jawaban atas pertanyaan yang berada di luar jangkauan.
- Siapkan basis pengetahuan yang disetujui. Setiap jawaban harus didasarkan pada teks bertanggal dan bersumber yang dikendalikan oleh institusi. Orang yang bertanggung jawab harus memantau pembaruan.
- Tuliskan aturan nada dan bahasa. Sopan, sederhana, tidak menggunakan jargon, kalimat pendek. Bahasa yang formal namun tidak dingin.
- Tetapkan aturan data pribadi. Chatbot harus memberikan informasi yang dipersonalisasi, seperti status transaksi, hanya setelah otentikasi aman; tidak boleh meminta data pribadi saat memberikan informasi umum.
- Tentukan titik eskalasi. Keluhan, keberatan, pertanyaan yang mempunyai akibat hukum atau pertanyaan yang tidak jelas hendaknya disampaikan kepada masyarakat.
- Memantau dan meningkatkan. Pertanyaan yang dijawab salah harus ditinjau setiap minggu dan basis pengetahuan diperbarui.
tiga kasus mini
Kasus 1 — Beban berkurang, petugas beralih ke keahlian. Pusat panggilan kota metropolitan menerima ~48.000 panggilan per bulan; dari jumlah tersebut, 61% membahas tentang lima topik yang berulang. Chatbot berbasis RAG membahas lima topik berikut; staf pusat panggilan terbagi menjadi pengaduan dan permohonan yang kompleks; Rata-rata waktu tunggu menurun dari 7 menit menjadi 2 menit.
Kasus 2 — Jebakan misinformasi. Seorang pilot chatbot yang tidak bersumber daya mengulangi jumlah lama yang mengatakan "biaya paspor adalah 1.200 TL tahun ini"; padahal mortirnya sudah diperbarui. Selama 3 hari, warga datang dengan jumlah yang salah. Pelajaran: chatbot hanya boleh mengandalkan basis pengetahuan yang tertanggal, terkini, dan bersumber; tidak boleh dibiarkan pada produksi bebas.
Kasus 3 — Peningkatan aksesibilitas. Sebuah organisasi menyederhanakan respons chatbot ke tingkat bahasa B1 (dasar-menengah) dan menjadikannya cocok untuk pembaca layar bagi tunanetra. Tingkat warga yang datang ke box office karena tidak memahami panduan layanan menurun sebesar 28%; Dalam pengaduan, tanggapan dengan tema "Saya tidak mengerti" turun menjadi sepertiga.
Empat templat yang dapat disalin
1) Pembuatan respons yang bergantung pada sumber:
Peran Anda: konsultan layanan publik yang sopan dan lugas. Jawaban hanya berdasarkan teks INFORMASI BERSERTIFIKAT yang saya berikan di bawah ini. Jika Anda ditanya sesuatu yang tidak ada dalam teks, katakan "Saya mengarahkan Anda ke [unit] untuk mendapatkan informasi yang tepat mengenai subjek ini" dan jangan mengarang jawabannya. Tambahkan sumber di akhir jawaban. INFORMASI YANG DISETUJUI: [tempel teks] PERTANYAAN: [pertanyaan warga]
2) Penyederhanaan bahasa:
Terjemahkan teks resmi di bawah ini ke dalam bahasa Turki sederhana yang mudah dipahami oleh lulusan sekolah menengah. Jelaskan jargon, persingkat kalimat, buat daftar langkah demi langkah. Makna dan isi hukumnya tidak boleh berubah. Tandai area yang tidak jelas sebagai "perlu klarifikasi". TEKS: [tempelkan teks resmi]
3) Respons multibahasa (dengan catatan verifikasi):
Terjemahkan jawaban bahasa Turki yang disetujui berikut ini ke dalam [bahasa target]. Kenali istilah resmi dengan benar; Tinggalkan istilah yang Anda tidak yakin di dalam tanda kurung dengan versi bahasa Turkinya. Tambahkan catatan bahwa terjemahannya harus diperiksa oleh ahlinya. JAWABAN: [teks]
4) Pengklasifikasi eskalasi:
Klasifikasikan pesan warga berikut: (A) pertanyaan umum -> balasan otomatis sesuai, (B) status transaksi yang dipersonalisasi -> diperlukan otentikasi, (C) pengaduan/banding/hasil hukum -> penyerahan ke manusia. Berikan justifikasi satu huruf dan satu kalimat saja. Jika tidak yakin, opsi teraman (C). PESAN: [teks]
Perintah lemah / Perintah kuat
Lemah: "Beri tahu warga tentang pajak properti."
Kuat: "Peran Anda adalah sebagai penasihat publik yang sopan. Jawab HANYA berdasarkan teks informasi yang disetujui di bawah ini; buatlah apa yang tidak ada dalam teks, rujuk ke departemen terkait jika perlu. Tulis jawabannya dengan sederhana, singkat dan selangkah demi selangkah. Jangan meminta data pribadi. Tambahkan sumber dan catatan 'periksa halaman resmi untuk jumlah saat ini' di akhir. Informasi yang disetujui: [teks]. Pertanyaan: [pertanyaan]."
Perbedaan: prompt yang kuat membatasi respons terhadap sumber yang disetujui, mencegah pemalsuan, menentukan nada dan kerahasiaan; Hasilnya adalah sebuah kualitas yang bisa ditunjukkan secara langsung kepada masyarakat.
Respon otomatis atau serah terima ke manusia?
Status
cara yang tepat
Mengapa
Daftar dokumen, jam kerja, proses umum
Respons otomatis (RAG)
Informasi diperbaiki dan disetujui
“Bagaimana kinerja lamaran saya?”
Otentikasi + kueri sistem
data pribadi
Keluhan, keberatan, keluhan
penyerahan kepada manusia
Diperlukan apresiasi dan empati
Pertanyaan dengan konsekuensi hukum
penyerahan kepada manusia
Tanggung jawab dan pembenaran
Di luar jangkauan/tidak pasti
penyerahan kepada manusia
Menghindari risiko fabrikasi
Mengukur kualitas chatbot: angka, bukan intuisi
Chatbot warga tidak dikelola dengan mengatakan "tampaknya berfungsi dengan baik"; diukur. Lacak kinerja chatbot dalam pelayanan publik dengan empat indikator. Tingkat cakupan (persentase pertanyaan yang dijawab dengan benar oleh chatbot tanpa menyerahkannya kepada manusia); tingkat akurasi (kesesuaian jawaban yang diberikan dengan peraturan perundang-undangan dan praktik saat ini, dengan pengendalian sampel manual); tingkat turnover (pertanyaan yang ditransfer ke manusia — jika terlalu rendah, chatbot mungkin yakin tentang topik yang salah); tingkat kepuasan/solusi (menyelesaikan masalah warga pada kontak pertama). Melacak indikator-indikator ini di dasbor mingguan membuatnya terlihat di mana chatbot menghasilkan halusinasi dan topik mana yang perlu didelegasikan kepada manusia.
Kasing mini — titik buta tertangkap. Chatbot direktorat provinsi memberikan tingkat cakupan keseluruhan yang baik yaitu sebesar 78 persen; Namun, pada subjudul “hak warga negara penyandang disabilitas”, tingkat akurasinya hanya 41 persen karena model tersebut menghasilkan jawaban berdasarkan peraturan yang belum diperbarui. Tanpa pengukuran berbasis subjek, titik buta ini akan tetap tersembunyi dalam rata-rata. Tim menutup sementara thread ini karena aturan "selalu delegasikan ke manusia" dan membukanya kembali setelah konten diperbarui.
Templat mingguan untuk memeriksa kualitas respons berdasarkan sampel:
Tugas: Di bawah ini adalah 20 jawaban dan pertanyaan warga yang diberikan chatbot minggu lalu. Evaluasi setiap jawaban: 1) Apakah sudah sesuai dengan peraturan perundang-undangan? (Ya/Tidak/Diragukan — sebutkan item/sumber)2) Apakah ada informasi yang hilang atau menyesatkan?3) Haruskah informasi tersebut didelegasikan kepada manusia?Keluaran: Tabel (nomor pertanyaan | kesesuaian | catatan risiko | rekomendasi).Cantumkan daftar yang kesesuaiannya dipertanyakan ke atas.Catatan: Ini adalah rancangan audit; Keputusan akhir ada di tangan petugas inspeksi.
Tip: Kemampuan chatbot untuk mengatakan "Saya tidak tahu, saya akan memindahkan Anda ke pejabat" bukanlah kelemahan, tetapi jaminan kualitas. Di depan umum, jawaban yang salah dan penuh percaya diri jauh lebih merugikan daripada pengambilalihan yang jujur.
Kesalahan umum
- Melepaskan chatbot ke produksi gratis. Bot yang tidak terhubung ke basis pengetahuan yang disetujui akan memberikan informasi yang ketinggalan jaman atau palsu.
- Tidak mengutip sumber. Warga negara tidak bisa memverifikasi, pegawai negeri tidak bisa melakukan inspeksi; Bug ini menyebar secara diam-diam.
- Memproses data pribadi tanpa otentikasi. Menjawab pertanyaan "Bagaimana status permohonan saya?" tanpa verifikasi yang aman adalah risiko KVKK.
- Tidak mendefinisikan titik kritis. Meninggalkan keluhan dan keberatan pada bot akan meningkatkan viktimisasi.
- Bukan menyederhanakan bahasa. Informasi akurat yang tidak dipahami adalah batal demi hukum bagi warga negara; aksesibilitas adalah suatu keharusan.
- Tidak membangun lingkaran umpan balik. Jika pertanyaan yang salah dijawab tidak dipantau dan diperbaiki, kesalahan yang sama akan terulang kembali.
Singkatnya
Dalam layanan masyarakat, AI merespons pertanyaan berulang dengan cepat, sederhana, dan 24/7, mengarahkan petugas ke pekerjaan yang membutuhkan keahlian nyata. Rahasianya ada pada tiga hal: menghubungkan jawaban dengan basis pengetahuan yang disetujui (RAG), menambahkan sumber pada setiap jawaban, dan mendelegasikan pertanyaan keluhan/keberatan/tindakan pribadi kepada manusia. Chatbot yang dirancang dengan baik mengurangi beban; Bot yang tidak bersumber dan tidak terkontrol menyebarkan informasi palsu dengan cepat.
Tugas aplikasi
Tuliskan 5 pertanyaan warga yang paling sering diajukan di unit Anda dan jawaban yang disetujui. Hasilkan jawaban chatbot untuk lima pertanyaan ini menggunakan template “Pembuatan jawaban berbasis sumber daya”. Kemudian, dengan templat "Pengklasifikasi delegasi", tandai pertanyaan mana yang harus didelegasikan kepada manusia. Sederhanakan setidaknya satu jawaban ke level B1.
daftar periksa
- [ ] Chatbot hanya bergantung pada basis pengetahuan yang disetujui, diberi tanggal, dan bersumber.
- [ ] Setiap jawaban mencantumkan sumbernya.
- [ ] Data pribadi tidak diproses tanpa otentikasi yang aman.
- [ ] Transfer ke manusia untuk keluhan/keberatan/pertanyaan hukum ditentukan.
- [ ] Bahasanya sederhana dan mudah diakses (disabilitas dan keragaman bahasa diperhitungkan).
- [ ] Ada umpan balik mingguan dan siklus pembaruan untuk jawaban yang salah.