Unit 2 / 11

Perkhidmatan Warganegara dan Chatbot: Perkhidmatan Boleh Diakses, Tepat dan Adil 24/7

Keuntungan:

  • Ia mereka bentuk aliran respons selamat yang mengklasifikasikan soalan warganegara, menghasilkan draf respons dan menyerahkannya kepada manusia apabila perlu.
  • Ia mengukur kualiti chatbot berdasarkan topik demi topik dengan penunjuk liputan, ketepatan, pusing ganti dan kadar resolusi serta mencari titik buta.
  • Ia menentukan soalan rakyat yang boleh dijawab secara automatik dan yang mesti diserahkan kepada kuasa manusia.

Titik di mana perkhidmatan awam paling banyak berhubung dengan rakyat ialah meja perkhidmatan: telefon, box office, e-mel, pusat panggilan, laman web institusi dan media sosial. Seorang warganegara bertanya "Bagaimana cara saya membayar cukai harta saya?", "Di manakah saya boleh mendapatkan sijil pemastautin?", "Apakah dokumen yang diperlukan untuk dokumen ini?" dia bertanya. Banyak soalan ini berulang; Jawapannya jelas; tetapi volumnya tinggi dan terhad kepada waktu perniagaan. Chatbot (pembantu perisian yang menghasilkan jawapan automatik kepada soalan bertulis atau suara) dan sistem respons yang disokong AI memenuhi beban berulang ini dan mengarahkan pegawai kepada tugas yang memerlukan kepakaran sebenar. Dalam unit ini, anda akan belajar cara menggunakan AI dalam perkhidmatan warga negara dari hujung ke hujung—daripada klasifikasi soalan kepada penjanaan respons, berbilang bahasa, kebolehaksesan dan aspek yang paling kritikal, menghalang maklumat salah.

Mengapa soalan rakyat sukar?

Persoalan warganegara sukar dalam tiga aspek. Pertama, ketepatan: senarai dokumen yang salah membawa warganegara ke institusi dengan sia-sia; Tempoh yang tidak betul akan mengakibatkan kehilangan hak. Kedua, kesaksamaan: dua orang yang bertanya soalan yang sama tidak boleh diberi jawapan yang berbeza; Lebih-lebih lagi, semua orang harus memahaminya, tanpa mengira tahap pendidikan, bahasa atau kecacatan. Ketiga, privasi: rakyat sering menulis maklumat peribadi mereka apabila bertanya soalan ("ID TR saya ini, bagaimana permohonan saya?") dan data ini mesti dilindungi.

Kunci untuk meletakkan AI dalam tiga kekangan ini ialah: AI ialah antara muka yang menyampaikan maklumat tepat yang telah diluluskan kepada warganegara dalam bahasa yang sesuai; Ia tidak menghasilkan perundangan sendiri. Cara untuk mencapai matlamat ini ialah dengan menyambungkan chatbot ke pangkalan pengetahuan yang diluluskan oleh organisasi (Soalan Lazim, ringkasan peraturan, panduan perkhidmatan) — ini dipanggil RAG (generasi dipertingkatkan semula) di mana AI ​​menarik bahagian yang berkaitan daripada repositori dokumen yang dipercayai dan bertindak balas semata-mata berdasarkannya sebelum menghasilkan jawapan.

Petua: Sentiasa sertakan sumber dalam jawapan chatbot: "Maklumat ini berdasarkan [panduan perkhidmatan / nombor pekeliling], [halaman rasmi] untuk status semasa." Jawapan tanpa sumber tidak boleh disahkan dan mengurangkan kepercayaan rakyat.

Langkah demi langkah: menyediakan aliran respons warganegara

  1. Tentukan skop. Mengenai isu manakah chatbot akan bertindak balas (cukai, prosedur pendaftaran sivil, lesen) dan pada isu manakah ia akan berkata "Saya mengarahkan anda ke unit yang berkaitan"? Adalah lebih baik untuk mewakilkannya kepada manusia daripada membuat jawapan kepada soalan yang di luar skop.
  2. Sediakan pangkalan pengetahuan yang diluluskan. Setiap jawapan mestilah berdasarkan teks bertarikh dan bersumber yang dikawal oleh institusi. Orang yang bertanggungjawab harus menjejaki kemas kini.
  3. Tuliskan peraturan nada dan bahasa. Sopan, ringkas, tidak menggunakan jargon, ayat pendek. Bahasa formal tetapi tidak dingin.
  4. Tetapkan peraturan data peribadi. Chatbot harus memberikan maklumat yang diperibadikan, seperti status transaksi, hanya selepas pengesahan selamat; tidak seharusnya meminta data peribadi apabila memberikan maklumat am.
  5. Tentukan titik peningkatan. Aduan, bantahan, soalan yang mempunyai akibat undang-undang atau soalan yang tidak jelas harus disampaikan kepada orang ramai.
  6. Pantau dan perbaiki. Soalan yang dijawab dengan salah harus disemak setiap minggu dan pangkalan pengetahuan dikemas kini.

tiga kes mini

Kes 1 — Beban berkurangan, pegawai beralih kepada kepakaran. Pusat panggilan perbandaran metropolitan menerima ~48,000 panggilan sebulan; daripada jumlah ini, 61% adalah kira-kira lima topik berulang. Chatbot berasaskan RAG mengambil lima topik ini; kakitangan pusat panggilan dibahagikan kepada aduan dan rayuan yang kompleks; Purata masa menunggu berkurangan daripada 7 minit kepada 2 minit.

Kes 2 — Perangkap maklumat salah. Juruterbang chatbot tanpa sumber mengulangi jumlah lama dengan mengatakan "yuran pasport ialah 1,200 TL tahun ini"; sedangkan mortar telah dikemas kini. Selama 3 hari, rakyat datang dengan jumlah yang salah. Pengajaran: chatbot hendaklah hanya bergantung pada pangkalan pengetahuan yang bertarikh, terkini dan bersumber; tidak boleh dibiarkan pengeluaran percuma.

Kes 3 — Keuntungan kebolehaksesan. Sebuah organisasi memudahkan respons chatbot kepada tahap bahasa B1 (asas-perantaraan) dan menjadikannya sesuai untuk pembaca skrin bagi mereka yang cacat penglihatan. Kadar rakyat yang datang ke box office kerana tidak memahami panduan perkhidmatan menurun sebanyak 28%; Dalam aduan, maklum balas dengan tema "Saya tidak faham" menurun kepada satu pertiga.

Empat templat yang boleh disalin

1) Penjanaan tindak balas bergantung kepada sumber:

Peranan anda: seorang perunding perkhidmatan awam yang sopan dan berterus terang. Jawab hanya berdasarkan teks MAKLUMAT DISAHKAN yang saya sediakan di bawah. Jika anda ditanya sesuatu yang tiada dalam teks, katakan "Saya arahkan anda ke [unit] untuk mendapatkan maklumat yang tepat mengenai subjek ini" dan jangan membuat jawapan. Tambahkan sumber di hujung jawapan. MAKLUMAT YANG DILULUSKAN: [tampal teks] SOALAN: [soalan warganegara]

2) Penyederhanaan bahasa:

Terjemah teks rasmi di bawah ke dalam bahasa Turki biasa yang boleh difahami dengan mudah oleh graduan sekolah menengah. Terangkan jargon, pendekkan ayat, buat senarai langkah demi langkah. Maksud dan kandungan undang-undang tidak boleh berubah. Tandakan kawasan yang tidak jelas sebagai "memerlukan penjelasan". TEKS: [tampal teks rasmi]

3) Sambutan berbilang bahasa (dengan nota pengesahan):

Terjemahkan jawapan Turki yang diluluskan berikut ke dalam [bahasa sasaran].Kenal pasti istilah rasmi dengan betul; Tinggalkan istilah yang anda tidak pasti dalam kurungan dengan versi Turkinya. Tambah nota bahawa terjemahan harus disemak oleh pakar. JAWAPAN: [teks]

4) Pengelas peningkatan:

Klasifikasikan mesej warganegara berikut: (A) pertanyaan umum -> autobalas sesuai, (B) status transaksi diperibadikan -> pengesahan diperlukan, (C) aduan/rayuan/hasil undang-undang -> penyerahan kepada manusia. Berikan hanya satu huruf dan satu ayat justifikasi. Jika tidak pasti, pilihan paling selamat (C). MESEJ: [teks]

Gesaan lemah / Gesaan kuat

Lemah: "Maklumkan rakyat tentang cukai harta."

Kuat: "Peranan anda adalah sebagai penasihat awam yang sopan. Jawab HANYA berdasarkan teks maklumat yang diluluskan di bawah; buat apa yang tiada dalam teks, rujuk jabatan yang berkaitan jika perlu. Tulis jawapan dengan ringkas, padat dan langkah demi langkah. Jangan minta data peribadi. Tambah sumber dan nota 'semak halaman rasmi untuk jumlah semasa' pada akhir soalan. Maklumat yang diluluskan: [teks] Soalan]. ": [Maklumat yang diluluskan: [teks].":

Perbezaan: segera yang kuat menghadkan respons kepada sumber yang diluluskan, menghalang fabrikasi, mentakrifkan nada dan kerahsiaan; Hasilnya adalah kualiti yang boleh ditunjukkan terus kepada rakyat.

Respons automatik atau penyerahan kepada manusia?

Status

cara yang betul

kenapa

Senarai dokumen, waktu bekerja, proses am

Respons automatik (RAG)

Maklumat adalah tetap dan diluluskan

“Bagaimana keadaan permohonan saya?”

Pengesahan + pertanyaan sistem

data peribadi

Aduan, bantahan, rungutan

penyerahan kepada manusia

Penghargaan dan empati diperlukan

Soalan dengan akibat undang-undang

penyerahan kepada manusia

Tanggungjawab dan justifikasi

Di luar skop/tidak pasti

penyerahan kepada manusia

Mengelakkan risiko fabrikasi

Mengukur kualiti chatbot: nombor, bukan gerak hati

Bot sembang warganegara tidak diurus dengan mengatakan "nampaknya berfungsi dengan baik"; diukur. Jejaki prestasi chatbot dalam perkhidmatan awam dengan empat penunjuk. Kadar liputan (peratusan soalan yang dijawab dengan betul oleh chatbot tanpa menyerahkannya kepada manusia); kadar ketepatan (pematuhan jawapan yang diberikan dengan perundangan dan amalan semasa, dengan kawalan sampel manual); kadar pusing ganti (soalan dipindahkan kepada manusia — jika terlalu rendah, chatbot mungkin yakin tentang topik yang salah); kadar kepuasan/penyelesaian (menyelesaikan masalah warganegara pada perhubungan pertama). Penjejakan penunjuk ini pada papan pemuka mingguan menjadikannya kelihatan di mana chatbot menghasilkan halusinasi dan topik yang perlu diwakilkan kepada manusia.

Kes mini — titik buta ditangkap. Chatbot sebuah direktorat wilayah memberikan kadar liputan keseluruhan yang baik sebanyak 78 peratus; Walau bagaimanapun, pada subtajuk "hak warganegara kurang upaya", kadar ketepatan hanya 41 peratus kerana model itu menghasilkan jawapan berdasarkan peraturan yang tidak dikemas kini. Tanpa pengukuran berasaskan subjek, titik buta ini akan kekal tersembunyi dalam purata. Pasukan menutup urutan ini buat sementara waktu kepada peraturan "sentiasa wakilkan kepada manusia" dan membukanya semula selepas kandungan dikemas kini.

Templat mingguan untuk menyemak kualiti respons mengikut sampel:

Tugasan: Di bawah ialah 20 jawapan dan soalan warganegara yang diberikan oleh chatbot minggu lepas. Nilai setiap jawapan: 1) Adakah ia mematuhi perundangan? (Ya/Tidak/Ragu — nyatakan item/sumber)2) Adakah terdapat sebarang maklumat yang hilang atau mengelirukan?3) Patutkah ia diwakilkan kepada manusia?Output: Jadual (nombor soalan | kesesuaian | nota risiko | cadangan).Senaraikan mereka yang kesesuaiannya boleh dipersoalkan ke atas.Nota: Ini adalah draf audit; Keputusan muktamad adalah milik pegawai pemeriksa.

Petua: Keupayaan chatbot untuk mengatakan "Saya tidak tahu, saya memindahkan anda kepada pegawai" bukanlah kelemahan, tetapi jaminan kualiti. Di khalayak ramai, jawapan salah yang yakin adalah lebih mahal daripada pengambilalihan yang jujur.

Kesilapan biasa

  • Melepaskan chatbot kepada pengeluaran percuma. Bot yang tidak disambungkan ke pangkalan pengetahuan yang diluluskan akan memberikan maklumat lapuk atau rekaan.
  • Tidak memetik sumber. Rakyat tidak boleh membuat pengesahan, penjawat awam tidak boleh memeriksa; Pepijat merebak secara senyap.
  • Memproses data peribadi tanpa pengesahan. Menjawab soalan "Apakah status permohonan saya?" tanpa pengesahan selamat adalah risiko KVKK.
  • Tidak menentukan titik tip. Meninggalkan aduan dan bantahan kepada bot akan meningkatkan penganiayaan.
  • Tidak memudahkan bahasa. Maklumat tepat yang tidak difahami adalah batal dan tidak sah untuk warganegara; kebolehcapaian adalah satu kemestian.
  • Tidak mewujudkan gelung maklum balas. Jika soalan yang dijawab dengan salah tidak dipantau dan diperbetulkan, kesilapan yang sama akan berulang.

Secara ringkasnya

Dalam perkhidmatan warganegara, AI bertindak balas kepada soalan berulang dengan cepat, ringkas dan 24/7, mengarahkan pegawai ke pekerjaan yang memerlukan kepakaran sebenar. Rahsianya adalah dalam tiga perkara: memautkan jawapan kepada pangkalan pengetahuan (RAG) yang diluluskan, menambah sumber pada setiap jawapan dan mewakilkan soalan aduan/bantahan/tindakan peribadi kepada manusia. Chatbot yang direka dengan betul mengurangkan beban; Bot yang tidak bersumber dan tidak terkawal menyebarkan maklumat palsu dengan cepat.

Tugasan permohonan

Tuliskan 5 soalan rakyat yang paling kerap ditanya dalam unit anda dan jawapan mereka yang diluluskan. Hasilkan jawapan chatbot untuk lima soalan ini menggunakan templat "Penjanaan jawapan berasaskan sumber". Kemudian, dengan templat "Pengkelas Perwakilan", tandakan soalan yang harus diwakilkan kepada manusia. Permudahkan sekurang-kurangnya satu jawapan untuk tahap B1.

senarai semak

  • [ ] Chatbot hanya bergantung pada pangkalan pengetahuan yang diluluskan, bertarikh, bersumber.
  • [ ] Setiap jawapan memetik sumber.
  • [ ] Data peribadi tidak diproses tanpa pengesahan yang selamat.
  • [ ] Pindahkan kepada manusia untuk aduan/bantahan/soalan undang-undang yang ditakrifkan.
  • [ ] Bahasanya mudah dan boleh diakses (ketidakupayaan dan kepelbagaian linguistik diambil kira).
  • [ ] Terdapat maklum balas mingguan dan kitaran kemas kini untuk jawapan yang salah.