zisky:
- Navrhuje bezpečný tok odpovedí, ktorý klasifikuje otázky občanov, vytvára návrhy odpovedí a v prípade potreby ich deleguje na ľudí.
- Meria kvalitu chatbotov na báze témy po téme pomocou ukazovateľov pokrytia, presnosti, obratu a miery riešenia a nachádza slepé miesta.
- Určuje, na ktoré otázky občanov možno odpovedať automaticky a ktoré musia byť ponechané na ľudskú autoritu.
Miestom, kde verejná služba prichádza najviac do kontaktu s občanom, je obslužný pult: telefón, pokladňa, e-mail, call centrum, webová stránka inštitúcie a sociálne siete. Občan sa pýta "Ako zaplatím daň z nehnuteľnosti?", "Kde získam potvrdenie o pobyte?", "Aké doklady sú potrebné k tomuto dokladu?" pýta sa. Mnohé z týchto otázok sa opakujú; Odpovede sú zrejmé; ale objem je vysoký a obmedzený na pracovné hodiny. Chatbot (softvérový asistent, ktorý vytvára automatické odpovede na písomné alebo hlasové otázky) a systémy odozvy podporované AI zvládajú túto opakujúcu sa záťaž a nasmerujú dôstojníka na úlohy, ktoré si vyžadujú skutočnú odbornosť. V tejto lekcii sa naučíte, ako používať AI v službách pre občanov od začiatku do konca – od klasifikácie otázok až po generovanie odpovedí, viacjazyčnosť, dostupnosť a najdôležitejší aspekt, ktorý zabraňuje dezinformáciám.
Prečo je občianska otázka ťažká?
Občianska otázka je ťažká v troch ohľadoch. Po prvé, presnosť: nesprávny zoznam dokumentov márne privádza občana do inštitúcie; Nesprávna lehota bude mať za následok stratu práv. Po druhé, rovnosť: dvom ľuďom, ktorí kladú rovnakú otázku, nemožno dať rôzne odpovede; Okrem toho by mu mal rozumieť každý, bez ohľadu na úroveň vzdelania, jazyk alebo postihnutie. Po tretie, súkromie: občania si pri kladení otázok často zapisujú svoje osobné údaje („moje TR ID je toto, aká je moja žiadosť?“) a tieto údaje musia byť chránené.
Kľúčom k umiestneniu AI v rámci týchto troch obmedzení je toto: AI je rozhranie, ktoré sprostredkúva vopred schválené presné informácie občanovi vo vhodnom jazyku; Nevytvára legislatívu sama o sebe. Spôsob, ako to dosiahnuť, je pripojiť chatbota k vedomostnej základni schválenej organizáciou (časté otázky, súhrny predpisov, servisné príručky) – nazýva sa to RAG (generovanie rozšírené o získavanie), kde AI stiahne príslušný kus z dôveryhodného úložiska dokumentov a odpovie výlučne na základe neho predtým, ako vypracuje odpoveď.
Tip: V odpovedi chatbota vždy uveďte zdroj: „Táto informácia je založená na [sprievodcovi službou / obežníkom], [oficiálna stránka] pre aktuálny stav.“ Odpoveď bez zdrojov je jednak neoveriteľná a jednak znižuje dôveru občana.
Krok za krokom: nastavenie toku reakcie občanov
- Určite rozsah. Na ktoré otázky chatbot odpovie (daň, konanie o občianskej registrácii, licencia) a na ktoré povie „Nasmerujem vás na príslušnú jednotku“? Je lepšie delegovať to na ľudí, než vymýšľať odpoveď na otázku, ktorá je mimo rozsahu.
- Pripravte si schválenú vedomostnú základňu. Každá odpoveď musí byť založená na texte s dátumom a zdrojom, ktorý kontroluje inštitúcia. Zodpovedná osoba by mala sledovať aktualizácie.
- Zapíšte si tónové a jazykové pravidlá. Zdvorilý, jednoduchý, nepoužíva žargón, krátke vety. Formálny, ale nie chladný jazyk.
- Nastavte pravidlo osobných údajov. Chatbot by mal poskytovať personalizované informácie, ako napríklad stav transakcie, až po zabezpečenej autentifikácii; by pri poskytovaní všeobecných informácií nemali požadovať osobné údaje.
- Definujte body eskalácie. Sťažnosti, námietky, otázky, ktoré majú právne dôsledky alebo nejasné otázky, by mali byť doručené ľuďom.
- Monitorovať a zlepšovať. Nesprávne zodpovedané otázky by sa mali kontrolovať týždenne a vedomostná základňa by sa mala aktualizovať.
tri mini prípady
Prípad 1 — Záťaž sa znížila, dôstojník sa obrátil na expertízu. Call centrum metropolitnej samosprávy prijalo ~48 000 hovorov mesačne; z toho 61 % bolo asi päť opakujúcich sa tém. Chatbot založený na RAG prevzal týchto päť tém; pracovníci call centra boli rozdelení na komplexné sťažnosti a odvolania; Priemerná doba čakania sa znížila zo 7 minút na 2 minúty.
Prípad 2 – Pasca na dezinformácie. Pilot chatbota bez zdrojov zopakoval starú sumu hovoriacu „poplatok za pas je tento rok 1 200 TL“; keďže malta bola aktualizovaná. 3 dni prichádzali občania s nesprávnou sumou. Poučenie: chatbot by sa mal spoliehať iba na datovanú, aktuálnu a zdrojovú vedomostnú základňu; by nemali byť ponechané na voľnú výrobu.
Prípad 3 – Získanie dostupnosti. Organizácia zjednodušila reakcie chatbotov na úroveň B1 (základná-stredne pokročilá) a urobila ich vhodnými pre čítačky obrazovky pre zrakovo postihnutých. Podiel občanov, ktorí prišli do pokladne z dôvodu, že nerozumeli sprievodcovi, sa znížil o 28 %; V reklamáciách spätná väzba s témou „nerozumiem“ klesla na tretinu.
Štyri kopírovateľné šablóny
1) Generovanie odpovede v závislosti od zdroja:
Vaša úloha: zdvorilý a otvorene hovoriaci konzultant verejnej služby. Odpoveď len na základe textu CERTIFIKOVANÝCH INFORMÁCIÍ, ktorý som uviedol nižšie. Ak sa vás spýta niečo, čo nie je v texte, povedzte „Nasmerujem vás na [jednotka], kde získate presné informácie o tejto téme“ a odpoveď nevymýšľajte. Pridajte zdroj na koniec odpovede. SCHVÁLENÉ INFORMÁCIE: [prilepiť text] OTÁZKA: [občianska otázka]
2) Jazykové zjednodušenie:
Preložte nižšie uvedený oficiálny text do obyčajnej turečtiny, ktorej ľahko porozumie aj absolvent strednej školy. Vysvetlite žargón, skráťte vety, vytvorte zoznam krok za krokom. Význam a právny obsah by sa nemal meniť. Označte nejasnú oblasť ako „potrebuje objasnenie“. TEXT: [prilepiť oficiálny text]
3) Viacjazyčná odpoveď (s poznámkami k overeniu):
Preložte nasledujúcu schválenú tureckú odpoveď do [cieľového jazyka]. Správne rozpoznajte oficiálne výrazy; Termín, ktorým si nie ste istí, nechajte v zátvorke s jeho tureckou verziou. Pridajte poznámku, že preklad by mal skontrolovať odborník. ODPOVEĎ: [text]
4) Klasifikátor eskalácie:
Klasifikujte nasledujúcu správu občana: (A) všeobecný dopyt -> vhodná automatická odpoveď, (B) stav personalizovanej transakcie -> vyžaduje sa overenie, (C) sťažnosť/odvolanie/právny výsledok -> odovzdanie človeku. Odôvodnite len jedno písmeno a jednu vetu. Ak nie je isté, najbezpečnejšia možnosť (C). SPRÁVA: [text]
Slabá výzva / Silná výzva
Slabé: "Informovať občanov o dani z nehnuteľnosti."
Strong: "Vašou úlohou je zdvorilý verejný poradca. Odpovedzte LEN na základe schváleného textu informácií uvedených nižšie; doplňte, čo nie je v texte, v prípade potreby sa obráťte na príslušné oddelenie. Odpoveď napíšte jednoducho, stručne a krok za krokom. Nepýtajte sa na osobné údaje. Na konci pridajte zdroj a poznámku "aktuálnu sumu skontrolujte na oficiálnej stránke". Schválené informácie: [text]. Otázka: [otázka]."
Rozdiel: silná pohotovosť obmedzuje reakciu na schválený zdroj, zabraňuje výrobe, definuje tón a dôvernosť; Výsledkom je kvalita, ktorú možno ukázať priamo občanom.
Automatická odpoveď alebo odovzdanie človeku?
Stav
správnym spôsobom
Prečo?
Zoznam dokumentov, pracovný čas, všeobecný proces
Automatická odozva (RAG)
Informácie sú pevné a schválené
"Ako sa darí mojej aplikácii?"
Autentifikácia + systémový dotaz
osobné údaje
Sťažnosť, námietka, sťažnosť
odovzdanie človeku
Vyžaduje sa ocenenie a empatia
Otázka s právnymi dôsledkami
odovzdanie človeku
Zodpovednosť a opodstatnenosť
Mimo rozsah/neistota
odovzdanie človeku
Vyhýbanie sa riziku výroby
Meranie kvality chatbota: čísla, nie intuícia
Občiansky chatbot nie je riadený tým, že „zdá sa, že funguje dobre“; sa meria. Sledujte výkon chatbotov vo verejnej službe pomocou štyroch ukazovateľov. Miera pokrytia (percento otázky, na ktorú chatbot odpovedal správne bez toho, aby ju odovzdal človeku); miera presnosti (súlad uvedených odpovedí s legislatívou a súčasnou praxou, s manuálnou kontrolou vzorky); miera fluktuácie (otázky prenesené na človeka – ak je príliš nízka, chatbot si môže byť istý nesprávnymi témami); miera spokojnosti/riešenia (vyriešenie problému občana pri prvom kontakte). Sledovanie týchto indikátorov na týždennom dashboarde umožňuje vidieť, kde chatbot produkuje halucinácie a ktoré témy je potrebné delegovať na človeka.
Mini puzdro — zachytený mŕtvy uhol. Chatbot provinčného riaditeľstva poskytol dobrú celkovú mieru pokrytia 78 percent; Avšak v podnadpise „práva zdravotne postihnutých občanov“ bola miera presnosti iba 41 percent, pretože model vytvoril odpoveď založenú na neaktualizovanom nariadení. Bez predmetového merania by toto slepé miesto zostalo skryté v rámci priemeru. Tím dočasne uzavrel toto vlákno podľa pravidla „vždy delegovať na človeka“ a po aktualizácii obsahu ho znova otvoril.
Týždenná šablóna na kontrolu kvality odpovede podľa vzorky:
Úloha: Nižšie je 20 odpovedí a občianskych otázok, ktoré chatbot dal minulý týždeň. Vyhodnoťte každú odpoveď: 1) Je v súlade s legislatívou? (Áno/Nie/Pochybné – uveďte položku/zdroj)2) Chýbajú nejaké alebo sú zavádzajúce informácie?3) Mali byť delegované na človeka?Výstup: Tabuľka (číslo otázky | vhodnosť | poznámka k riziku | odporúčanie).Na začiatok uveďte zoznam tých, ktorých vhodnosť je otázna.Poznámka: Toto je návrh auditu; Konečné rozhodnutie patrí kontrolórovi.
Tip: Schopnosť chatbota povedať „neviem, prenášam vás na úradníka“ nie je slabinou, ale zárukou kvality. Na verejnosti je sebavedomá nesprávna odpoveď oveľa drahšia ako čestné prevzatie.
Časté chyby
- Uvoľnenie chatbota do bezplatnej produkcie. Robot, ktorý nie je pripojený k schválenej znalostnej báze, poskytne zastarané alebo vymyslené informácie.
- Bez uvedenia zdrojov. Občania nemôžu overovať, štátni zamestnanci nemôžu kontrolovať; Chrobák sa ticho šíri.
- Spracúvanie osobných údajov bez autentifikácie. Odpoveď na otázku „Aký je stav mojej žiadosti?“ bez bezpečného overenia je riziko KVKK.
- Nedefinovanie bodov zlomu. Ponechanie sťažností a námietok robotovi zvýši viktimizáciu.
- Nezjednodušovanie jazyka. Presné informácie, ktorým nerozumie, sú pre občana neplatné; dostupnosť je nutnosťou.
- Nevytváranie spätnej väzby. Ak sa nesprávne zodpovedané otázky nesledujú a neopravujú, rovnaká chyba sa bude opakovať.
V súhrne
V službách pre občanov AI odpovedá na opakujúce sa otázky rýchlo, jednoducho a 24 hodín denne, 7 dní v týždni, čím nasmeruje úradníka na úlohy, ktoré si vyžadujú skutočnú odbornosť. Tajomstvo je v troch veciach: prepojenie odpovedí so schválenou vedomostnou základňou (RAG), pridávanie zdrojov ku každej odpovedi a delegovanie otázok sťažností/námietok/osobných akcií na ľudí. Správne navrhnutý chatbot znižuje záťaž; Nezabezpečený a nekontrolovaný bot rýchlo šíri nepravdivé informácie.
Aplikačná úloha
Zapíšte si 5 najčastejšie kladených otázok občanov vo vašej jednotke a ich schválené odpovede. Vygenerujte odpovede chatbota na týchto päť otázok pomocou šablóny „Generovanie odpovedí na základe zdrojov“. Potom pomocou šablóny "klasifikátor delegovania" označte, ktoré otázky by sa mali delegovať na človeka. Zjednodušte aspoň jednu odpoveď na úroveň B1.
kontrolný zoznam
- [ ] Chatbot závisí iba od schválenej, datovanej a zdrojovej databázy znalostí.
- [ ] Každá odpoveď uvádza zdroj.
- [ ] Osobné údaje sa nespracúvajú bez bezpečnej autentifikácie.
- [ ] Definovaný prevod na človeka na účely sťažnosti/námietky/právnej otázky.
- [ ] Jazyk je jednoduchý a prístupný (berie sa do úvahy postihnutie a jazyková rôznorodosť).
- [ ] Pre nesprávne odpovede existuje týždenný cyklus spätnej väzby a aktualizácie.