Awọn ẹya
1. Ifihan si Imọye Oríkĕ ni Ile-iṣẹ Ipe ati Iriri Onibara: Awọn ipa, Awọn aala, Ijeri ati Aṣiri 2. Ohun ati Text Bots: IVR, Chatbot ati Voicebot Design 3. Apẹrẹ ibaraẹnisọrọ ati Oluranlọwọ Foju: Idi, Ọrọ sisọ, ati Iriri Adayeba 4. Ipe Lakotan ati Ifiṣamisi Aifọwọyi: Idinku ipari si Awọn iṣẹju-aaya 5. Ipilẹ Imọ ati RAG: Bawo ni Bot ati Aṣoju Wa Idahun Ti o tọ 6. Iranlọwọ Aṣoju: Iranlọwọ-akoko gidi 7. Itupalẹ Ifarabalẹ ati Isakoso Didara: QA pẹlu Awọn atupale Ọrọ 8. Iṣẹ-ara-ẹni ati adaṣe: Iyanju-ara-ẹni alabara 9. Aṣiri data, Aabo ati Ibamu: KVKK, PCI-DSS ati Masking 10. Imudara ati Ifowosowopo Imọye Oríkĕ Eniyan 11. Wiwọn, KPI ati Ilọsiwaju Ilọsiwaju: Kini lati Atẹle ati Bawo? 12. Ṣiṣe Eto Ipari-si-Ipari CX-AI: Ijọpọ ati Ijọba
Ẹyọ 11 / 12

Wiwọn, KPI ati Ilọsiwaju Ilọsiwaju: Kini lati Atẹle ati Bawo?

Awọn anfani:

  • Agbara lati ka awọn KPI Ayebaye (AHT, FCR, CSAT, NPS, CES) ati awọn metiriki AI-pato pẹlu iwọntunwọnsi didara fun iwọn iṣelọpọ kọọkan
  • Agbara lati wiwọn deede idahun ati fiseete nigbagbogbo ati yago fun pakute tiipa sinu metiriki kan
  • Agbara lati ṣe ilọsiwaju ilọsiwaju ti o da lori iwọle 'Emi ko mọ', awọn idi iyipada ati awọn ṣiṣan ti kuna pẹlu ọmọ PDCA

Aṣiṣe ti o lewu julọ nigbati AI wọ ile-iṣẹ ipe ni lati sọ “a fi sii, o dabi pe o n ṣiṣẹ, iyẹn ti to”. Boti, oluranlọwọ, tabi ṣiṣan iṣẹ ti ara ẹni ko pe ni akoko ti o lọ laaye ati pe ko duro sibẹ; O gbọdọ ṣe iwọn nigbagbogbo, abojuto ati ilọsiwaju. Pẹlupẹlu, titọpa metiriki ti ko tọ nigba miiran jẹ ipalara diẹ sii ju kii ṣe atẹle metric to tọ - nitori pe o firanṣẹ ọ ni ṣiṣe ni itọsọna ti ko tọ. Ninu ẹyọ yii, a yoo rii awọn itọka bọtini aarin ipe (KPIs), awọn metiriki AI-pato, ati bii o ṣe le fi idi iwọn ilọsiwaju ilọsiwaju kan mulẹ.

Ni akọkọ, ikilọ kan: awọn metiriki jẹ ọna si opin, kii ṣe opin funrararẹ. Ibi-afẹde ni lati yanju iṣoro alabara daradara ati daradara. Ti o ba lepa metric kan (fun apẹẹrẹ AHT) ni ipinya, awọn atunṣe yoo ge ipe kukuru laisi ipinnu alabara, ati pe idi gidi yoo bajẹ. Eyi ni a npe ni metrics aimọkan; Ka metiriki kọọkan pẹlu iwọntunwọnsi kan.

Awọn KPI ile-iṣẹ ipe ipilẹ

KPI (Atọka Iṣẹ ṣiṣe bọtini) jẹ nọmba ti o ṣe iwọn iṣẹ ṣiṣe kan. Awọn ipilẹ julọ julọ ni ile-iṣẹ ipe:

KPI

Kini iwọn

oniwontunwonsi

AHT (Aago Iṣe Agbekale)

Iye akoko olubasọrọ

FCR, CSAT (kukuru ṣugbọn kii ṣe inolubu)

FCR (Ipinnu ni Olubasọrọ akọkọ)

Ọkan-akoko ojutu

CSAT (maṣe sọ pe o yanju ati pe ko yanju rẹ)

CSAT (Itẹlọrun Onibara)

Ifiweranṣẹ-olubasọrọ

Oṣuwọn idahun (yoo jẹ aṣiwere ti eniyan diẹ ba kun)

NPS (Idiwọn Iṣeduro)

Iṣootọ / iṣeduro

Idi ti gbongbo (kilode ti kekere?)

CES (Idiwọn Igbiyanju Onibara)

Bawo ni lile onibara

-

SL (Ipele Iṣẹ)

% ipe dahun ni x iṣẹju-aaya

Oṣuwọn ikọsilẹ

Oṣuwọn ikọsilẹ (fi silẹ)

Pe sosi ni idaduro

SL, itutu

CES (Customer Effort Score) ṣe iwọn bi alabara ṣe n gbiyanju lati yanju iṣoro rẹ; kekere akitiyan ti wa ni strongly ni nkan ṣe pẹlu ga ifaramọ. Onibara kan ti o sọ pe "Mo yanju rẹ ni rọọrun" nigbagbogbo jẹ diẹ niyelori ju sisọ "Mo ni itẹlọrun pupọ".

Awọn metiriki AI-pato

Lẹgbẹẹ awọn KPI Ayebaye, awọn metiriki pataki fun awọn ohun elo AI ni a ṣafikun:

  • Oṣuwọn akoonu / iyipada: Oṣuwọn olubasọrọ ti bot/iṣẹ-ara ẹni pinnu laisi fifunni si eniyan. Ṣugbọn iyẹn nikan ni o tan; yẹ ki o wa ni kika pẹlu ojutu (pakute ni Unit 8).
  • Oṣuwọn ipinnu bot: Awọn olubasọrọ ti bot pinnu gangan (onibara ti fi itelorun silẹ) - kii ṣe “wa ninu bot”.
  • Oṣuwọn iyipada ati idi: Elo ni gbigbe ati idi (Unit 10).
  • Idahun Idahun: Oṣuwọn eyiti awọn idahun ti o fun nipasẹ bot/oluranlọwọ jẹ deede - iwọn nipasẹ iṣapẹẹrẹ ati abojuto eniyan.
  • Gbigba: Oṣuwọn eyiti awọn aṣoju lo awọn imọran iranlọwọ oluranlowo (Ẹka 6).
  • Ipeye Lakotan: Oṣuwọn eyiti awọn akopọ adaṣe adaṣe ṣe atunṣe nipasẹ ifọwọsi eniyan (Ẹka 4).
  • Oṣuwọn hallucination/aṣiṣe: Igbohunsafẹfẹ ti a ṣe soke tabi awọn idahun ti ko tọ - ibi-afẹde nitosi odo.
Imọran: So metric AI kọọkan pọ pẹlu “imuduro didara.” "Imudani giga" nikan ko dara; "ikomu ga ATI itelorun ojutu bot ga" dara. Maṣe ya awọn metiriki ṣiṣe kuro ninu metric didara.

Ilọsiwaju ilọsiwaju ọmọ

Eto AI ti o dara jẹ kẹkẹ alayipo, kii ṣe iṣẹ akanṣe kan. Yiyi PDCA Ayebaye (Eto-Do-Check-Act; PDCA) ṣiṣẹ nibi:

  1. Eto: Metiriki wo ni iwọ yoo ni ilọsiwaju ati kilode? Ṣeto ibi-afẹde kan (fun apẹẹrẹ “mu iwọn iwọn ipinnu bot pọ si lori awọn ipadabọ lati 60% si 75%).”
  2. Waye: Ṣe iyipada (ṣafikun nkan ipilẹ imọ, ṣiṣan ṣatunṣe, mu ilọsiwaju ṣiṣẹ).
  3. Ṣayẹwo: Njẹ metiriki naa ti ni ilọsiwaju bi? Ṣe awọn ipa ẹgbẹ wa (ṣe awọn metiriki miiran ti bajẹ)?
  4. Ṣọra: Ti o ba ṣiṣẹ, jẹ ki o duro titilai; Ti ko ba ṣiṣẹ, gba pada ki o kọ ẹkọ.

Idana fun yiyi ni data: “ko mọ” awọn akọọlẹ (Ẹka 5), ​​awọn idi fun iyipada (Ẹka 10), awọn ṣiṣan ti kuna (Ẹka 8), awọn ibaraẹnisọrọ igbelewọn kekere (Unit 7). Awọn orisun wọnyi sọ fun ọ ibiti o ti ni ilọsiwaju.

Išọra: Awọn awoṣe AI ati ihuwasi alabara yipada ni akoko pupọ; Eyi ni a npe ni fiseete. Botiti ti o ṣiṣẹ ni deede 95% loni le bajẹ ni ipalọlọ ti ipilẹ imọ rẹ ba di igba atijọ tabi ilana ibeere alabara yipada. Ti o ni idi ti wiwọn kii ṣe akoko kan, ṣugbọn tẹsiwaju. Ohun ti o ko wọn ni idakẹjẹ fọ lulẹ.

Mẹrin daakọ awọn awoṣe

1) Apẹrẹ dasibodu KPI:

Ṣe agbejade dasibodu KPI oṣooṣu kan fun eto AI ile-iṣẹ ipe mi. Fun metric kọọkan: itumọ, ibi-afẹde, metric aiṣedeede, orisun data, ala titaniji (itaniji loke/isalẹ iye yii). Awọn iwọn: AHT, FCR, CSAT, imudani, oṣuwọn ojutu bot, oṣuwọn iyipada, deede idahun. Ma fun fictitious awọn nọmba; Ṣeto apẹrẹ kan ki Mo fọwọsi ni awọn aaye.

2) Itumọ metiriki (fa root):

Ṣe itumọ data KPI ti o wa ni isalẹ bi oluyanju CX. (1) Awọn iyipada ti o ṣe akiyesi julọ, (2) ṣee ṣe root fa HYPOTHESES (mule), (3) kini metric miiran lati wo (aiṣedeede), (4) 2 awọn iṣẹ ti a daba. Gba awọn nọmba lati inu data naa; Samisi awọn idawọle bi “a gbọdọ fidi mulẹ”. Data: <<...>>

3) Agbeyewo lafiwe A/B:

Ṣe afiwe awọn ẹya bot / ṣiṣan meji (A ati B) pẹlu data yii: <<data>>.Ewo ni o dara julọ ni imudani, oṣuwọn ipinnu bot ati CSAT? Ṣe iyatọ naa dabi pataki tabi o jẹ kekere / ariwo? Njẹ ere iṣelọpọ ni laibikita fun pipadanu didara? Fun iṣeduro ti o daju, ṣugbọn tun tọka si eyikeyi awọn aidaniloju.

4) Akopọ esi ilọsiwaju ilọsiwaju:

Darapọ awọn orisun ilọsiwaju atẹle (ko mọ akọọlẹ, awọn idi fifẹ, awọn ṣiṣan kuna). Ṣe iṣaju awọn anfani ilọsiwaju ikolu 3 ti o ga julọ: oro / metiriki ti o kan / iyipada igbero / ipa ti a nireti. O kan gbekele data. Awọn orisun: <<...>>

Ailagbara kiakia / Alagbara kiakia

Ibere ​​ailagbara:

Sọ fun mi boya awọn nọmba oṣu yii dara tabi buburu.

Ko ṣe akiyesi: metiriki wo, kini ibi-afẹde, kini amuduro, kini idi ti gbongbo - ṣe agbejade adajọ ati idajọ arekereke.

Ibere ​​ti o lagbara:

Ni oṣu yii, imudani pọ si lati 58% si 71%, ṣugbọn CSAT lọ silẹ lati 4.1 si 3.6, ati pe oṣuwọn iyipada dinku lati 30% si 19%. Ṣe itumọ chart yii: Njẹ ilosoke iṣelọpọ wa ni laibikita fun itẹlọrun alabara (ṣe awọn alabara le ni idẹkùn ninu bot)? Iru data wo ni MO yẹ ki n rii daju pẹlu? Daba awọn iṣe 2.

Iyatọ: ibeere ti awọn metiriki, iwọntunwọnsi ati afọwọsi jẹ kedere; Itumọ naa jẹ oye (nibi nibẹ ni ifihan “ihamọ” ifihan pakute nitori ilosoke imudani wa pẹlu idinku CSAT).

mẹta mini igba

Ọran 1 - Pakute metric ti ko tọ. Ile-iṣẹ ipe kan ni ẹsan AHT nikan. Awọn aṣoju ṣoki lori awọn alabara laisi ipinnu wọn lati kuru akoko naa; Ni igba kukuru, AHT ṣubu 15%, ṣugbọn awọn ipe tun pọ si 28% ati FCR ṣubu. Apapọ ẹru ati iye owo ti pọ si nitootọ. Iwọntunwọnsi jẹ idasilẹ nigbati AHT, FCR ati CSAT ni abojuto papọ. Ẹkọ: metric kan purọ.

Ọran 2 - ipalọlọ fiseete. Boti banki kan ṣiṣẹ laisi awọn iṣoro eyikeyi fun awọn oṣu 6, ko si ẹnikan ti o wọn. Nigbati awọn ọja titun ba jade, ipilẹ imọ ti a fi silẹ; Iṣe deede Bot lọ silẹ lainidii lati 94% si 79%, ati awọn ẹdun pọ si. Ni kete ti a ti fi idi wiwọn deede deede, yiyọ kuro ni kutukutu. Ẹkọ: eto ti a ko wọn ni idakẹjẹ fọ lulẹ.

Ọran 3 - Awọn agbara ti awọn iwosan ọmọ. Ile-iṣẹ e-commerce kan yan awọn ilọsiwaju ikolu 3 ti o ga julọ ni oṣu kọọkan (lati ko mọ log + awọn idi iyipada + awọn ṣiṣan ti kuna) pẹlu ọmọ PDCA oṣooṣu kan. Ni awọn osu 6, oṣuwọn ipinnu bot pọ lati 52% si 74%, CSAT lati 3.8 si 4.4 - kii ṣe ni aṣeyọri nla kan, ṣugbọn ni kekere, awọn ilọsiwaju ti a ṣewọn ọkan lẹhin ekeji. Ilọsiwaju ilọsiwaju wa lati aitasera, kii ṣe fifo ati awọn opin.

Awọn aṣiṣe ti o wọpọ

  • Fojusi lori metiriki kan. Lepa AHT tabi imudani nikan dinku didara; Gbogbo metric gbọdọ ni amuduro.
  • Decoupling awọn metiriki ise sise lati didara. "Bot naa yanju pupọ" ati "onibara ni itẹlọrun" jẹ ohun meji ti o yatọ; Ka papọ.
  • Ṣeto ni ẹẹkan ki o jẹ ki o lọ. Drift jẹ ipalọlọ; Iwọn wiwọn tẹsiwaju jẹ dandan.
  • Ṣiṣaro CSAT nikan bi gidi. Oṣuwọn idahun kekere kan ṣi CSAT lọna; Wo ẹniti o kun.
  • Ko so ilọsiwaju si data. Ṣe iṣaaju pẹlu data “ko mọ log/fifun/ sisan ti kuna”, kii ṣe intuition.

Ni akojọpọ

Iwọn wiwọn ati ilọsiwaju ilọsiwaju yipada AI lati fifi sori akoko kan sinu eto gbigbe. Tọpinpin awọn KPI Ayebaye (AHT, FCR, CSAT, NPS, CES) ati awọn metiriki AI-pato (ikomu, oṣuwọn ojutu bot, deede idahun, lilo iṣeduro) papọ; ka metiriki iṣelọpọ kọọkan pẹlu amuduro didara kan; Maṣe ṣe atunṣe lori metiriki kan. Ni ilọsiwaju nigbagbogbo pẹlu lupu PDCA ki o lo awọn akọọlẹ “ko mọ”, awọn idi iyipada, ati awọn ṣiṣan ti kuna bi epo fun lupu naa. Ranti: awọn awoṣe ati awọn onibara n lọ kiri lori akoko; Ohun ti o ko ba wọn ni idakẹjẹ jẹ ibajẹ.

Ohun elo iṣẹ-ṣiṣe

Ṣe apẹrẹ dasibodu KPI fun eto AI tirẹ ti o ni awọn metiriki 7; fun metiriki kọọkan, ṣeto itumọ kan, ibi-afẹde, metiriki aiṣedeede, ati ala titaniji (lo awoṣe “1) KPI dashboard”. Lẹhinna ṣẹda ipilẹ data oṣooṣu airotẹlẹ ki o ṣe itupalẹ idi root pẹlu awoṣe “2) Itumọ Metric”. Nikẹhin, ṣe pataki awọn ilọsiwaju ikolu 3 ti o ga julọ fun oṣu ti n bọ pẹlu “4) Akopọ awọn ilọsiwaju ilọsiwaju”.

akojọ ayẹwo

  • [] Mo tọpa awọn KPI Ayebaye ati awọn metiriki AI-pato papọ.
  • [] Gbogbo metiriki iṣelọpọ ni imuduro didara; Emi ko idojukọ lori kan nikan metric.
  • [] Mo ti ka awọn akoonu / bot ojutu oṣuwọn pẹlú pẹlu onibara itelorun.
  • [] Mo wọn deede idahun ati fiseete nigbagbogbo.
  • [] Mo ṣe ilọsiwaju siwaju, data-ìṣó pẹlu ọmọ PDCA.
  • [] Mo ṣe pataki awọn ilọsiwaju pẹlu akọọlẹ “ko mọ”, awọn idi fifunni, ati awọn ṣiṣan ti kuna.
Ti tẹlẹ Itele