Пайдалар:
- Классикалык KPI (AHT, FCR, CSAT, NPS, CES) жана AI үчүн атайын көрсөткүчтөрдү ар бир өндүрүмдүүлүктүн сапаты үчүн баланстоочу менен окуу мүмкүнчүлүгү
- Жооптордун тактыгын өлчөө жана үзгүлтүксүз дрифт жүргүзүү жана бир метрикага камалып калуудан качуу мүмкүнчүлүгү
- "Мен билбейм" журналынын негизинде үзгүлтүксүз өркүндөтүү мүмкүнчүлүгү, жүгүртүү себептери жана PDCA цикли менен ишке ашпай калган агымдар
AI колл-борборго киргенде эң кооптуу ката "биз аны орнотуп койдук, иштеп жатат окшойт, жетиштүү" деп айтуу. Бот, жардамчы же өзүн-өзү тейлөө агымы түз эфирге чыкканда идеалдуу эмес жана ал жерде калбайт; Аны дайыма өлчөп, көзөмөлдөп, өркүндөтүп туруу керек. Андан тышкары, туура эмес метрикага көз салуу кээде туура метриканы байкабаганга караганда зыяндуураак болот, анткени ал сизди туура эмес багытта чуркап жиберет. Бул бөлүмдө биз чалуу борборунун негизги көрсөткүчтөрүн (KPI), AI үчүн өзгөчө көрсөткүчтөрдү жана үзгүлтүксүз жакшыртуу циклин кантип түзүүнү көрөбүз.
Биринчиден, эскертүү: метрика максаттын өзү эмес, максатка жетүү үчүн каражат. Максат - кардардын көйгөйүн жакшы жана натыйжалуу чечүү. Эгер сиз бир метриканы (мисалы, AHT) обочолонуп кууп чыксаңыз, өкүлдөр кардарды чечпестен чалууну кыскартат жана чыныгы максат бузулат. Бул метрикалык обсессия деп аталат; Ар бир метриканы контрбаланс менен окуңуз.
Негизги чалуу борборунун KPIлери
KPI (Негизги Performance Indicator) - процесстин натыйжалуулугун өлчөөчү сан. Колл-борбордогу эң негизгилери:
KPI
Кандай чаралар
баланстоочу
AHT (орточо иштетүү убактысы)
Байланыштын узактыгы
FCR, CSAT (кыска, бирок эрибейт)
FCR (Биринчи байланыштагы чечим)
Бир жолку чечим
CSAT (аны чечтим деп айтпаңыз жана чечпеңиз)
CSAT (кардардын канааттануусу)
Байланыштан кийинки упай
Жооптун ылдамдыгы (эгер бир нече адам толтурса жаңылыштык болот)
NPS (Сунуштоо баллы)
Берилгендик/сунуш
Негизги себеп (эмне үчүн төмөн?)
CES (Кардардын аракети упай)
Кардар кандай кыйын болду
—
SL (Кызмат деңгээли)
% чалуу x секунданын ичинде жооп берди
Баш тартуу көрсөткүчү
Таштоо коэффициенти (таштоо)
Чалуу күтүүдө
SL, муздатуу
CES (Customer Effort Score) кардар өзүнүн көйгөйүн чечүү үчүн канчалык аракет кылып жатканын өлчөйт; аз күч жогорку ишенимдүүлүк менен тыгыз байланышта. "Мен аны оңой эле чечтим" деген кардар көбүнчө "мен абдан ыраазымын" дегенге караганда баалуураак.
AI үчүн атайын көрсөткүчтөр
Классикалык KPIлердин жанына AI колдонмолору үчүн атайын көрсөткүчтөр кошулат:
- Кармап калуу / четтөө ылдамдыгы: Бот/өзүн-өзү тейлөө аны адамга өткөрүп бербестен чечкен байланыш ылдамдыгы. Бирок мунун өзү эле алдайт; эритмеси менен бирге окуу керек (8 блоктогу капкан).
- Боттун чечилишинин ылдамдыгы: Бот чындыгында чечкен байланыштар (кардар ыраазы болуп кетти) — "ботто калган" эмес.
- Жүгүртүү ылдамдыгы жана себеби: Канча жана эмне үчүн которулат (10-бирдик).
- Жооптун тактыгы: Бот/жардамчы берген жооптордун туура болгон ылдамдыгы — үлгү алуу жана адамдын көзөмөлү менен өлчөнөт.
- Кабыл алуу: Агенттердин агент жардам сунуштарын колдонуу ылдамдыгы (6-бөлүк).
- Жыйынтыктын тактыгы: Автоматташтырылган корутундуларды/тегдерди адамдын макулдугу менен оңдоо ылдамдыгы (4-бирдик).
- Галлюцинация/ката ылдамдыгы: ойдон чыгарылган же туура эмес жооптордун жыштыгы — нөлгө жакын максат.
Кеңеш: Ар бир AI көрсөткүчүн "сапат стабилизатору" менен жуптаңыз. "Жогорку кармоо" жалгыз жакшы эмес; "Таштоо жогору ЖАНА боттун чечиминин канааттануусу жогору" жакшы. Эч качан натыйжалуулук көрсөткүчүн сапат көрсөткүчүнөн ажыратпаңыз.
Үзгүлтүксүз өркүндөтүү цикли
Жакшы AI программасы - бул бир жолку долбоор эмес. Классикалык PDCA цикли (Plan-Do-Check-Act; PDCA) бул жерде иштейт:
- План: Кайсы көрсөткүчтү жакшыртасыз жана эмне үчүн? Максат коюңуз (мисалы, "боттордун чечилишинин ылдамдыгын 60% дан 75% га чейин жогорулатуу").
- Колдонуу: Өзгөртүү (билим базасын кошуу, агымды оңдоо, тез арада жакшыртуу).
- Текшерүү: көрсөткүч чындыгында жакшырдыбы? Терс таасирлери барбы (башка көрсөткүчтөр бузулганбы)?
- Сактык чараларын көр: Эгер ал иштесе, аны туруктуу кыл; Эгер ал иштебесе, аны кайра алып, үйрөнүңүз.
Бул циклдин күйүүчү майы маалыматтар болуп саналат: “билбейм” журналдары (5-бирдик), жүгүртүүнүн себептери (10-бирдик), ишке ашпай калган агымдар (8-бирдик), аз баллдуу сүйлөшүүлөр (7-бирдик). Бул ресурстар сизге кайда жакшыртуу керектигин айтып берет.
Абайлаңыз: AI моделдери жана кардарлардын жүрүм-туруму убакыттын өтүшү менен өзгөрөт; Бул дрейф деп аталат. Бүгүн 95% так иштеген бот, эгер анын билим базасы эскирип калса же кардардын суроо үлгүсү өзгөрсө, унчукпай начарлап кетиши мүмкүн. Ошондуктан өлчөө бир жолку эмес, үзгүлтүксүз жүргүзүлөт. Ченебегениң акырын бузулат.
Көчүрүү үчүн төрт шаблон
1) KPI панелинин дизайны:
Колл-борборумдун AI программасы үчүн айлык KPI тактасынын долбоорун даярдаңыз. Ар бир метрика үчүн: аныктоо, максаттуу, ордун алмаштыруучу метрика, маалымат булагы, эскертүү босогосу (ойготкуч бул мааниден жогору/төмөн). Метрикалар: AHT, FCR, CSAT, камтуу, боттун чечиминин ылдамдыгы, жүгүртүү ылдамдыгы, жооптун тактыгы. Ойдон чыгарылган сандарды бербеңиз; Мен талааларды толтуруу үчүн шаблонду орнотуңуз.
2) Метрикалык интерпретация (негизги себеп):
Төмөндөгү KPI маалыматтарын CX аналитиктери сыяктуу чечмелеңиз.(1) Эң көрүнүктүү өзгөрүү, (2) мүмкүн болгон негизги себеп ГИПОТЕЗДЕР (далилдөө), (3) дагы кайсы метрикага көңүл буруш керек (офсет), (4) 2 сунушталган аракеттер. Берилген сандарды алыңыз; Гипотезаларды "тастыктоо керек" деп белгилеңиз. Маалыматтар: <<...>>
3) A/B салыштыруу баалоо:
Эки бот/агым версиясын (A жана B) бул маалыматтар менен салыштырыңыз: <<маалымат>>.Кайсысы камтуу, боттун чечилиш ылдамдыгы жана CSAT жагынан жакшы? Айырма олуттуу көрүнөбү же кичине/ызы-чуубу? Сапаты жоготуунун эсебинен өндүрүмдүүлүк өсөбү? Так сунуш бериңиз, бирок ошондой эле кандайдыр бир белгисиздикти белгилеңиз.
4) Үзгүлтүксүз өркүндөтүү боюнча пикирлер:
Төмөнкү жакшыртуу ресурстарын бириктириңиз (лог, өткөрүп берүү себептери, ишке ашпай калган агымдарды билбейм). Эң жогорку таасирди жакшыртуунун 3 мүмкүнчүлүгүнө артыкчылык бериңиз: маселе / таасир эткен метрика / сунушталган өзгөртүү / күтүлгөн таасир. Жөн гана маалыматтарга таяныңыз. Булактары: <<...>>
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул айдын сандары жакшыбы же жаманбы айткыла.
Түшүнүксүз: кайсы метрика, эмне максат, эмне стабилизатор, эмненин түпкү себеби - үстүртөн жана жаңылыштык өкүм чыгарат.
Күчтүү билдирүү:
Бул айда чектөө 58% дан 71% га чейин өстү, бирок CSAT 4.1ден 3.6га чейин төмөндөдү, ал эми жүгүртүү темпи 30%дан 19% га чейин төмөндөдү. Бул диаграмманы чечмелеп бериңиз: өндүрүмдүүлүктүн жогорулашы кардарлардын канааттануусунун эсебинен болдубу (кардарлар ботко камалып калышы мүмкүнбү)? Мен кайсы маалыматтар менен ырасташым керек? 2 аракетти сунуштаңыз.
Айырмасы: метрика, тең салмактуулук жана валидация маселеси айкын; Чечмелөөнүн мааниси бар (бул жерде "камалуу" тузак сигналы бар, анткени чектөөнүн көбөйүшү CSAT төмөндөшү менен коштолот).
үч мини учурлар
1-жагдай - Туура эмес метрикалык тузак. Бир чалуулар борбору AHTти гана сыйлады. Агенттер кардарлардын убактысын кыскартуу үчүн аларды чечпестен трубканы коюп коюшкан; Кыска мөөнөттө, AHT 15% га төмөндөдү, бирок кайталанган чалуулар 28% га өстү жана FCR кыйрады. Жалпы жүк жана чыгым чындыгында көбөйдү. Баланс AHT, FCR жана CSAT чогуу көзөмөлдөнгөндө түзүлдү. Сабак: бир метрикалык калп.
2-жагдай — Унчукпай дрейф. Бир банктын боту 6 ай бою эч кандай көйгөйсүз иштеди, аны эч ким өлчөгөн эмес. жаңы продуктылар чыкканда, билим базасы артта калган; Боттун тактыгы 94%дан 79%га чейин төмөндөп, даттануулар көбөйдү. Кадимки тактык өлчөө белгиленгенден кийин, тайгалак эрте байкалды. Сабак: өлчөнбөгөн система акырын бузулат.
3-жагдай — Айыктыруу циклинин күчү. Электрондук коммерция компаниясы ай сайын PDCA цикли менен ай сайын 3 эң жогорку эффективдүү жакшыртууну тандап алды (билбей турган журнал + жүгүртүүнүн себептери + ишке ашпай калган агымдардан). 6 айдын ичинде боттун чечилишинин деңгээли 52% дан 74% га чейин, CSAT 3,8ден 4,4 ге чейин өстү — бир чоң жылышта эмес, биринин артынан бири кичине, өлчөнгөн жакшыртуулар менен. Үзгүлтүксүз өркүндөтүү секириктерден эмес, ырааттуулуктан келип чыгат.
Жалпы каталар
- Бир метрикага басым жасоо. AHT же камтууга умтулуу сапатты начарлатат; Ар бир метрлик стабилизатор болушу керек.
- Өндүрүмдүүлүктүн көрсөткүчтөрүн сапаттан ажыратуу. "Бот көп нерсени чечет" жана "кардар ыраазы" эки башка нерсе; Бирге оку.
- Аны бир жолу коюп, коё бериңиз. Дрифт унчукпайт; Үзгүлтүксүз өлчөө зарыл.
- Чыныгы катары жалгыз CSAT эске алуу. Жооптун төмөн деңгээли CSATти адаштырды; Аны ким толтурганын караңыз.
- Жакшыртуу дайындарга туташпай жатат. Интуицияга эмес, "журнал/өткөрүү/жок агымды билбейм" дайындарына артыкчылык бериңиз.
Кыскача айтканда
Өлчөө жана үзгүлтүксүз өркүндөтүү AI бир жолку орнотуудан жандуу системага айлантат. Классикалык KPIлерге (AHT, FCR, CSAT, NPS, CES) жана AI үчүн спецификалык көрсөткүчтөрдү (камтуу, боттун чечилиш ылдамдыгы, жооптордун тактыгы, сунуштарды колдонуу) чогуу көзөмөлдөңүз; сапат стабилизатору менен ар бир өндүрүмдүүлүк көрсөткүчүн окуу; Эч качан бир метрикага таянбаңыз. PDCA цикли менен тынымсыз өркүндөтүңүз жана цикл үчүн отун катары “билбейм” журналдарын, жүгүртүүнүн себептерин жана ишке ашпай калган агымдарды колдонуңуз. Эсиңизде болсун: моделдер жана кардарлар убакыттын өтүшү менен өзгөрөт; Сен өлчөбөгөн нерсе акырын чирип кетет.
Колдонмо тапшырмасы
7 метрикадан турган өзүңүздүн AI программаңыз үчүн KPI тактасын иштеп чыгуу; ар бир метрика үчүн аныктаманы, максатты, ордун алмаштыруучу метриканы жана эскертүү босогосун коюңуз (“1) KPI панелинин” үлгүсүн колдонуңуз). Андан кийин ойдон чыгарылган айлык маалымат топтомун түзүп, “2) Метрикалык чечмелөө” шаблону менен түпкү себептерди талдоо жүргүзүңүз. Акыр-аягы, "4) Үзгүлтүксүз өркүндөтүү боюнча пикир корутундусу" менен кийинки ай үчүн эң чоң 3 жакшыртууга артыкчылык бериңиз.
текшерүү тизмеси
- [ ] Мен классикалык KPI жана AI үчүн атайын көрсөткүчтөрдү чогуу көзөмөлдөйм.
- [ ] Ар бир өндүрүмдүүлүк көрсөткүчүнүн сапат стабилизатору бар; Мен бир эле көрсөткүчкө көңүл бурбайм.
- [ ] Мен кардарлардын канааттануусу менен бирге камтуу/ботту чечүү курсун окудум.
- [ ] Мен жооптордун тактыгын өлчөйм жана дайыма дрейфтейм.
- [ ] Мен PDCA цикли менен үзгүлтүксүз, маалыматка негизделген жакшыртууларды жасайм.
- [ ] Мен "билбейм" журналы, өткөрүп берүү себептери жана ийгиликсиз агымдар менен жакшыртууларды биринчи орунга коём.