Бирдиктер
1. Байланыш борборунда жана кардарлардын тажрыйбасында жасалма интеллектке киришүү: ролдор, чек аралар, аутентификация жана купуялык 2. Үн жана текст боттору: IVR, Chatbot жана Voicebot Дизайн 3. Сүйлөшүү дизайны жана виртуалдык жардамчы: ниет, диалог жана табигый тажрыйба 4. Чалуулардын корутундусу жана авто-тегдөө: Капталоону секундага чейин кыскартуу 5. Билим базасы жана RAG: Бот жана агент кантип туура жооп табат 6. Agent Assist: реалдуу убакыт жардам 7. Сезимди талдоо жана сапатты башкаруу: Кеп аналитикасы менен QA 8. Өзүн-өзү тейлөө жана автоматташтыруу: Кардардын өзүн өзү чечүүсү 9. Маалыматтын купуялыгы, коопсуздугу жана шайкештиги: KVKK, PCI-DSS жана маскалоо 10. Эскалация жана адам-жасалма интеллект кызматташтыгы 11. Өлчөө, KPI жана үзгүлтүксүз өркүндөтүү: Эмнеге жана кантип мониторинг жүргүзүү керек? 12. End-to-End CX-AI программасын куруу: интеграция жана башкаруу
бирдиги 7 / 12

Сезимди талдоо жана сапатты башкаруу: Кеп аналитикасы менен QA

Пайдалар:

  • Сезим талдоосу жана сүйлөө аналитикасы менен жеке жана жалпы тенденцияларды окуу жана упайларды абсолюттук фактылардын ордуна сигнал катары колдонуу мүмкүнчүлүгү
  • Акыркы чечимди адамдын өзүнө калтырып, объективдүү көрсөткүчтөр менен сүйлөшүүнүн 100% сканерлөө жана далилдерге негизделген алдын ала баа берүү мүмкүнчүлүгү
  • Өнүктүрүү жана тажрыйбаны өркүндөтүү максатында жазалоо маданиятынан алыс жана ачык-айкындуулук менен сапат системасын түзүү мүмкүнчүлүгү

Колл-борбордо күн сайын миңдеген сүйлөшүүлөр болот, бирок классикалык ыкма менен сапаттуу команда алардын аз гана бөлүгүн (көпчүлүк жерлерде 1-2%) угуп, баалай алат. Бул сүйлөшүүлөрдүн 98% эч качан текшерилбестен жоголот дегенди билдирет; Кардарга катаал мамиле жасалса же өкүл кайра-кайра жалган маалымат берсе да эч ким байкабайт. Жасалма интеллект бул сүрөттү түп тамырынан бери өзгөртөт: ал ар бир сүйлөшүүнү окуп, баа бере алат. Бул бөлүмдө биз эки байланыштуу теманы карайбыз: сезимдерди талдоо (кардардын жана өкүлдүн эмоционалдык тонун өлчөө) жана сапатты башкаруу (QA - Сапаттын кепилдиги; сүйлөшүүлөрдүн стандарттарга шайкештигин баалоо).

Биринчи эки мөөнөт. Сезимди анализдөө – тексттин же кептин оң, терс же нейтралдуу эмоционалдык тонус; Бул ачуу, канааттануу жана тынчсыздануу сыяктуу кырдаалдарды автоматтык түрдө аныктоо. Сүйлөө аналитикасы (өз ара аракеттенүү аналитикасы) бардык баарлашууларды жамааттык түрдө талдоо жана тенденцияларды, тез-тез темаларды, тобокелдиктерди жана мүмкүнчүлүктөрдү бөлүп алуу болуп саналат. Биргелешип, алар колл-борборго "угуу кулактарын" беришет: миңдеген сүйлөшүүлөрдүн маанисин жаратып, менеджер өзүнчө уга албайт.

Сезимди талдоо: тамырдын кагышын сактоо

Сезим талдоо эки деңгээлде иштейт. Сингулярдык деңгээл: баарлашуунун жалпы обонун («кардар ачууланып баштады, акыры тынчыды») жана бурулуш чекиттерин көрсөтөт. Жалпы деңгээл: миңдеген баарлашуулардан “терс маанай ушул аптада 18% га, негизинен “эсеп” жөнүндө” сыяктуу тенденцияларды бөлүп чыгарат. Бул маалымат алтын болуп саналат: ал ачуулануунун толкунун, продукт маселеси же жаңы өнөктүк жөнүндө баш аламандыкты эрте кармайт.

Бирок, сезим талдоо идеалдуу эмес. Түрк тилинде сарказм, ирония жана идиомалар моделди адаштырышы мүмкүн («Чоң рахмат, чоң кызмат!» деген сүйлөм ачууланып айтылган болушу мүмкүн). Ошондой эле, сезим баллы так чындык эмес, сигнал болуп саналат. Андыктан сезим талдоосун жеке өкүлдү жазалоо үчүн эмес, тенденцияларды көрүү жана көңүл бурууну талап кылган сүйлөшүүлөрдү көрсөтүү үчүн колдонуңуз.

Кеңеш: Сезим талдоосун "сот" катары эмес, "сергек" катары колдонуңуз. Бир эле терс балл өкүлдү айыптабайт; бирок терс тенденциянын өсүшү текшерүүнү талап кылган аймакты көрсөтүп турат. Сигналды адам менен текшериңиз.

Сапатты башкаруу: 1% ордуна 100% баалоо

Классикалык QAда сапат боюнча эксперт баа берүү формасы менен бир нече кокусунан тандалган чалууларды баалайт (балдар картасы — “саламдашуу берилгенби, инсандыгы текшерилгенби, чечим сунушталганбы, жабуу ылайыктуу болгон” сыяктуу пункттар). Бул ыкма чакан үлгү көлөмү, субъективдүү жана кечигүү маселелеринен жабыркайт. Жасалма интеллект колдоого алынган QAда модель бардык сүйлөшүүлөрдү көрсөткүчтөр тизмегинин элементтерине ылайык автоматтык түрдө баалайт; Кайсы берене жетишпей жатат, кайсыл баяндамалар опурталдуу, кайсы өкүл кайсы маселе боюнча колдоого алынышы керек – ошонун баарын көрсөтүп турат.

Критикалык пункт: AIнын QA баллы акыркы баа эмес, алдын ала текшерүү жана көрсөткүч болуп саналат. AI "бул сүйлөшүү аутентификация кадамын өткөрүп жиберди окшойт" дейт; Сапат боюнча эксперт бул белгиленген сүйлөшүүлөрдү текшерип, акыркы чечимди чыгарат. Ошентип, миңдеген маектерди угуунун ордуна, эксперт AI желекчелери болгон кооптуу/үлгүлүү сүйлөшүүлөргө басым жасайт - адилеттүү да, кеңири да.

Төмөнкү таблица эки ыкманы салыштырат:

Өлчөмү

Классикалык QA

AI менен иштеген QA

Колдонуу чөйрөсү

Сүйлөшүүлөрдүн 1-2%

100% сканерленген

Узактыгы

Жай, кол угуу

Ыкчам сканерлөө

ырааттуулук

Экспертке жараша өзгөрөт

Критерий боюнча дайыма колдонулат

субъективдүүлүк

бийик

Критерий түшүнүктүү, сигнал + адам

акыркы чечим

эксперт

Эксперт (AIга басым жасайт)

Тобокел

Проблемалардан качуу

Жалган белги (текшерилиши керек)

Кадам кадам: AI менен иштеген сапат программасы

  1. Эсептик картаны тактаңыз: Баалоо пункттарын объективдүү жана өлчөөчү түрдө жазыңыз ("сылык мамиле кылган" сыяктуу бүдөмүк эмес, бирок "кардардын аты-жөнү/тиешелүү дареги боюнча саламдашуу" сыяктуу ачык-айкын).
  2. AI критерийлерин бериңиз: Ар бир сүйлөшүүнү ушул пункттарга ылайык "аткарылды/аткарыла элек/түшүнүксүз" деп баалаңыз; Сиз далил сүйлөмдү көрсөттүңүз.
  3. Коркунучтуу жактарын белгилеңиз: экспертке аз балл алган, ачууланган же комплаенс-тобокелдик менен сүйлөшүүнү алып келиңиз.
  4. Эксперт тастыктайт: Акыркы балл жана пикир адамга таандык; AI "белгисиз" деп атаган жерлер, албетте, адамдар үчүн жеткиликтүү.
  5. Аны машыктырууга айландырыңыз: агентти өнүктүрүү үчүн табылгаларды колдонуңуз — жазага эмес, жакшыртууга багытталган.

Көчүрүү үчүн төрт шаблон

1) Баалар картасынын рейтинги:

Төмөнкү анонимдүү сүйлөшүүгө төмөнкү пункттарга ылайык баа бериңиз. Ар бир пункт үчүн: статусту бериңиз=[аткарылды/аткарылды/так эмес] жана ДАЛИЛДҮҮ сүйлөм (сүйлөшүүдөн цитата). Эгерде далил жок болсо, "түшүнүксүз" деп айтыңыз; Болжолдоо.Перненттер: 1) Тиешелүү саламдашуу 2) Аныктыгын текшерүү 3) Маселени түшүнүү 4) Туура маалымат/чечим 5) Милдеттүү маалымат 6) Сылык жабуу. Сүйлөө: <<дешифрлөө>>

2) Сезим жана бурулуш чекити талдоо:

Төмөндө анонимдүү маектин эмоционалдык траекториясын тартыңыз.- Башталгыч тон, аяктоочу тон (тынчтуу/ачуу/кооптуу/канааттануу),- Эмоция ӨЗГӨРГӨН учур жана эмне үчүн (цитата менен),- Ачуулануунун/кризистин белгилери барбы, агент аны кантип кармады? Мүмкүн болгон ирония/казактыкка көңүл буруңуз; Ишенбесеңиз, "түшүнүксүз" деп айтыңыз. Сүйлөө: <<транскрипция>>

3) Тренддердин жалпы отчету:

Төмөндө ушул аптанын анонимдүү баарлашуу тегдери жана маанай упайлары келтирилген. (1) Эң көбөйгөн терс эмоция темасы, (2) мүмкүн болгон негизги себеп гипотеза (далилдөө), (3) 3 теманы текшерүү сунушталат. Сандарды маалыматтардан алыңыз, аларды түзбөңүз; гипотезаларды "тастыктоо керек" деп белгилеңиз.Маалымат: <<жыйынтык таблица>>

4) Коучингдин корутундусу (агентти иштеп чыгуу):

Төмөнкү бааланган сүйлөшүүлөрдүн негизинде ONE өкүлү үчүн өнүгүүгө багытталган, жазалоочу эмес машыктыруу жазуусун даярдаңыз. - Күчтүү жактары (2), - Өркүндөтүү багыты (2, конкреттүү мисалдар менен), - 1 сунушталган микро-максат. Жеке пикир/ этикеткаларды колдонуу. Маалымат: <<сүйлөө рейтинги>>

Алсыз тездик / Күчтүү тездик

Алсыз билдирүү:

Бул өкүл жакшы же жаман деп баа бериңиз.

Субъективдүү, критерийсиз, далилсиз, жазалоочу; Адилетсиз жана акталгыс «сотту» чыгарат.

Күчтүү билдирүү:

Бул анонимдүү баарлашууну 6 пункттан турган баллдык карта боюнча баалаңыз; Ар бир пункт үчүн цитата аткарылган/аткарылбаган/так эмес + сөздөн ДАЛИЛ. Далил жок болсо "түшүнүксүз" деп айтыңыз. Мен (сапат боюнча эксперт) акыркы чечимди кабыл алам; сиз жөн гана далил менен алдын ала баа берүү.

Айырмасы: критерий так, далил милдеттүү, белгисиздик чынчыл, акыркы чечим адамда.

үч мини учурлар

1-жагдай - 100% камтуу күчү. Бир банкта QA командасы айына ~ 1200 сүйлөшүүлөрдү уга алган (жалпысынан 1,5%). Бардык 80,000 сүйлөшүү AI менен сканерден өткөрүлдү; Көрсө, аныктыгын текшерүү кадамы убакыттын 6% өткөрүп жиберилген - бул классикалык үлгүлөрдү алууда эч качан байкалбай турган шайкештик коркунучу. Максаттуу машыктыруу менен, көрсөткүч 2 айдын ичинде 1% га чейин төмөндөдү.

2-жагдай — Ирониялык тузак. Электрондук коммерция борборунда эмоция модели "сен улуусуң, 3 күндөн бери күтүп жатам" сыяктуу ирониялык сүйлөмдөрдү "позитивдүү" деп эсептеген; ошондуктан кээ бир ачууланган кардарлар "канааттанган" көрүндү. Модель жалгыз чечим кабыл алуучу болуп саналбаганда жана упайлар адамдын көзү менен тандалып алынганда, команда ирония учурларын өзүнчө белгилеп, отчеттордун ишенимдүүлүгү жогорулаган. Сабак: сезим балл абсолюттук чындык эмес, сигнал болуп саналат.

3-жагдай - Эрте эскертүү. Бир телекомдогу кеп аналитикасы шейшембиден баштап 3 күндүн ичинде "эсептин" тегерегиндеги терс маанай 40% га өскөнүн көрсөттү. Иликтөөдө жаңы тарифке өтүүдө эсеп-фактуралар туура эмес чагылдырылганы аныкталган. Көйгөй миңдеген даттануулар топтолгонго чейин эмоционалдык сигнал аркылуу чечилип, чечилген. Analytics алдын ала эскертүү системасы, ошондой эле сапаттуу курал болуп калды.

Жалпы каталар

  • Абсолюттук чындык катары эмоция эсебин эске алуу. Ирония, идиома жана контекст моделди адаштырышат; Упайды сигнал катары колдонуңуз, адам менен текшериңиз.
  • AI баллы акыркы чечимди кабыл алуу. QA-да акыркы баа жана пикир адамга таандык; AI алдыга жылат.
  • Белгисиз көрсөткүчтөр тизмеси. "Ал өзүн жакшы алып жүрдү" өлчөө мүмкүн эмес; Объективдүү, текшерилүүчү нерселерди жазыңыз.
  • QA жазалоо куралына айландыруу. Максаты - өнүктүрүү жана кардарлардын тажрыйбасы; Жазалоо маданияты агенттин оозун басат жана маалыматтарды бузат.
  • Далилсиз баа берүү. Ар бир тыянак сөздөн цитата менен бекемделиши керек; Болбосо аны "түшүнүксүз" деп аташ керек.
Эскертүү: AI менен бардык сүйлөшүүлөрдү өлчөө күчтүү, бирок сезимтал. Муну тынымсыз көзөмөлдөп, кызматкерлерди жазалоочу системага айландыруу этикага да туура келбейт, ошондой эле коллективдин ишенимин кетирет. Максат - кардар тажрыйбасын жана агентти өнүктүрүүнү жакшыртуу; Ачык-айкындуулук жана өнүгүүгө басым жасоо маанилүү.

Кыскача айтканда

Сезимди талдоо жана AI менен иштеген сапатты башкаруу колл-борборго миңдеген сүйлөшүүлөрдү угууга мүмкүнчүлүк берет: үлгүнүн 1% эмес, 100% сканерлөө, тенденцияларды эрте байкап, сапатты баалоону ырааттуу сактоо. Бирок сезим балл абсолюттук чындык эмес, бир сигнал болуп саналат; QAда акыркы чечим адамга таандык. Көрсөткүчтөр картасын объективдүү жазыңыз, ар бир тыянакты далилдер менен байланыштырыңыз, адамдарга белгисиздикти калтырыңыз жана бүт системаны жазалоо эмес, өнүктүрүү жана тажрыйбаны жакшыртуу максатында ачык-айкындык менен орнотуңуз.

Колдонмо тапшырмасы

6 пункттан турган объективдүү көрсөткүчтөр картасын түзүңүз (ар бир пункт өлчөнүүчү жана далилденүүчү болушу керек). Ойдон чыгарылган/анонимдүү стенограмманы алып, "1) Упайлар картасын баалоо" жана "2) Сезимдерди талдоо" шаблондорун колдонуңуз. Модельде "так эмес" деп айтылган жерлерди же ирония болушу мүмкүн болгон жерлерди белгилеп, эксперт аларды кантип текшериши керектигин жазыңыз. Акырында, "4) Коучингдин корутундусу" менен өнүгүүгө багытталган меморандум түзүңүз.

текшерүү тизмеси

  • [ ] Менин көрсөткүчтөр картам объективдүү, өлчөнүүчү жана текшерилет.
  • [ ] AI баалоо алдын ала текшерүү; Акыркы QA чечими жана пикир адам тарабынан болот.
  • [ ] Мен сезимдердин упайларын абсолюттук чындык катары эмес, сигнал катары колдоном.
  • [ ] Ар бир тыянак сүйлөшүүдөгү далилдердин цитаталары менен бекемделет; болбосо "түшүнүксүз".
  • [ ] Мен системаны жазалоо үчүн эмес, өнүктүрүү жана тажрыйбаны жакшыртуу максатында түздүм.
  • [ ] Талдоонун максаты жана көлөмү кызматкерлерге ачык-айкын түшүндүрүлдү.