Печалби:
- Възможност за разделяне на преписи от интервюта и отворени отговори на анкети в теми с изкуствен интелект и подкрепа с цитати на доказателства
- Възможност за обобщаване на количествени данни от проучването и избягване на подвеждащо тълкуване (малка извадка, водещ въпрос, отклонение при избора)
- Способност за етична работа и съвместимост с KVKK чрез защита на поверителността на участниците и анонимизиране на преписите
Най-богатите прозрения в консултирането често се крият не в класациите, а в това, което хората казват. Интервю с мениджър, отворени отговори на клиентско проучване, бележки от посещение на терен... Това са нечислови (качествени) данни и отнема часове за четене, кодиране и разделяне на теми. Изкуственият интелект значително ускорява тази работа: той разделя 30 записа на интервюта на теми за минути, откривайки повтарящи се модели. Но има две опасности: моделът може да „измисли“ тема (да добави коментар, който не е в преписа) и поверителността на участниците може лесно да бъде нарушена. В тази част ще се научим да анализираме качествени данни по безопасен начин, основан на доказателства.
Качествен анализ: от кодирането до темата
Качественият анализ има три стъпки. Първо кодиране: всяко изявление получава кратък етикет („жалба за цена“, „похвала за доставка“). След това тематизиране: подобни кодове се събират в тема („оперативна неудовлетвореност“). Накрая, коментар: установява се връзката между темите и слоя „и какво“. AI е много бърз в първите две стъпки; Третата стъпка изисква преценката на съветника.
Най-важната гаранция е следната: всяка тема трябва да бъде подкрепена с дословен цитат. Това потвърждава, че темата всъщност идва от данните; Темата за цитиране-прекратяване на кавички носи риск от халюцинации.
Вашата роля: анализатор на качествени изследвания. По-долу е анонимизиран препис от 12 интервюта с клиенти (обозначени с P1, P2...). Задача: 1) Извличане на повтарящи се теми (до 7 теми). 2) За всяка тема: колко участници са я видели + 2 дословни цитата (с кода на участника). 3) Покажете отделно твърдения, които подкрепят и КОНФЛИКТИРАТ темата. Правила: - Не добавяйте никакви становища, които не са в протокола; Всяка тема трябва да бъде доказана с цитат. - Не предоставяйте идентификационна информация, различна от кодовете на участниците. - Избройте единични „малцинствени, но важни“ мнения отделно в края (несъгласни гласове).
Друга мощна техника е да помолите модела да кодира с фиксирани категории, които сте посочили, вместо първо да настроите своя собствена кодова схема. Например, ако зададете предварително определени теми в проучване на удовлетвореността на клиентите като „цена, качество на продукта, доставка, поддръжка, лекота на използване“, различните преписи стават сравними и моделът не може да измисля различни имена всеки път. Безплатното извличане на теми е подходящо за откриване, докато кодирането с фиксирана категория е подходящо за сравнение и измерване; За повечето проекти използването на двете заедно работи най-добре: първо безплатно проучване, след това дигитализиране с фиксирана схема.
Вашата роля: асистент за качествено кодиране. Фиксирани категории: [цена, качество, доставка, поддръжка, лекота на използване, други]. Задача: Присвоете всеки отворен отговор по-долу към една или повече от тези категории. - Напишете задействащата фраза в отговора (дословно) до всяко задание. - Отбележете дали отговорът е положителен или отрицателен като настроение. Добавяне на коментари, които не са включени в отговора.
Съвет: Много е ценно да попитате отделно за „малцинствени, но важни“ мнения. Веднъж формулирано, но критично предупреждение (напр. един голям клиент, който казва „обмисляме подновяване на договора“) се губи в повечето теми; остава видим, когато е изброен отделно.
Поверителност и анонимност
Записите от интервютата са лични данни и често са чувствителни (жалби на служители, критики на мениджъри). Преди да ги качите в инструмент с изкуствен интелект, е важно да ги анонимизирате: имената, заглавията, вътрешните отличителни детайли се заменят с кодовия номер (K1, K2...). На участника често се обещава, че „това, което казвате, ще бъде докладвано анонимно“; Техническият еквивалент на тази фраза е анонимизация.
Тип данни
Риск
предпазна мярка
Име/заглавие на участника
разкриване на самоличността
Заменете с кодов номер
Вътрешен детайл
индиректна диагноза
Генерализирайте или маскирайте
чувствително зрение
Риск от отмъщение
Индивидуално съвпадение с групов отчет
Аудио/видео запис
най-висока чувствителност
Рендирайте в одобрен инструмент, след което изтрийте
Можете да накарате модела да извърши анонимизиране като предварителна стъпка, преди да качите преписите в инструмента; Но не забравяйте да проверите визуално изхода:
Вашата роля: редактор на поверителност. Подгответе следния запис на интервюто за анализ; направете следното маскиране:- Направете всички имена на контакт K1, K2...- Обобщете индиректно идентифициращи подробности като титла, отдел, местоположение („Единственият чужд инженер в R&D“ → „инженер“).- Премахнете имената на компании/клиенти. Дайте само маскирания текст; Накратко избройте какъв тип информация маскирате и защо.
Внимание: Не е достатъчно да кажете „Анонимен“. Фразата „Единствената жена мениджър, отговорна за маркетинга“ идентифицира лицето, въпреки че името й не е изписано. Анонимизирането трябва също така да включва всички данни, подлежащи на индиректна идентификация. Нарушаването на KVKK и загубата на доверие на участниците започват от тук.
Интерпретиране на данни от количествени изследвания
Изкуственият интелект създава обобщение и разбивка на резултатите от затворени (числови) проучвания. Но количественият анализ има свои собствени капани и моделът може да ги игнорира:
- Малка извадка: Твърдението „61% от клиентите са доволни“ от проучване на 18 души е подвеждащо; Ако извадката е малка, трябва да се обсъдят необработеното число и несигурността, а не процентът.
- Водещ въпрос: „Доколко сте доволни от нашето отлично обслужване?“ Въпросът включва отговора; Резултатът е необективен.
- Пристрастие при избора: Ако отговориха само най-доволните или най-ядосаните клиенти, резултатът нямаше да е представителен за вселената.
Преди да обобщите резултатите от това проучване, направете методологична проверка: - Достатъчен ли е размерът на извадката, за да представи резултатите в проценти? - Има ли водещи/насочващи твърдения във въпросите? Отметка.- Какъв е процентът на отговор и рискът от пристрастност при избора? Предоставяне само на одитен доклад; След това ще го обобщим в отделно съобщение.
три мини калъфа
Случай 1 — Уловена измислена тема. Консултант назначава 20 интервюта на модела; моделът извлича темата „участниците искат да работят дистанционно“. Консултантът иска оферта; Моделът може да намери само 1 двусмислен цитат. Темата всъщност не съществуваше, моделът я измисли от общата тенденция. Ако няма изискване за цитиране, неправилна констатация ще бъде включена в доклада.
Случай 2 — Индиректна диагноза. В проект за удовлетвореност на служителите преписът включва „Единственият чуждестранен инженер в R&D каза това“. Няма име, но лицето е ясно; След като докладът отиде при управителя, има риск от отмъщение. Консултантът трябваше да обобщи от самото начало всички отличителни детайли („инженер“).
Случай 3 — Капан за малки проби. При тестване на продукта 15 от 22 потребители го харесаха; моделът казва "68% удовлетворение" и е поставен върху слайда. Инвестиционният борд възразява: „22 души не представляват Вселената“. Консултантът честно пренаписва резултата като "15 от 22 потребители положителни; необходима е индикативна, потвърждаваща голяма извадка"; доверието се връща.
Слаба подкана / Силна подкана
Слаба подкана:
Прочетете тези интервюта и извлечете основните констатации.
Моделът произвежда теми без кавички, без доказателства; Рискът от измислица и конфиденциалност е голям.
Мощна подкана:
Вашата роля: качествен анализатор. Препис по-долу, анонимизиран (K1..Kn). Задача: До 7 теми; брой участници за всеки + 2 дословни котировки (с код); отделно подкрепящи и противоречащи си твърдения; малцинство, но критични мнения отделен списък. Правила: добавяне на мнения извън преписа; генериране на идентичност; Не давайте тема без кавички; маркирайте темата, в която не сте сигурни, като „слабо доказателство“.
Наситеност и тежест на темите
При качествения анализ две понятия определят качеството на интерпретацията. Първият е насищането: данните се смятат за "наситени", когато новите интервюта вече не създават нови теми; Това е знак, че пробата е достатъчна. Ако на 8-ото интервю все още се появяват чисто нови теми, необходими са още интервюта. Второ, тежестта на темите: колко хора виждат дадена тема и важността на тази тема са различни неща. Дребно неудобство, споменато от петима души, и рискът от разваляне на договор, споменат от един човек, не са еднакви по честота, но последният може да бъде много по-критичен по важност. Следователно класирането на темите само по честота е подвеждащо; Оценявайте всяка тема по отношение на „колко хора“ и „колко важни“. Като AI казва „оценете тези теми в две отделни колони на честота и потенциално въздействие върху бизнеса“, прави това разграничение видимо; Вие правите преценка за въздействието върху бизнеса.
Често срещани грешки
- Приемане на тема без цитати. Всяка тема трябва да бъде доказана с дословен цитат от преписа; В противен случай съществува риск от халюцинации.
- Превръщане на анонимността в повърхностна. Не е достатъчно да изтриете името; Индиректно идентифициращите детайли също трябва да бъдат маскирани.
- Представяне на малка извадка с процент. При малък брой участници трябва да се обсъждат сурови числа и несигурност, а не проценти.
- Игнориране на водещия въпрос. Резултатът от насочващите въпроси е предубеден; Проверете методологията.
- Губещи извънредни стойности. Веднъж изречено, критичното предупреждение се поглъща от повечето теми; списък отделно.
- Смесване на количествено и качествено. Обработвайте отворени коментари с числени резултати по различни начини.
В обобщение
Качествените данни са най-богатият източник на прозрения в консултациите, а изкуственият интелект спестява часове в кодиране и тематизиране. Но всяка тема трябва да бъде доказана с дословни цитати, поверителността на участниците трябва да бъде напълно защитена, включително непряка идентификация, а методологичните клопки като извадка, пристрастност към въпросите и подбор трябва да бъдат контролирани в количествените проучвания. Моделът е бърз четец и етикетер; работа на консултанта е да провери доказателствата, да запази поверителността и да установи нивото „и какво“.
Задача за приложение
Подгответе няколко преписа от интервюта (или отворени отговори на анкетата), реални или представителни, и първо ги анонимизирайте (включително име и непряка идентификация). Извличайте теми, цитати, противоречиви твърдения и несъгласни гласове със силно качествено подсказване. Проверете цитирането на поне една тема в преписа, за да проверите дали тя действително съществува. След това направете малко количествено проучване и оценете пристрастията на извадката и въпроса, като поискате методологичен одит.
контролен списък
- [ ] Анонимизирах преписите, включително име и непряка идентификация.
- [ ] Доказах всяка тема с дословен цитат.
- [ ] Показах противоречиви изрази и противоречиви гласове отделно.
- [ ] В малката извадка използвах необработени числа и несигурност вместо проценти.
- [ ] Маркирах водещите въпроси.
- [ ] Оцених риска от пристрастност при избора.
- [ ] Съобщих за чувствителни коментари колективно, без да ги съпоставям с отделните.