收益:
- 能够利用人工智能将访谈记录和开放式调查回复划分为主题,并通过证据引用来支持它们
- 能够总结定量调查数据并避免误导性解释(小样本、引导性问题、选择偏差)
- 通过保护参与者的机密性和匿名化记录,能够以道德方式开展工作并遵守 KVKK 标准
咨询中最丰富的见解往往不在于图表,而在于人们的言论。经理访谈、对客户调查的开放式答复、实地考察的笔记……这些都是非数字(定性)数据,需要花费数小时来阅读、编码和划分主题。人工智能极大地加快了这项工作的速度:它可以在几分钟内将 30 份采访笔录分解为主题,找到重复出现的模式。但存在两个危险:模型可能“编造”一个主题(添加转录本中没有的评论),并且参与者的机密性可能很容易被侵犯。在本单元中,我们将学习以基于证据的安全方式分析定性数据。
定性分析:从编码到主题
定性分析分为三个步骤。首先编码:每条语句都有一个简短的标签(“价格投诉”、“送货好评”)。然后主题化:相似的代码收集成一个主题(“操作不满意”)。最后,评论:建立了主题和“那又怎样”层之间的关系。 AI在前两步速度非常快;第三步需要律师的判断。
最关键的保证是:每个主题都必须有逐字引用的支持。这证实了主题实际上来自于数据;引用-不引用的主题有产生幻觉的风险。
您的角色:定性研究分析师。下面是 12 次客户访谈的匿名笔录(标记为 P1、P2...)。任务:1) 提取重复出现的主题(最多 7 个主题)。2) 对于每个主题:有多少参与者看到了它 + 2 条逐字引用(带有参与者代码)。3) 分别显示支持和冲突主题的陈述。规则:- 不要添加任何不在笔录中的意见;每个主题都必须用引文来证明。 - 请勿出示参与者代码以外的身份信息。 - 在最后单独列出单个“少数但重要”的意见(反对的声音)。
另一种强大的技术是要求模型使用您指定的固定类别进行编码,而不是让它首先设置自己的代码方案。例如,如果您在客户满意度研究中给出预定义的主题,例如“价格、产品质量、交付、支持、易用性”,则不同的记录将变得具有可比性,并且可以防止模型每次都生成不同的名称。自由主题提取适合发现,固定类别编码适合比较和衡量;对于大多数项目来说,同时使用两者效果最好:首先自由探索,然后使用固定模式进行数字化。
您的角色:定性编码助理。固定类别:[价格、质量、交付、支持、易用性、其他]。任务:将下面的每个开放式回答分配给其中一个或多个类别。 - 在每个作业旁边的响应中(逐字)写下触发短语。 - 勾选情绪反应是积极还是消极。添加答案中未包含的评论。
提示:单独征求“少数但重要”的意见是非常有价值的。一个曾经措辞但至关重要的警报(例如,一个大客户说“我们正在考虑续签合同”)在大多数主题中迷失了;单独列出时仍然可见。
隐私和匿名化
访谈记录是个人数据,通常很敏感(员工投诉、经理批评)。在将它们上传到人工智能工具之前,必须对它们进行匿名处理:名称、头衔、内部区分细节都被代码(K1、K2...)替换。参与者经常被承诺“你所说的内容将被匿名举报”;该短语的技术等效词是匿名化。
数据类型
风险
预防措施
参与者姓名/头衔
身份泄露
替换为代码编号
内部细节
间接诊断
概括或屏蔽
敏感的视力
遭到报复的风险
单独匹配批量报告
音频/视频录制
最高灵敏度
在批准的工具中渲染,然后删除
在将成绩单上传到工具之前,您可以让模型执行匿名化作为初步步骤;但请务必目视检查输出:
您的角色:隐私编辑。准备以下访谈笔录以供分析;进行以下屏蔽:- 将所有联系人姓名设置为 K1、K2...- 概括间接识别的详细信息,例如职位、部门、地点(“研发领域唯一的外国工程师”→“工程师”)。- 删除公司/客户名称。仅给出屏蔽文本;简要列出您要屏蔽的信息类型以及原因。
注意:仅仅说“匿名”是不够的。尽管没有写下她的名字,但短语“唯一负责营销的女性经理”识别了该人。匿名化还应包括所有间接可识别的详细信息。 KVKK违规和参与者信任丧失从这里开始。
解释定量调查数据
人工智能生成封闭式(数字)调查结果的摘要和细分。但定量分析有其自身的陷阱,模型可以忽略它们:
- 小样本:18人调查中说“61%的顾客满意”具有误导性;如果样本较小,则应讨论原始数量和不确定性,而不是百分比。
- 主要问题:“您对我们优质的服务满意吗?”问题蕴藏着答案;结果是有偏见的。
- 选择偏差:如果只有最满意或最愤怒的客户做出反应,结果就不能代表整个宇宙。
在总结本次调查的结果之前,请进行方法学检查: - 样本量是否足以以百分比形式呈现结果? - 问题中是否有引导/引导性陈述?勾选 - 响应率和选择偏差风险是多少?仅提供审核报告;然后我们将在单独的消息中对其进行总结。
三个迷你箱子
案例 1——虚构的主题被抓住。顾问为模型分配 20 次访谈;该模型提取了主题“参与者想要远程工作”。顾问询问报价;该模型只能找到 1 个不明确的引述。这个主题实际上并不存在,是模型根据大趋势虚构出来的。如果没有引用要求,报告中将包含错误的发现。
案例2——间接诊断。在一个员工满意度项目中,成绩单上写着“研发中唯一的外籍工程师这么说”。没有名字,但人是清楚的;一旦报告提交给经理,就有遭到报复的风险。顾问必须从一开始就概括所有区别细节(“工程师”)。
案例 3 — 小样品捕集器。在产品测试中,22名用户中有15人喜欢它;该模型显示“68% 满意度”并放置在幻灯片上。投资委员会反对:“22个人不代表宇宙。”顾问诚实地将结果改写为“22 位用户中有 15 位呈阳性;需要指示性、确认性大样本”;信任回报。
弱提示/强提示
弱提示:
阅读这些访谈并提取主要发现。
该模型产生的主题没有引用,没有证据;伪造和保密的风险很高。
强力提示:
您的角色:定性分析师。下面是匿名的文字记录(K1..Kn)。任务:最多 7 个主题;每个参与者的人数 + 2 条逐字引用(带代码);分别支持和矛盾的陈述;少数但批评意见单独列出。规则:添加笔录中未包含的意见;身份生成;不要给出没有引号的主题;将您不确定的主题标记为“弱证据”。
主题的饱和度和权重
在定性分析中,两个概念决定了解释的质量。第一个是饱和:当新的采访不再产生新的主题时,数据被称为“饱和”;这表明样本足够。如果第8次采访时仍然出现全新的主题,则需要进行更多的采访。其次,主题的权重:有多少人看到一个主题和该主题的重要性是不同的事情。五个人提到的轻微不便和一个人提到的合同取消风险的频率并不相等,但后者的重要性可能要严重得多。因此,仅按频率对主题进行排名是有误导性的。从“有多少人”和“有多重要”来评估每个主题。让人工智能说“在频率和潜在业务影响的两个单独的列中对这些主题进行评级”使这种区别变得明显;您做出业务影响判断。
常见错误
- 无引号主题接受。每个主题都必须通过文字记录中的逐字引用来证明;否则有产生幻觉的危险。
- 让匿名化变得肤浅。仅仅删除名字是不够的;间接识别的细节也应该被掩盖。
- 用百分比呈现小样本。对于少数参与者,应该讨论原始数据和不确定性,而不是百分比。
- 忽略引导性问题。引导性问题的结果存在偏见;检查方法。
- 失去异常值。一旦说出,批判性警告就会被大多数主题所吞没。分别列出。
- 混合定量和定性。以不同的方式处理带有数值结果的开放式评论。
综上所述
定性数据是咨询领域最丰富的洞察力来源,而人工智能可以节省编码和主题设计的时间。但每个主题都应逐字引用来证明,参与者的机密性应得到充分保护,包括间接识别,定量调查中应控制抽样、问题偏差和选择等方法论陷阱。该模型是一款快速读取器和贴标机;顾问的工作是核实证据、保密并建立“那又怎样”层。
应用任务
准备几份访谈笔录(或开放式调查回复),无论是真实的还是有代表性的,并首先将其匿名(包括姓名和间接身份)。通过强有力的定性提示提取主题、引用、相互矛盾的陈述和异议声音。检查成绩单中至少一个主题的引用,以验证它确实存在。然后进行小型定量调查,并通过要求方法审核来评估样本和问题偏差。
清单
- [ ] 我对笔录进行了匿名处理,包括姓名和间接身份识别。
- [ ] 我用逐字引用来证明每个主题。
- [ ]我分别表现了矛盾的表情和矛盾的声音。
- [ ] 在小样本中,我使用原始数字和不确定性而不是百分比。
- [ ] 我标记了引导性问题。
- [ ] 我评估了选择偏倚的风险。
- [ ] 我集体报告了敏感评论,但没有将其与个人进行匹配。