单位 10 / 12

偏见、歧视和道德:公平和文化响应式使用

收益:

  • 识别人工智能何时通过训练数据、框架、双重标准和奉承产生偏见
  • 能够通过中性问题、证据刻板印象歧视和反向角度测试建立对偏见的控制
  • 通过使用文化知识作为关注点而不是明确的规则,能够将污名化语言转化为描述性和尊重性语言

社会工作存在的理由是正义和人的尊严;该职业的核心是承诺每个人都具有平等价值,反对歧视,保护弱势群体。人工智能带来的风险可能会悄无声息地损害这些价值观:偏见。人工智能从历史数据中学习;如果这些数据包含社会中的不平等、刻板印象和歧视,人工智能就会学习它们,并用流畅的、看起来“客观”的语言再现它们。在社会工作者的手中,这可能会转化为对一个群体的系统性更加负面的评价、对一个家庭的成见或对一种文化的误解。在本单元中,您将学习识别人工智能偏见、控制偏见,并以公平和文化敏感性的方式使用人工智能。

从一开始就是一个事实:人工智能不是中立的,它看起来是中立的。最危险的偏见是用自信和专业的语言表达的偏见;因为它毫无疑问地被接受了。作为一名社会工作者,你的工作就是让这种无形的偏见变得可见,并监控结果是否与你的职业价值观相冲突。

人工智能偏见从何而来?它是什么样子的?

  • 训练数据偏差。人工智能从反映社会不平等的文本中学习。关于某些种族群体、穷人、残疾人、某些社区或性别的刻板印象可能会渗透到输出中。
  • 语言和框架偏见。人工智能可以将一个群体定义为被动的、“有问题的”或“需要帮助的对象”;另一组作为受试者。同样的行为可能被一个群体解释为“文化”,而被另一群体解释为“有问题”。
  • 缺乏代表性。人工智能可能会不准确或肤浅地理解数据中代表性不足的群体(少数群体、罕见病例)。
  • 奉承(阿谀奉承)。 AI倾向于确认你隐含的观点;一个有偏见的问题会带来有偏见的确认。

这些偏见在社会工作中尤其危险,因为其产出直接影响人们的生活——评估、报告、转介。

注意:“人工智能是这样评估的”是一个警告信号,而不是一个理由。当你看到负面描绘某个群体或个人的输出时,第一个问题是“它是基于证据还是基于刻板印象?”应该是。

一步一步:审计消除偏见

  1. 问中立的。提出不暗示或引导的问题;不是“解释为什么这个家庭疏忽大意”,而是“这些观察结果意味着什么,还有什么其他解释?”问。
  2. 区分证据和刻板印象。对于每一个负面陈述,请问:它是基于我面前的具体证据,还是基于对一个群体的一般假设?
  3. 从相反的角度进行测试。考虑不同群体的相同情况:“如果客户来自不同的社会经济/种族背景,人工智能会用同一种语言编写它吗?”
  4. 寻求文化敏感性。询问某种行为的文化背景;但将文化知识视为一种可能性和一个谨慎点,而不是绝对规则(避免刻板印象)。
  5. 清洁印痕舌。将其翻译成描述情况而不是人的语言,并且还可以看到优点。

三个迷你箱子

案例 1——反向角度揭示了偏见。一位专家让AI总结了两个类似的案例;唯一的区别是家庭的社会经济地位。 YZ对低收入家庭用的是“被忽视的高风险”的语气,对高收入家庭用“父母被迫行为”的语气来写。专家认识到这种双重标准,并将两项评估提炼为基于证据的平等语言。

案例 2——文化误解得到纠正。 YZ 将孩子与大家庭一起生活的情况描述为“边界问题和混合的家庭环境”。专家知道,在家庭的文化背景下,大家庭是支持和保护的强大来源。人工智能将文化力量变成了问题。评论已更正,以将这种支持视为一种资源。

案例 3——引导性问题产生偏见。 “写下为什么这个父亲不值得信任,”一名实习生问人工智能。人工智能在没有任何证据的情况下生成了一段对父亲进行负面(奉承)描述的文本。主管修改了问题:“对父亲有何观察,他的优点和缺点是什么?”产出已变得平衡且基于证据。教训:有偏见的问题会产生有偏见的答案。

四个可复制模板

1) 要求中立、平衡的评价:

在总结以下观察结果时,您以平衡的方式并仅基于证据提出了可能的优势和可能的担忧。不要根据刻板印象做出任何推论。如果评论不依赖于观察,请写“证据不足”。观察结果:[粘贴观察结果]

2)偏差检查(对角测试):

查看下面的评论文本。是否存在因客户的社会经济地位、种族、宗教、性别、残疾或邻里关系而传达未经证实的刻板印象的陈述?对于每个问题,询问:“如果客户来自不同的群体,这会用同一种语言编写吗?”标记问题句子。文本:[粘贴文本]

3)文化背景(非刻板印象):

提供以下行为/情况在不同文化背景下可能意味着什么的可能性。将这些作为需要考虑的要点,而不是绝对的规则;强调每个社区都存在个体差异。不要对单个群体进行概括。情况:[写情况]

4)印迹舌清洁:

在下面的文本中,找到评判或侮辱某人的形容词(例如“疏忽”、“不合作”、“有问题”)。对于每个事实,用描述性的、尊重的、认可优点的替代方案来代替相同的事实。添加新信息。文本:[粘贴文本]

弱提示/强提示

弱提示:

解释为什么这个家庭不擅长抚养孩子。

这个问题从一开始就假设结果(“不足”)。具有阿谀奉承倾向的人工智能将产生一个无证据且有偏见的文本来证实这一假设。如果问题有偏见,那么答案也会有偏见。

强力提示:

根据以下观察,以平衡和纯证据的方式列出该家庭的育儿优势和关注领域。不要从一开始就假设结果;如果证据不充分,请说明。避免刻板印象。观察:[粘贴观察结果]

区别在于:一个不假设结果并要求证据的平衡问题首先可以防止偏见。

偏见的类型和对策

偏见类型

它看起来像什么

对策

训练数据

群体刻板印象

证据模式区分

框架

被动/否定语言

平衡、以主题为中心的语言

双重标准

相同的行为,不同的语气

反向角度测试

文化失明

将文化力量变成问题

文化背景问题

奉承

确认含义

不要问中立的问题

缺乏代表性

肤浅/误解

当地/专家确认

常见错误

  • 问带有偏见的问题。假设一个结论的问题会产生有偏见的答案;中性问题。
  • 依靠自信的语言。专业的语气并不能纠正偏见;看看证据。
  • 将文化知识视为明确的规则。将其视为可能性和关注点;避免刻板印象。
  • 没有注意到双重标准。测试相同的行为在不同的组中是如何编写的。
  • 将邮票误认为是证据。这是一个“疏忽”的判断;描述现象,不要评判人。

综上所述

AI不是中立的,它看起来是中立的;它以流利的语言再现了教育数据中的不平等和刻板印象。在社会工作中,这可能会导致对真实的人的不公平评估。识别偏见(训练数据、框架、双重标准、文化盲目性、奉承),对其进行检查(中立问题、证据模式分离、角度测试、文化敏感性、污名清除),并通过职业的公平和荣誉价值观过滤每个输出。最终的道德过滤器始终是您。

应用任务

让人工智能总结具有两个不同群体概况(例如不同社会经济地位)的同一组虚构观察结果,并与“反向角度测试”进行比较,以确定语气/语言是否不同。然后尝试一个中立的问题和一个有意识的偏见问题(“解释为什么它不充分”)并检查结果的差异。最后,将“水印语言清理”模板应用于文本。

清单

  • [ ] 我中立地提出问题,没有假设结果。
  • [ ] 我使用证据与刻板印象的区别检查了每个负面陈述。
  • [ ] 我用反向角度测试检查了双重标准。
  • [ ] 我使用文化知识作为一个谨慎的观点,而不是绝对的规则。
  • [ ] 我用描述性的、尊重的语言取代了污名化的语言。