收益：
- 能够识别定价和承保中的歧视、偏见和间接歧视风险，并在人工智能输出中对其进行测试
- 能够在SEDDK法规、KVKK和自动决策原则的框架内遵守解释权和反对权
- 能够在高风险自动化决策中应用人为控制和合理性义务
保险是一项对风险进行分组和定价的业务；但这种分组必须是公平的。由于性别、种族、信仰、居住地区等受保护特征而向某人提供更高的保费或拒绝承保是不公平的歧视，是被禁止的。人工智能（从历史数据中学习并生成价格和决策建议的软件）在这一领域构成了特殊的危险：它可以学习历史数据中的不公平模式，并在不知不觉中延续甚至隐藏歧视。此外，它可以不是直接而是间接地（通过代理变量）执行此操作。在本单元中，您将学习如何识别定价和承保中的偏见和歧视风险，如何测试人工智能输出的公平性，以及如何在SEDDK（保险和私人养老金监管机构）、KVKK和自动决策原则的框架内观察可解释性和反对权。该单位不是法律咨询机构；它解释了一般原则，在任何具体情况下，请务必咨询法律/合规部门。
偏见和歧视从何而来？
人工智能偏见主要来自三个来源：
- 数据偏差：模型了解历史数据中的不公平性。例如，如果某个群体过去被系统性地给予高额保费，该模型将继续认为这是“正常”的。
- 代理变量（proxy）：即使模型不直接使用受保护的特征（性别、出身），它也会通过使用与其强相关的变量（社区、姓名、购物模式）来间接进行区分。
- 抽样偏差：由于某些群体在数据中的代表性不足，因此模型会对他们产生不可靠和不公平的判断。
歧视有两种类型。直接歧视：公然使用受保护的特征。间接歧视：明显中立的标准对特定群体产生不成比例的影响。第二种更加阴险，因为它是无意发生的并且很难被发现。
注意：“该模型基于统计，因此是客观的”的辩护是错误的。统计数据还包括过去的不公正现象；该模型并没有使其合法化，而是使其永久化。公平性是需要积极检验的。
测试输出的公平性
用三个问题测试 AI 输出（价格推荐、拒绝原因、风险评分）的公平性：
- 理由是否合理？决策是基于与风险有真实且合理关系的标准，还是基于受保护的财产或其代理？
- 有代理吗？使用的变量之一（社区、姓名、职业、婚姻状况）是否与受保护的特征密切相关？
- 可以解释一下吗？您能否以清晰且有理有据的方式向客户和审计师解释该决定？ “模型是这么说的”并不是一个声明。
如果理由未通过这三项测试，则会被拒绝，并且决定将基于合法标准。
提示：用这句话测试拒绝或高溢价的理由：“如果我向客户和审计师解释这一点，我会感到尴尬吗？”不应使用可耻或站不住脚的理由（邻居、姓名、出身）。
立法框架：SEDDK、KVKK、自动决策
人工智能在保险中的使用受到各种法规的约束。主要原则：
- SEDDK原则：保险活动应以公平、透明和保护消费者的方式开展；定价必须合理，不得存在不公平歧视。
- KVKK：个人数据必须依法、仅限于目的且安全地进行处理。健康等特殊数据受到最高程度的保护。
- 自动决策原则：在完全基于自动处理并对人产生重大影响的决策中（例如，仅由人工智能做出的拒绝），人；反对决策、请求人为干预以及了解决策理由的权利凸显出来。
因此，可解释性、人为控制和合理性对于高影响力的决策至关重要。 “黑匣子”模式的不合理决定既不可控，又与这些权利相冲突。
一步一步：公平和谐的决定
- 识别受保护的财产。性别、出身、信仰、健康状况、居住地区等
- 进行代理扫描。质疑与受保护属性一起使用的变量的关系。
- 将理由置于合法性检验中。与风险有真正的关系吗？可以解释一下吗？
- 添加人为控制。让人工审查自动结果以做出具有高影响力的决策。
- 记录理由。记录该决定所依据的合法标准。
- 了解上诉方式。为客户提供反对权、人工审查权和理由权。
三个迷你箱子
情况 1 — 拒绝代理。住房定价模型表明特定邮政编码的系统性高溢价。专家审查：邮政编码与一定民族集中地区重叠；这是一个代理变量。当实际风险（建筑年龄、结构类型、损坏历史）被分解时，大部分增加就不再合理了。价格是根据合法的风险标准重新确定的。
案例 2——代表性不足的群体。对于医疗保健产品而言，该模型为小年龄组提供了过高的溢价。原因：该群体在数据中的代表性太低，以至于一些高额损害使整个群体显得“处于危险之中”。专家进行了可信度（统计可靠性）校正并记录了该建议不可靠；不存在不公平加薪。
案例 3——反对权。申请被自动拒绝，并带有人工智能评分。顾客提出异议。作为适应过程的一部分，专家重新审查了该决定；该分数似乎是基于缺失的数据（过去的损坏不匹配）。该决定已得到纠正。如果没有人的控制和反对权，不公平的拒绝将是永久性的。
四个可复制的提示
1）代理和歧视扫描：
检查以下定价/决策的合理性：[合理性]寻找：受保护的特征（性别、出身、信仰、健康状况、居住地区）是否被直接或间接使用（代理：社区、姓名、职业等）？对于每个有问题的变量，解释为什么它可以作为代理，并建议一个合法的替代方案。
2）正当性合法性测试：
用三个问题测试以下拒绝/高奖金的理由：[理由]1。与风险之间是否存在真实且合理的关系？2．它是基于受保护的财产或其代理吗？3.可以向客户和审核员解释吗？清楚地回答每个问题；将未通过测试的原因标记为“REJECT”。
3）可解释的理由草案：
根据以下经过验证的合法风险标准，向客户起草一份明确的决策理由：[合法标准]语气：尊重、清晰。使用受保护的财产/代理。说明客户反对和要求人工审核的权利。这是草案；专家证实。
4) 人工检查清单：
为高影响力的自动化决策创建人工审核清单：决策类型：[拒绝/高保费/抵押约束]列表：合格的专家审查、数据检查、公平/代理控制、理由文件、客户申诉通知、跟踪记录。
弱提示/强提示
弱：“用这些数据确定最有利可图的价格，并写出理由。”
问题：不尊重公平性、代理性和可解释性；该模式可以使过去的歧视永久化并为其辩护。
强：“检查代理和歧视的理由；标记依赖受保护功能或其代理的点，并用合法的风险标准替换。概述一个可解释的理由。”
优点：歧视是经过积极测试的，决定是基于合法且可解释的标准。
对比图
主题
冒险的做法
正确的方法
模型输出
“统计是客观的”
积极检验正义
变量选择
使用每一个数据
提取代理
理由
“模特是这么说的”
合法、可解释的标准
高影响力的决定
全自动
人工监督是强制性的
顾客权利
未报道
异议+人工审核+理由
常见错误
- “统计数据是客观的”辩护。为过去的不公正行为辩护。
- 忽略代理。基于邻居/姓名/职业的间接歧视。
- 对于代表性不足的群体来说，决策不可靠。假设从小样本中获得的比率是准确的。
- 黑匣子决策。实施无法解释原因的自动决策。
- 不承认反对权。不赋予客户接受人工审查和理由的权利。
综上所述
人工智能可以学习历史数据中的歧视，并在定价和承保中间接（通过代理）继续下去。积极测试公平性：识别受保护的属性和代理，测试合法性和可解释性的理由。 SEDDK、KVKK及自动决策原理；公平定价需要可解释性、人工审查和反对权。人类控制对于高影响力的决策至关重要。具体情况请咨询法律/合规部门；歧视是红线。
应用任务
列出定价模型使用的 10 个变量（实际变量或示例变量）。对于每个问题，回答“这是否是受保护财产的代理”问题；标记可疑者。然后将样本拒绝理由通过合法性测试＃2：它是否通过测试，如果没有，如何用合法标准替换它？
清单
- [ ] 我已指定受保护的属性。
- [ ] 我扫描了代理的变量。
- [ ] 我对这个理由进行了合法性和可解释性的检验。
- [ ] 我对代表性不足的群体进行了可靠性检查。
- [ ] 我在高影响决策中添加了人为控制。
- [ ] 我记录了理由并赋予客户反对/人工审查的权利。
- [ ] 如有疑问，我咨询了法律/合规部门。