13 KiB
使用负责任的 AI 构建机器学习解决方案
手绘笔记作者：Tomomi Imura
课前测验
介绍
在本课程中，你将开始了解机器学习如何以及正在影响我们的日常生活。即使在现在，系统和模型也参与日常决策任务，比如医疗诊断、贷款审批或欺诈检测。因此，这些模型能够良好运行并提供可信结果是非常重要的。就像任何软件应用一样，AI 系统也可能未达到预期或产生不良后果。这就是为什么理解和解释 AI 模型行为至关重要。
想象一下当你用来构建这些模型的数据缺少某些人口统计信息，如种族、性别、政治观点、宗教，或不成比例地代表这些人口群体时会发生什么？如果模型输出被解释为偏向某些人口群体会怎样？应用会有什么后果？此外，当模型出现负面结果并对人们造成伤害时，又会怎样？谁对 AI 系统的行为负责？这些是我们将在本课程中探讨的一些问题。
在本课中，你将：
- 提高你对机器学习公平性及其相关危害重要性的认识。
- 熟悉探索异常值和不寻常情况的实践，以确保可靠性和安全性。
- 了解设计包容性系统以赋能所有人的必要性。
- 探究保护数据和人们隐私安全的重要性。
- 认识到采用“玻璃盒”方法解释 AI 模型行为的重要性。
- 关注问责制如何对建立 AI 系统的信任至关重要。
先决条件
作为先决条件，请完成“负责任的 AI 原则”学习路径并观看下面的视频：
通过以下学习路径了解更多负责任的 AI。
🎥 点击上图观看视频：微软的负责任 AI 方法
公平性
AI 系统应公平对待每个人，并避免对相似群体的人采取不同的影响。例如，当 AI 系统为医疗治疗、贷款申请或就业提供指导时，应对具有类似症状、财务状况或职业资格的每个人做出相同的推荐。作为人类，我们都带有影响我们决策和行为的固有偏见。这些偏见可能在我们用来训练 AI 系统的数据中显现出来。这种操控有时是无意的。要有意识地知道何时在数据中引入偏见通常是困难的。
“不公平” 包括对某个人群产生的负面影响或“伤害”，例如按种族、性别、年龄或残疾状况定义的人群。主要的公平相关危害可以分类为：
- 分配，比如性别或种族被偏爱。
- 服务质量。如果你训练数据仅针对某一特定情景，但现实更复杂，可能导致服务表现不佳。例如，一个自动洗手液分配器检测不到深色皮肤的人。参考资料
- 诋毁。不公平地批评并给某物或某人贴标签。例如，某图像标签技术臭名昭著地将深色皮肤的人错误标注为猩猩。
- 过度或不足代表。某一群体在某职业中不被看到，而任何持续促进这种状况的服务或功能都会造成伤害。
- 刻板印象。将某一群体与预设属性关联。例如，英土语言翻译系统因词语存在性别刻板联想而产生不准确。
翻译成土耳其语
再翻译回英语
在设计和测试 AI 系统时，我们需要确保 AI 公平且不被编程为做出偏见或歧视性决策，这些行为对人类也是被禁止的。保证 AI 和机器学习中的公平性仍然是复杂的社会技术挑战。
可靠性与安全性
为建立信任，AI 系统需要在正常和异常情况下可靠、安全且一致。重要的是了解 AI 系统在各种情况下，尤其是异常情况下的表现。当构建 AI 解决方案时，必须重点关注如何处理 AI 解决方案可能遇到的各种情况。例如，自动驾驶汽车必须将人们的安全作为首要任务。因此，驱动汽车的 AI 需要考虑汽车可能遇到的所有场景，比如夜晚、雷暴或暴风雪、街上奔跑的孩子、宠物、道路施工等。AI 系统在各种条件下能多好地可靠安全地运行，反映了数据科学家或 AI 开发人员在设计或测试系统时的预见程度。
包容性
AI 系统应设计为能够吸引并赋能所有人。在设计和实施 AI 系统时，数据科学家和 AI 开发人员会识别并解决系统中可能无意间排斥特定人群的障碍。例如，全球有 10 亿残疾人。随着 AI 进步，他们可以更容易地在日常生活中访问各种信息和机会。通过解决这些障碍，创造机会创新并开发出更好体验的 AI 产品，造福所有人。
安全与隐私
AI 系统应安全可靠并尊重人们的隐私。人们对可能危及其隐私、信息或生命安全的系统信任较低。在训练机器学习模型时，我们依赖数据以获取最佳结果。在此过程中，必须考虑数据的来源和完整性。例如，数据是用户提交的还是公开可用的？其次，在处理数据时，开发 AI 系统保护机密信息、抵御攻击至关重要。随着 AI 更加普及，保护隐私和重要个人及商业信息的安全变得越发关键且复杂。隐私和数据安全问题对 AI 尤为重要，因为 AI 需要访问数据才能对人们做出准确且有信息支持的预测和决策。
- 作为行业，我们在隐私与安全上取得了重大进展，这在很大程度上得益于诸如 GDPR（通用数据保护条例）等法规。
- 然而在 AI 系统中，我们必须承认使系统更个性化、更有效所需的更多个人数据与隐私保护之间存在紧张关系。
- 就像互联网诞生时连接计算机的兴起，我们也看到与 AI 相关的安全问题数量大幅增加。
- 同时，我们看到 AI 被用于提升安全性。例如，大多数现代杀毒扫描器如今都依赖 AI 启发式技术。
- 我们需要确保数据科学流程与最新的隐私及安全实践和谐融合。
透明度
AI 系统应当易于理解。透明度的关键部分是解释 AI 系统及其组件的行为。提升对 AI 系统的理解要求利益相关者明白它们如何以及为何工作，这样能识别潜在的性能问题、安全与隐私担忧、偏见、排他性做法或意外结果。我们还认为，使用 AI 系统的人应坦诚公开何时、为何及如何选择部署它们，以及所用系统的局限性。例如，银行若使用 AI 系统支持其消费贷款决策，重要的是审查结果并了解哪些数据影响系统建议。政府正开始对行业中的 AI 进行监管，因此数据科学家和组织必须解释 AI 系统是否符合监管要求，尤其当出现不良结果时。
- 由于 AI 系统十分复杂，难以理解其工作原理并解释结果。
- 这种理解缺失影响系统的管理、运营和文档化。
- 更重要的是，这种缺失影响基于系统结果所做的决策。
问责制
设计和部署 AI 系统的人必须对其系统的运行负责。对于诸如面部识别这样的敏感技术，问责制尤为重要。最近，对面部识别技术的需求增长，特别是在执法机构中，他们看到这项技术在寻找失踪儿童等用途的潜力。然而，政府可能利用这些技术威胁公民的基本自由，如启用对特定个人的持续监控。因此，数据科学家和组织需要对其 AI 系统对个人或社会的影响负责。
🎥 点击上图观看视频：通过面部识别进行大规模监控的警告
归根结底，对我们这一代（作为推动 AI 进入社会的第一代人）来说，最大的一个问题是如何确保计算机对人类负责，以及如何保证设计计算机的人们对其他所有人负责。
影响评估
在训练机器学习模型之前，进行影响评估很重要，以了解 AI 系统的目的；预期用途；部署地点；以及系统将与谁交互。对于评审员或测试人员评估系统时，了解这些有助于确定识别潜在风险和预期后果时应考虑的因素。
进行影响评估时关注的领域包括：
- 对个体的负面影响。意识到任何限制或要求、不支持的用途或已知限制影响系统性能，确保系统不会以可能对个体造成伤害的方式使用。
- 数据需求。了解系统如何以及从哪里使用数据，帮助评审员探讨应注意的数据要求（例如 GDPR 或 HIPAA）。此外，检视数据来源或数量是否足够训练使用。
- 影响总结。收集使用系统可能引发的潜在伤害列表。在机器学习生命周期中，检查已识别的问题是否得到缓解或解决。
- 适用目标。评估六大核心原则中每项的目标是否达成，以及是否存在缺口。
用负责任的 AI 进行调试
类似于调试软件应用，调试 AI 系统是识别和解决系统中问题的必要过程。许多因素可能导致模型未按预期或负责任地运行。大多数传统模型性能指标是模型表现的定量汇总，但不足以分析模型如何违反负责任 AI 原则。另外，机器学习模型是黑盒子，难以理解其输出背后的驱动因素，也难以在出现错误时解释。后续课程中，我们将学习如何使用负责任 AI 仪表盘帮助调试 AI 系统。该仪表盘为数据科学家和 AI 开发人员提供全面的工具来执行：
- 错误分析。识别模型错误分布，这些错误可能影响系统的公平性或可靠性。
- 模型概览。发现在数据子群中模型性能存在的差异。
- 数据分析。理解数据分布，识别可能导致公平性、包容性和可靠性问题的潜在偏见。
- 模型可解释性。理解影响或驱动模型预测的因素。帮助解释模型行为，这对透明度和问责制很重要。
🚀 挑战
为了从一开始防止伤害，我们应该：
- 吸纳拥有多样背景和观点的人参与系统开发
- 投资于反映社会多样性的数据集
- 在整个机器学习生命周期中开发更好的检测和纠正负责任 AI 问题的方法
思考一下在模型构建和使用中模型不可信的真实场景。我们还应考虑什么？
课后测验
复习与自学
在本课中，您已经学习了一些关于机器学习中公平与不公平概念的基础知识。
观看本次研讨会，深入了解这些主题：
- 追求负责任的人工智能：由 Besmira Nushi、Mehrnoosh Sameki 和 Amit Sharma 讲解如何将原则付诸实践
🎥 点击上方图片观看视频：由 Besmira Nushi、Mehrnoosh Sameki 和 Amit Sharma 讲解的 RAI Toolbox：用于构建负责任人工智能的开源框架
另请阅读：
-
微软的 RAI 资源中心：Responsible AI Resources – Microsoft AI
-
微软的 FATE 研究组：FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research
RAI 工具箱：
阅读有关 Azure 机器学习确保公平性的工具：
作业
免责声明： 本文件由 AI 翻译服务 Co-op Translator 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。