|
|
# 构建具有负责任人工智能的机器学习解决方案
|
|
|
|
|
|
|
|
|
> 示意图作者：[Tomomi Imura](https://www.twitter.com/girlie_mac)
|
|
|
|
|
|
## [课前测验](https://ff-quizzes.netlify.app/en/ml/)
|
|
|
|
|
|
## 介绍
|
|
|
|
|
|
在本课程中，您将开始发现机器学习如何以及已经如何影响我们的日常生活。即使在现在，系统和模型也参与了日常的决策任务，比如医疗诊断、贷款审批或欺诈检测。因此，这些模型能够良好运作以提供值得信赖的结果非常重要。就像任何软件应用程序一样，人工智能系统也会未达预期或产生不良结果。这就是为什么理解和解释人工智能模型行为是至关重要的原因。
|
|
|
|
|
|
想象一下，当您用于构建这些模型的数据缺少某些人口统计信息，如种族、性别、政治观点、宗教，或这些人口统计信息所占比例不均时，会发生什么？当模型的输出被解释为偏向某些人口统计时，会产生什么后果？此外，当模型产生不良结果并对人们造成伤害时，会发生什么？谁应对人工智能系统的行为负责？这些都是我们将在本课程中探讨的一些问题。
|
|
|
|
|
|
在本课中，您将：
|
|
|
|
|
|
- 提高对机器学习中公平性及其相关危害重要性的认识。
|
|
|
- 熟悉探讨异常值和非典型场景以确保可靠性和安全性的实践。
|
|
|
- 理解通过设计包容性系统赋能所有人的必要性。
|
|
|
- 探索保护数据和个人隐私安全的重要性。
|
|
|
- 了解采用透明（玻璃盒）方法解释人工智能模型行为的重要性。
|
|
|
- 注意责任制对于建立人工智能系统信任的重要作用。
|
|
|
|
|
|
## 先决条件
|
|
|
|
|
|
作为先决条件，请参加“负责任人工智能原则”学习路径，并观看下面关于该主题的视频：
|
|
|
|
|
|
通过此[学习路径](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott)深入了解负责任人工智能
|
|
|
|
|
|
[](https://youtu.be/dnC8-uUZXSc "微软负责任人工智能方法")
|
|
|
|
|
|
> 🎥 点击上图观看视频：微软负责任人工智能方法
|
|
|
|
|
|
## 公平性
|
|
|
|
|
|
人工智能系统应公平对待每个人，避免对相似群体产生不同影响。例如，当人工智能系统为医疗治疗、贷款申请或就业提供指导时，应对具有相似症状、经济状况或专业资格的所有人做出相同的建议。每个人都携带着影响我们决策和行为的固有偏见。这些偏见可能会反映在用于训练人工智能系统的数据中。这类偏见有时是无意中引入的。很难在意识层面上察觉何时在数据中引入了偏见。
|
|
|
|
|
|
**“不公平”** 指的是对某一群体产生负面影响或“危害”，这些群体可以根据种族、性别、年龄或残疾状况等定义。主要与公平相关的危害可分为：
|
|
|
|
|
|
- <strong>资源分配</strong>，例如偏袒某个性别或族裔群体。
|
|
|
- <strong>服务质量</strong>。如果您训练的是针对特定场景的数据，但现实更加复杂，可能导致服务表现不佳。例如，某款洗手液分配器无法感应深色皮肤的人。[参考](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
|
|
|
- <strong>贬低</strong>。不公平地批评和贴标签。例如，某些图像标签技术臭名昭著地将深色皮肤的人误标为猩猩。
|
|
|
- <strong>过度或不足代表</strong>。指某一群体在某个职业中缺席，任何持续促进这种现象的服务或功能都会造成伤害。
|
|
|
- <strong>刻板印象</strong>。将预先指定的属性与某个群体关联。例如，英土译系统中可能因带有性别刻板印象的词汇而出现不准确。
|
|
|
|
|
|
|
|
|
> 翻译为土耳其语
|
|
|
|
|
|
|
|
|
> 再翻译回英语
|
|
|
|
|
|
在设计和测试人工智能系统时，我们需要确保人工智能公平且不编程为作出带有偏见或歧视的决策，人类同样被禁止做出这样的决策。确保人工智能和机器学习的公平性仍是一项复杂的社会技术挑战。
|
|
|
|
|
|
### 可靠性和安全性
|
|
|
|
|
|
为了建立信任，人工智能系统需要在正常和意外情况下保持可靠、安全和一致。了解人工智能系统在各种情况下的行为尤其重要，特别是在异常情况下。构建人工智能解决方案时，需要大量关注如何处理可能遇到的各种情况。例如，自动驾驶汽车必须将人们的安全放在首位。因此，为汽车提供动力的人工智能需要考虑汽车可能遇到的所有场景，如夜间、暴风雨或暴雪、街上跑过的孩子、宠物、道路施工等。人工智能系统在可靠且安全地应对各种复杂条件的能力反映了数据科学家或人工智能开发人员在系统设计或测试阶段的预见性。
|
|
|
|
|
|
> [🎥 点击这里观看视频：人工智能中的可靠性和安全性](https://www.microsoft.com/videoplayer/embed/RE4vvIl)
|
|
|
|
|
|
### 包容性
|
|
|
|
|
|
人工智能系统应设计成能够吸引和赋能每个人。在设计和实施人工智能系统时，数据科学家和人工智能开发人员会识别并解决系统中可能无意间排除某些人的障碍。例如，全球有10亿残疾人。随着人工智能的发展，他们可以更容易地在日常生活中获取各种信息和机会。通过解决这些障碍，可以创造创新机会，开发出为所有人带来更好体验的人工智能产品。
|
|
|
|
|
|
> [🎥 点击这里观看视频：人工智能中的包容性](https://www.microsoft.com/videoplayer/embed/RE4vl9v)
|
|
|
|
|
|
### 安全和隐私
|
|
|
|
|
|
人工智能系统应安全并尊重个人隐私。人们对那些可能危及其隐私、信息或生命的系统信任度较低。训练机器学习模型时，我们依赖数据以产生最佳结果。在此过程中，必须考虑数据的来源和完整性。例如，数据是用户提交的还是公开可用的？此外，在处理数据时，开发的人工智能系统必须能够保护机密信息并抵御攻击。随着人工智能的普及，保护隐私和保障重要个人及企业信息安全变得愈发关键且复杂。隐私和数据安全问题对人工智能尤为重要，因为人工智能系统依赖数据做出准确且有依据的预测和决策。
|
|
|
|
|
|
> [🎥 点击这里观看视频：人工智能中的安全](https://www.microsoft.com/videoplayer/embed/RE4voJF)
|
|
|
|
|
|
- 作为一个行业，我们在隐私与安全方面取得了显著进步，这很大程度上得益于像GDPR（通用数据保护条例）这样的法规。
|
|
|
- 然而，对于人工智能系统，我们必须认识到，系统为了变得更个性化和有效，需要更多个人数据，这与隐私保护之间存在矛盾。
|
|
|
- 就如同连接计算机互联网诞生时一样，我们也看到与人工智能相关的安全问题激增。
|
|
|
- 同时，我们已看到人工智能被用来提升安全性。举例来说，当今大多数现代杀毒软件扫描器都是基于人工智能启发式方法。
|
|
|
- 我们需要确保数据科学流程能与最新的隐私和安全实践和谐融合。
|
|
|
|
|
|
|
|
|
### 透明度
|
|
|
人工智能系统应易于理解。透明度的关键部分是解释人工智能系统及其组件的行为。提升对人工智能系统的理解要求利益相关者明白其功能及工作原理，以便识别潜在的性能问题、安全和隐私忧虑、偏见、排除性行为或非预期结果。我们还认为，使用人工智能系统的人应诚实公开地说明何时、为何及如何选择部署它们，以及所用系统的局限性。例如，银行使用人工智能系统支持消费贷款决策时，重要的是审查结果并了解哪些数据影响系统推荐。各国政府正开始规制各行业的人工智能，因此数据科学家和组织必须说明是否人工智能系统符合监管要求，尤其在出现不良结果时。
|
|
|
|
|
|
> [🎥 点击这里观看视频：人工智能中的透明度](https://www.microsoft.com/videoplayer/embed/RE4voJF)
|
|
|
|
|
|
- 由于人工智能系统极其复杂，很难理解它们的工作原理并解释结果。
|
|
|
- 缺乏理解影响了这些系统的管理、操作和文档记录方式。
|
|
|
- 更重要的是，这种理解的缺失影响了基于这些系统结果所做的决策。
|
|
|
|
|
|
### 责任制
|
|
|
|
|
|
设计和部署人工智能系统的人必须对系统的运行负责。责任制在使用敏感技术（如面部识别）时尤为关键。近年来，对面部识别技术的需求日益增加，尤其是执法机构看到该技术在寻找失踪儿童等场景中的潜力。然而，这些技术也可能被政府滥用，威胁公民的基本自由，例如对特定个人实施持续监控。因此，数据科学家和组织需要对其人工智能系统对个人或社会的影响承担责任。
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "微软负责任人工智能方法")
|
|
|
|
|
|
> 🎥 点击上图观看视频：关于面部识别引发的大规模监控警告
|
|
|
|
|
|
归根结底，作为第一代将人工智能引入社会的一代，我们面临的最大问题之一是如何确保计算机对人类负责，以及设计计算机的人如何对所有其他人负责。
|
|
|
|
|
|
## 影响评估
|
|
|
|
|
|
在训练机器学习模型之前，进行影响评估非常重要，以了解人工智能系统的目的；预期用途；部署地点；以及与系统交互的对象。这些信息有助于评审者或测试者评估系统时考量潜在风险和预期后果。
|
|
|
|
|
|
进行影响评估时关注的领域包括：
|
|
|
|
|
|
* <strong>对个人的负面影响</strong>。了解任何限制或要求、不支持的用途或已知的局限性对于确保系统不会以可能伤害个人的方式使用至关重要。
|
|
|
* <strong>数据需求</strong>。了解系统如何及在哪里使用数据，使评审者能探索需注意的数据要求（例如，GDPR或HIPAA数据法规）。此外，检查数据的来源和数量是否充足用于训练。
|
|
|
* <strong>影响总结</strong>。汇总可能由使用系统引起的潜在危害清单。在机器学习生命周期中，检查已识别的问题是否得到缓解或解决。
|
|
|
* <strong>每个六项核心原则的适用目标</strong>。评估是否达成每项原则的目标，以及是否存在任何差距。
|
|
|
|
|
|
|
|
|
## 负责任人工智能的调试
|
|
|
|
|
|
类似于调试软件应用程序，调试人工智能系统是识别和解决系统问题的必要过程。模型未按预期或负责任地表现的因素有很多。大多数传统的模型性能指标是模型性能的定量汇总，不足以分析模型如何违反负责任人工智能原则。另外，机器学习模型是黑盒，很难理解驱动其结果的因素或在出错时提供解释。本课程后面，我们将学习如何使用负责任人工智能仪表盘来调试人工智能系统。该仪表盘为数据科学家和人工智能开发者提供了全面的工具，支持：
|
|
|
|
|
|
* <strong>错误分析</strong>。识别可能影响系统公平性或可靠性的模型误差分布。
|
|
|
* <strong>模型概况</strong>。发现模型在不同数据群体间性能差异的位置。
|
|
|
* <strong>数据分析</strong>。理解数据分布并识别任何可能导致公平性、包容性和可靠性问题的偏差。
|
|
|
* <strong>模型可解释性</strong>。理解影响或左右模型预测的因素，有助于解释模型行为，这对透明度和责任制非常重要。
|
|
|
|
|
|
|
|
|
## 🚀 挑战
|
|
|
|
|
|
为了防止危害的产生，我们应当：
|
|
|
|
|
|
- 在参与系统开发的人员中拥有多样化的背景和观点
|
|
|
- 投资于反映社会多样性的数据集
|
|
|
- 在机器学习生命周期中开发更好的方法来检测和纠正不负责任的人工智能
|
|
|
|
|
|
思考模型构建和使用中明显表现出不可信赖性的现实场景。我们还应考虑什么？
|
|
|
|
|
|
## [课后测验](https://ff-quizzes.netlify.app/en/ml/)
|
|
|
|
|
|
## 复习与自学
|
|
|
|
|
|
在本课中，您学习了机器学习中公平与不公平概念的一些基础知识。
|
|
|
|
|
|
观看本研讨会，深入探讨相关主题：
|
|
|
|
|
|
- 追求负责任人工智能：将原则付诸实践，讲者：Besmira Nushi、Mehrnoosh Sameki 和 Amit Sharma
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: 一个用于构建负责任 AI 的开源框架")
|
|
|
|
|
|
> 🎥 点击上方图片观看视频：RAI Toolbox：一个由 Besmira Nushi、Mehrnoosh Sameki 和 Amit Sharma 介绍的负责任 AI 开源框架
|
|
|
|
|
|
另外，阅读：
|
|
|
|
|
|
- 微软的 RAI 资源中心：[Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4)
|
|
|
|
|
|
- 微软的 FATE 研究组：[FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/)
|
|
|
|
|
|
RAI Toolbox：
|
|
|
|
|
|
- [Responsible AI Toolbox GitHub 仓库](https://github.com/microsoft/responsible-ai-toolbox)
|
|
|
|
|
|
阅读关于 Azure 机器学习工具以确保公平性的内容：
|
|
|
|
|
|
- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott)
|
|
|
|
|
|
## 任务
|
|
|
|
|
|
[探索 RAI Toolbox](assignment.md)
|
|
|
|
|
|
---
|
|
|
|
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER START -->
|
|
|
**免责声明**：
|
|
|
本文件由 AI 翻译服务 [Co-op Translator](https://github.com/Azure/co-op-translator) 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。
|
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER END --> |
