|
|
# 責任あるAIによる機械学習ソリューションの構築
|
|
|
|
|
|
|
|
|
> スケッチノート作成者：[Tomomi Imura](https://www.twitter.com/girlie_mac)
|
|
|
|
|
|
## [事前クイズ](https://ff-quizzes.netlify.app/en/ml/)
|
|
|
|
|
|
## はじめに
|
|
|
|
|
|
このカリキュラムでは、機械学習がどのように私たちの日常生活に影響を与えているのか、その発見を始めます。現在でも、システムやモデルは日常の意思決定タスクに関与しており、医療診断、ローンの承認、不正検出などの分野で活躍しています。そのため、これらのモデルが信頼できる結果を提供するために正しく機能することが重要です。あらゆるソフトウェアアプリケーションと同様に、AIシステムも期待に応えられなかったり、望ましくない結果をもたらすことがあります。だからこそ、AIモデルの動作を理解し説明できることが不可欠です。
|
|
|
|
|
|
モデル構築に使用するデータが、人種、性別、政治的見解、宗教など、特定の属性が欠落していたり、特定の属性を不均衡に代表している場合に何が起こるでしょうか？モデルの出力がある属性に偏って解釈された場合はどうでしょうか？そのアプリケーションにはどんな影響がありますか？さらに、モデルが不利益な結果を招いて人々に害を及ぼした場合はどうでしょうか？AIシステムの挙動に対する責任は誰にあるのでしょうか？これらはこのカリキュラムで探求するいくつかの問いです。
|
|
|
|
|
|
このレッスンでは以下を学びます：
|
|
|
|
|
|
- 機械学習における公平性の重要性と公平性に関連する害についての意識を高める。
|
|
|
- 信頼性と安全性を確保するために異常値や異例のシナリオを探る実践を学ぶ。
|
|
|
- 包摂的なシステム設計によるすべての人のエンパワーメントの必要性を理解する。
|
|
|
- データと人のプライバシーおよびセキュリティ保護の重要性を探る。
|
|
|
- AIモデルの挙動を説明するための透明性（ガラス箱アプローチ）の重要性を理解する。
|
|
|
- AIシステムに対する信頼構築に不可欠なアカウンタビリティ（説明責任）を意識する。
|
|
|
|
|
|
## 前提条件
|
|
|
|
|
|
前提条件として、「責任あるAIの原則」ラーニングパスを受講し、以下のビデオをご覧ください：
|
|
|
|
|
|
[このラーニングパス](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott)で責任あるAIについて学ぶ
|
|
|
|
|
|
[](https://youtu.be/dnC8-uUZXSc "Microsoft's Approach to Responsible AI")
|
|
|
|
|
|
> 🎥 上の画像をクリックしてビデオ視聴：Microsoftの責任あるAIへの取り組み
|
|
|
|
|
|
## 公平性
|
|
|
|
|
|
AIシステムはすべての人を公平に扱い、同じグループの人々を異なる方法で不公平に扱ってはなりません。例えば、医療治療、ローン申請、雇用に関する助言をAIシステムが提供する場合、同様の症状や経済状況、資格を持つ全員に同じ勧告をする必要があります。私たちは皆、行動や判断に影響を与える先入観を持っています。これらのバイアスは、AIシステムを学習させるためのデータに明示的に現れることがあります。こうしたバイアスの混入は意図せずに起こることもあります。データにバイアスを導入していることを意識的に知るのはしばしば難しいです。
|
|
|
|
|
|
<strong>「不公平」</strong>とは、人種、性別、年齢、障害状況などの特性で定義される集団に対する否定的な影響や「害」を指します。公平性に関連する主な害は以下のように分類できます：
|
|
|
|
|
|
- <strong>割当</strong>。例えば、性別や民族性のいずれかが他より優遇される場合。
|
|
|
- <strong>サービスの質</strong>。特定のシナリオでのみデータを学習させたが、現実はもっと複雑で、性能為のサービスが低下する場合。例えば、暗い肌の人を認識できないハンドソープディスペンサーなど。[参考](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
|
|
|
- <strong>誹謗</strong>。不公平に誰かや何かを批判し、ラベル付けすること。例えば、ある画像ラベリング技術が暗い肌の人を類人猿として誤分類した有名な事例。
|
|
|
- <strong>過剰または過少表現</strong>。特定の集団が特定の職業で見られない、またはサービスや機能がそれを助長している場合。
|
|
|
- <strong>固定観念</strong>。特定の集団に対して事前に割り当てられた属性を関連付けること。例えば、英語とトルコ語間の翻訳で、性別に関する固定観念による誤訳が生じることがある。
|
|
|
|
|
|
|
|
|
> トルコ語への翻訳
|
|
|
|
|
|
|
|
|
> 英語への再翻訳
|
|
|
|
|
|
AIシステムを設計・テストする際には、人間に禁止されているバイアスや差別的判断をAIにプログラミングしないように、公平性を確保する必要があります。AIと機械学習における公平性の保証は依然として複雑な社会技術的課題です。
|
|
|
|
|
|
### 信頼性と安全性
|
|
|
|
|
|
信頼構築のために、AIシステムは通常および予期しない状況で信頼でき、安全で、一貫している必要があります。特に異常値の場合に、AIシステムがどのように振る舞うかを知ることが重要です。AIソリューションを構築する上で、多様な状況にどう対処するかに注力する必要があります。例えば、自動運転車は人の安全を最優先しなければなりません。そのため、夜間、雷雨、吹雪、子どもが道路を横断する場合、ペット、工事現場など、車が遭遇する可能性のあるすべてのシナリオを考慮する必要があります。AIシステムが幅広い状況を信頼性と安全性をもって処理できるかは、データサイエンティストやAI開発者が設計・テスト段階でどれだけ予測していたかを反映します。
|
|
|
|
|
|
> [🎥 ビデオはこちらをクリック: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl)
|
|
|
|
|
|
### 包摂性
|
|
|
|
|
|
AIシステムは、すべての人が関与し、エンパワーメントされるよう設計されるべきです。AIシステムの設計・実装時には、データサイエンティストやAI開発者は意図せず人を排除する可能性のある障壁を特定し解決します。例えば、世界には10億人の障害者がおり、AIの進歩により日常生活で幅広い情報や機会により容易にアクセスできるようになっています。障壁を取り除くことで、より良い体験をもたらすAI製品の革新と開発が可能になります。
|
|
|
|
|
|
> [🎥 ビデオはこちらをクリック: AIにおける包摂性](https://www.microsoft.com/videoplayer/embed/RE4vl9v)
|
|
|
|
|
|
### セキュリティとプライバシー
|
|
|
|
|
|
AIシステムは安全であり、人々のプライバシーを尊重するべきです。人々はプライバシーや情報、生命を危険にさらすシステムに対して信頼を持ちません。機械学習モデルをトレーニングする際には、最良の結果を得るためにデータに依存します。その際、データの出所と完全性を考慮する必要があります。例えば、データはユーザーが提供したのか公開情報か。次に、データを扱う際は機密情報を保護し攻撃に耐えるAIシステムを開発することが重要です。AIの普及に伴い、プライバシー保護と重要な個人情報や企業情報のセキュリティ確保はより重要かつ複雑になっています。AIシステムが正確で情報に基づく予測や判断を行うにはデータへのアクセスが不可欠であるため、プライバシーとデータセキュリティには特に注意が必要です。
|
|
|
|
|
|
> [🎥 ビデオはこちらをクリック: AIのセキュリティ](https://www.microsoft.com/videoplayer/embed/RE4voJF)
|
|
|
|
|
|
- 業界として、GDPR（一般データ保護規則）などの規制に後押しされ、プライバシーとセキュリティの分野で大きな進歩を遂げてきました。
|
|
|
- しかし、AIシステムでは、個人化や効果的なシステムのためにより多くの個人データを必要とすることとプライバシーとの緊張関係を認める必要があります。
|
|
|
- インターネットの登場で接続コンピュータが増えたように、AI関連のセキュリティ問題も急増しています。
|
|
|
- 一方で、AIはセキュリティ向上にも活用されています。例えば、現在ほとんどの最新アンチウイルススキャナーはAIのヒューリスティックで駆動されています。
|
|
|
- データサイエンスのプロセスが最新のプライバシーおよびセキュリティ慣行とうまく調和するようにする必要があります。
|
|
|
|
|
|
|
|
|
### 透明性
|
|
|
AIシステムは理解しやすくあるべきです。透明性の重要な要素は、AIシステムとそのコンポーネントの動作を説明することです。AIシステムをより理解するためには、関係者が動作の仕組みや理由を把握することで、性能問題、安全性・プライバシーの懸念、バイアス、排除的慣行、意図しない結果を特定できるようにする必要があります。また、AIシステムの利用者は、いつ、なぜ、どのようにAIを導入するのか、その制限も正直に開示すべきだと考えています。例えば銀行が消費者向けローン審査のためにAIシステムを用いる場合、結果を検証しどのデータが推薦に影響しているのか理解することが重要です。政府は産業全体でAIを規制し始めているため、データサイエンティストや組織は、望ましくない結果が出た場合を含め、AIシステムが規制要件を満たすか説明する必要があります。
|
|
|
|
|
|
> [🎥 ビデオはこちらをクリック: AIの透明性](https://www.microsoft.com/videoplayer/embed/RE4voJF)
|
|
|
|
|
|
- AIシステムは非常に複雑であるため、動作の仕組みや結果の解釈が難しいです。
|
|
|
- 理解不足は管理、運用、文書化のあり方に影響を及ぼします。
|
|
|
- さらに重要なのは、理解不足がこれらのシステムが出す結果に基づく意思決定に影響を与えることです。
|
|
|
|
|
|
### アカウンタビリティ
|
|
|
|
|
|
AIシステムを設計・展開する人々は、そのシステムの動作に責任を持つ必要があります。特に顔認識のような敏感な技術ではアカウンタビリティが重要です。最近、行方不明の子どもを見つけるなどの用途で、法執行機関から顔認識技術の需要が高まっています。しかし、この技術は政府によって特定個人の継続的な監視など、国民の基本的自由を脅かす用途に使われる可能性もあります。そのため、データサイエンティストや組織はAIシステムが個人や社会に与える影響に責任を持つ必要があります。
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoft's Approach to Responsible AI")
|
|
|
|
|
|
> 🎥 上の画像をクリックしてビデオ視聴：顔認識による大規模監視の警告
|
|
|
|
|
|
最終的に、私たちの時代における最大の課題の一つは、AIを社会に導入する最初の世代として、コンピュータを人々に説明責任を持たせ、またコンピュータ設計者自身が他のすべての人に対して説明責任を持ち続ける方法をどう確立するかです。
|
|
|
|
|
|
## インパクトアセスメント（影響評価）
|
|
|
|
|
|
機械学習モデルのトレーニング前に、AIシステムの目的、意図された使用法、展開場所、システムとの関わりを持つ人を理解するための影響評価を行うことが重要です。これらはシステムの評価者やテスターが潜在的リスクや期待される影響を識別する際に考慮すべき要素を知るのに役立ちます。
|
|
|
|
|
|
影響評価で着目すべき領域は以下の通りです：
|
|
|
|
|
|
* <strong>個人への悪影響</strong>。利用制限や要求事項、対応していない使用法、既知の制限を意識し、システムが個人に害を及ぼす使われ方をしないことを保証することが重要です。
|
|
|
* <strong>データ要件</strong>。システムのデータ使用方法と場所を理解すると、GDPRやHIPAAのデータ規制などに注意すべき点を検討できます。また、学習に必要なデータ量やデータソースの十分性も評価します。
|
|
|
* <strong>影響の概要</strong>。システム利用による潜在的な害のリストを作成し、機械学習ライフサイクル全体で問題が緩和または対処されているか確認します。
|
|
|
* 6つの核心原則ごとの<strong>適用可能な目標</strong>。各原則の目標が達成されているか、ギャップがあるか評価します。
|
|
|
|
|
|
|
|
|
## 責任あるAIによるデバッグ
|
|
|
|
|
|
ソフトウェアアプリケーションのデバッグと同様に、AIシステムのデバッグは問題を特定・解決する必要なプロセスです。モデルが期待通り、また責任ある振る舞いをしない原因は多岐にわたります。従来のモデル性能指標はモデルのパフォーマンスの定量的集約値であり、責任あるAI原則違反を分析するには不十分です。さらに、機械学習モデルはブラックボックスであり、結果に影響を与えている要因や誤った判断の理由を説明するのは難しいです。本コースでは後に、責任あるAIダッシュボードの使い方を学びます。このダッシュボードは、データサイエンティストやAI開発者が包括的に実施できるツールとして以下を提供します：
|
|
|
|
|
|
* <strong>誤差分析</strong>。システムの公平性や信頼性に影響する誤差分布を特定するため。
|
|
|
* <strong>モデル概要</strong>。データコホート間のパフォーマンス格差を発見するため。
|
|
|
* <strong>データ分析</strong>。データの分布を理解し、公平性、包摂性、信頼性に影響する可能性のあるバイアスを特定するため。
|
|
|
* <strong>モデル解釈性</strong>。モデルの予測に影響を与える要因を理解し、モデルの挙動説明に役立てることで透明性とアカウンタビリティを高めるため。
|
|
|
|
|
|
|
|
|
## 🚀 チャレンジ
|
|
|
|
|
|
害をそもそも生じさせないために、私たちは以下を実践すべきです：
|
|
|
|
|
|
- システムに関わる人々の多様な背景や視点を持つこと
|
|
|
- 社会の多様性を反映したデータセットに投資すること
|
|
|
- 機械学習のライフサイクル全体で責任あるAIの検出と修正の方法を改善すること
|
|
|
|
|
|
モデル構築や使用において信頼できないことが明らかな実際のシナリオについて考えてみましょう。他に考慮すべきことはありますか？
|
|
|
|
|
|
## [事後クイズ](https://ff-quizzes.netlify.app/en/ml/)
|
|
|
|
|
|
## 復習＆自主学習
|
|
|
|
|
|
|
|
|
このレッスンでは、機械学習における公平性と不公平性の概念の基本について学びました。
|
|
|
|
|
|
これらのトピックをさらに深く掘り下げるには、このワークショップをご覧ください：
|
|
|
|
|
|
- 責任あるAIの追求：Besmira Nushi、Mehrnoosh Sameki、Amit Sharmaによる原則を実践に移す
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: An open-source framework for building responsible AI")
|
|
|
|
|
|
> 🎥 上記の画像をクリックすると、Besmira Nushi、Mehrnoosh Sameki、Amit Sharmaによる「RAI Toolbox: 責任あるAIを構築するためのオープンソースフレームワーク」のビデオが再生されます
|
|
|
|
|
|
また、以下もお読みください：
|
|
|
|
|
|
- MicrosoftのRAIリソースセンター：[Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4)
|
|
|
|
|
|
- MicrosoftのFATE研究グループ：[FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/)
|
|
|
|
|
|
RAI Toolbox:
|
|
|
|
|
|
- [Responsible AI Toolbox GitHubリポジトリ](https://github.com/microsoft/responsible-ai-toolbox)
|
|
|
|
|
|
Azure Machine Learningの公平性担保ツールについてはこちらをご覧ください：
|
|
|
|
|
|
- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott)
|
|
|
|
|
|
## 課題
|
|
|
|
|
|
[Explore RAI Toolbox](assignment.md)
|
|
|
|
|
|
---
|
|
|
|
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER START -->
|
|
|
**免責事項**：
|
|
|
本書類は AI 翻訳サービス [Co-op Translator](https://github.com/Azure/co-op-translator) を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。
|
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER END --> |
