|
3 weeks ago | |
---|---|---|
.. | ||
README.md | 3 weeks ago | |
assignment.md | 3 weeks ago |
README.md
資料倫理簡介
![]() |
---|
資料科學倫理 - 由 @nitya 繪製的手繪筆記 |
我們都是生活在數據化世界中的資料公民。
市場趨勢顯示,到2022年,三分之一的大型組織將通過線上市場和交易所買賣數據。作為應用程式開發者,我們將更容易且更便宜地將數據驅動的洞察力和算法驅動的自動化整合到日常用戶體驗中。但隨著人工智慧(AI)的普及,我們也需要了解這些算法在大規模應用時可能帶來的武器化危害。
趨勢還顯示,到2025年,我們將創造並消耗超過180澤字節的數據。作為資料科學家,這讓我們能夠前所未有地接觸到個人數據。這意味著我們可以建立用戶的行為檔案,並以某種方式影響決策,從而創造一種自由選擇的假象,同時可能將用戶推向我們偏好的結果。這也引發了關於數據隱私和用戶保護的更廣泛問題。
資料倫理現在是資料科學與工程的_必要防護措施_,幫助我們減少數據驅動行動可能帶來的潛在危害和意外後果。Gartner AI 技術成熟度曲線將數字倫理、負責任的AI和AI治理列為推動AI_民主化_和_工業化_這兩大趨勢的關鍵驅動因素。
在這節課中,我們將探索資料倫理這個迷人的領域——從核心概念和挑戰,到案例研究和應用AI概念(如治理),幫助在處理數據和AI的團隊和組織中建立倫理文化。
課前測驗 🎯
基本定義
讓我們先了解一些基本術語。
「倫理」一詞來自希臘語 "ethikos"(及其詞根 "ethos"),意為_品格或道德本質_。
倫理是指在社會中規範我們行為的共同價值觀和道德原則。倫理並非基於法律,而是基於廣泛接受的「對與錯」的標準。然而,倫理考量可以影響企業治理舉措和政府法規,從而創造更多遵從的激勵措施。
資料倫理是一個新的倫理分支,研究和評估與_數據、算法及相關實踐_相關的道德問題。在這裡,**「數據」側重於生成、記錄、管理、處理、傳播、共享和使用的行為,「算法」側重於AI、代理、機器學習和機器人,「實踐」**則側重於負責任的創新、編程、駭客行為和倫理守則等主題。
應用倫理是道德考量的實際應用。它是積極調查_現實世界行動、產品和流程_中的倫理問題,並採取糾正措施以確保這些行為與我們定義的倫理價值保持一致的過程。
倫理文化是關於將應用倫理_操作化_,以確保我們的倫理原則和實踐在整個組織中以一致且可擴展的方式被採用。成功的倫理文化會定義全組織的倫理原則,提供有意義的遵從激勵,並通過鼓勵和放大組織各層級的期望行為來強化倫理規範。
倫理概念
在本節中,我們將討論共同價值觀(原則)和倫理挑戰(問題)等資料倫理概念,並通過案例研究幫助您在現實世界的背景中理解這些概念。
1. 倫理原則
每個資料倫理策略都始於定義_倫理原則_——描述可接受行為並指導我們在數據和AI項目中的合規行動的「共同價值觀」。您可以在個人或團隊層面定義這些原則。然而,大多數大型組織會在公司層面定義這些原則,並在所有團隊中一致執行,通常以_倫理AI_使命聲明或框架的形式呈現。
範例: 微軟的負責任AI使命聲明寫道:「我們致力於推動以將人放在首位的倫理原則為基礎的AI發展」,並在以下框架中確定了6個倫理原則:
讓我們簡要探討這些原則。_透明性_和_問責性_是其他原則的基石,因此我們從這裡開始:
- 問責性使從業者對其數據和AI操作以及對這些倫理原則的遵守負責。
- 透明性確保數據和AI行動對用戶是_可理解的_(可解釋的),解釋決策背後的原因和內容。
- 公平性——確保AI對_所有人_公平對待,解決數據和系統中的任何系統性或隱性社會技術偏見。
- 可靠性與安全性——確保AI行為與定義的價值觀_一致_,最大限度地減少潛在危害或意外後果。
- 隱私與安全——關注數據來源的理解,並為用戶提供_數據隱私及相關保護_。
- 包容性——有意設計AI解決方案,適應_廣泛的人類需求_和能力。
🚨 想一想您的資料倫理使命聲明可能是什麼。探索其他組織的倫理AI框架——這裡有來自IBM、Google和Facebook的範例。它們有哪些共同的價值觀?這些原則如何與它們所處的AI產品或行業相關?
2. 倫理挑戰
一旦我們定義了倫理原則,下一步就是評估我們的數據和AI行動是否與這些共同價值觀一致。考慮您的行動可以分為兩類:數據收集_和_算法設計。
在數據收集方面,行動可能涉及個人數據或可識別的個人信息(PII),這些信息可以識別特定的活人個體。這包括多樣的非個人數據項目,這些數據_集合起來_可以識別一個人。倫理挑戰可能涉及_數據隱私_、數據所有權_以及相關主題,如_知情同意_和_用戶的知識產權。
在算法設計方面,行動將涉及收集和管理數據集,然後使用它們來訓練和部署數據模型,以在現實世界的背景中預測結果或自動化決策。倫理挑戰可能來自_數據集偏見_、_數據質量_問題、不公平性_和算法中的_誤導性,包括一些系統性問題。
在這兩種情況下,倫理挑戰突出了我們的行動可能與共同價值觀發生衝突的領域。為了檢測、減輕、最小化或消除這些問題,我們需要針對我們的行動提出道德上的「是/否」問題,然後根據需要採取糾正措施。讓我們來看看一些倫理挑戰及其引發的道德問題:
2.1 數據所有權
數據收集通常涉及可識別數據主體的個人數據。數據所有權關注與數據創建、處理和傳播相關的_控制權_和用戶權利。
需要提出的道德問題包括:
- 誰擁有數據?(用戶還是組織)
- 數據主體擁有哪些權利?(例如:訪問、刪除、可攜性)
- 組織擁有哪些權利?(例如:糾正惡意用戶評論)
2.2 知情同意
知情同意指用戶在充分了解相關事實(包括目的、潛在風險和替代方案)的情況下,同意某項行動(如數據收集)。
需要探討的問題包括:
- 用戶(數據主體)是否同意數據的收集和使用?
- 用戶是否了解數據收集的目的?
- 用戶是否了解參與可能帶來的潛在風險?
2.3 知識產權
知識產權指由人類創造的無形產物,可能對個人或企業具有_經濟價值_。
需要探討的問題包括:
- 收集的數據是否對用戶或企業具有經濟價值?
- 用戶是否擁有這裡的知識產權?
- 組織是否擁有這裡的知識產權?
- 如果這些權利存在,我們如何保護它們?
2.4 數據隱私
數據隱私或信息隱私指保護用戶隱私和身份,特別是與可識別個人信息相關的保護。
需要探討的問題包括:
- 用戶的(個人)數據是否安全,防止駭客攻擊和洩露?
- 用戶的數據是否僅限於授權用戶和上下文訪問?
- 在數據共享或傳播時,用戶的匿名性是否得到保護?
- 用戶是否可以從匿名數據集中被重新識別?
2.5 被遺忘權
被遺忘權或刪除權為用戶提供額外的個人數據保護。具體來說,它賦予用戶在特定情況下請求刪除或移除個人數據的權利,允許他們在網上獲得一個新的開始,而不會因過去的行為受到影響。
需要探討的問題包括:
- 系統是否允許數據主體請求刪除?
- 用戶撤回同意是否應觸發自動刪除?
- 數據是否在未經同意或非法手段下收集?
- 我們是否符合政府對數據隱私的法規?
2.6 數據集偏見
數據集或收集偏見指為算法開發選擇了一個_非代表性_的數據子集,可能導致對不同群體的結果不公平。偏見類型包括選擇或抽樣偏見、志願者偏見和工具偏見。
需要探討的問題包括:
- 我們是否招募了一個具有代表性的數據主體集合?
- 我們是否測試了收集或管理的數據集中的各種偏見?
- 我們是否可以減輕或消除發現的偏見?
2.7 數據質量
數據質量檢查用於開發算法的數據集的有效性,確保特徵和記錄符合我們AI目的所需的準確性和一致性要求。
需要探討的問題包括:
- 我們是否捕獲了適合我們用例的有效_特徵_?
- 數據是否在不同數據來源中_一致_地捕獲?
- 數據集是否_完整_,涵蓋多樣條件或場景?
- 捕獲的信息是否_準確_地反映了現實?
2.8 算法公平性
演算法公平性 是檢查演算法設計是否系統性地對特定數據主體的子群體造成歧視,進而導致在資源分配(allocation,如資源被拒絕或扣留)和服務質量(quality of service,如 AI 對某些子群體的準確性不如其他群體)方面的潛在傷害。
需要探討的問題包括:
- 我們是否評估了模型在不同子群體和條件下的準確性?
- 我們是否仔細檢查了系統可能帶來的傷害(例如,刻板印象)?
- 我們是否可以修正數據或重新訓練模型以減輕已識別的傷害?
探索像 AI 公平性檢查清單 這樣的資源以了解更多。
2.9 錯誤呈現
數據錯誤呈現 是指我們是否以欺騙的方式傳達來自誠實報告數據的洞見,以支持某種期望的敘述。
需要探討的問題包括:
- 我們是否報告了不完整或不準確的數據?
- 我們是否以誤導結論的方式可視化數據?
- 我們是否使用選擇性的統計技術來操縱結果?
- 是否存在可能提供不同結論的替代解釋?
2.10 自由選擇
自由選擇的假象 發生在系統的「選擇架構」使用決策演算法來引導人們選擇某種偏好的結果,同時表面上給予他們選擇和控制的權利。這些黑暗模式可能對用戶造成社會和經濟上的傷害。由於用戶的決策會影響行為檔案,這些行動可能會驅動未來的選擇,進一步放大或延續這些傷害的影響。
需要探討的問題包括:
- 用戶是否理解做出該選擇的影響?
- 用戶是否了解(替代)選擇及其各自的優缺點?
- 用戶是否可以在之後撤銷自動化或受影響的選擇?
3. 案例研究
將這些倫理挑戰放在現實世界的背景中,幫助我們了解當忽視這些倫理問題時,對個人和社會可能造成的潛在傷害和後果。
以下是一些例子:
倫理挑戰 | 案例研究 |
---|---|
知情同意 | 1972 年 - 塔斯基吉梅毒研究 - 參與研究的非裔美國男性被承諾提供免費醫療服務,但研究人員欺騙他們,未告知診斷或治療的可用性。許多受試者因此死亡,伴侶或子女也受到影響;該研究持續了 40 年。 |
數據隱私 | 2007 年 - Netflix 數據獎 向研究人員提供了 10M 來自 50K 客戶的匿名電影評分,以改進推薦演算法。然而,研究人員能夠將匿名數據與外部數據集(如 IMDb 評論)中的個人身份數據相關聯,實際上「去匿名化」了一些 Netflix 訂閱者。 |
收集偏差 | 2013 年 - 波士頓市開發了 Street Bump,一款讓市民報告坑洞的應用程式,幫助城市獲取更好的道路數據以解決問題。然而,低收入群體的人們較少擁有汽車和手機,使得他們的道路問題在該應用程式中不可見。開發者與學者合作解決公平性問題,如數位鴻溝和公平訪問。 |
演算法公平性 | 2018 年 - MIT Gender Shades 研究 評估了性別分類 AI 產品的準確性,揭示了對女性和有色人種準確性不足的問題。一個 2019 年 Apple Card 似乎給女性提供的信用額度低於男性。這兩個例子都說明了演算法偏差導致的社會經濟傷害問題。 |
數據錯誤呈現 | 2020 年 - 喬治亞州公共衛生部發布的 COVID-19 圖表 似乎通過非時間順序的 x 軸排序誤導公民關於確診病例趨勢的理解。這說明了通過可視化技巧進行的錯誤呈現。 |
自由選擇的假象 | 2020 年 - 學習應用程式 ABCmouse 支付 1000 萬美元解決 FTC 投訴,家長被困於無法取消的訂閱中。這說明了選擇架構中的黑暗模式,導致用戶被引導做出可能有害的選擇。 |
數據隱私與用戶權利 | 2021 年 - Facebook 數據洩露 暴露了 5.3 億用戶的數據,導致向 FTC 支付 50 億美元的和解金。然而,它拒絕通知用戶洩露事件,違反了用戶關於數據透明性和訪問的權利。 |
想探索更多案例研究?查看以下資源:
- Ethics Unwrapped - 涵蓋多個行業的倫理困境。
- 數據科學倫理課程 - 探討標誌性案例研究。
- 問題出在哪裡 - Deon 清單中的示例。
🚨 想想你見過的案例研究——你是否曾經歷過或受到類似倫理挑戰的影響?你能想到至少一個其他案例來說明我們在本節中討論的倫理挑戰嗎?
應用倫理
我們已經討論了倫理概念、挑戰以及現實世界中的案例研究。但我們如何開始在項目中_應用_倫理原則和實踐?我們又如何_實現_這些實踐以改進治理?讓我們來探索一些現實世界的解決方案:
1. 專業守則
專業守則為組織提供了一種選擇,通過「激勵」成員支持其倫理原則和使命聲明。守則是專業行為的_道德指導方針_,幫助員工或成員做出符合組織原則的決策。它的效力取決於成員的自願遵守;然而,許多組織提供額外的獎勵和懲罰來激勵成員遵守。
示例包括:
- Oxford Munich 倫理守則
- 數據科學協會 行為守則(2013 年創建)
- ACM 倫理與專業行為守則(自 1993 年起)
🚨 你是否屬於某個專業工程或數據科學組織?探索他們的網站,看看是否定義了專業倫理守則。這些守則說明了哪些倫理原則?他們如何「激勵」成員遵守守則?
2. 倫理清單
雖然專業守則定義了從業者所需的_倫理行為_,但它們在執行方面存在已知的局限性,特別是在大規模項目中。因此,許多數據科學專家提倡使用清單,這些清單可以將原則與實踐聯繫起來,以更具決定性和可操作的方式。
清單將問題轉化為「是/否」任務,可以被操作化,並作為標準產品發布工作流程的一部分進行跟蹤。
示例包括:
- Deon - 一個通用數據倫理清單,由行業建議創建,並提供命令行工具以便於整合。
- 隱私審核清單 - 從法律和社會曝光的角度提供信息處理實踐的一般指導。
- AI 公平性清單 - 由 AI 從業者創建,用於支持公平性檢查的採用和整合到 AI 開發週期中。
- 數據與 AI 倫理的 22 個問題 - 更開放的框架,結構化用於設計、實施和組織背景下倫理問題的初步探索。
3. 倫理法規
倫理是關於定義共同價值觀並_自願_做正確的事情。合規是指在有法律規定的情況下_遵守法律_。治理則廣泛涵蓋了組織運營以執行倫理原則並遵守既定法律的所有方式。
如今,治理在組織內有兩種形式。首先,它是關於定義倫理 AI 原則並建立實踐,以在組織內的所有 AI 相關項目中實現採用。其次,它是關於遵守其運營地區的所有政府規定的數據保護法規。
數據保護和隱私法規的示例:
1974
,美國隱私法案 - 規範_聯邦政府_對個人信息的收集、使用和披露。1996
,美國健康保險攜帶與責任法案 (HIPAA) - 保護個人健康數據。1998
,美國兒童在線隱私保護法案 (COPPA) - 保護 13 歲以下兒童的數據隱私。2018
,通用數據保護條例 (GDPR) - 提供用戶權利、數據保護和隱私。2018
,加州消費者隱私法案 (CCPA) - 賦予消費者更多對其(個人)數據的_權利_。2021
,中國個人信息保護法 剛剛通過,創造了全球最強的在線數據隱私法規之一。
🚨 歐盟定義的 GDPR(通用數據保護條例)仍然是當今最具影響力的數據隱私法規之一。你知道它還定義了8 項用戶權利來保護公民的數字隱私和個人數據嗎?了解這些權利是什麼以及它們為什麼重要。
4. 倫理文化
需要注意的是,合規(做到足以滿足「法律條文」)與解決系統性問題(如僵化、信息不對稱和分配不公平)之間仍然存在無形的差距,而這些問題可能加速 AI 的武器化。
後者需要協作方式來定義倫理文化,以在行業內建立情感聯繫和一致的共同價值觀。這需要在組織內建立更多正式化的數據倫理文化——允許_任何人_ 拉動安燈繩(在過程早期提出倫理問題),並將_倫理評估_(例如,在招聘中)作為 AI 項目團隊組建的核心標準。
課後測驗 🎯
回顧與自學
課程和書籍有助於理解核心倫理概念和挑戰,而案例研究和工具則有助於在現實世界中應用倫理實踐。以下是一些入門資源:
- 機器學習初學者 - 來自 Microsoft 的公平性課程。
- 負責任 AI 的原則 - Microsoft Learn 提供的免費學習路徑。
- 倫理與數據科學 - O'Reilly 電子書 (M. Loukides, H. Mason 等人著)
- 數據科學倫理 - 密西根大學提供的線上課程。
- 倫理解密 - 德州大學的案例研究。
作業
免責聲明:
本文件已使用 AI 翻譯服務 Co-op Translator 進行翻譯。我們致力於提供準確的翻譯,但請注意,自動翻譯可能包含錯誤或不準確之處。應以原始語言的文件作為權威來源。對於關鍵資訊,建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或錯誤解讀概不負責。