You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
264 lines
60 KiB
264 lines
60 KiB
# แนะนำเกี่ยวกับจริยธรรมข้อมูล
|
|
|
|
| ](../../sketchnotes/02-Ethics.png)|
|
|
|:---:|
|
|
| จริยธรรมวิทยาศาสตร์ข้อมูล - _Sketchnote โดย [@nitya](https://twitter.com/nitya)_ |
|
|
|
|
---
|
|
|
|
เราทุกคนเป็นพลเมืองข้อมูลที่อาศัยอยู่ในโลกที่เต็มไปด้วยข้อมูล
|
|
|
|
แนวโน้มตลาดบ่งชี้ว่าในปี 2022 องค์กรขนาดใหญ่ 1 ใน 3 จะซื้อและขายข้อมูลของตนผ่าน [ตลาดและการแลกเปลี่ยนออนไลน์](https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020/) ในฐานะ **นักพัฒนาแอป** เราจะพบว่าการผสานรวมข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูลและระบบอัตโนมัติที่ขับเคลื่อนด้วยอัลกอริทึมในประสบการณ์ผู้ใช้รายวันจะง่ายและถูกลง แต่เมื่อ AI แพร่หลายมากขึ้น เราจะต้องเข้าใจอันตรายที่อาจเกิดขึ้นจากการ [ใช้เป็นอาวุธ](https://www.youtube.com/watch?v=TQHs8SA1qpk) ของอัลกอริทึมเหล่านี้ในวงกว้างด้วย
|
|
|
|
แนวโน้มระบุว่าในปี 2025 เราจะสร้างและใช้ข้อมูลมากกว่า [180 เซตตะไบต์](https://www.statista.com/statistics/871513/worldwide-data-created/) สำหรับ **นักวิทยาศาสตร์ข้อมูล** การระเบิดของข้อมูลนี้ให้การเข้าถึงข้อมูลส่วนบุคคลและพฤติกรรมอย่างไม่เคยมีมาก่อน มาพร้อมกับพลังในการสร้างโปรไฟล์ผู้ใช้อย่างละเอียดและมีอิทธิพลต่อการตัดสินใจอย่างแยบยล — บ่อยครั้งในรูปแบบที่ก่อให้เกิด [ภาพลวงตาของการเลือกอย่างเสรี](https://www.datasciencecentral.com/the-pareto-set-and-the-paradox-of-choice/) ในขณะที่สิ่งนี้สามารถใช้เพื่อกระตุ้นให้ผู้ใช้ไปสู่ผลลัพธ์ที่ต้องการ แต่มันก็ยังก่อให้เกิดคำถามสำคัญเกี่ยวกับความเป็นส่วนตัวของข้อมูล อิสระ และขอบเขตจริยธรรมของอิทธิพลอัลกอริทึม
|
|
|
|
จริยธรรมข้อมูลกลายเป็น _เส้นเขตแดนที่จำเป็น_ สำหรับวิทยาศาสตร์ข้อมูลและวิศวกรรมข้อมูล ช่วยให้เราลดอันตรายที่อาจเกิดขึ้นและผลกระทบที่ไม่คาดคิดจากการกระทำที่ขับเคลื่อนด้วยข้อมูลของเรา [วงจรความนิยมของ Gartner สำหรับ AI](https://www.gartner.com/smarterwithgartner/2-megatrends-dominate-the-gartner-hype-cycle-for-artificial-intelligence-2020/) ระบุแนวโน้มที่เกี่ยวข้องกับจริยธรรมดิจิทัล AI ที่รับผิดชอบ และการกำกับดูแล AI เป็นแรงขับเคลื่อนหลักสำหรับเมกะเทรนด์ที่ใหญ่ขึ้นเกี่ยวกับ _การทำให้ประชาชนเข้าถึง_ และ _การทำให้เกิดอุตสาหกรรม_ ของ AI
|
|
|
|
|
|
|
|
ในบทเรียนนี้ เราจะสำรวจพื้นที่ที่น่าสนใจของจริยธรรมข้อมูล — ตั้งแต่แนวคิดหลักและความท้าทาย ไปจนถึงกรณีศึกษาและแนวคิด AI ที่ใช้ในทางปฏิบัติเช่นการกำกับดูแล — ซึ่งช่วยสร้างวัฒนธรรมจริยธรรมในทีมและองค์กรที่ทำงานกับข้อมูลและ AI
|
|
|
|
|
|
## [แบบทดสอบก่อนบรรยาย](https://ff-quizzes.netlify.app/en/ds/quiz/2) 🎯
|
|
|
|
## คำนิยามพื้นฐาน
|
|
|
|
เรามาเริ่มทำความเข้าใจกับคำศัพท์พื้นฐานกัน
|
|
|
|
คำว่า "ethics" มาจากคำกรีก [คำว่า "ethikos"](https://en.wikipedia.org/wiki/Ethics) (และรากศัพท์ "ethos") ที่หมายถึง _บุคลิกภาพหรือธรรมชาติทางศีลธรรม_
|
|
|
|
**จริยธรรม** คือค่านิยมและหลักศีลธรรมร่วมที่ควบคุมพฤติกรรมของเราในสังคม จริยธรรมไม่ได้อิงกับกฎหมายแต่ขึ้นอยู่กับบรรทัดฐานที่ได้รับการยอมรับอย่างกว้างขวางเกี่ยวกับสิ่งที่ถือว่า "ถูก vs. ผิด" อย่างไรก็ตาม การพิจารณาทางจริยธรรมสามารถส่งผลกระทบต่อโครงการกำกับดูแลขององค์กรและกฎระเบียบของรัฐบาลที่สร้างแรงจูงใจเพิ่มเติมสำหรับการปฏิบัติตาม
|
|
|
|
**จริยธรรมข้อมูล** เป็น [สาขาใหม่ของจริยธรรม](https://royalsocietypublishing.org/doi/full/10.1098/rsta.2016.0360#sec-1) ที่ "ศึกษาวิเคราะห์ปัญหาทางศีลธรรมที่เกี่ยวข้องกับ _ข้อมูล อัลกอริทึม และการปฏิบัติที่สอดคล้องกัน_" โดยที่ **"ข้อมูล"** เน้นการกระทำที่เกี่ยวข้องกับการสร้าง บันทึก การดูแล การประมวลผล การเผยแพร่ การแบ่งปัน และการใช้งาน, **"อัลกอริทึม"** มุ่งเน้นที่ AI ตัวแทน การเรียนรู้ของเครื่อง และหุ่นยนต์ และ **"การปฏิบัติ"** มุ่งเน้นเรื่องเช่นนวัตกรรมที่รับผิดชอบ การเขียนโปรแกรม การแฮ็ก และประมวลจริยธรรม
|
|
|
|
**จริยธรรมเชิงประยุกต์** คือ [การประยุกต์ใช้การพิจารณาทางศีลธรรมอย่างมีปฏิบัติ](https://en.wikipedia.org/wiki/Applied_ethics) เป็นกระบวนการสืบสวนปัญหาทางจริยธรรมอย่างจริงจังในบริบทของ _การกระทำจริง ผลิตภัณฑ์ และกระบวนการ_ และทำการแก้ไขเพื่อให้มั่นใจว่ายังคงสอดคล้องกับค่านิยมจริยธรรมที่กำหนดไว้
|
|
|
|
**วัฒนธรรมจริยธรรม** คือการ [_ปฏิบัติใช้_ จริยธรรมเชิงประยุกต์](https://hbr.org/2019/05/how-to-design-an-ethical-organization) เพื่อให้แน่ใจว่าหลักการและแนวปฏิบัติทางจริยธรรมของเราถูกนำมาใช้ในลักษณะที่สอดคล้องและสามารถขยายผลได้ทั่วทั้งองค์กร วัฒนธรรมจริยธรรมที่ประสบความสำเร็จจะกำหนดหลักจริยธรรมทั่วทั้งองค์กร ให้แรงจูงใจที่มีความหมายสำหรับการปฏิบัติตาม และสนับสนุนบรรทัดฐานจริยธรรมโดยการส่งเสริมและขยายพฤติกรรมที่ต้องการในทุกระดับขององค์กร
|
|
|
|
|
|
## แนวคิดจริยธรรม
|
|
|
|
ในส่วนนี้ เราจะพูดถึงแนวคิดเช่น **ค่านิยมร่วม** (หลักการ) และ **ความท้าทายทางจริยธรรม** (ปัญหา) สำหรับจริยธรรมข้อมูล — และสำรวจ **กรณีศึกษา** ที่ช่วยให้คุณเข้าใจแนวคิดเหล่านี้ในบริบทโลกแห่งความเป็นจริง
|
|
|
|
### 1. หลักจริยธรรม
|
|
|
|
กลยุทธ์จริยธรรมข้อมูลทุกอันเริ่มต้นด้วยการกำหนด _หลักจริยธรรม_ — "ค่านิยมร่วม" ที่อธิบายพฤติกรรมที่ยอมรับได้ และชี้นำการปฏิบัติที่สอดคล้องในโครงการข้อมูลและ AI ของเรา คุณสามารถกำหนดสิ่งเหล่านี้ในระดับบุคคลหรือทีม อย่างไรก็ตาม องค์กรใหญ่ส่วนใหญ่จะกำหนดสิ่งเหล่านี้ในแถลงการณ์พันธกิจหรือกรอบงาน _AI ที่มีจริยธรรม_ ซึ่งกำหนดในระดับองค์กรและบังคับใช้อย่างสม่ำเสมอทั่วทุกทีม
|
|
|
|
**ตัวอย่าง:** แถลงการณ์พันธกิจ [AI ที่รับผิดชอบ](https://www.microsoft.com/en-us/ai/responsible-ai) ของ Microsoft ระบุว่า: _"เรามุ่งมั่นสู่ความก้าวหน้าของ AI ที่ขับเคลื่อนด้วยหลักจริยธรรมซึ่งให้ความสำคัญกับมนุษย์เป็นอันดับแรก"_ — โดยระบุ 6 หลักจริยธรรมในกรอบงานดังนี้:
|
|
|
|
|
|
|
|
เรามาดูหลักการเหล่านี้โดยย่อ _ความโปร่งใส_ และ _ความรับผิดชอบ_ เป็นค่านิยมพื้นฐานที่หลักการอื่นสร้างขึ้น ดังนั้นมาดูที่สองข้อนี้ก่อน:
|
|
|
|
* [**ความรับผิดชอบ**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6) ทำให้ผู้ปฏิบัติงาน _รับผิดชอบ_ ต่อการดำเนินงานด้านข้อมูลและ AI ของพวกเขา และการปฏิบัติตามหลักจริยธรรมเหล่านี้
|
|
* [**ความโปร่งใส**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6) ทำให้มั่นใจว่าการกระทำด้านข้อมูลและ AI เป็น _ที่เข้าใจได้_ (ตีความได้) กับผู้ใช้ อธิบายว่าเหตุใดและอย่างไรในการตัดสินใจต่างๆ
|
|
* [**ความเป็นธรรม**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6) — มุ่งเน้นการทำให้แน่ใจว่า AI ปฏิบัติต่อ _ทุกคน_ อย่างยุติธรรม โดยแก้ไขปัญหาความลำเอียงทางสังคมและเชิงเทคนิคที่เป็นระบบหรือแฝงในข้อมูลและระบบ
|
|
* [**ความน่าเชื่อถือและความปลอดภัย**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6) — ทำให้มั่นใจว่า AI มีพฤติกรรม _สม่ำเสมอ_ กับค่านิยมที่กำหนด ลดอันตรายที่อาจเกิดขึ้นหรือผลที่ไม่คาดคิดให้น้อยที่สุด
|
|
* [**ความเป็นส่วนตัวและความปลอดภัย**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6) — คือการเข้าใจที่มาของข้อมูล และให้ _ความเป็นส่วนตัวของข้อมูลและการปกป้องที่เกี่ยวข้อง_ แก่ผู้ใช้
|
|
* [**ความครอบคลุม**](https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1:primaryr6) — คือการออกแบบโซลูชัน AI อย่างมีเจตนา ปรับให้เหมาะสมเพื่อรองรับ _ความต้องการ_ และความสามารถของมนุษย์ในวงกว้าง
|
|
|
|
> 🚨 ลองคิดว่าแถลงการณ์พันธกิจจริยธรรมข้อมูลของคุณอาจเป็นอย่างไร สำรวจกรอบงาน AI ที่มีจริยธรรมจากองค์กรอื่น — ต่อไปนี้คือตัวอย่างจาก [IBM](https://www.ibm.com/cloud/learn/ai-ethics), [Google](https://ai.google/principles), และ [Facebook](https://ai.facebook.com/blog/facebooks-five-pillars-of-responsible-ai/) พวกเขามีค่านิยมร่วมกันอะไรบ้าง? หลักการเหล่านี้เกี่ยวข้องอย่างไรกับผลิตภัณฑ์ AI หรืออุตสาหกรรมที่พวกเขาดำเนินงานอยู่?
|
|
|
|
### 2. ความท้าทายทางจริยธรรม
|
|
|
|
เมื่อเรากำหนดหลักจริยธรรมแล้ว ขั้นตอนต่อไปคือการประเมินการกระทำด้านข้อมูลและ AI ของเราเพื่อดูว่าสอดคล้องกับค่านิยมร่วมเหล่านั้นหรือไม่ คิดถึงการกระทำของคุณในสองหมวดหมู่: _การเก็บข้อมูล_ และ _การออกแบบอัลกอริทึม_
|
|
|
|
ในการเก็บข้อมูล การกระทำมักเกี่ยวข้องกับ **ข้อมูลส่วนบุคคล** หรือข้อมูลที่สามารถระบุตัวตนได้ของบุคคลที่มีชีวิต ซึ่งรวมถึง [ข้อมูลที่ไม่ใช่ข้อมูลส่วนบุคคลที่หลากหลาย](https://ec.europa.eu/info/law/law-topic/data-protection/reform/what-personal-data_en) ที่ _โดยรวมแล้ว_ สามารถระบุตัวบุคคลได้ ความท้าทายทางจริยธรรมอาจเกี่ยวข้องกับ _ความเป็นส่วนตัวของข้อมูล_ , _ความเป็นเจ้าของข้อมูล_ และหัวข้อที่เกี่ยวข้อง เช่น _ความยินยอมอย่างมีข้อมูล_ และ _สิทธิในทรัพย์สินทางปัญญา_ สำหรับผู้ใช้
|
|
|
|
ในการออกแบบอัลกอริทึม การกระทำจะเกี่ยวข้องกับการเก็บรวบรวมและดูแล **ชุดข้อมูล** จากนั้นใช้ชุดข้อมูลเหล่านั้นในการฝึกและปรับใช้ **โมเดลข้อมูล** ที่ทำนายผลลัพธ์หรือทำให้การตัดสินใจในบริบทโลกจริงเป็นไปโดยอัตโนมัติ ความท้าทายทางจริยธรรมอาจเกิดจาก _ความลำเอียงในชุดข้อมูล_ , ปัญหาคุณภาพข้อมูล, ความไม่เป็นธรรม และ _การบิดเบือน_ ในอัลกอริทึม — รวมถึงปัญหาบางอย่างที่เป็นระบบ
|
|
|
|
ในทั้งสองกรณี ความท้าทายด้านจริยธรรมชี้ให้เห็นพื้นที่ที่การกระทำของเราอาจเกิดความขัดแย้งกับค่านิยมร่วม เพื่อที่จะตรวจจับ ลดความรุนแรง ลดผลกระทบ หรือกำจัดข้อกังวลเหล่านี้ — เราจำเป็นต้องตั้งคำถามทางศีลธรรมที่เป็น "ใช่/ไม่ใช่" ที่เกี่ยวข้องกับการกระทำของเรา แล้วดำเนินมาตรการแก้ไขตามความจำเป็น ลองดูความท้าทายทางจริยธรรมบางประการและคำถามทางศีลธรรมที่พวกเขายกขึ้น:
|
|
|
|
|
|
#### 2.1 ความเป็นเจ้าของข้อมูล
|
|
|
|
การเก็บข้อมูลมักเกี่ยวข้องกับข้อมูลส่วนบุคคลที่สามารถระบุตัวตนเจ้าของข้อมูลได้ [ความเป็นเจ้าของข้อมูล](https://permission.io/blog/data-ownership) คือเรื่องของ _การควบคุม_ และ [_สิทธิของผู้ใช้_](https://permission.io/blog/data-ownership) ที่เกี่ยวข้องกับการสร้าง การประมวลผล และการเผยแพร่ข้อมูล
|
|
|
|
คำถามทางศีลธรรมที่เราต้องถามคือ:
|
|
* ใครเป็นเจ้าของข้อมูล? (ผู้ใช้หรือองค์กร)
|
|
* เจ้าของข้อมูลมีสิทธิ์อะไรบ้าง? (เช่น: การเข้าถึง การลบ การโอนย้าย)
|
|
* องค์กรมีสิทธิ์อะไรบ้าง? (เช่น: การแก้ไขรีวิวผู้ใช้ที่ไม่ดี)
|
|
|
|
#### 2.2 การยินยอมอย่างมีข้อมูล
|
|
|
|
[การยินยอมอย่างมีข้อมูล](https://legaldictionary.net/informed-consent/) คือการที่ผู้ใช้ตกลงทำการกระทำบางอย่าง (เช่น การเก็บข้อมูล) โดยมีความเข้าใจอย่างเต็มที่เกี่ยวกับข้อเท็จจริงที่เกี่ยวข้อง รวมถึงวัตถุประสงค์ ความเสี่ยงที่อาจเกิดขึ้น และทางเลือกอื่น ๆ
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* ผู้ใช้ (เจ้าของข้อมูล) ได้ให้สิทธิ์ในการเก็บและใช้ข้อมูลหรือไม่?
|
|
* ผู้ใช้เข้าใจวัตถุประสงค์ที่เก็บข้อมูลนั้นหรือไม่?
|
|
* ผู้ใช้เข้าใจความเสี่ยงที่อาจเกิดจากการมีส่วนร่วมของตนหรือไม่?
|
|
|
|
#### 2.3 ทรัพย์สินทางปัญญา
|
|
|
|
[ทรัพย์สินทางปัญญา](https://en.wikipedia.org/wiki/Intellectual_property) หมายถึงผลงานที่ไม่มีตัวตนซึ่งเกิดจากความริเริ่มของมนุษย์ และอาจ _มีมูลค่าทางเศรษฐกิจ_ ต่อบุคคลหรือธุรกิจ
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* ข้อมูลที่เก็บมาสำหรับผู้ใช้หรือธุรกิจมีมูลค่าทางเศรษฐกิจหรือไม่?
|
|
* **ผู้ใช้** มีทรัพย์สินทางปัญญาในด้านนี้หรือไม่?
|
|
* **องค์กร** มีทรัพย์สินทางปัญญาในด้านนี้หรือไม่?
|
|
* หากสิทธิเหล่านี้มีอยู่ เราปกป้องสิทธิเหล่านี้อย่างไร?
|
|
|
|
#### 2.4 ความเป็นส่วนตัวของข้อมูล
|
|
|
|
[ความเป็นส่วนตัวของข้อมูล](https://www.northeastern.edu/graduate/blog/what-is-data-privacy/) หรือความเป็นส่วนตัวของข้อมูลหมายถึงการรักษาความเป็นส่วนตัวของผู้ใช้และการปกป้องตัวตนของผู้ใช้ที่เกี่ยวข้องกับข้อมูลที่สามารถระบุตัวตนได้
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* ข้อมูลส่วนตัวของผู้ใช้ได้รับการป้องกันจากการแฮ็กและการรั่วไหลหรือไม่?
|
|
* ข้อมูลของผู้ใช้เข้าถึงได้เฉพาะผู้ใช้และบริบทที่ได้รับอนุญาตหรือไม่?
|
|
* การไม่เปิดเผยตัวตนของผู้ใช้ถูกเก็บรักษาไว้เมื่อข้อมูลถูกแบ่งปันหรือเผยแพร่หรือไม่?
|
|
* ผู้ใช้สามารถถูกระบุตัวตนใหม่จากชุดข้อมูลที่ไม่ระบุตัวตนได้หรือไม่?
|
|
|
|
#### 2.5 สิทธิในการถูกลืม
|
|
|
|
[สิทธิในการถูกลืม](https://en.wikipedia.org/wiki/Right_to_be_forgotten) หรือ [สิทธิในการลบ](https://www.gdpreu.org/right-to-be-forgotten/) มอบการปกป้องข้อมูลส่วนบุคคลเพิ่มเติมให้กับผู้ใช้ โดยเฉพาะอย่างยิ่ง มันให้สิทธิ์แก่ผู้ใช้ในการขอลบหรือเอาข้อมูลส่วนบุคคลออกจากผลการค้นหาในอินเทอร์เน็ตและสถานที่อื่น ๆ _ภายใต้สถานการณ์เฉพาะ_ — ช่วยให้ผู้ใช้เริ่มต้นใหม่ทางออนไลน์โดยไม่ถูกจับตามองจากการกระทำในอดีต
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* ระบบอนุญาตให้เจ้าของข้อมูลร้องขอการลบข้อมูลหรือไม่?
|
|
* การถอนความยินยอมของผู้ใช้ควรทำให้เกิดการลบข้อมูลโดยอัตโนมัติหรือไม่?
|
|
* ข้อมูลถูกเก็บรวบรวมโดยไม่ได้รับความยินยมหรือโดยวิธีที่ผิดกฎหมายหรือไม่?
|
|
* เราปฏิบัติตามกฎระเบียบของรัฐบาลเกี่ยวกับความเป็นส่วนตัวข้อมูลหรือไม่?
|
|
|
|
#### 2.6 ความลำเอียงในชุดข้อมูล
|
|
|
|
ความลำเอียงในชุดข้อมูลหรือ [ความลำเอียงในการเก็บข้อมูล](http://researcharticles.com/index.php/bias-in-data-collection-in-research/) คือการเลือกชุดข้อมูลย่อยที่ _ไม่เป็นตัวแทน_ เพื่อพัฒนาอัลกอริทึม ซึ่งสร้างความไม่เป็นธรรมในผลลัพธ์สำหรับกลุ่มที่หลากหลาย โดยความลำเอียงมีหลายประเภท เช่น ความลำเอียงในการเลือกหรือตัวอย่าง, ความลำเอียงของอาสาสมัคร และความลำเอียงของเครื่องมือ
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* เราได้คัดเลือกเจ้าของข้อมูลในชุดตัวอย่างที่เป็นตัวแทนหรือไม่?
|
|
* เราได้ทดสอบชุดข้อมูลที่เก็บรวบรวมหรือดูแลสำหรับความลำเอียงต่าง ๆ หรือไม่?
|
|
* เราสามารถลดหรือกำจัดความลำเอียงที่พบได้หรือไม่?
|
|
|
|
#### 2.7 คุณภาพของข้อมูล
|
|
|
|
[คุณภาพของข้อมูล](https://lakefs.io/data-quality-testing/) พิจารณาความถูกต้องของชุดข้อมูลที่ดูแลใช้ในการพัฒนาอัลกอริทึมของเรา ตรวจสอบดูว่าคุณลักษณะและบันทึกตรงตามข้อกำหนดในระดับความแม่นยำและความสม่ำเสมอที่จำเป็นสำหรับวัตถุประสงค์ของ AI ของเราหรือไม่
|
|
|
|
คำถามที่ต้องสำรวจที่นี่คือ:
|
|
* เราเก็บรวบรวมคุณลักษณะที่ _ถูกต้อง_ สำหรับกรณีการใช้งานของเราหรือไม่?
|
|
* ข้อมูลถูกเก็บรวบรวมอย่าง _สม่ำเสมอ_ จากแหล่งข้อมูลที่หลากหลายหรือไม่?
|
|
* ชุดข้อมูลมีความ _ครบถ้วน_ สำหรับเงื่อนไขหรือสถานการณ์ที่หลากหลายหรือไม่?
|
|
* ข้อมูลที่ถูกเก็บครอบคลุม _ความถูกต้อง_ ในการสะท้อนความเป็นจริงหรือไม่?
|
|
#### 2.8 ความยุติธรรมของอัลกอริทึม
|
|
|
|
[ความยุติธรรมของอัลกอริทึม](https://towardsdatascience.com/what-is-algorithm-fairness-3182e161cf9f) ตรวจสอบว่าออกแบบอัลกอริทึมอย่างเป็นระบบมีการเลือกปฏิบัติต่อกลุ่มย่อยเฉพาะของข้อมูลหรือไม่ นำไปสู่ [อันตรายที่อาจเกิดขึ้น](https://docs.microsoft.com/en-us/azure/machine-learning/concept-fairness-ml) ในเรื่อง _การจัดสรร_ (ซึ่งทรัพยากรถูกปฏิเสธหรือระงับจากกลุ่มนั้น) และ _คุณภาพของบริการ_ (ซึ่ง AI ไม่แม่นยำสำหรับบางกลุ่มย่อยเท่ากับกลุ่มอื่นๆ)
|
|
|
|
คำถามที่ควรพิจารณาคือ:
|
|
* เราได้ประเมินความแม่นยำของแบบจำลองสำหรับกลุ่มย่อยและเงื่อนไขที่หลากหลายหรือไม่?
|
|
* เราได้ตรวจสอบระบบเพื่อหาความเสี่ยงที่อาจเกิดขึ้นหรือไม่ (เช่น การเหมารวม)?
|
|
* เราสามารถแก้ไขข้อมูลหรือฝึกแบบจำลองใหม่เพื่อลดอันตรายที่ระบุไว้ได้หรือไม่?
|
|
|
|
สำรวจแหล่งข้อมูลเช่น [รายการตรวจสอบความยุติธรรมของ AI](https://query.prod.cms.rt.microsoft.com/cms/api/am/binary/RE4t6dA) เพื่อเรียนรู้เพิ่มเติม
|
|
|
|
#### 2.9 การบิดเบือนข้อมูล
|
|
|
|
[การบิดเบือนข้อมูล](https://www.sciencedirect.com/topics/computer-science/misrepresentation) คือการถามว่าเรากำลังสื่อสารข้อมูลเชิงลึกจากข้อมูลที่รายงานอย่างซื่อสัตย์ในลักษณะที่ชักจูงใจเพื่อสนับสนุนเรื่องเล่าที่ต้องการหรือไม่
|
|
|
|
คำถามที่ควรพิจารณาคือ:
|
|
* เรารายงานข้อมูลที่ไม่ครบถ้วนหรือไม่ถูกต้องหรือไม่?
|
|
* เรานำเสนอข้อมูลในรูปแบบที่นำไปสู่ข้อสรุปที่ทำให้เข้าใจผิดหรือไม่?
|
|
* เราใช้เทคนิคสถิติแบบเลือกสรรเพื่อบิดเบือนผลลัพธ์หรือไม่?
|
|
* มีคำอธิบายทางเลือกอื่นที่อาจให้ข้อสรุปต่างออกไปหรือไม่?
|
|
|
|
#### 2.10 การเลือกเสรีภาพ
|
|
|
|
[มายาคติของการเลือกเสรี](https://www.datasciencecentral.com/profiles/blogs/the-illusion-of-choice) เกิดขึ้นเมื่อ "สถาปัตยกรรมการเลือก" ของระบบใช้ขั้นตอนการตัดสินใจด้วยอัลกอริทึมเพื่อโน้มน้าวให้ผู้คนเลือกผลลัพธ์ที่ต้องการ ในขณะที่ดูเหมือนจะให้ทางเลือกและการควบคุมแก่พวกเขา รูปแบบมืดเหล่านี้ ([dark patterns](https://www.darkpatterns.org/)) สามารถก่อให้เกิดอันตรายทางสังคมและเศรษฐกิจต่อผู้ใช้ เนื่องจากการตัดสินใจของผู้ใช้ส่งผลต่อโปรไฟล์พฤติกรรม การกระทำเหล่านี้อาจส่งผลต่อการเลือกในอนาคตที่สามารถเพิ่มหรือขยายผลกระทบของอันตรายเหล่านี้ได้
|
|
|
|
คำถามที่ควรพิจารณาคือ:
|
|
* ผู้ใช้เข้าใจผลกระทบของการเลือกนั้นหรือไม่?
|
|
* ผู้ใช้ทราบทางเลือกอื่นๆ และข้อดีข้อเสียของแต่ละทางเลือกหรือไม่?
|
|
* ผู้ใช้สามารถย้อนกลับการเลือกอัตโนมัติหรือการถูกชักนำได้ในภายหลังหรือไม่?
|
|
|
|
### 3. กรณีศึกษา
|
|
|
|
เพื่อให้ความท้าทายทางจริยธรรมเหล่านี้อยู่ในบริบทของโลกความจริง จะเป็นประโยชน์ที่จะดูกรณีศึกษาที่แสดงถึงอันตรายและผลที่เกิดขึ้นต่อบุคคลและสังคมเมื่อมีการมองข้ามการละเมิดจริยธรรมดังกล่าว
|
|
|
|
ตัวอย่างบางส่วนมีดังนี้:
|
|
|
|
| ความท้าทายทางจริยธรรม | กรณีศึกษา |
|
|
|--- |--- |
|
|
| **การยินยอมอย่างมีข้อมูล** | 1972 - [การศึกษาซิฟิลิส Tuskegee](https://en.wikipedia.org/wiki/Tuskegee_Syphilis_Study) - ผู้ชายผิวดำชาวอเมริกันที่เข้าร่วมการศึกษาถูกสัญญาว่าจะได้รับการดูแลทางการแพทย์ฟรี _แต่ถูกหลอกลวง_ โดยนักวิจัยที่ไม่แจ้งให้กลุ่มตัวอย่างทราบเกี่ยวกับการวินิจฉัยหรือการมีอยู่ของการรักษา ผู้เข้าร่วมหลายคนเสียชีวิต รวมถึงคู่หรือบุตรได้รับผล กระทบ การศึกษาใช้เวลานาน 40 ปี |
|
|
| **ความเป็นส่วนตัวของข้อมูล** | 2007 - รางวัลข้อมูลของ [Netflix](https://www.wired.com/2007/12/why-anonymous-data-sometimes-isnt/) ให้ข้อมูลการจัดอันดับภาพยนตร์ที่ไม่ระบุชื่อจำนวน _10 ล้านรายการจากลูกค้า 50,000 ราย_ เพื่อช่วยปรับปรุงอัลกอริทึมแนะนำ แต่อย่างไรก็ตามนักวิจัยสามารถเชื่อมโยงข้อมูลที่ไม่ระบุชื่อกับข้อมูลส่วนบุคคลใน _ชุดข้อมูลภายนอก_ (เช่น ความคิดเห็นบน IMDb) ซึ่งเป็นการ "ลบการไม่เปิดเผยตัวตน" ของสมาชิก Netflix บางรายได้ |
|
|
| **อคติในการเก็บข้อมูล** | 2013 - เมืองบอสตัน [พัฒนาแอป Street Bump](https://www.boston.gov/transportation/street-bump) ที่ให้ประชาชนรายงานหลุมบนถนน ส่งผลให้เมืองมีข้อมูลถนนที่ดีขึ้นเพื่อค้นหาและแก้ไขปัญหา อย่างไรก็ตาม [ประชากรในกลุ่มรายได้น้อยเข้าถึงรถยนต์และโทรศัพท์ได้น้อยกว่า](https://hbr.org/2013/04/the-hidden-biases-in-big-data) ทำให้ปัญหาถนนของพวกเขาไม่เห็นในแอปนี้ นักพัฒนาทำงานร่วมกับนักวิชาการเพื่อแก้ไขปัญหาการเข้าถึงอย่างเท่าเทียมและความเหลื่อมล้ำทางดิจิทัล เพื่อความยุติธรรม |
|
|
| **ความยุติธรรมของอัลกอริทึม** | 2018 - การศึกษาของ MIT เรื่อง [Gender Shades Study](http://gendershades.org/overview.html) ประเมินความแม่นยำของผลิตภัณฑ์ AI จำแนกเพศ เปิดช่องว่างความแม่นยำสำหรับผู้หญิงและคนผิวสี [Apple Card ปี 2019](https://www.wired.com/story/the-apple-card-didnt-see-genderand-thats-the-problem/) ดูเหมือนจะให้เครดิตน้อยกว่ากับผู้หญิงเทียบกับผู้ชาย ทั้งสองกรณีแสดงปัญหาอคติในอัลกอริทึมที่นำไปสู่ความเสียหายทางสังคมและเศรษฐกิจ |
|
|
| **การบิดเบือนข้อมูล** | 2020 - [กรมสาธารณสุขรัฐจอร์เจียเผยแพร่กราฟ COVID-19](https://www.vox.com/covid-19-coronavirus-us-response-trump/2020/5/18/21262265/georgia-covid-19-cases-declining-reopening) ที่ดูเหมือนทำให้ประชาชนเข้าใจแนวโน้มของผู้ติดเชื้อยืนยันผิดพลาดด้วยการจัดลำดับที่ไม่เรียงตามลำดับเวลาบนแกน x ซึ่งแสดงถึงการบิดเบือนผ่านเทคนิคการแสดงผลข้อมูล |
|
|
| **มายาคติแห่งการเลือกเสรี** | 2020 - แอปการเรียนรู้ [ABCmouse จ่ายเงิน 10 ล้านดอลลาร์เพื่อยุติคดี FTC](https://www.washingtonpost.com/business/2020/09/04/abcmouse-10-million-ftc-settlement/) ที่ผู้ปกครองถูกหลอกให้จ่ายค่าสมัครสมาชิกซึ่งไม่สามารถยกเลิกได้ แสดงให้เห็นรูปแบบมืดในสถาปัตยกรรมการเลือกที่โน้มน้าวผู้ใช้ให้เลือกที่อาจเป็นอันตราย |
|
|
| **ความเป็นส่วนตัวของข้อมูล & สิทธิของผู้ใช้** | 2021 - [การละเมิดข้อมูลของ Facebook](https://www.npr.org/2021/04/09/986005820/after-data-breach-exposes-530-million-facebook-says-it-will-not-notify-users) เปิดเผยข้อมูลจากผู้ใช้ 530 ล้านราย ส่งผลให้มีการจ่ายค่าเสียหาย 5 พันล้านดอลลาร์แก่ FTC อย่างไรก็ตาม Facebook ปฏิเสธที่จะแจ้งเตือนผู้ใช้ถึงการละเมิดนี้ซึ่งเป็นการละเมิดสิทธิของผู้ใช้เกี่ยวกับความโปร่งใสและการเข้าถึงข้อมูล |
|
|
|
|
ต้องการสำรวจกรณีศึกษาเพิ่มเติมไหม? ดูแหล่งข้อมูลเหล่านี้:
|
|
* [Ethics Unwrapped](https://ethicsunwrapped.utexas.edu/case-studies) - ปัญหาทางจริยธรรมในอุตสาหกรรมที่หลากหลาย
|
|
* [หลักสูตรจริยธรรมด้านข้อมูลเชิงวิทยาศาสตร์](https://www.coursera.org/learn/data-science-ethics#syllabus) - กรณีศึกษาเด่น
|
|
* [ที่ซึ่งเกิดข้อผิดพลาด](https://deon.drivendata.org/examples/) - รายการตรวจสอบของ deon พร้อมตัวอย่าง
|
|
|
|
> 🚨 คิดถึงกรณีศึกษาที่คุณเคยเห็น คุณเคยประสบหรือได้รับผลกระทบจากความท้าทายทางจริยธรรมที่คล้ายกันในชีวิตไหม? คุณนึกกรณีศึกษาหนึ่งที่แสดงถึงความท้าทายทางจริยธรรมที่เราได้พูดถึงในส่วนนี้ได้หรือไม่?
|
|
|
|
## จริยธรรมที่นำไปใช้ได้จริง
|
|
|
|
เราได้พูดถึงแนวคิด จริยธรรม ความท้าทาย และกรณีศึกษาในบริบทโลกจริงแล้ว แต่เราจะเริ่ม _ประยุกต์ใช้_ หลักการและแนวทางจริยธรรมในโครงการของเราอย่างไร? และเราจะ _ดำเนินการ_ แนวทางเหล่านี้เพื่อการบริหารจัดการที่ดีกว่าอย่างไร? ลองสำรวจวิธีแก้ปัญหาในโลกจริง:
|
|
|
|
### 1. รหัสจริยธรรมวิชาชีพ
|
|
|
|
รหัสจริยธรรมวิชาชีพเป็นทางเลือกหนึ่งสำหรับองค์กรที่จะ "จูงใจ" สมาชิกให้สนับสนุนหลักการและภารกิจทางจริยธรรม รหัสเหล่านี้เป็น _แนวทางทางศีลธรรม_ สำหรับพฤติกรรมวิชาชีพ ช่วยให้พนักงานหรือสมาชิกตัดสินใจที่สอดคล้องกับหลักการขององค์กร รหัสเหล่านี้มีประสิทธิภาพขึ้นกับความสมัครใจของสมาชิก อย่างไรก็ตาม องค์กรมักเสนอโบนัสและบทลงโทษเพิ่มเติมเพื่อกระตุ้นให้สมาชิกปฏิบัติตาม
|
|
|
|
ตัวอย่างเช่น:
|
|
|
|
* รหัสจริยธรรม [Oxford Munich](http://www.code-of-ethics.org/code-of-conduct/)
|
|
* รหัสพฤติกรรมของ [Data Science Association](http://datascienceassn.org/code-of-conduct.html) (สร้างในปี 2013)
|
|
* [รหัสจริยธรรมและพฤติกรรมวิชาชีพของ ACM](https://www.acm.org/code-of-ethics) (ตั้งแต่ปี 1993)
|
|
|
|
> 🚨 คุณเป็นสมาชิกองค์กรวิศวกรรมหรือวิทยาศาสตร์ข้อมูลวิชาชีพไหม? สำรวจเว็บไซต์ของพวกเขาเพื่อดูว่ามีการกำหนดรหัสจริยธรรมวิชาชีพหรือไม่? สิ่งนี้บ่งบอกอะไรเกี่ยวกับหลักการทางจริยธรรมของพวกเขา? พวกเขา "จูงใจ" สมาชิกให้ปฏิบัติตามรหัสอย่างไร?
|
|
|
|
### 2. รายการตรวจสอบจริยธรรม
|
|
|
|
แม้รหัสวิชาชีพจะกำหนด _พฤติกรรมที่เป็นจริยธรรม_ ที่จำเป็นสำหรับผู้ปฏิบัติงาน แต่ [มีข้อจำกัดที่ทราบ](https://resources.oreilly.com/examples/0636920203964/blob/master/of_oaths_and_checklists.md) ในการบังคับใช้ โดยเฉพาะอย่างยิ่งในโครงการขนาดใหญ่ แทนที่จะเป็นเช่นนั้น หลายผู้เชี่ยวชาญด้านวิทยาศาสตร์ข้อมูล [สนับสนุนรายการตรวจสอบ](https://resources.oreilly.com/examples/0636920203964/blob/master/of_oaths_and_checklists.md) ที่สามารถ **เชื่อมโยงหลักการกับการปฏิบัติ** ในวิธีที่มีความแน่นอนและปฏิบัติได้
|
|
|
|
รายการตรวจสอบเปลี่ยนคำถามเป็นงาน "ใช่/ไม่ใช่" ที่สามารถดำเนินการและติดตามเป็นส่วนหนึ่งของกระบวนการปล่อยผลิตภัณฑ์มาตรฐานได้
|
|
|
|
ตัวอย่างได้แก่:
|
|
* [Deon](https://deon.drivendata.org/) - รายการตรวจสอบจริยธรรมข้อมูลทั่วไปจาก [คำแนะนำในอุตสาหกรรม](https://deon.drivendata.org/#checklist-citations) พร้อมเครื่องมือบรรทัดคำสั่งสำหรับการรวมระบบง่าย
|
|
* [Privacy Audit Checklist](https://cyber.harvard.edu/ecommerce/privacyaudit.html) - ให้แนวทางทั่วไปเกี่ยวกับการจัดการข้อมูลจากมุมมองทางกฎหมายและสังคม
|
|
* [AI Fairness Checklist](https://www.microsoft.com/en-us/research/project/ai-fairness-checklist/) - สร้างโดยผู้ปฏิบัติงาน AI เพื่อสนับสนุนการนำและบูรณาการการตรวจสอบความยุติธรรมในวงจรการพัฒนา AI
|
|
* [22 คำถามเกี่ยวกับจริยธรรมในข้อมูลและ AI](https://medium.com/the-organization/22-questions-for-ethics-in-data-and-ai-efb68fd19429) - กรอบที่เปิดกว้างกว่า จัดโครงสร้างสำหรับการสำรวจเบื้องต้นของปัญหาจริยธรรมในการออกแบบ การใช้งานและบริบทองค์กร
|
|
|
|
### 3. กฎหมายจริยธรรม
|
|
|
|
จริยธรรมคือการกำหนดคุณค่าที่ใช้ร่วมกันและการทำสิ่งที่ถูกต้อง _โดยสมัครใจ_ **การปฏิบัติตาม** คือการ _ปฏิบัติตามกฎหมาย_ หากและเมื่อมีการกำหนดไว้ **การกำกับดูแล** ครอบคลุมรูปแบบต่างๆ ที่องค์กรดำเนินการเพื่อบังคับใช้หลักการจริยธรรมและปฏิบัติตามกฎหมายที่กำหนดไว้
|
|
|
|
ปัจจุบัน การกำกับดูแลมีสองรูปแบบในองค์กร อย่างแรกคือการกำหนดหลักการ **AI ที่เป็นจริยธรรม** และสร้างแนวทางปฏิบัติเพื่อนำไปใช้กับโครงการ AI ทั้งหมดในองค์กร อย่างที่สองคือการปฏิบัติตาม **ข้อกำหนดคุ้มครองข้อมูล** ที่รัฐบาลบังคับใช้ในภูมิภาคที่ดำเนินงาน
|
|
|
|
ตัวอย่างกฎหมายเกี่ยวกับการคุ้มครองและความเป็นส่วนตัวของข้อมูล:
|
|
|
|
* `1974`, [US Privacy Act](https://www.justice.gov/opcl/privacy-act-1974) - ควบคุมการเก็บ ใช้ และเปิดเผยข้อมูลส่วนบุคคลของรัฐบาลกลาง
|
|
* `1996`, [US Health Insurance Portability & Accountability Act (HIPAA)](https://www.cdc.gov/phlp/publications/topic/hipaa.html) - ปกป้องข้อมูลสุขภาพส่วนบุคคล
|
|
* `1998`, [US Children's Online Privacy Protection Act (COPPA)](https://www.ftc.gov/enforcement/rules/rulemaking-regulatory-reform-proceedings/childrens-online-privacy-protection-rule) - คุ้มครองความเป็นส่วนตัวข้อมูลเด็กที่อายุต่ำกว่า 13 ปี
|
|
* `2018`, [General Data Protection Regulation (GDPR)](https://gdpr-info.eu/) - ให้สิทธิแก่ผู้ใช้ การคุ้มครองข้อมูล และความเป็นส่วนตัว
|
|
* `2018`, [California Consumer Privacy Act (CCPA)](https://www.oag.ca.gov/privacy/ccpa) ให้อำนาจผู้บริโภคในเรื่องสิทธิ _มากขึ้น_ เกี่ยวกับข้อมูล (ส่วนบุคคล) ของพวกเขา
|
|
* `2021`, กฎหมาย [Personal Information Protection Law ของจีน](https://www.reuters.com/world/china/china-passes-new-personal-data-privacy-law-take-effect-nov-1-2021-08-20/) เพิ่งผ่าน สร้างกฎหมายคุ้มครองข้อมูลออนไลน์ที่เข้มงวดที่สุดแห่งหนึ่งในโลก
|
|
|
|
> 🚨 สหภาพยุโรปได้กำหนด GDPR (กฎคุ้มครองข้อมูลทั่วไป) ซึ่งยังคงเป็นหนึ่งในการควบคุมความเป็นส่วนตัวของข้อมูลที่ทรงอิทธิพลที่สุดในปัจจุบัน คุณทราบหรือไม่ว่ากฎหมายนี้ยังระบุ [8 สิทธิของผู้ใช้](https://www.freeprivacypolicy.com/blog/8-user-rights-gdpr) เพื่อปกป้องความเป็นส่วนตัวดิจิทัลและข้อมูลส่วนบุคคลของพลเมือง? เรียนรู้เกี่ยวกับสิทธิเหล่านี้และเหตุผลว่าทำไมจึงสำคัญ
|
|
|
|
### 4. วัฒนธรรมจริยธรรม
|
|
|
|
โปรดทราบว่ายังคงมีช่องว่างที่จับต้องไม่ได้ระหว่าง _การปฏิบัติตามกฎหมาย_ (ทำพอให้ตรงกับ "ตัวหนังสือของกฎหมายนั้น") กับการแก้ไข [ปัญหาเชิงระบบ](https://www.coursera.org/learn/data-science-ethics/home/week/4) (เช่น การแข็งตัวของโครงสร้าง ข้อมูลไม่สมดุล และความไม่เท่าเทียมในการกระจาย) ที่สามารถเร่งการนำ AI ไปใช้ในทางที่ผิด
|
|
|
|
ประเด็นหลังต้องการ [แนวทางร่วมมือในการกำหนดวัฒนธรรมจริยธรรม](https://towardsdatascience.com/why-ai-ethics-requires-a-culture-driven-approach-26f451afa29f) ที่สร้างความสัมพันธ์ทางอารมณ์และค่านิยมร่วมกันอย่างสม่ำเสมอ _ข้ามองค์กร_ ในอุตสาหกรรมนี้ เรียกร้องให้มี [วัฒนธรรมจริยธรรมข้อมูลที่เป็นทางการมากขึ้น](https://www.codeforamerica.org/news/formalizing-an-ethical-data-culture/) ในองค์กร - อนุญาตให้ _ใครก็ได้_ [ดึงสาย Andon](https://en.wikipedia.org/wiki/Andon_(manufacturing)) (เพื่อยกประเด็นจริยธรรมตั้งแต่ต้นกระบวนการ) และทำให้ _การประเมินจริยธรรม_ (เช่น ในการจ้างงาน) เป็นเกณฑ์หลักของทีมในการทำงานโครงการ AI
|
|
|
|
---
|
|
## [แบบทดสอบหลังบรรยาย](https://ff-quizzes.netlify.app/en/ds/quiz/3) 🎯
|
|
## ทบทวน & ศึกษาด้วยตนเอง
|
|
|
|
หลักสูตรและหนังสือช่วยให้เข้าใจแนวคิดและความท้าทายด้านจริยธรรม ในขณะที่กรณีศึกษาและเครื่องมือช่วยในการปฏิบัติตามจริยธรรมในบริบทโลกจริง นี่คือแหล่งข้อมูลบางส่วนเริ่มต้น
|
|
|
|
* [Machine Learning For Beginners](https://github.com/microsoft/ML-For-Beginners/blob/main/1-Introduction/3-fairness/README.md) - บทเรียนเกี่ยวกับความยุติธรรม จาก Microsoft
|
|
* [หลักการของ AI ที่รับผิดชอบ](https://docs.microsoft.com/en-us/learn/modules/responsible-ai-principles/) - เส้นทางการเรียนรู้ฟรีจาก Microsoft Learn
|
|
* [จริยธรรมและวิทยาการข้อมูล](https://resources.oreilly.com/examples/0636920203964) - หนังสืออิเล็กทรอนิกส์ของ O'Reilly (M. Loukides, H. Mason และคณะ)
|
|
* [จริยธรรมวิทยาการข้อมูล](https://www.coursera.org/learn/data-science-ethics#syllabus) - หลักสูตรออนไลน์จากมหาวิทยาลัยมิชิแกน
|
|
* [Ethics Unwrapped](https://ethicsunwrapped.utexas.edu/case-studies) - กรณีศึกษาจากมหาวิทยาลัยเท็กซัส
|
|
|
|
# การบ้าน
|
|
|
|
[เขียนกรณีศึกษาเกี่ยวกับจริยธรรมข้อมูล](assignment.md)
|
|
|
|
---
|
|
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER START -->
|
|
**ปฏิเสธความรับผิดชอบ**:
|
|
เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษา AI [Co-op Translator](https://github.com/Azure/co-op-translator) ขณะที่เราพยายามให้ความถูกต้อง โปรดทราบว่าการแปลโดยอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางควรถูกพิจารณาเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ แนะนำให้ใช้การแปลโดยมนุษย์มืออาชีพ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความที่ผิดพลาดที่เกิดขึ้นจากการใช้การแปลนี้
|
|
<!-- CO-OP TRANSLATOR DISCLAIMER END --> |