# Створення рішень машинного навчання з відповідальним AI  > Скетчнот від [Tomomi Imura](https://www.twitter.com/girlie_mac) ## [Тест перед лекцією](https://ff-quizzes.netlify.app/en/ml/) ## Вступ У цьому курсі ви почнете досліджувати, як машинне навчання впливає на наше повсякденне життя. Уже зараз системи та моделі беруть участь у щоденних процесах прийняття рішень, таких як діагностика в охороні здоров’я, схвалення кредитів або виявлення шахрайства. Тому важливо, щоб ці моделі працювали добре та забезпечували результати, яким можна довіряти. Як і будь-яке програмне забезпечення, системи AI можуть не відповідати очікуванням або мати небажані наслідки. Саме тому важливо розуміти та пояснювати поведінку моделі AI. Уявіть, що може статися, якщо дані, які ви використовуєте для створення цих моделей, не враховують певні демографічні групи, такі як раса, стать, політичні погляди, релігія, або непропорційно представляють ці групи. А що, якщо результати моделі інтерпретуються так, що вони надають перевагу певній демографічній групі? Які наслідки це матиме для застосування? Крім того, що станеться, якщо модель матиме негативний результат і завдасть шкоди людям? Хто несе відповідальність за поведінку систем AI? Це деякі з питань, які ми будемо досліджувати в цьому курсі. У цьому уроці ви: - Збільшите свою обізнаність про важливість справедливості в машинному навчанні та шкоду, пов’язану з несправедливістю. - Ознайомитеся з практикою дослідження аномалій і незвичайних сценаріїв для забезпечення надійності та безпеки. - Зрозумієте необхідність створення інклюзивних систем, які надають можливості всім. - Дослідите важливість захисту конфіденційності та безпеки даних і людей. - Побачите важливість прозорого підходу для пояснення поведінки моделей AI. - Усвідомите, як відповідальність є ключовою для створення довіри до систем AI. ## Передумови Як передумову, пройдіть навчальний курс "Принципи відповідального AI" та перегляньте відео нижче на цю тему: Дізнайтеся більше про відповідальний AI, слідуючи цьому [навчальному курсу](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) [](https://youtu.be/dnC8-uUZXSc "Підхід Microsoft до відповідального AI") > 🎥 Натисніть на зображення вище, щоб переглянути відео: Підхід Microsoft до відповідального AI ## Справедливість Системи AI повинні ставитися до всіх справедливо та уникати впливу на схожі групи людей різними способами. Наприклад, коли системи AI надають рекомендації щодо медичного лікування, заявок на кредити або працевлаштування, вони повинні робити однакові рекомендації для всіх із схожими симптомами, фінансовими обставинами або професійною кваліфікацією. Кожен із нас, як людина, має успадковані упередження, які впливають на наші рішення та дії. Ці упередження можуть бути очевидними в даних, які ми використовуємо для навчання систем AI. Такі маніпуляції іноді можуть відбуватися ненавмисно. Часто важко свідомо усвідомити, коли ви вводите упередження в дані. **"Несправедливість"** охоплює негативні наслідки або "шкоду" для групи людей, таких як ті, що визначаються за расою, статтю, віком або статусом інвалідності. Основні види шкоди, пов’язані зі справедливістю, можна класифікувати як: - **Розподіл**, якщо, наприклад, одна стать або етнічна група отримує перевагу над іншою. - **Якість обслуговування**. Якщо ви навчаєте дані для одного конкретного сценарію, але реальність набагато складніша, це призводить до поганої якості обслуговування. Наприклад, дозатор мила, який не може розпізнати людей із темною шкірою. [Джерело](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) - **Знецінення**. Несправедливе критичне ставлення або маркування чогось чи когось. Наприклад, технологія розпізнавання зображень помилково позначила зображення людей із темною шкірою як горил. - **Надмірне або недостатнє представлення**. Ідея полягає в тому, що певна група не представлена в певній професії, і будь-яка послуга чи функція, яка продовжує це просувати, сприяє шкоді. - **Стереотипізація**. Асоціювання певної групи з наперед визначеними атрибутами. Наприклад, система перекладу між англійською та турецькою мовами може мати неточності через слова зі стереотипними асоціаціями до статі.  > переклад на турецьку  > переклад назад на англійську Під час розробки та тестування систем AI ми повинні гарантувати, що AI є справедливим і не запрограмований на прийняття упереджених або дискримінаційних рішень, які також заборонено приймати людям. Гарантування справедливості в AI і машинному навчанні залишається складним соціотехнічним викликом. ### Надійність і безпека Щоб створити довіру, системи AI повинні бути надійними, безпечними та стабільними за нормальних і несподіваних умов. Важливо знати, як системи AI поводитимуться в різних ситуаціях, особливо коли вони є аномаліями. Під час створення рішень AI необхідно приділяти значну увагу тому, як обробляти широкий спектр обставин, з якими можуть зіткнутися ці рішення. Наприклад, самокерований автомобіль повинен ставити безпеку людей на перше місце. Відповідно, AI, який керує автомобілем, має враховувати всі можливі сценарії, з якими автомобіль може зіткнутися, такі як ніч, грози чи хуртовини, діти, які перебігають дорогу, домашні тварини, дорожні роботи тощо. Наскільки добре система AI може надійно та безпечно обробляти широкий спектр умов, відображає рівень передбачення, який врахував розробник даних або AI під час проектування чи тестування системи. > [🎥 Натисніть тут для відео: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) ### Інклюзивність Системи AI повинні бути розроблені для залучення та надання можливостей усім. Під час розробки та впровадження систем AI науковці з даних і розробники AI визначають і усувають потенційні бар’єри в системі, які можуть ненавмисно виключати людей. Наприклад, у світі є 1 мільярд людей із інвалідністю. Завдяки розвитку AI вони можуть легше отримувати доступ до широкого спектру інформації та можливостей у своєму повсякденному житті. Усунення бар’єрів створює можливості для інновацій і розробки продуктів AI із кращим досвідом, які приносять користь усім. > [🎥 Натисніть тут для відео: інклюзивність у AI](https://www.microsoft.com/videoplayer/embed/RE4vl9v) ### Безпека та конфіденційність Системи AI повинні бути безпечними та поважати конфіденційність людей. Люди менше довіряють системам, які ставлять під загрозу їхню конфіденційність, інформацію чи життя. Під час навчання моделей машинного навчання ми покладаємося на дані для отримання найкращих результатів. При цьому необхідно враховувати походження даних і їхню цілісність. Наприклад, чи були дані надані користувачем чи доступні публічно? Далі, працюючи з даними, важливо розробляти системи AI, які можуть захищати конфіденційну інформацію та протистояти атакам. Оскільки AI стає більш поширеним, захист конфіденційності та забезпечення безпеки важливої особистої та бізнес-інформації стає дедалі критичнішим і складнішим. Питання конфіденційності та безпеки даних потребують особливої уваги для AI, оскільки доступ до даних є важливим для того, щоб системи AI могли робити точні та обґрунтовані прогнози та рішення про людей. > [🎥 Натисніть тут для відео: безпека в AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) - Як галузь ми досягли значного прогресу в питаннях конфіденційності та безпеки, значною мірою завдяки регулюванням, таким як GDPR (Загальний регламент захисту даних). - Однак із системами AI ми повинні визнати напруженість між потребою в більшій кількості персональних даних для підвищення ефективності систем і конфіденційністю. - Як і з появою підключених комп’ютерів через Інтернет, ми також спостерігаємо значне зростання кількості проблем безпеки, пов’язаних із AI. - Водночас ми бачимо, як AI використовується для покращення безпеки. Наприклад, більшість сучасних антивірусних сканерів працюють на основі AI-евристики. - Ми повинні гарантувати, що наші процеси обробки даних гармонійно поєднуються з найновішими практиками конфіденційності та безпеки. ### Прозорість Системи AI повинні бути зрозумілими. Важливою частиною прозорості є пояснення поведінки систем AI та їхніх компонентів. Покращення розуміння систем AI вимагає, щоб зацікавлені сторони розуміли, як і чому вони функціонують, щоб вони могли визначити потенційні проблеми продуктивності, проблеми безпеки та конфіденційності, упередження, практики виключення або ненавмисні наслідки. Ми також вважаємо, що ті, хто використовує системи AI, повинні бути чесними та відкритими щодо того, коли, чому та як вони вирішують їх впроваджувати, а також щодо обмежень систем, які вони використовують. Наприклад, якщо банк використовує систему AI для підтримки своїх рішень щодо споживчого кредитування, важливо перевірити результати та зрозуміти, які дані впливають на рекомендації системи. Уряди починають регулювати AI у різних галузях, тому науковці з даних і організації повинні пояснювати, чи відповідає система AI нормативним вимогам, особливо коли виникає небажаний результат. > [🎥 Натисніть тут для відео: прозорість у AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) - Оскільки системи AI є дуже складними, важко зрозуміти, як вони працюють і інтерпретувати результати. - Ця відсутність розуміння впливає на те, як ці системи управляються, впроваджуються та документуються. - Ця відсутність розуміння, що важливіше, впливає на рішення, прийняті на основі результатів, які ці системи генерують. ### Відповідальність Люди, які розробляють і впроваджують системи AI, повинні нести відповідальність за те, як їхні системи працюють. Потреба у відповідальності особливо важлива для технологій чутливого використання, таких як розпізнавання облич. Останнім часом зростає попит на технологію розпізнавання облич, особливо з боку правоохоронних організацій, які бачать потенціал цієї технології, наприклад, у пошуку зниклих дітей. Однак ці технології можуть бути використані урядом для того, щоб поставити під загрозу основні свободи громадян, наприклад, шляхом постійного спостереження за конкретними особами. Тому науковці з даних і організації повинні бути відповідальними за те, як їхня система AI впливає на окремих осіб або суспільство. [](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Підхід Microsoft до відповідального AI") > 🎥 Натисніть на зображення вище, щоб переглянути відео: Попередження про масове спостереження через розпізнавання облич Зрештою, одне з найбільших питань для нашого покоління, як першого покоління, яке впроваджує AI у суспільство, полягає в тому, як гарантувати, що комп’ютери залишатимуться підзвітними людям, і як гарантувати, що люди, які розробляють комп’ютери, залишатимуться підзвітними всім іншим. ## Оцінка впливу Перед навчанням моделі машинного навчання важливо провести оцінку впливу, щоб зрозуміти мету системи AI; її передбачуване використання; де вона буде впроваджена; і хто буде взаємодіяти із системою. Це корисно для рецензентів або тестувальників, які оцінюють систему, щоб знати, які фактори слід враховувати під час визначення потенційних ризиків і очікуваних наслідків. Наступні аспекти є ключовими під час проведення оцінки впливу: * **Негативний вплив на окремих осіб**. Усвідомлення будь-яких обмежень або вимог, невідповідного використання чи будь-яких відомих обмежень, які перешкоджають продуктивності системи, є важливим для забезпечення того, щоб система не використовувалася таким чином, який може завдати шкоди окремим особам. * **Вимоги до даних**. Розуміння того, як і де система буде використовувати дані, дозволяє рецензентам досліджувати будь-які вимоги до даних, які потрібно враховувати (наприклад, регулювання даних GDPR або HIPPA). Крім того, перевірте, чи є джерело або кількість даних достатніми для навчання. * **Резюме впливу**. Зберіть список потенційної шкоди, яка може виникнути внаслідок використання системи. Протягом життєвого циклу ML перевіряйте, чи вирішені або усунені виявлені проблеми. * **Відповідні цілі** для кожного з шести основних принципів. Оцініть, чи досягнуті цілі кожного принципу та чи є якісь прогалини. ## Відлагодження з відповідальним AI Подібно до відлагодження програмного забезпечення, відлагодження системи AI є необхідним процесом виявлення та вирішення проблем у системі. Існує багато факторів, які можуть вплинути на те, що модель не працює так, як очікувалося або відповідально. Більшість традиційних метрик продуктивності моделі є кількісними агрегатами продуктивності моделі, які недостатні для аналізу того, як модель порушує принципи відповідального AI. Крім того, модель машинного навчання є "чорною скринькою", що ускладнює розуміння того, що впливає на її результати, або пояснення, коли вона робить Дивіться цей воркшоп, щоб глибше зануритися в теми: - У пошуках відповідального ШІ: Втілення принципів у практику від Бесміри Нуші, Мехрнуш Самекі та Аміта Шарми [](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Відкрита платформа для створення відповідального ШІ") > 🎥 Натисніть на зображення вище, щоб переглянути відео: RAI Toolbox: Відкрита платформа для створення відповідального ШІ від Бесміри Нуші, Мехрнуш Самекі та Аміта Шарми Також прочитайте: - Центр ресурсів Microsoft з відповідального ШІ: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) - Дослідницька група Microsoft FATE: [FATE: Справедливість, підзвітність, прозорість та етика в ШІ - Microsoft Research](https://www.microsoft.com/research/theme/fate/) RAI Toolbox: - [Репозиторій Responsible AI Toolbox на GitHub](https://github.com/microsoft/responsible-ai-toolbox) Дізнайтеся про інструменти Azure Machine Learning для забезпечення справедливості: - [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) ## Завдання [Дослідіть RAI Toolbox](assignment.md) --- **Відмова від відповідальності**: Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.