# Создание решений машинного обучения с ответственным ИИ  > Скетчноут от [Tomomi Imura](https://www.twitter.com/girlie_mac) ## [Тест перед лекцией](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) ## Введение В этом курсе вы начнете узнавать, как машинное обучение влияет на нашу повседневную жизнь. Уже сейчас системы и модели участвуют в принятии решений в таких областях, как диагностика в здравоохранении, одобрение кредитов или выявление мошенничества. Поэтому важно, чтобы эти модели работали корректно и предоставляли надежные результаты. Как и любое программное обеспечение, системы ИИ могут не оправдать ожиданий или привести к нежелательным результатам. Именно поэтому важно понимать и объяснять поведение модели ИИ. Представьте, что может произойти, если данные, которые вы используете для создания моделей, не включают определенные демографические группы, такие как раса, пол, политические взгляды, религия, или непропорционально представляют их. А что, если результаты модели интерпретируются в пользу какой-то одной группы? Каковы последствия для приложения? Кроме того, что произойдет, если модель приведет к негативным результатам и нанесет вред людям? Кто несет ответственность за поведение системы ИИ? Эти вопросы мы будем исследовать в этом курсе. В этом уроке вы: - Осознаете важность справедливости в машинном обучении и связанных с этим рисков. - Познакомитесь с практикой изучения выбросов и необычных сценариев для обеспечения надежности и безопасности. - Поймете необходимость создания инклюзивных систем, которые учитывают интересы всех. - Узнаете, как важно защищать конфиденциальность и безопасность данных и людей. - Осознаете значимость прозрачности для объяснения поведения моделей ИИ. - Поймете, что ответственность является ключевым фактором для создания доверия к системам ИИ. ## Предварительные знания Перед началом рекомендуется пройти курс "Принципы ответственного ИИ" и посмотреть видео по теме: Узнайте больше об ответственном ИИ, следуя этому [учебному курсу](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) [](https://youtu.be/dnC8-uUZXSc "Подход Microsoft к ответственному ИИ") > 🎥 Нажмите на изображение выше, чтобы посмотреть видео: Подход Microsoft к ответственному ИИ ## Справедливость Системы ИИ должны относиться ко всем справедливо и избегать различий в отношении схожих групп людей. Например, если системы ИИ дают рекомендации по медицинскому лечению, кредитным заявкам или трудоустройству, они должны предоставлять одинаковые рекомендации людям с похожими симптомами, финансовыми обстоятельствами или профессиональной квалификацией. Каждый из нас, как человек, имеет врожденные предвзятости, которые влияют на наши решения и действия. Эти предвзятости могут проявляться в данных, которые мы используем для обучения систем ИИ. Иногда это происходит непреднамеренно, и бывает сложно осознать, когда вы вводите предвзятость в данные. **"Несправедливость"** включает в себя негативные последствия или "ущерб" для группы людей, таких как те, кто определяется по расе, полу, возрасту или инвалидности. Основные виды ущерба, связанные со справедливостью, можно классифицировать следующим образом: - **Распределение**: например, если предпочтение отдается одному полу или этнической группе перед другой. - **Качество обслуживания**: если данные обучены для одного конкретного сценария, но реальность гораздо сложнее, это приводит к низкому качеству обслуживания. Например, дозатор мыла, который не может распознать людей с темной кожей. [Источник](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) - **Оскорбление**: несправедливая критика или маркировка чего-либо или кого-либо. Например, технология распознавания изображений ошибочно пометила изображения темнокожих людей как горилл. - **Пере- или недопредставленность**: ситуация, когда определенная группа не представлена в какой-либо профессии, а любая услуга или функция, которая продолжает это поддерживать, наносит вред. - **Стереотипизация**: ассоциация определенной группы с заранее заданными характеристиками. Например, система перевода между английским и турецким может допускать ошибки из-за стереотипных ассоциаций с полом.  > перевод на турецкий  > перевод обратно на английский При проектировании и тестировании систем ИИ необходимо гарантировать, что ИИ справедлив и не запрограммирован на принятие предвзятых или дискриминационных решений, которые также запрещены для людей. Обеспечение справедливости в ИИ и машинном обучении остается сложной социотехнической задачей. ### Надежность и безопасность Для создания доверия системы ИИ должны быть надежными, безопасными и последовательными как в обычных, так и в неожиданных условиях. Важно знать, как системы ИИ будут вести себя в различных ситуациях, особенно в аномальных. При создании решений ИИ необходимо уделять значительное внимание тому, как справляться с широким спектром обстоятельств, с которыми могут столкнуться эти решения. Например, самоуправляемый автомобиль должен ставить безопасность людей на первое место. Следовательно, ИИ, управляющий автомобилем, должен учитывать все возможные сценарии, такие как ночь, грозы или метели, дети, выбегающие на дорогу, домашние животные, дорожные работы и т. д. Насколько хорошо система ИИ справляется с широким спектром условий, отражает уровень подготовки, который разработчики и ученые данных вложили в проектирование и тестирование системы. > [🎥 Нажмите здесь, чтобы посмотреть видео: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) ### Инклюзивность Системы ИИ должны быть разработаны так, чтобы вовлекать и поддерживать всех. При проектировании и внедрении систем ИИ ученые данных и разработчики ИИ выявляют и устраняют потенциальные барьеры в системе, которые могут непреднамеренно исключать людей. Например, в мире насчитывается 1 миллиард людей с инвалидностью. С развитием ИИ они могут легче получать доступ к информации и возможностям в повседневной жизни. Устранение барьеров создает возможности для инноваций и разработки продуктов ИИ с улучшенным пользовательским опытом, который приносит пользу всем. > [🎥 Нажмите здесь, чтобы посмотреть видео: инклюзивность в ИИ](https://www.microsoft.com/videoplayer/embed/RE4vl9v) ### Безопасность и конфиденциальность Системы ИИ должны быть безопасными и уважать конфиденциальность людей. Люди меньше доверяют системам, которые ставят под угрозу их конфиденциальность, информацию или жизнь. При обучении моделей машинного обучения мы полагаемся на данные для получения лучших результатов. При этом необходимо учитывать происхождение данных и их целостность. Например, были ли данные предоставлены пользователями или они были общедоступными? Далее, при работе с данными важно разрабатывать системы ИИ, которые могут защищать конфиденциальную информацию и противостоять атакам. По мере того как ИИ становится все более распространенным, защита конфиденциальности и обеспечение безопасности личной и деловой информации становятся все более важными и сложными. Вопросы конфиденциальности и безопасности данных требуют особого внимания, поскольку доступ к данным необходим для того, чтобы системы ИИ могли делать точные и обоснованные прогнозы и принимать решения о людях. > [🎥 Нажмите здесь, чтобы посмотреть видео: безопасность в ИИ](https://www.microsoft.com/videoplayer/embed/RE4voJF) - В отрасли достигнут значительный прогресс в области конфиденциальности и безопасности, во многом благодаря таким регуляциям, как GDPR (Общий регламент по защите данных). - Однако в системах ИИ необходимо учитывать напряжение между необходимостью использования большего объема персональных данных для повышения персонализации и эффективности систем и конфиденциальностью. - Как и с появлением подключенных компьютеров и интернета, мы наблюдаем значительный рост числа проблем безопасности, связанных с ИИ. - В то же время ИИ используется для повышения уровня безопасности. Например, большинство современных антивирусных сканеров работают на основе эвристики ИИ. - Необходимо, чтобы наши процессы работы с данными гармонично сочетались с последними практиками в области конфиденциальности и безопасности. ### Прозрачность Системы ИИ должны быть понятными. Важной частью прозрачности является объяснение поведения систем ИИ и их компонентов. Улучшение понимания систем ИИ требует, чтобы заинтересованные стороны понимали, как и почему они функционируют, чтобы можно было выявить потенциальные проблемы с производительностью, вопросы безопасности и конфиденциальности, предвзятость, исключающие практики или непреднамеренные результаты. Мы также считаем, что те, кто использует системы ИИ, должны быть честными и открытыми в отношении того, когда, почему и как они решают их использовать, а также ограничений этих систем. Например, если банк использует систему ИИ для поддержки своих решений по кредитованию, важно изучить результаты и понять, какие данные влияют на рекомендации системы. Правительства начинают регулировать ИИ в различных отраслях, поэтому ученые данных и организации должны объяснять, соответствует ли система ИИ нормативным требованиям, особенно в случае нежелательных результатов. > [🎥 Нажмите здесь, чтобы посмотреть видео: прозрачность в ИИ](https://www.microsoft.com/videoplayer/embed/RE4voJF) - Поскольку системы ИИ настолько сложны, трудно понять, как они работают и интерпретировать их результаты. - Это отсутствие понимания влияет на то, как эти системы управляются, внедряются и документируются. - Более важно, это отсутствие понимания влияет на решения, принимаемые на основе результатов, которые производят эти системы. ### Ответственность Люди, которые проектируют и внедряют системы ИИ, должны нести ответственность за то, как работают их системы. Необходимость ответственности особенно важна для технологий с чувствительным использованием, таких как распознавание лиц. В последнее время растет спрос на технологии распознавания лиц, особенно со стороны правоохранительных органов, которые видят потенциал этой технологии, например, в поиске пропавших детей. Однако эти технологии могут быть использованы правительством для ограничения основных свобод граждан, например, путем постоянного наблюдения за определенными людьми. Поэтому ученые данных и организации должны быть ответственными за то, как их системы ИИ влияют на людей или общество. [](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Подход Microsoft к ответственному ИИ") > 🎥 Нажмите на изображение выше, чтобы посмотреть видео: Предупреждения о массовом наблюдении через распознавание лиц В конечном итоге один из самых больших вопросов для нашего поколения, как первого поколения, внедряющего ИИ в общество, заключается в том, как гарантировать, что компьютеры останутся подотчетными людям, и как гарантировать, что люди, проектирующие компьютеры, останутся подотчетными всем остальным. ## Оценка воздействия Перед обучением модели машинного обучения важно провести оценку воздействия, чтобы понять цель системы ИИ, предполагаемое использование, место развертывания и тех, кто будет взаимодействовать с системой. Это помогает рецензентам или тестировщикам учитывать факторы, которые необходимо учитывать при выявлении потенциальных рисков и ожидаемых последствий. Основные области фокуса при проведении оценки воздействия: * **Негативное воздействие на людей**. Осознание любых ограничений, требований, неподдерживаемого использования или известных ограничений, которые могут повлиять на производительность системы, важно для предотвращения вреда людям. * **Требования к данным**. Понимание того, как и где система будет использовать данные, позволяет рецензентам изучить любые требования к данным, которые необходимо учитывать (например, регуляции GDPR или HIPAA). Кроме того, важно проверить, достаточно ли источника или объема данных для обучения. * **Резюме воздействия**. Составьте список потенциальных рисков, которые могут возникнуть при использовании системы. На протяжении всего жизненного цикла ML проверяйте, устранены ли выявленные проблемы. * **Соответствие целям** для каждого из шести основных принципов. Оцените, достигнуты ли цели каждого из принципов и есть ли пробелы. ## Отладка с ответственным ИИ Как и отладка программного обеспечения, отладка системы ИИ — это необходимый процесс выявления и устранения проблем в системе. Существует множество факторов, которые могут повлиять на то, что модель не работает так, как ожидалось, или не соответствует принципам ответственного ИИ. Большинство традиционных метрик производительности моделей являются количественными агрегатами, которые недостаточны для анализа того, как модель нарушает принципы ответственного ИИ. Более того, модель машинного обучения — это "черный ящик", что затрудняет понимание того, что влияет на ее результаты, или объяснение ошибок. Позже в этом курсе мы узнаем, как использовать панель управления Responsible AI для отладки систем ИИ. Панель предоставляет комплексный инструмент для ученых данных и разработчиков ИИ для выполнения: * **Анализа ошибок**. Для выявления распределения ошибок модели, которые могут повлиять на справедливость или надежность системы. * **Обзора модели**. Для обнаружения различий в производительности модели в разных когорт данных. * **Анализа данных**. Для понимания распределения данных и выявления потенциальной предвзятости в данных, которая может привести к проблемам справедливости, инклюзивности и надежности. * **Интерпретации модели**. Для понимания того, что влияет на прогнозы модели. Это помогает объяснить поведение модели, что важно для прозрачности и ответственности. ## 🚀 Задание Чтобы предотвратить возникновение вреда с самого начала, мы должны: - обеспечить разнообразие опыта и точек зрения среди людей, работающих над системами - инвестировать в наборы данных, которые отражают разнообразие нашего общества - разрабатывать лучшие методы на протяжении всего жизненного цикла машинного обучения для выявления и исправления проблем ответственного ИИ Подумайте о реальных сценариях, где недоверие к модели очевидно на этапе создания и использования модели. Что еще следует учитывать? ## [Тест после лекции](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) ## Обзор и самостоятельное изучение В этом уроке вы узнали основы концепций справедливости и несправедливости в машинном обучении. Посмотрите этот семинар, чтобы углубиться в тему: - В поисках ответственного ИИ: Применение принципов на практике, авторы Бесмира Нуши, Мехрнуш Самеки и Амит Шарма [](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Открытая платформа для создания ответственного ИИ") > 🎥 Нажмите на изображение выше, чтобы посмотреть видео: RAI Toolbox: Открытая платформа для создания ответственного ИИ, авторы Бесмира Нуши, Мехрнуш Самеки и Амит Шарма Также прочитайте: - Центр ресурсов Microsoft по ответственному ИИ: [Responsible AI Resources – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) - Исследовательская группа Microsoft FATE: [FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/) RAI Toolbox: - [GitHub-репозиторий Responsible AI Toolbox](https://github.com/microsoft/responsible-ai-toolbox) Прочитайте о инструментах Azure Machine Learning для обеспечения справедливости: - [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) ## Задание [Изучите RAI Toolbox](assignment.md) --- **Отказ от ответственности**: Этот документ был переведен с использованием сервиса автоматического перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия обеспечить точность перевода, следует учитывать, что автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его исходном языке должен рассматриваться как авторитетный источник. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникшие в результате использования данного перевода.