ML-For-Beginners/translations/ru/9-Real-World/2-Debugging-ML-Models

Постскриптум: Отладка моделей машинного обучения с использованием компонентов панели ответственного ИИ

Тест перед лекцией

Введение

Машинное обучение влияет на нашу повседневную жизнь. ИИ проникает в самые важные системы, которые затрагивают нас как личностей и как общество, включая здравоохранение, финансы, образование и трудоустройство. Например, системы и модели участвуют в ежедневных процессах принятия решений, таких как диагностика заболеваний или выявление мошенничества. В результате, развитие ИИ и его ускоренное внедрение сопровождаются изменяющимися общественными ожиданиями и растущим регулированием. Мы постоянно сталкиваемся с ситуациями, где системы ИИ не оправдывают ожидания, создают новые вызовы, и правительства начинают регулировать решения на основе ИИ. Поэтому важно анализировать эти модели, чтобы обеспечить справедливые, надежные, инклюзивные, прозрачные и ответственные результаты для всех.

В этом курсе мы рассмотрим практические инструменты, которые можно использовать для оценки наличия проблем ответственного ИИ в модели. Традиционные методы отладки машинного обучения обычно основаны на количественных расчетах, таких как агрегированная точность или средняя ошибка. Представьте, что может произойти, если данные, которые вы используете для создания этих моделей, не включают определенные демографические группы, такие как раса, пол, политические взгляды, религия, или непропорционально представляют такие группы. А что, если вывод модели интерпретируется как предпочтение одной демографической группы над другой? Это может привести к чрезмерному или недостаточному представлению этих чувствительных групп, что вызовет проблемы справедливости, инклюзивности или надежности модели. Еще один фактор — модели машинного обучения считаются "черными ящиками", что затрудняет понимание и объяснение того, что влияет на предсказания модели. Все это — вызовы, с которыми сталкиваются специалисты по данным и разработчики ИИ, если у них нет адекватных инструментов для отладки и оценки справедливости или надежности модели.

В этом уроке вы узнаете, как отлаживать свои модели, используя:

• Анализ ошибок: выявление областей в распределении данных, где модель имеет высокий уровень ошибок.
• Обзор модели: проведение сравнительного анализа различных когорт данных для выявления различий в метриках производительности модели.
• Анализ данных: исследование областей, где может быть чрезмерное или недостаточное представление данных, что может склонить модель к предпочтению одной демографической группы над другой.
• Важность признаков: понимание, какие признаки влияют на предсказания модели на глобальном или локальном уровне.

Предварительные требования

Перед началом ознакомьтесь с инструментами ответственного ИИ для разработчиков.

Анализ ошибок

Традиционные метрики производительности модели, используемые для измерения точности, в основном основаны на расчетах правильных и неправильных предсказаний. Например, определение того, что модель точна на 89% с потерей ошибки 0.001, может считаться хорошим результатом. Однако ошибки часто распределены неравномерно в вашем исходном наборе данных. Вы можете получить показатель точности модели 89%, но обнаружить, что в некоторых областях данных модель ошибается в 42% случаев. Последствия таких паттернов ошибок для определенных групп данных могут привести к проблемам справедливости или надежности. Важно понимать области, где модель работает хорошо или плохо. Области данных с высоким количеством ошибок могут оказаться важными демографическими группами.

Компонент анализа ошибок на панели RAI показывает, как ошибки модели распределены по различным когортам с помощью визуализации дерева. Это полезно для выявления признаков или областей, где уровень ошибок в вашем наборе данных высок. Видя, откуда поступает большинство ошибок модели, вы можете начать исследовать первопричину. Вы также можете создавать когорты данных для анализа. Эти когорты данных помогают в процессе отладки, чтобы определить, почему производительность модели хороша в одной когорте, но ошибочна в другой.

Визуальные индикаторы на карте дерева помогают быстрее находить проблемные области. Например, чем темнее оттенок красного цвета у узла дерева, тем выше уровень ошибок.

Тепловая карта — это еще одна функция визуализации, которую пользователи могут использовать для исследования уровня ошибок с использованием одного или двух признаков, чтобы найти факторы, способствующие ошибкам модели в целом наборе данных или когорт.

Используйте анализ ошибок, когда вам нужно:

• Глубоко понять, как ошибки модели распределены по набору данных и нескольким входным и признаковым измерениям.
• Разбить агрегированные метрики производительности, чтобы автоматически обнаружить ошибочные когорты и определить целевые шаги по их устранению.

Обзор модели

Оценка производительности модели машинного обучения требует всестороннего понимания ее поведения. Это можно достичь, изучая более одной метрики, такой как уровень ошибок, точность, полнота, точность или MAE (средняя абсолютная ошибка), чтобы выявить различия между метриками производительности. Одна метрика производительности может выглядеть отлично, но неточности могут быть выявлены в другой метрике. Кроме того, сравнение метрик для выявления различий в целом наборе данных или когорт помогает понять, где модель работает хорошо или плохо. Это особенно важно для анализа производительности модели среди чувствительных и нечувствительных признаков (например, раса пациента, пол или возраст), чтобы выявить потенциальную несправедливость модели. Например, обнаружение того, что модель более ошибочна в когорте с чувствительными признаками, может выявить потенциальную несправедливость модели.

Компонент обзора модели на панели RAI помогает не только анализировать метрики производительности представления данных в когорте, но и дает пользователям возможность сравнивать поведение модели в разных когортах.

Функциональность анализа на основе признаков компонента позволяет пользователям сузить подгруппы данных внутри определенного признака, чтобы выявить аномалии на более детальном уровне. Например, панель имеет встроенный интеллект для автоматического создания когорт для выбранного пользователем признака (например, "time_in_hospital < 3" или "time_in_hospital >= 7"). Это позволяет пользователю изолировать определенный признак из более крупной группы данных, чтобы увидеть, является ли он ключевым фактором ошибочных результатов модели.

Компонент обзора модели поддерживает два класса метрик различий:

Различия в производительности модели: Эти метрики рассчитывают различия (разницу) в значениях выбранной метрики производительности между подгруппами данных. Вот несколько примеров:

• Различия в уровне точности
• Различия в уровне ошибок
• Различия в точности
• Различия в полноте
• Различия в средней абсолютной ошибке (MAE)

Различия в уровне выбора: Эта метрика содержит разницу в уровне выбора (благоприятного предсказания) между подгруппами. Примером этого является различие в уровнях одобрения кредитов. Уровень выбора означает долю точек данных в каждом классе, классифицированных как 1 (в бинарной классификации) или распределение значений предсказаний (в регрессии).

Анализ данных

"Если достаточно долго пытать данные, они признаются в чем угодно" — Рональд Коуз

Это утверждение звучит экстремально, но правда в том, что данные могут быть манипулированы для подтверждения любого вывода. Такая манипуляция иногда происходит непреднамеренно. Как люди, мы все имеем предвзятость, и часто трудно осознанно понять, когда вы вводите предвзятость в данные. Обеспечение справедливости в ИИ и машинном обучении остается сложной задачей.

Данные — это огромная "слепая зона" для традиционных метрик производительности модели. У вас могут быть высокие показатели точности, но это не всегда отражает скрытую предвзятость данных, которая может быть в вашем наборе данных. Например, если в наборе данных сотрудников 27% женщин занимают руководящие должности в компании, а 73% мужчин на том же уровне, модель ИИ для рекламы вакансий, обученная на этих данных, может в основном ориентироваться на мужскую аудиторию для вакансий высокого уровня. Этот дисбаланс в данных склоняет предсказания модели к предпочтению одного пола. Это выявляет проблему справедливости, где в модели ИИ присутствует гендерная предвзятость.

Компонент анализа данных на панели RAI помогает выявить области, где в наборе данных есть чрезмерное или недостаточное представление. Он помогает пользователям диагностировать первопричину ошибок и проблем справедливости, вызванных дисбалансом данных или отсутствием представления определенной группы данных. Это дает пользователям возможность визуализировать наборы данных на основе предсказанных и фактических результатов, групп ошибок и конкретных признаков. Иногда обнаружение недостаточно представленной группы данных также может выявить, что модель плохо обучается, что приводит к высоким ошибкам. Модель с предвзятостью данных — это не только проблема справедливости, но и показатель того, что модель не является инклюзивной или надежной.

Используйте анализ данных, когда вам нужно:

• Исследовать статистику вашего набора данных, выбирая различные фильтры для разделения данных на разные измерения (также известные как когорты).
• Понять распределение вашего набора данных по различным когортам и группам признаков.
• Определить, являются ли ваши выводы, связанные со справедливостью, анализом ошибок и причинностью (полученные из других компонентов панели), результатом распределения вашего набора данных.
• Решить, в каких областях собирать больше данных, чтобы уменьшить ошибки, вызванные проблемами представления, шумом меток, шумом признаков, предвзятостью меток и подобными факторами.

Интерпретируемость модели

Модели машинного обучения часто считаются "черными ящиками". Понять, какие ключевые признаки данных влияют на предсказания модели, может быть сложно. Важно обеспечить прозрачность того, почему модель делает определенное предсказание. Например, если система ИИ предсказывает, что пациент с диабетом рискует быть повторно госпитализированным в течение 30 дней, она должна предоставить поддерживающие данные, которые привели к этому предсказанию. Наличие таких данных повышает прозрачность, помогая врачам или больницам принимать обоснованные решения. Кроме того, возможность объяснить, почему модель сделала предсказание для конкретного пациента, обеспечивает соответствие медицинским нормативам. Когда вы используете модели машинного обучения в ситуациях, которые влияют на жизнь людей, важно понимать и объяснять, что влияет на поведение модели. Интерпретируемость и объяснимость модели помогают ответить на вопросы в таких сценариях, как:

• Отладка модели: Почему моя модель допустила эту ошибку? Как я могу улучшить свою модель?
• Сотрудничество человека и ИИ: Как я могу понять и доверять решениям модели?
• Соответствие нормативным требованиям: Соответствует ли моя модель юридическим требованиям?

Компонент важности признаков на панели RAI помогает отлаживать и получать всестороннее понимание того, как модель делает предсказания. Это также полезный инструмент для специалистов по машинному обучению и лиц, принимающих решения, чтобы объяснять и показывать доказательства признаков, влияющих на поведение модели, для соответствия нормативным требованиям. Далее пользователи могут исследовать как глобальные, так и локальные объяснения, чтобы подтвердить, какие признаки влияют на предсказания модели. Глобальные объяснения перечисляют основные признаки, которые повлияли на общее предсказание модели. Локальные объяснения показывают, какие признаки привели к предсказанию модели для конкретного случая. Возможность оценивать локальные объяснения также полезна для отладки или аудита конкретного случая, чтобы лучше понять и интерпретировать, почему модель сделала точное или ошибочное предсказание.

• Глобальные объяснения: Например, какие признаки влияют на общее поведение модели повторной госпитализации пациентов с диабетом?
• Локальные объяснения: Например, почему пациент с диабетом старше 60 лет с предыдущими госпитализациями был предсказан как повторно госпитализированный или не повторно госпитализированный в течение 30 дней?

В процессе отладки производительности модели в разных когортах компонент важности признаков показывает, какое влияние оказывает признак на когорты. Он помогает выявлять аномалии при сравнении уровня влияния признака на ошибочные предсказания модели. Компонент важности признаков может показать, какие значения признака положительно или отрицательно повлияли на результат модели. Например, если модель сделала ошибочное предсказание, компонент дает возможность углубиться и определить, какие признаки или значения признаков привели к предсказанию. Этот уровень детализации помогает не только в отладке, но и обеспечивает прозрачность и ответственность в ситуациях аудита. Наконец, компонент может помочь выявить проблемы справедливости. Например, если чувствительный признак, такой как этническая принадлежность или пол, оказывает значительное влияние на предсказания модели, это может быть признаком расовой или гендерной предвзятости в модели.

Используйте интерпретируемость, когда вам нужно:

• Определить, насколько надежны предсказания вашей системы ИИ, понимая, какие признаки наиболее важны для предсказаний.
• Подходить к отладке модели, сначала понимая ее и выявляя, использует ли модель здоровые признаки или ложные корреляции.
• Выявить потенциальные источники несправедливости, понимая, основывается ли модель на чувствительных признаках или признаках, которые сильно коррелируют с ними.
• Завоевать доверие пользователей к решениям модели, создавая локальные объяснения для иллюстрации их результатов.
• Завершить нормативный аудит системы ИИ, чтобы подтвердить модели и контролировать влияние решений модели на людей.

Заключение

Все компоненты панели RAI — это практические инструменты, которые помогают создавать модели машинного обучения, менее вредные и более надежные для общества. Они способствуют предотвращению угроз правам человека, дискриминации или исключению определенных групп из жизненных возможностей, а также рисков физического или психологического вреда. Они также помогают завоевать доверие к решениям модели, создавая локальные объяснения для иллюстрации их результатов. Некоторые потенциальные вреды можно классифицировать как:

• Распределение, если, например, один пол или этническая группа предпочитается другому.
• Качество обслуживания. Если вы обучаете данные для одного конкретного сценария, но реальность гораздо сложнее, это приводит к плохо работающему сервису.
• Стереотипизация. Ассоциация определенной группы с заранее заданными характеристиками.
• Уничижение. Несправедливая критика и навешивание ярлыков на что-то или кого-то.
• Пере- или недопредставленность. Идея заключается в том, что определённая группа людей не представлена в какой-либо профессии, и любая услуга или функция, которая продолжает это поддерживать, способствует нанесению вреда.

Панель мониторинга Azure RAI

Панель мониторинга Azure RAI основана на инструментах с открытым исходным кодом, разработанных ведущими академическими учреждениями и организациями, включая Microsoft. Эти инструменты помогают дата-сайентистам и разработчикам ИИ лучше понимать поведение моделей, выявлять и устранять нежелательные проблемы в моделях ИИ.

• Узнайте, как использовать различные компоненты, ознакомившись с документацией по панели мониторинга RAI.

• Ознакомьтесь с примерами ноутбуков панели мониторинга RAI для отладки более ответственных сценариев ИИ в Azure Machine Learning.

---

🚀 Задача

Чтобы предотвратить возникновение статистических или данных предвзятостей с самого начала, мы должны:

• обеспечить разнообразие опыта и точек зрения среди людей, работающих над системами
• инвестировать в наборы данных, которые отражают разнообразие нашего общества
• разрабатывать более эффективные методы обнаружения и исправления предвзятости, когда она возникает

Подумайте о реальных сценариях, где несправедливость очевидна при создании и использовании моделей. Что ещё следует учитывать?

Тест после лекции

Обзор и самостоятельное изучение

На этом уроке вы узнали о некоторых практических инструментах для внедрения ответственного ИИ в машинное обучение.

Посмотрите этот воркшоп, чтобы углубиться в тему:

• Панель мониторинга ответственного ИИ: универсальное решение для внедрения RAI на практике от Бесмиры Нуши и Мехрнуш Самеки

🎥 Нажмите на изображение выше, чтобы посмотреть видео: Панель мониторинга ответственного ИИ: универсальное решение для внедрения RAI на практике от Бесмиры Нуши и Мехрнуш Самеки

Обратитесь к следующим материалам, чтобы узнать больше об ответственном ИИ и о том, как создавать более надёжные модели:

• Инструменты панели мониторинга Microsoft для отладки моделей машинного обучения: Ресурсы инструментов ответственного ИИ

• Изучите набор инструментов ответственного ИИ: Github

• Центр ресурсов Microsoft по ответственному ИИ: Ресурсы по ответственному ИИ – Microsoft AI

• Исследовательская группа Microsoft FATE: FATE: Справедливость, подотчётность, прозрачность и этика в ИИ - Microsoft Research

Задание

Изучите панель мониторинга RAI

---

Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия обеспечить точность, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникающие в результате использования данного перевода.