## [Examen previo a la lección](https://white-water-09ec41f0f.azurestaticapps.net/quiz/5/)
## introducción
## Introducción
En este plan de estudios, comenzarás a descubrir como el aprendizaje automático puede y está impactando nuestra vida diaria. Aún ahora, los sistemas y modelos involucrads en tareas diarias de toma de decisiones, como los diagnósticos del cuidado de la salud o detección del fraude. Es importante que estos modelos trabajen bien con el fin de proveer resultados justos para todos.
En este plan de estudios, comenzarás a descubrir como el aprendizaje automático puede y está impactando nuestra vida diaria. Aún ahora, los sistemas y modelos involucrados en tareas diarias de toma de decisiones, como los diagnósticos del cuidado de la salud o detección del fraude. Es importante que estos modelos trabajen bien con el fin de proveer resultados justos para todos.
Imagina que puede pasar cuando los datos que usas para construir estos modelos carecen de cierta demografía, como es el caso de raza, género, punto de vista político, religión, o representa desproporcionadamente estas demografías. ¿Qué pasa cuando la salida del modelo es interpretada a favor de alguna demografía? ¿Cuál es la consecuencia para la aplicación?
@ -29,7 +29,7 @@ Aprende más acerca de la AI responsable siguiendo este [Path de aprendizaje](ht
## Injusticia en los datos y algoritmos
> "Si torturas los datos lo suficiente, este conferasá cualquier cosa" - Ronald Coase
> "Si torturas los datos lo suficiente, estos conferasán cualquier cosa" - Ronald Coase
Esta oración suena extrema, pero es cierto que los datos pueden ser manipulados para soportar cualquier conclusión. Dicha conclusión puede pasar algunas veces de forma no intencional. Como humanos, todos tenemos sesgos, y es usualmente difícil saber conscientemente cuando estás introduciendo un sesgo en los datos.
@ -53,27 +53,27 @@ Demos un vistazo a los ejemplos.
Considerar un sistema hipotético para seleccionar solicitudes de préstamo. El sistema tiende a seleccionar a hombres blancos como mejores candidatos por encima de otros grupos. Como resultado, los préstamos se retienen para ciertos solicitantes.
Otro ejemplo sería una herramienta experimental de contratación desarrollada por una gran corporación para seleccionar candidatos. La herramienta discriminó sistemáticamente un género de otro usando los modelos entrenados para preferir palabras asociadas con otras. Lo cual resultó en candidatos penalizados cuyos currículos contienen las palabras como "women’s rugby team".
Otro ejemplo sería una herramienta experimental de contratación desarrollada por una gran corporación para seleccionar candidatos. La herramienta discriminó sistemáticamente un género de otro usando los modelos entrenados para preferir palabras asociadas con otras, lo cual resultó en candidatos penalizados cuyos currículos contienen palabras como "women’s rugby team".
✅ Realiza una pequeña investigación para encontrar un ejemplo del mundo real de algo como esto.
### Calidad del servicio
Los investigadores encontraron que varios clasificadores de género comerciales tenían altas tasas de error en las imágenes de mujeres con tonos de piel má obscuros lo opuesto a las imágenes de hombres con tonos de piel más claros. [Referencia](https://www.media.mit.edu/publications/gender-shades-intersectional-accuracy-disparities-in-commercial-gender-classification/)
Los investigadores encontraron que varios clasificadores de género comerciales tenían altas tasas de error en las imágenes de mujeres con tonos de piel más oscuros lo opuesto a las imágenes de hombres con tonos de piel más claros. [Referencia](https://www.media.mit.edu/publications/gender-shades-intersectional-accuracy-disparities-in-commercial-gender-classification/)
Otro infame ejemplo es el dispensador de jabón para manos que parece no ser capaz de detectar a la gente con piel de color obscuro. [Referencia](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
Otro infame ejemplo es el dispensador de jabón para manos que parece no ser capaz de detectar a la gente con piel de color oscuro. [Referencia](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773)
### Estereotipo
La vista de género estereotipada fue encontrada en una traducción de máquina. Cuando la se tradujo “he is a nurse and she is a doctor” al turco, se encontraron los problemas. El Turco es un idioma sin género el cual tiene un pronombre, "o" para comunicar el singular de la tercer persona, pero al traducir nuevamente la oración del Turco al Inglés se produjo el estereotipo como “she is a nurse and he is a doctor”.
La vista de género estereotipada fue encontrada en una traducción automática. Cuando se tradujo “he is a nurse and she is a doctor” al turco, se encontraron los problemas. El turco es un idioma sin género el cual tiene un pronombre "o" para comunicar el singular de la tercera persona, pero al traducir nuevamente la oración del turco al inglés se produjo el estereotipo como “she is a nurse and he is a doctor”.
### Denigrado
Una tecnología de etiquetado de imágenes infamemente etiquetó imágenes de gente con color obscuro de piel como gorilas. El etiquetado incorrecto es dañino no solo porque el sistema cometió un error, sino porque específicamente aplicó una etiqueta que tiene una larga historia de ser usada a propósito para denigrar a la gente negra.
Una tecnología de etiquetado de imágenes infamemente etiquetó imágenes de gente con color oscuro de piel como gorilas. El etiquetado incorrecto es dañino no solo porque el sistema cometió un error, sino porque específicamente aplicó una etiqueta que tiene una larga historia de ser usada a propósito para denigrar a la gente negra.
[](https://www.youtube.com/watch?v=QxuyfWoVV98 "AI, ¿No soy una mujer?")
> 🎥 Da clic en la imagen superior para el video: AI, ¿No soy una mujer? - un espectáculo que muestra el daño causado por la denigración racista de una AI.
@ -83,24 +83,24 @@ Una tecnología de etiquetado de imágenes infamemente etiquetó imágenes de ge
Los resultados de búsqueda de imágenes sesgados pueden ser vun buen ejemplo de este daño. Cuando se buscan imágenes de profesiones con un porcentaje igual o mayor de hombres que de mujeres, como en ingeniería, o CEO, observa que los resultados están mayormente inclinados hacia un género dado.
> Esta búsquefa en Bing para 'CEO' produce resultados bastante inclusivos
> Esta búsqueda en Bing para 'CEO' produce resultados bastante inclusivos
Estos cinco tipos principales de daños no son mutuamente exclusivos, y un solo sistema puede exhibir más de un tipo de daño. Además, cada caso varía es severidad. Por ejemplo, etiquetar injustamente a alguien como un criminal es un daño mucho más severo que etiquetar incorrectamente una imagen. Es importante, sin embargo, el recordar que aún los daños relativamente no severos pueden hacer que la gente se sienta enajenada o señalada y el impacto acumulado puede ser extremadamente opresivo.
Estos cinco tipos principales de daños no son mutuamente exclusivos, y un solo sistema puede exhibir más de un tipo de daño. Además, cada caso varía en severidad. Por ejemplo, etiquetar injustamente a alguien como un criminal es un daño mucho más severo que etiquetar incorrectamente una imagen. Es importante, sin embargo, el recordar que aún los daños relativamente no severos pueden hacer que la gente se sienta enajenada o señalada y el impacto acumulado puede ser extremadamente opresivo.
✅ **Discusión**: Revisa algunos de los ejemplos y ve si estos muestran diferentes daños.
| | Asignación | Calidad del servicio | Estereotipo | Denigrado | Sobre- o sub- representación |
| Sistema de contratación automatizada | x | x | x | | x |
| Máquina traductora | | | | | |
| Traducción automática | | | | | |
| Etiquetado de fotos | | | | | |
## Detectando injusticias
Hay varias razones porqué un sistema se comporta injustamente. Sesgos sociales, por ejemplo, pueden ser reflejados ne los conjutos de datos usados para entrenarlos. Por ejemplo, la injusticia en la contratación puede ser exacerbada por la sobre dependencia en los datos históricos. El uso de patrones en los currículos enviados a la compañía en un período de 10 años, el modelo determminó que los hombres estaban más calificados porque la mayoría de los currículos porvenían de hombres reflejo del pasado dominio masculino en la industria tecnológica.
Hay varias razones por las que un sistema se comporta injustamente. Los sesgos sociales, por ejemplo, pueden ser reflejados en los conjutos de datos usados para entrenarlos. Por ejemplo, la injusticia en la contratación puede ser exacerbada por la sobre dependencia en los datos históricos. Al emplear patrones elaborados a partir de currículos enviados a la compañía en un período de 10 años, el modelo determinó que los hombres estaban más calificados porque la mayoría de los currículos provenían de hombres, reflejo del pasado dominio masculino en la industria tecnológica.
Los datos inadecuados acerca de cierto grupo de personas pueden ser la razón de la injusticia. Por ejemplo, los clasificadores de imágenes tiene una tasa de error más alta para imágenes de gente con piel obscura porque los tonos de piel más obscura fueron sub-representados en los datos.
Los datos inadecuados acerca de cierto grupo de personas pueden ser la razón de la injusticia. Por ejemplo, los clasificadores de imágenes tienes una tasa de error más alta para imágenes de gente con piel oscura porque los tonos de piel más oscura fueron sub-representados en los datos.
Las suposiciones erróneas hechas durante el desarrollo también causan injusticia. Por ejemplo, un sistema de análisis facial intentó predecir quién cometerá un crimen basado en imágenes de los rostros de personas que pueden llevar a supuestos dañinos. Esto podría llevar a daños substanciales para las personas clasificadas erróneamente.
@ -116,7 +116,7 @@ Usemos el ejemplo de selección de préstamos para aislar el caso y averiguar el
1. **Identifica daños (y beneficios)**. El primer paso es identificar daños y beneficios. Piensa cómo las acciones y decisiones pueden afectar tanto a clientes potenciales como al negocio mismo.
2. **Identifica los grupos afectados**. Una vez que entendiste qué clase de daños o beneficios que pueden ocurrir, identifica los grupos que pueden ser afectados. ¿Están estos grupos definidos por género, etnicidad, o grupo social?
2. **Identifica los grupos afectados**. Una vez que entendiste qué clase de daños o beneficios pueden ocurrir, identifica los grupos que podrían ser afectados. ¿Están estos grupos definidos por género, etnicidad, o grupo social?
3. **Define métricas de justicia**. Finalmente, define una métrica para así tener algo con qué medir en tu trabajo para mejorar la situación.
@ -130,7 +130,7 @@ Usemos el ejemplo de selección de préstamos para aislar el caso y averiguar el
### Identifica los grupos afectados
Los siguientes pasos son determinar cuales son los grupos que suelen ser afectados. Por ejemplo, en caso de una solicitud de tarjeta de crédito, un modelo puede determinar que mujeres deberían recibir mucho menor límite de crédito comparado con sus esposos con los cuales comparten ingreso familiar. Una demografía entera, definida por género, es de este modo afectada.
Los siguientes pasos son determinar cuales son los grupos que suelen ser afectados. Por ejemplo, en caso de una solicitud de tarjeta de crédito, un modelo puede determinar que las mujeres deberían recibir mucho menor límite de crédito comparado con sus esposos con los cuales comparten ingreso familiar. Una demografía entera, definida por género, es de este modo afectada.
### Define métricas de justicia
@ -146,13 +146,13 @@ Has identificado los daños y un grupo afectado, en este caso, delimitado por g
Esta tabla nos dice varias cosas. Primero, notamos que hay comparativamente pocas personas no-binarias en los datos. Los datos están sesgados, por lo que necesitas ser cuidadoso en cómo interpretas estos números.
En este caso, tenemo 3 grupos y 2 métricas. Cuando estamos pensando en como nuestro sistea afecta a los grupos de clientes con sus solicitantes de préstamo, esto puede ser suficiente, pero cuando quieres definir grupos mayores, querrás reducir esto a conjuntos más pequeños de resúmenes. Para hacer eso, puedes agregar más métricas, como la diferencia mayor o la menor tasa de cada faso negativo y falso positivo.
En este caso, tenemos 3 grupos y 2 métricas. Cuando estamos pensando en cómo nuestro sistema afecta a los grupos de clientes con sus solicitantes de préstamo, esto puede ser suficiente, pero cuando quieres definir grupos mayores, querrás reducir esto a conjuntos más pequeños de resúmenes. Para hacer eso, puedes agregar más métricas, como la diferencia mayor o la menor tasa de cada faso negativo y falso positivo.
✅ Deténte y piensa: ¿Qué otros grupos es probale sean afectados para su solicitud de préstamo?
✅ Detente y piensa: ¿Qué otros grupos es probable sean vean afectados a la hora de solicitar un préstamo?
## Mitigando injusticias
Para mitigar injusticias, explorar el modelo para generar varios modelos mitigados y compara las compensaciones que se hacen entre la precisión y justicia para seleccionar el modelo más justo.
Para mitigar injusticias, explora el modelo para generar varios modelos mitigados y compara las compensaciones que se hacen entre la precisión y justicia para seleccionar el modelo más justo.
Esta lección introductoria no profundiza en los detalles de mitigación de injusticia algorítmica, como los enfoques de post-procesamiento y reducciones, pero aquí tienes una herramiento que podrías probar.
@ -160,9 +160,9 @@ Esta lección introductoria no profundiza en los detalles de mitigación de inju
[Fairlearn](https://fairlearn.github.io/) es un paquete Python de código abierto que te permite evaluar la justicia de tus sistemas y mitigar injusticias.
La herramienta te ayuda a evaluarcomo unos modeloss de predicción afectan a diferentes grupos, permitiéndote comparar múltiples modelos usando métricas de rendimiento y justicia, y provee un conjunto de algoritmos para mitigar injusticia en regresión y clasificación binaria.
La herramienta te ayuda a evaluar cómo unos modelos de predicción afectan a diferentes grupos, permitiéndote comparar múltiples modelos usando métricas de rendimiento y justicia, y provee un conjunto de algoritmos para mitigar injusticia en regresión y clasificación binaria.
- Aprende como usar los distintos componentes revisando el repositorio de [GitHub](https://github.com/fairlearn/fairlearn/) de Fairlearn.
- Aprende cómo usar los distintos componentes revisando el repositorio de [GitHub](https://github.com/fairlearn/fairlearn/) de Fairlearn.
- Explora la [guía de usuario](https://fairlearn.github.io/main/user_guide/index.html), [ejemplos](https://fairlearn.github.io/main/auto_examples/index.html)
@ -177,7 +177,7 @@ La herramienta te ayuda a evaluarcomo unos modeloss de predicción afectan a dif
Para prevenir que los sesgos sean introducidos en primer lugar, debemos:
- Tener una diversisdad de antecedents y perspectivas entre las personas trabajando en los sistemas.
- Tener una diversidad de antecedentes y perspectivas entre las personas trabajando en los sistemas.
- Invertir en conjuntos de datos que reflejen la diversidad de nuestra sociedad.
- Desarrollar mejores métodos para la detección y corrección de sesgos cuando estos ocurren.
@ -198,11 +198,11 @@ También lee:
- Grupo de investigación de Microsoft FATE: [FATE: Fairness, Accountability, Transparency, and Ethics in AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/)
Explorar la caja de herramientas de Fiarlearn
Explorar la caja de herramientas de Fairlearn
[Fairlearn](https://fairlearn.org/)
Lee acerca de las herramienta de Azure Machine Learning para asegurar justicia
Lee acerca de las herramientas de Azure Machine Learning para asegurar justicia
Angel Mendez
4 years ago