El procesamiento del lenguaje natural (NLP) es un tipo de inteligencia artificial que permite que las m\u00e1quinas usen texto y palabras habladas en muchas aplicaciones diferentes, como asistentes inteligentes o autocorrecci\u00f3n de correo electr\u00f3nico y filtros de correo no deseado, lo que ayuda a automatizar y optimizar las operaciones para usuarios individuales y empresas. Sin embargo, los algoritmos que impulsan esta tecnolog\u00eda a menudo tienen tendencias que podr\u00edan ser ofensivas o perjudiciales para las personas con discapacidades, seg\u00fan investigadores del Colegio de Ciencias y Tecnolog\u00eda de la Informaci\u00f3n (IST) de Penn State.<\/p>\n\n\n\n
Los investigadores encontraron que todos los algoritmos y modelos que probaron conten\u00edan un sesgo impl\u00edcito significativo contra las personas con discapacidades. Investigaciones anteriores sobre modelos de lenguaje previamente entrenados, que se entrenan con grandes cantidades de datos que pueden contener sesgos impl\u00edcitos, han encontrado sesgos sociodemogr\u00e1ficos contra los g\u00e9neros y las razas, pero hasta ahora no se han explorado ampliamente sesgos similares contra las personas con discapacidad.<\/p>\n\n\n\n
“Los 13 modelos que exploramos son muy utilizados y son de naturaleza p\u00fablica”, dijo Pranav Venkit, estudiante de doctorado en la Facultad de IST y primer autor del art\u00edculo del estudio presentado hoy 13 de octubre en la 29\u00aa Conferencia Internacional sobre Ling\u00fc\u00edstica Computacional (COLING). “Esperamos que nuestros hallazgos ayuden a los desarrolladores que est\u00e1n creando IA para ayudar a ciertos grupos, especialmente a las personas con discapacidades que dependen de la IA para recibir asistencia en sus actividades diarias, a tener en cuenta estos sesgos”.<\/p>\n\n\n\n
En su estudio, los investigadores examinaron modelos de aprendizaje autom\u00e1tico que se entrenaron con datos de origen para agrupar palabras similares, lo que permiti\u00f3 que una computadora generara autom\u00e1ticamente secuencias de palabras. Crearon cuatro plantillas de oraciones simples en las que poblar de forma variable un sustantivo de g\u00e9nero de “hombre”, “mujer” o “persona” y uno de los 10 adjetivos m\u00e1s utilizados en el idioma ingl\u00e9s, por ejemplo, “Son padres de una buena persona.” Luego, generaron m\u00e1s de 600 adjetivos que podr\u00edan asociarse con personas con o sin discapacidad, como neurot\u00edpicos o con discapacidad visual, para reemplazar aleatoriamente el adjetivo en cada oraci\u00f3n. El equipo prob\u00f3 m\u00e1s de 15 000 oraciones \u00fanicas en cada modelo para generar asociaciones de palabras para los adjetivos.<\/p>\n\n\n\n
“Por ejemplo, seleccionamos la palabra ‘bueno’ y quer\u00edamos ver c\u00f3mo se asociaba con los t\u00e9rminos relacionados tanto con la discapacidad como con la no discapacidad”, explic\u00f3 Venkit. \u201cCon la adici\u00f3n de un t\u00e9rmino que no es de discapacidad, el efecto de ‘bueno’ se convierte en ‘excelente’. Pero cuando ‘bueno’ se asocia con un t\u00e9rmino relacionado con la discapacidad, obtenemos el resultado ‘malo’. Entonces ese cambio en la forma del adjetivo en s\u00ed mismo muestra el sesgo expl\u00edcito del modelo”.<\/p>\n\n\n\n
Si bien este ejercicio revel\u00f3 el sesgo expl\u00edcito que existe en los modelos, los investigadores quer\u00edan medir m\u00e1s cada modelo en busca de sesgo impl\u00edcito: actitudes hacia las personas o asociar estereotipos con ellas sin conocimiento consciente. Examinaron los adjetivos generados para los grupos con y sin discapacidad y midieron el sentimiento de cada uno, una t\u00e9cnica de PNL para calificar si el texto es positivo, negativo o neutral. Todos los modelos que estudiaron calificaron consistentemente las oraciones con palabras asociadas con la discapacidad de forma m\u00e1s negativa que las que no las ten\u00edan. Un modelo en particular, que se entren\u00f3 previamente con los datos de Twitter, cambi\u00f3 la puntuaci\u00f3n de opini\u00f3n de positiva a negativa el 86% de las veces cuando se utiliz\u00f3 un t\u00e9rmino relacionado con una discapacidad.<\/p>\n\n\n\n
“Cuando observamos solo ese puntaje, vemos que solo al agregar un t\u00e9rmino relacionado con la discapacidad en la conversaci\u00f3n, el puntaje de sentimiento de toda la oraci\u00f3n cae”, dijo Venkit. “Por ejemplo, si un usuario incluye un t\u00e9rmino relacionado con la discapacidad en un comentario o publicaci\u00f3n en las redes sociales, aumenta la probabilidad de que esa publicaci\u00f3n sea censurada o restringida”.<\/p>\n\n\n\n
Los investigadores tambi\u00e9n probaron el sesgo impl\u00edcito en dos grandes modelos de lenguaje que se utilizan para generar autom\u00e1ticamente textos largos, como art\u00edculos de noticias, para ver c\u00f3mo cambiar\u00eda un espacio en blanco en la plantilla de oraci\u00f3n seg\u00fan el adjetivo utilizado. En este an\u00e1lisis, generaron 7.500 oraciones, nuevamente insertando adjetivos relacionados con la discapacidad o la no discapacidad, y probaron para ver c\u00f3mo cambiar\u00eda un espacio en blanco en la plantilla de la oraci\u00f3n seg\u00fan el adjetivo utilizado. En este caso, cuando se da la oraci\u00f3n de “Un hombre tiene ‘espacio en blanco'”, los modelos de lenguaje predijeron “cambiaron” por la palabra en blanco. Sin embargo, cuando se agreg\u00f3 a la oraci\u00f3n un adjetivo relacionado con la discapacidad, lo que result\u00f3 en “Un hombre sordociego tiene ‘espacio en blanco'”, el modelo predijo “muri\u00f3” por el espacio en blanco.<\/p>\n\n\n\n
El sesgo impl\u00edcito de los modelos contra las personas con discapacidad podr\u00eda ser evidente en varias aplicaciones, por ejemplo, en los mensajes de texto cuando se aplica la autocorrecci\u00f3n a una palabra mal escrita o en las redes sociales donde existen reglas que proh\u00edben las publicaciones abusivas o acosadoras. En este \u00faltimo, debido a que los humanos no pueden revisar la gran cantidad de publicaciones que se realizan, los modelos de inteligencia artificial utilizan estos puntajes de sentimiento para filtrar aquellas publicaciones que se considera que violan los est\u00e1ndares de la comunidad de la plataforma.<\/p>\n\n\n\n
“Si alguien est\u00e1 discutiendo sobre discapacidad, y aunque la publicaci\u00f3n no sea t\u00f3xica, un modelo como este que no se enfoca en separar los sesgos podr\u00eda categorizar la publicaci\u00f3n como t\u00f3xica solo porque hay una discapacidad asociada con la publicaci\u00f3n”, explic\u00f3 Mukund Srinath, estudiante de doctorado en el College of IST y coautor del estudio.<\/p>\n\n\n\n
“Cada vez que un investigador o desarrollador usa uno de estos modelos, no siempre observa las diferentes formas y las diferentes personas a las que afectar\u00e1, especialmente si se concentran en los resultados y en qu\u00e9 tan bien funciona”, dijo Venkit. “Este trabajo muestra que las personas deben preocuparse por qu\u00e9 tipo de modelos est\u00e1n usando y cu\u00e1les son las repercusiones que podr\u00edan afectar a las personas reales en su vida cotidiana”.<\/p>\n\n\n\n
Venkit y Srinath colaboraron con Shomir Wilson, profesor asistente de ciencias y tecnolog\u00eda de la informaci\u00f3n, en el proyecto.<\/p>\n\n\n\n