La Fundación Vía Libre e investigadoras de la Universidad Nacional de Córdoba y el Conicet presentaron un método para detectar y mitigar sesgos y estereotipos del lenguaje en desarrollos que utilizan inteligencia artificial. Ya cuentan con un primer prototipo y convocan a quienes quieran probarlo y aplicarlo en sus propias investigaciones.
Detrás de cada buscador en línea, de cada traductor e incluso en sistemas bancarios y laborales, hay algoritmos que los convierten en herramientas que discriminan, derribando el falso mito que postula que la tecnología es objetiva e imparcial. Un ejemplo que se hizo conocido el año pasado tuvo como protagonista a Twitter cuando algunos seguidores se quejaron -y la empresa terminó por reconocerlo- de que el algoritmo que recorta imágenes para las vistas previas de los tuits reproducía sesgos de género y raza y, por ejemplo, priorizaba mostrar imágenes de personas blancas.
Otro caso que también trascendió en 2021. Fue en Países Bajos, cuando se advirtió discriminación en un sistema que utilizaban las autoridades tributarias del país para detectar solicitudes fraudulentas de prestaciones para el cuidado infantil. Según un informe de Amnistía Internacional, “decenas de miles de personas fueron acusadas falsamente de fraude y obligadas a devolver grandes sumas de dinero, lo que causó graves problemas a las familias, desde endeudamiento y desempleo hasta desalojos forzosos y problemas de salud. En particular, las personas de origen migrante y de familias con ingresos bajos se vieron afectadas de manera desproporcionada porque el sistema algorítmico consideraba el dato de no tener la nacionalidad neerlandesa como factor de riesgo”.
Según Laura Alonso, investigadora del CONICET en la Facultad de Matemática, Astronomía, Física y Computación de la Universidad Nacional de Córdoba (FAMAF-UNC), “hay una visión muy positivista e ingenua de estas tecnologías: se asume que son bienintencionadas y eso no siempre es cierto, y aunque no sean malintencionadas, codifican los valores de las empresas que los desarrollan. En ese sentido, pueden ser muy dañinas para comunidades que no son las mismas que las de esas empresas”. La investigadora forma parte de un grupo interdisciplinario que, junto con la Fundación Vía Libre, está desarrollando métodos que permitan detectar y mitigar sesgos en sistemas de inteligencia artificial que utilizan el lenguaje natural, adaptados al idioma castellano y a los contextos de la región.
“Tratamos de de sensibilizar y evidenciar cómo todas estas tecnologías no son neutrales, cómo codifican valores y los trasladan de una forma muy sutil, y que justamente por lo sutil pueden ser mucho más efectivas que cosas más evidentes”, dice Alonso, especializada en lingüística computacional, y que trabaja en este proyecto junto con especialistas de otras disciplinas como computación, comunicación y educación.
“El primer paso es visibilizar e identificar los sesgos y dejar de pensar que la tecnología va a arrojar un resultado objetivo y libre de estereotipos”, coincide Beatriz Busaniche, presidenta de Fundación Vía Libre y coordinadora del proyecto, que es parte de la Alianza App+, una red de inteligencia artificial feminista financiada por el International Development Research Centre (IDRC) que busca adaptar, desarrollar y disponibilizar herramientas para diagnosticar sesgos y estereotipos en áreas de procesamiento del lenguaje natural en inteligencia artificial, desde una perspectiva latinoamericana.
El proyecto consta de distintas etapas. La primera era la redacción de un artículo científico que fue seleccionado por los evaluadores para pasar a la segunda instancia, de desarrollo del prototipo, que esperan tener listo y disponible para probar en octubre. La tercera y última etapa, prevista para el próximo año, es poner a prueba esta metodología.
“A diferencia de otros procesos, en los cuales se busca explicar fenómenos complejos desde de la ciencia de la computación formulándolos en términos binarismos y métricas, lo que estamos buscando son expertos y expertas en ciencias sociales para que nos ayuden a explorar esos sesgos que están implicados en los sistemas automatizados”, dice Busaniche, licenciada en comunicación social y docente en la Universidad de Buenos Aires y en FLACSO. “Posiblemente en octubre se realicen talleres presenciales para potenciales usuarios interesados, para así poder comenzar a hacer pruebas de concepto y ajustes de uso y funcionamiento de estos métodos”, explica Busniche.
“Actualmente, los científicos sociales tienen roles muy periféricos en el desarrollo de las herramientas de inteligencia artificial, y creemos que es muy importante involucrarlos de una forma mucho más central en el núcleo del desarrollo, para que puedan contribuir a prevenir errores o fallas en lugar de solucionar con parches”, destaca Alonso.
En ese sentido, la propuesta es que potenciales usuarios con experiencia en otros campos de dominio epistemológico, que trabajen con migrantes, con educación y con sesgos de género, por ejemplo, se sumen a esta iniciativa y se apropien de estas herramientas para llevarlas a sus propios trabajos e investigaciones, y puedan tener un intercambio de saberes y experiencias que permita ir ajustando el método en desarrollo. “Nuestro objetivo es que lo puedan usar los verdaderos especialistas en estereotipos y sesgos, que normalmente no son las personas que saben programar”, dice Alonso.
El prototipo en el cual están trabajando -que está desarrollado en lenguaje Python, de código abierto, sobre una plataforma denominada huggingface-, facilita diferentes formas de detectar cómo son las asociaciones de palabras en los sistemas que procesan automáticamente el lenguaje natural. En el tratamiento automático del lenguaje hay diferentes piezas en un flujo -o pipeline- por donde se procesa el lenguaje. Algunas de esas piezas son muy útiles, porque permiten ver si una palabra se vincula más con un tema o con otro, a través de asociaciones entre palabras codificadas en unos “artefactos” que se obtienen usando redes neuronales sobre inmensas cantidades de textos.
La plataforma permite hacer experimentos y arroja una mirada gráfica de las evaluaciones de sesgo. Por ejemplo, las investigadoras evaluaron el sesgo norteamericano/latinoamericano en función de profesiones y pudieron ver cómo algunas están vinculadas con los latinoamericanos, como deportistas, futbolistas y obreros, y otras con norteamericanos, como economistas y programadores. También han trabajado con otras dualidades como joven/viejo y rural/urbano, y así como con cuestiones de género.
“Así pudimos determinar que la palabra enfermera está mucho más asociada a mujer/niña/ abuela, de lo que la palabra enfermero está asociada a hombre/ niño/ abuelo, lo que demuestra que hay cierto sesgo que indica que enfermero no es tan masculino como enfermera lo es femenino”, ejemplifica Alonso, y destaca que lo que les resulta más difícil en este proceso es pensar más allá de lo que viene haciendo la comunidad de programadores. “Nosotros venimos de un campo donde se realizan las métricas y no se nos ocurre cómo hacer una exploración más cualitativa. En eso nos estamos nutriendo fuertemente de otros saberes, pero cuesta porque todas las herramientas que conocemos están orientadas a otro tipo de funcionamiento”, reconoce Alonso.
