¿Cómo podemos pensar nuestra sociedad alrededor de una revolución basada en la inteligencia artificial? ¿Cómo, cuando son las grandes corporaciones y un modelo sesgado de inteligencia artificial, quienes diseñan el mundo? Diálogo con Vanina Martinez, distinguida por su trayectoria en ética e inteligencia artificial.
Agencia TSS-UNSAM. Doctora en Ciencias de la Computación, especializada en temas vinculados a ética e inteligencia artificial, Vanina Martínez es investigadora del CONICET en la Facultad de Ciencias Exactas y Naturales de la Universidad de Buenos Aires. Actualmente, está realizando una estadía de investigación en el Instituto de Inteligencia Artificial del Consejo Superior de Investigaciones Científicas (IIIA-CSIC), en España.
El campo de investigación de Martínez es el de la inteligencia artificial (IA) simbólica, en el que se utilizan modelos lógico matemáticos a partir de la generación de reglas que manipulan símbolos, lo que de alguna manera codifica el razonamiento que podrían tener esos sistemas, como si fueran los silogismos de lógica que se aprenden en la secundaria, del tipo “todo hombre es mortal, Sócrates es un hombre, entonces Sócrates es mortal”.
Esto se contrapone a los modelos más modernos de IA, principalmente basados en machine learning y el uso de redes neuronales, que extraen patrones a partir de un montón de datos crudos y los utilizan para resolver distintos tipos de problemas. Son los sistemas que más llaman la atención en la actualidad, como Chat GPT.
“En general, los problemas de los sistemas basados en machine learning surgen porque queremos que esos programas hagan cosas para los que no están diseñados, como tomar decisiones como si fueran humanos. Eso pasa porque el método de razonamiento es otro, es distinto y mucho más básico”, afirma Martínez, y advierte que por eso ahora está trabajando en los denominados modelos híbridos, que buscan combinar ambas metodologías para lograr que los sistemas de inteligencia artificial tengan un comportamiento más robusto, que puedan responder mejor a lo que como humanos se espera de ellos y que pueda haber más de control e interpretabilidad de estos modelos.
![](/wp-content/uploads/2023/08/VMartinezSlide.jpg)
Vanina Martínez: “Internet misma no es representativa, ya que la mayoría de la gente que la utiliza pertenece a un hemisferio en particular, a una raza en particular y a una edad en particular”.
-Chat GPT ha sorprendido al mundo por su capacidad de responder cuestiones de las más variadas. ¿Cuáles son los problemas o los límites a los que hace referencia?
-Chat GPT es fantástico, es increíble para un algoritmo que para lo único que está entrenado es “dada una frase, cuál es la próxima palabra más probable”. Pero, claro, eso se puede generalizar a que haga todo un texto, que escriba un programa, una canción, un poema. En vez de mirar solamente la siguiente palabra probable, mira la siguiente y la siguiente y la siguiente, y va construyendo; y al estar entrenado con tanta cantidad de datos, que no sabemos qué datos son, pero sí sabemos que es una cantidad masiva, ya que gran parte de lo que está en Internet ha sido lo que lo alimentó, encuentra patrones que reflejan cómo escribimos.
-¿Y ese modelo está limitado?
-Hay una hipótesis muy fuerte que considera que, cuanto más grandes son estos modelos, mejor se van a comportar. Las corporaciones, que en este caso son las dueñas de estos sistemas, dicen que los desafíos actuales se van a solucionar con modelos más grandes, alimentados con más y más datos. Yo creo que no, que eso va a llegar a un tope, que quizás todavía le falta un poco y nos vamos a seguir sorprendiendo con el tipo de cosas que pueden hacer, pero hay ciertas cosas que para mí son inevitables, entendiendo la naturaleza de los modelos. Porque aprenden cosas que se repiten muy a menudo de un conjunto de datos; entonces, lo que aprenden está completamente condicionado por ese conjunto de datos, no van a aprender nada que no esté ahí. Eso, además, tiene problemas de sesgos.
-¿En qué sentido?
-Si nos ponemos a pensar críticamente, vemos que la Internet misma no es representativa, ya que la mayoría de la gente que utiliza la web y las redes sociales pertenece a un hemisferio en particular, a una raza en particular y a una edad en particular. Entonces, Chat GPT no sabe hablar como un niño ni como un anciano, por ejemplo, habla como el usuario promedio de Internet, porque toma datos de ahí. Si los seres humanos en promedio decimos cualquier cosa en la web, ¿cómo le vamos a pedir a un sistema que se comporte de una manera especial? Le metimos un montón de datos que, en principio, ni sabemos lo que hay ahí, y que luego, si lo supiéramos, son un reflejo de la propia sociedad, que es sesgada, y ni siquiera de la sociedad completa. Ese es un problema fundamental. No pareciera que ese modelo, por más grande que se haga, vaya a lograr comportarse de la manera que estamos diciendo que queremos que se comporte.
-Frente al avance de estas tecnologías, ¿ya existen desarrollos híbridos?
-Todavía son muy incipientes. La tendencia sigue por el lado del machine learning y creo que va a seguir un tiempo más, pero si uno mira la naturaleza del modelo, pareciera que los límites son bastante claros con relación a lo que nosotros esperamos. Es decir, si estamos hablando de regulación, de ética, de tener una inteligencia artificial centrada en el humano, donde queremos tener algún tipo de control sobre cómo se utilizan estos sistemas y lo que producen, pareciera que este tipo de modelos no es lo que nos va a llevar a eso.
El pequeño detalle de la financiación
-En esta historia en la que inicialmente se apoyó un modelo y luego otro, seguramente influyeron también los financiamientos, que fueron priorizando una línea de investigación por sobre la otra. ¿Cómo se posicionan países como la Argentina frente a estos avances que provienen de los denominados países más desarrollados?
-Siempre el financiamiento vino del hemisferio norte, de Estados Unidos o Europa, y ahora también de China. Los denominados países en vías de desarrollo, en general, aportan desde un lado de la ciencia más básica, que no requiere recursos costosos, sobre todo por el tema de hardware. Ese es un problema que históricamente han tenido países como el nuestro, aunque en algún momento la Argentina pueda tener una supercomputadora, siempre es difícil. Ahora, lo que está sucediendo es que no solamente los países en vías de desarrollo tienen ese inconveniente, sino que la mayoría de los países no puede competir con las empresas. La mayoría de las universidades a nivel internacional no puede hacer el tipo de experimentos que se necesitan para poder competir contra algo como Chat GPT. Eso hace que el conocimiento y el avance tecnológico esté completamente dictado por cinco compañías, y que lo académico quede afuera. Eso es muy problemático, porque uno puede decir que es entendible cuando hay una cuestión de recursos de un país que se destinan a otro lado, pero estamos hablando de países como Alemania o Estados Unidos, en donde hay universidades muy buenas y con muchos recursos, y no pueden tener toda la infraestructura que tendrían que tener para poder competir con Chat GPT.
-¿Eso pone en peligro el avance científico?
-Exacto, porque la mayoría de los avances que hacen estas empresas son tecnológicos y su objetivo es ir haciendo estos modelos cada vez más grandes. No pareciera haber una perspectiva de probar otra cosa, porque no les conviene, sus objetivos son económicos y está bien que lo sean, pero falta el aporte científico, de ser críticos sobre en qué se puede mejorar y en qué no. En qué línea puede ser mejor desde un punto de vista distinto, incluso ambiental, porque estos sistemas consumen una cantidad de energía que a veces equivale a lo que consume un pueblo entero.
-¿Considera que esa limitación en el ámbito científico se traduce en una limitación para la regulación, en el sentido de que no se puede legislar sobre aquello que desconocemos?
-Sí. Hay otros modelos que son abiertos o versiones más pequeñas con las que uno puede experimentar, pero Chat GPT es totalmente privado, no se sabe con qué datos fue entrenado y se reentrena cada cierto tiempo, la versión que una probó hace un mes no es la misma que se está haciendo hoy. Eso es un problema para hacer experimentos, porque rompe el método científico, al impedir que se puedan replicar los experimentos. Desde el punto de vista científico, la comparación no es justa, porque no sabemos cómo está construido Chat GPT, hay algunas publicaciones que nos indican los modelos matemáticos que se usan y sabemos cómo funcionan, pero exactamente cómo está programado y sobre qué aprendió, no lo sabemos. Si parte de la formulación de marcos regulatorios o éticos, e incluso de políticas estatales, tiene que ver con entender cómo funcionan estas tecnologías, es complicado porque hay cosas que no las vamos a poder saber. Una alternativa podría ser obligar a las empresas a que nos den los elementos para poder entender, pero para eso se necesita una regulación previa, algo que tenga que ver con lo que la empresa tiene que liberar datos para que esa tecnología sea auditable. Y eso es difícil de conseguir frente a la concentración de poder que tienen estas corporaciones.
-¿Esta preocupacion la ve reflejada en colegas o en el ámbito científico en ambos hemisferios?
-Sí, y me llamó mucho la atención. Yo lo pensaba desde el lado de la Argentina, con nuestras problemáticas, con nuestros déficits, y encontrarme con colegas de distintas universidades de Europa, de Estados Unidos, que plantean la misma problemática me permitió ver que la magnitud de recursos que se necesitan es tanto más grande que es imposible para cualquier país. Cualquier país es chiquito comparado con OpenIA, Facebook o Google, económicamente hablando. Por eso, cuando arranqué con el camino de la ética tenía una postura muy crítica sobre la tecnología, y a medida que avanza el tiempo me estoy polarizando, en el sentido de que siempre decía que la tecnología no es neutra, y eso sigue siendo verdad, pero el gran problema no es la tecnología, sino los seres humanos y los mecanismos económicos que seguimos. Eso me preocupa más allá de la inteligencia artificial, pero soy investigadora y mi trabajo es avanzar en el estado del arte, para intentar que estos sistemas funcionen como esperamos que lo hagan.
–¿Aunque la ciencia se vea debilitada frente a las grandes corporaciones?
-Yo confío en la humanidad y en la ciencia. Por más que sea invisible lo que se esté haciendo, si eventualmente eso realmente sirve, si es bueno y mejora las cosas, se va a adoptar. Como científicos, hay que seguir empujando para que los políticos nos den financiamiento, para que haya transferencia de la ciencia a la tecnología, al sector productivo, y que, a las empresas locales, por ejemplo, no les sea más fácil recurrir a un modelo traído de afuera que utilizar algo que se diseña en nuestros países o que todavía está en una especie de prototipo científico. Es difícil, pero es tratar de empujar para que eventualmente lo que descubrimos, lo que trabajamos, tenga un poquito de impacto, aunque sea a nivel local.
Otra y distinta fuga de cerebros
![](/wp-content/uploads/2023/08/Creditos-Mike-MacKenzie.jpg)
Imagen modificada: Mike MacKenzie.
-Además de las limitaciones en el hardware, que hoy parece ser global, ¿qué limitaciones particulares observa en nuestro país?
-Nuestros problemas tienen que ver con cómo podemos pensar nuestra economía alrededor de una revolución basada en la inteligencia artificial: qué se está produciendo, cómo podemos no ser solamente consumidores de cosas que vienen de afuera, en qué podemos aportar. Sabemos que no tenemos ni vamos a poder tener el hardware, pero somos muy buenos en generar mano de obra calificada que pueda utilizar estos sistemas, que pueda implementarlos en distintos dominios de la industria, por ejemplo. Y ahí, el problema que estamos teniendo en la Argentina es que muchos estudiantes de carreras vinculadas con la informática y la ciencia de datos no terminan sus carreras, porque en segundo o tercer año ya tienen las capacidades necesarias para trabajar en la industria, y se paga tan bien que no solo es demasiado tentador, es imposible en muchos casos pedirle a una persona que siga estudiando, si con lo que ya sabe va a cobrar en dólares. Entonces, ¿qué va a pasar en los próximos años si los profesionales de la informática se quedan en ese nivel de educación? ¿Cómo va a afectar eso al futuro de la ciencia y de la tecnología? O cuando se gradúan se van a la industria y no vuelven a la academia. Entonces, tampoco tenemos profesores.
-Y ese es otro problema.
-Sí. En este momento, en la mayoría de las universidades nacionales del país hay un déficit muy grande de profesores en informática, y eso en contraposición con una matrícula que se viene elevando. Hay un estado de falta y de agotamiento de los profesores, porque el trabajo es mucho más y los sueldos son irrisorios. Para mí, ese es el problema más grande que tiene la Argentina en este momento: qué va a pasar con la educación superior en las áreas de las TICs, para retroalimentar también la educación primaria y secundaria. Por un lado, decimos que es importante reconvertir perfiles de personas para no quedarnos afuera, pero, ¿cómo lo vamos a hacer, con qué recursos humanos, si hay un drenaje hacia la industria para la generación de productos que no vuelve al sector educativo o científico? La diferencia entre lo que puede cobrar un recién graduado en computación que ingresa a carrera de investigador, con beca de doctorado en el CONICET, con algún cargo docente, es como mínimo 10 veces menos que lo que puede ganar un junior en la industria. La diferencia es muy grande, y esa es mi mayor preocupación. Esto en un momento donde necesitamos poner foco en la educación y entender qué tipo de conocimientos necesitan los chicos de primaria y secundaria para afrontar el futuro completamente automatizado que se viene en un montón de dominios. Si no tenemos docentes ni gente con conocimientos que puedan adaptar los programas y todas estas novedades tecnológicas, estamos en problemas.
-Se trata de cuestiones que parecen lejanas frente a otros problemas más cotidianos como la inflación y la pobreza, y sin embargo impactan si se piensa en el desarrollo a futuro del país.
-Sí. También hay que ser crítico de toda esta parte negativa y decir bueno, la automatización nos puede servir para mejorar cosas, aún dentro de nuestras limitaciones. ¿Hasta dónde podemos usar la inteligencia artificial y el avance tecnológico para mejorar algunas de las problemáticas básicas que tenemos en nuestro país? Yo no tengo la respuesta porque no es mi ámbito, pero necesitamos gente pensando en eso, en cómo utilizar esta tecnología y en cómo explotar de la mejor manera las capacidades que tenemos. Sin saber demasiado, me parece que tratar de robustecer el sistema educativo y tratar de apoyarlo puede ser una alternativa. Tenemos una historia en crear gente con mucha capacidad intelectual, muchos argentinos son reconocidos alrededor del mundo y nuestras universidades son buenísimas. Entonces, apalanquemos lo que sabemos que puede llegar a funcionar. Sin ayuda del Estado, e incluso de las empresas tecnológicas locales, eso no es posible.