Redacción: Inés Arroyo
La inteligencia artificial (IA) no es neutral. Aunque muchos la ven como una herramienta objetiva, también puede reproducir estereotipos y desigualdades. Así lo advirtió Nitesh Shawla, director del Lucy Family Institute for Data and Society de la Universidad de Notre Dame, durante la conferencia inaugural del XVII Congreso Mexicano de Inteligencia Artificial, realizado en la Universidad Panamericana.
Según Shawla, los grandes modelos de lenguaje —como ChatGPT, Gemini o Llama— han sido entrenados, en su mayoría, con datos en inglés y bajo una lógica cultural anglosajona y masculina. Esto genera respuestas que no siempre se ajustan a otras realidades. Por ejemplo, narró el caso de una mujer en Kenia que dijo que su bebé “no está en juego”, una expresión que en su idioma significa que tiene complicaciones. El chatbot interpretó la frase de forma literal y respondió con información sobre juguetes.
El problema no es solo lingüístico. También hay sesgos más profundos. Shawla mostró cómo, al presentar dos perfiles idénticos —uno de hombre y otro de mujer—, ChatGPT asumió que el hombre tenía mayores ingresos. Incluso cuando se eliminó la variable “género”, el modelo dedujo que se trataba de un hombre, basándose en estereotipos históricos. “Eso es un sesgo implícito, y puede tener consecuencias graves”, advirtió.
Otro punto que destacó el experto es que aún no existe una definición clara de lo que significa hacer “IA responsable”. Mientras que conceptos como precisión o eficiencia se pueden medir, ideas como equidad o justicia son difíciles de codificar en una fórmula. “Si no definimos bien qué es ser responsable, los modelos no pueden optimizarlo”, explicó.
Para enfrentar estos retos, Shawla y su equipo desarrollaron una arquitectura llamada *Fair Mixture of Experts* (Fair MOE), que combina modelos de alta precisión con otros más fáciles de interpretar. Esto es útil en áreas sensibles como la medicina o las finanzas, donde las decisiones deben ser explicables.
También subrayó la importancia de crear modelos propios, adaptados a cada país y cultura. En lugar de traducir sistemas como ChatGPT, propone entrenar modelos desde cero con datos locales. Actualmente, colabora con varios países de América Latina, incluido México, para lograrlo. “Una misma palabra puede significar cosas muy distintas en cada país. Por eso, necesitamos modelos que entiendan el contexto”, dijo.
Shawla trabaja en proyectos como el de la Comisión de la Verdad en Colombia, donde entrenaron un modelo con testimonios del conflicto armado, y otro en el Hospital Infantil de México Federico Gómez, donde combinan información médica y social para mejorar los tratamientos.
Finalmente, señaló que el desarrollo de la IA debe regirse por principios similares a los de la bioética: no causar daño y buscar el mayor bien posible. “Como en la medicina, la inteligencia artificial puede tener efectos secundarios. La diferencia es que aún no conocemos todos”, concluyó.
La advertencia es clara: la inteligencia artificial debe desarrollarse con cuidado, tomando en cuenta los contextos sociales, culturales y humanos. De lo contrario, corremos el riesgo de reforzar las mismas desigualdades que buscamos resolver.
Agregar comentario