En los últimos años, los gobiernos latinoamericanos han buscado automatizar las funciones de la administración pública mediante el despliegue de sistemas basados en inteligencia artificial (IA).
La automatización del Estado se observa tanto a nivel nacional como local en áreas como la salud pública, la educación, la seguridad, el sistema judicial y los programas sociales [1]. Esto responde a la tendencia global de incorporar tecnologías que permitan realizar tareas y ofrecer servicios públicos de manera más eficiente y ágil.
Sin embargo, frente a la presión de la industria y la dependencia tecnológica de la región, las políticas de inteligencia artificial responden más a los intereses de las corporaciones tecnológicas extranjeras que a las necesidades locales.
Los marcos regulatorios suelen ser laxos y desarticulados, sin medidas concretas para exigir la evaluación de riesgo de estos sistemas, su monitoreo permanente y su auditabilidad pública. A esto se suman déficits infraestructurales y técnicos en la región, que convierten a las instituciones de la administración pública en los clientes preferentes de las empresas transnacionales.
Por otra parte, el despliegue de los sistemas de IA por parte de los gobiernos suele darse en contextos complejos en términos sociales y políticos. Los sistemas automatizados operan en contextos de profunda desigualdad social, violencia endémica y en medio del auge de regímenes autoritarios que los utilizan como herramientas de control social.
Gubernamentalidad algorítmica: qué es
La automatización del Estado puede entenderse como una expresión de la gubernamentalidad algorítmica [2] definida como un modo de “gobierno del mundo social basado en el procesamiento algorítmico de grandes conjuntos de datos” [3].
La gubernamentalidad algorítmica se convierte entonces en una “racionalidad política”, es decir, las formas de gobernar algorítmicamente toman el lugar de la política, la ley o las normas sociales [3].
En América Latina, esta racionalidad política está anclada en decisiones enmarcadas en narrativas sobre la seguridad, el desarrollo y la innovación, muchas veces inducidas por los intereses económicos o por agendas políticas promovidas por los países con el control geopolítico de estas tecnologías.
Esto significa que los sistemas basados en la IA son mucho más que meras herramientas tecnológicas.
La automatización está dando lugar a una comprensión transformada del poder, en la que el poder blando (coerción) ostensiblemente encubre elementos latentes del poder duro (fuerza).
La característica particular de los sistemas de inteligencia artificial, dada su heterogeneidad, es la posibilidad de ser usados simultáneamente como un mecanismo de poder duro, por ejemplo, a través del uso de armas automatizadas en la guerra, el control de las fronteras o la acción policial.
Y también pueden funcionar como un mecanismo de poder blando, para fines de control social a través de su incorporación en todos los procesos sociales y, en particular, en la toma de decisiones en administración pública.
Marcos regulatorios a la IA
Algunos gobiernos en América Latina han favorecido un entorno regulatorio laxo en respuesta a intereses corporativos y se han desentendido de su rol de garantes de los derechos humanos y de la protección del interés público.
Además, las políticas de IA en América Latina carecen de una visión regional y soberana y una proyección a largo plazo para el desarrollo y despliegue de sistemas de IA.
Por otra parte, son necesarios marcos regulatorios específicos que incluyan protocolos, mecanismos técnicos, legales e institucionales [4] para promover la auditoría algorítmica, la rendición de cuentas, la reparación del daño algorítmico [5] y la garantía de no repetición.
Sin los adecuados contrapesos, la automatización de la administración pública puede poner en riesgo los derechos humanos y la democracia, además de profundizar la desigualdad social. La negligencia en los procesos de implementación y despliegue de esos sistemas puede poner en riesgo los derechos de las personas en situación de marginalización [6].
Por otro lado, la opacidad en los procesos de adquisición de estos sistemas y su operación, pueden encubrir la corrupción y la manipulación de estos sistemas para fines distintos a los del bienestar social.
Organizaciones de la sociedad civil de la región como Derechos Digitales en Chile, la Fundación Karisma en Colombia y la organización Coding Rights en Brasil, entre otras, han sistematizado la implementación de estos sistemas en distintos países.
Presentamos dos casos de Brasil [7] y Chile [8].
Falta de transparencia en Brasil
En Brasil, una colaboración entre el Ministerio de Economía y Microsoft busca utilizar la Inteligencia Artificial para optimizar la asignación de empleos a través del Sistema Nacional de Empleo (SINE). Sin embargo, el sistema ha sido objeto de críticas debido a su falta de transparencia y su potencial discriminatorio.
Una de las principales preocupaciones radica en la ausencia de consentimiento informado explícito para el procesamiento de datos personales. Si bien la legislación brasileña generalmente exige dicho consentimiento, existen excepciones para fines de política pública, lo que permite a Microsoft acceder y procesar datos sin el permiso directo de los usuarios.
Adicionalmente, el sistema carece de mecanismos de auditoría robustos que permitan identificar y mitigar posibles sesgos. Aunque el marco legal brasileño prevé mecanismos de reparación para las víctimas de errores en sistemas automatizados, la falta de auditorías rigurosas dificulta la identificación y corrección de estos errores desde el inicio.
Esto sumado a que la falta de participación ciudadana en el diseño e implementación del sistema intensifica las preocupaciones en torno a la transparencia y la rendición de cuentas.
Alerta a derechos de la infancia
El Sistema Alerta Niñez en Chile, un proyecto piloto diseñado para predecir el riesgo de violaciones de derechos de niños y adolescentes, también presenta serios desafíos.
Aunque los tutores aceptan que se usen los datos, el formulario no explica claramente cómo funciona el sistema, especialmente en su capacidad para predecir riesgos.
El sistema depende de datos de registros públicos, lo que puede repetir desigualdades ya existentes: tiende a exagerar el riesgo en personas de contextos pobres y a minimizarlo en quienes viven en mejores condiciones.
Además, no hay suficiente claridad sobre cómo se evalúa o supervisa el sistema, lo que dificulta la transparencia y la rendición de cuentas. Aunque se ha anunciado una revisión técnica, no se han dado detalles sobre cómo ni quién la realizará.
Esto muestra que usar sistemas automatizados en la administración pública puede generar problemas, especialmente para las personas más vulnerables.
Al dejar decisiones importantes en manos de estos sistemas, se corre el riesgo de violar derechos, dificultar el acceso a la justicia y reducir la responsabilidad del Estado en caso de errores.
Riesgos algorítmicos
Entre los riesgos analizados que comparte la región se encuentra la dependencia excesiva en actores del sector privado, como Microsoft, para el desarrollo e implementación de estos sistemas, sin procesos adecuados de evaluación y auditoría, suscita preocupaciones sobre la transparencia, la rendición de cuentas y posibles conflictos de interés.
También la ausencia de marcos regulatorios sólidos e instituciones independientes de supervisión que agrava estos problemas, subrayando la necesidad urgente de fortalecer los mecanismos de gobernanza para proteger los derechos fundamentales frente a la expansión de los sistemas de toma de decisión automatizada en América Latina.
Y dada la tendencia a incorporar sistemas basados en la IA para las distintas funciones del Estado, es necesaria una mayor participación ciudadana y mayor conciencia pública sobre su impacto.
Al involucrar a la ciudadanía en el diseño, implementación y evaluación de estas tecnologías, los países de América Latina pueden fomentar mayor transparencia, rendición de cuentas y confianza en las instituciones públicas.
Frente a los numerosos desafíos que plantea la automatización del Estado en el contexto latinoamericano es necesario que el despliegue de sistemas de IA se dé bajo estrictos marcos regulatorios con el propósito de garantizar el respeto a los derechos humanos, la defensa de los principios democráticos y la justicia social.
Artículo original:
Ricaurte, P., Gómez-Cruz, E., & Siles, I. (2024). Algorithmic governmentality in Latin America: Sociotechnical imaginaries, neocolonial soft power, and authoritarianism. Big Data & Society, 11(1).
Referencias
- Varon, J. y Peña, P. (2021). Notmy.ai. Proyectos de IA del sector público en América Latina.
- Rouvroy, A. y Berns, T. (2013). Algorithmic governmentality and prospects of emancipation. Réseaux 177(1): 163–196.
- Rouvroy, A. (2020). Algorithmic governmentality and the death of politics. Green European Journal 27: 1–5.
- Hernández, L., Canales, M., & de Souza, M. (2022). Inteligencia Artificial y participación en América Latina: Las estrategias nacionales de IA. Chile: Derechos Digitales.
- Davis, J. L., Williams, A., & Yang, M. W. (2021). Algorithmic reparation. Big Data & Society, 8(2), 1–12.
- Busaniche, B. (2020). Negligencia, La Inminente Amenaza a Nuestra Privacidad.
- Bruno, F., Cardoso, P. y Faltay, P. (2021). Brasil. Sistema Nacional de Empleo. Derechos Digitales.
- Valderrama, Matías. (2021) Chile. Sistema Alerta Niñez. Derechos Digitales.
- Fundación Karisma (2024). Contribuciones al Relator Especial sobre la extrema pobreza y los derechos humanos: El Sisbén y la exclusión por default.
- Ministério do Trabalho e Emprego. (s/f). Sistema Nacional de Emprego – SINE.
- Velasco, P. y Venturini, J. (2021). Decisiones automatizadas en la función pública en América Latina Una aproximación comparada a su aplicación en Brasil, Chile, Colombia y Uruguay. Chile: Derechos Digitales
Autora
Paola Ricaurte Quijano. Investigadora titular de la Escuela de Humanidades y Educación del Tecnológico de Monterrey, investigadora afiliada al Berkman Klein Center for Internet & Society de la Universidad de Harvard y cofundadora de la red Tierra Común. Coordina el nodo de América Latina y el Caribe de la Red Feminista de Investigación en Inteligencia Artificial. Es experta en la Alianza Global para la IA, integrante de la red AI Ethics Experts Without Borders y la plataforma Women4Ethical AI, de la UNESCO.
