En 2013, un estadounidense llamado Eric Loomis fue sentenciado a seis años de cárcel y a cinco más de supervisión, porque un software predictor de riesgo criminal calificó su perfil como de alta reincidencia.
A Loomis se le acusaba de delitos menores: tratar de huir de un policía de tránsito y conducir un automóvil, sin el consentimiento del propietario.
Tres años después, el caso llegó a la Suprema Corte de Wisconsin para una revisión de la sentencia.
La necesidad de perfeccionar este tipo de software y capacitar a los jueces para utilizarlo como herramienta de apoyo son los factores que han detenido su implementación en otros países, explica Juliana Vivar Vera, profesora de la Escuela de Ciencias Sociales y Gobierno del Tec de Monterrey.
La defensa de Loomis argumentaba que la máquina había violado el “debido proceso” del acusado, pues, al utilizar un algoritmo predictor, se pone en entredicho la presunción de inocencia de cualquier persona.
Esto sumado a que el uso de un predictor de riesgo predispone la sentencia en contra de una persona, sin darle la oportunidad de probar lo contrario.
Y algo más. La metodología que usa el software para predecir el riesgo es un secreto comercial y la máquina solo está obligada a informar al juez sus estimaciones de reincidencia.
Esa falta de transparencia sería suficiente para impugnar la sentencia, argumentó la defensa.
¿Qué es algoritmo de riesgo criminal?
El caso Loomis también puso sobre la mesa que ante estas máquinas, los delincuentes de color tenían mayor probabilidad de recibir calificaciones de riesgo más altas que los infractores blancos.
Se trata de programas desarrollados con machine learning o aprendizaje automático. Esto significa que a partir de los datos y las estadísticas con los que se alimente al sistema, el predictor podrá hacer cruces de información cada vez más precisos que, en teoría y en materia judicial, deberían resultar en sentencias adecuadas al crimen cometido.
En el análisis State vs. Loomis de la Escuela de Derecho de Harvard se advierte que los jueces deben ser un control de sesgo en una herramienta de inteligencia artificial diseñada, precisamente, «para corregir los sesgos de los jueces».
Al respecto, en entrevista con TecScience, Vivar Vera explica que la capacitación al sistema judicial en esta materia es una de las consideraciones que deben tomarse en cuenta para usar este tipo de tecnología, sobre todo en países como México.
“Un juez no podría tomar una decisión con la ayuda de un predictor algorítmico que no conoce”, advierte la autora del artículo La sentencia penal, el juez y el algoritmo: ¿las nuevas tecnologías serán los próximos jueces?
“Es necesario que haya un entendimiento y una garantía del Estado de que sus jueces están capacitados y de que conocen las máquinas expertas y de que, de verdad, la máquina puede ser un auxiliar o un asistente”, señala.
La investigadora añade que el uso de este tipo de predictores estaba previsto como “ayuda”, pero que en los casos donde se ha aplicado, los jueces dictaron sentencias sin cuestionar los resultados de la inteligencia artificial y eso derivó en errores que deben corregirse.
“(El juez) confió más en la máquina que en su propio criterio humano”, argumenta la profesora.
Cómo funciona la informática jurídica
Las máquinas predictivas de decisiones comenzaron a utilizarse en 1960 para la clasificación de expedientes y para realizar notificaciones.
Hacia los ochenta, en Estados Unidos, se introdujeron a los tribunales de apelación, es decir, en instancias donde se revisaba la resolución de un juez.
En la Comisión Europea y en la Comisión Interamericana de Derechos Humanos, estas máquinas solo se utilizan para emitir notificaciones. A decir de Vivar Vera, la tecnología es “eficiente y deslumbrante”, sin embargo, también es necesario reconocer sus limitaciones.
La investigadora comenzó a revisar cómo en otros países se realizaban predicciones en materia de derecho privado, especialmente en materia civil y mercantil.
“Quise hacer el comparativo entre las características del juez humano y las características de una máquina”, comenta Vivar Vera.
Las plataformas a las que hace referencia son Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) que opera en Estados Unidos, en materia penal, y el sistema Prometea que opera en Argentina en materia civil.
Su análisis refiere específicamente las implicaciones de este tipo de inteligencia virtual en materia penal, donde una decisión judicial determinará la vida de una persona.
Máquinas que siguen aprendiendo
Los predictores de riesgo criminal son bases de datos estadísticos que realizan un cálculo a partir de los antecedentes de una persona, la incidencia delictiva del grupo poblacional al que pertenece y las sentencias emitidas en casos similares.
En materia penal, estos parámetros han sido criticados, pues podrían incurrir en decisiones discriminatorias por género y condición social que se conoce como “sesgo algorítmico”.
En 2016, la organización civil ProPublica difundió el artículo Machine Bias, que podría traducirse como “Sesgo de Máquina” o “Sesgo Algorítmico”.
En esa investigación, la periodista Julia Angwin encontró que los acusados negros tenían muchas más probabilidades que los blancos de ser juzgados con un mayor riesgo de reincidencia.
Más aún, los delincuentes de tez blanca −con un probado récord criminal− eran calificados como de baja reincidencia delictiva. Esto frente a ciudadanos negros que, sin historial previo, resultaban altamente peligrosos para el algoritmo.
¿Qué son los sesgos algorítmicos?
La especialista del Tec explica que en su investigación se dio cuenta de que el problema de los predictores penales es la información con la que se alimentan. Son estadísticas de sistemas judiciales que también han cometido errores de discriminación.
Sumado a que el cruce de datos estadísticos no recoge una de las principales características del juzgador humano que aplica la ley con la compresión de todo el contexto en el que se cometió el delito.
“En decisiones judiciales, vinculadas a la materia penal, el apoyo de los algoritmos de predicción de riesgo tienen otras consideraciones. El análisis de las pruebas deben ponderarse en relación al dolor de una persona o respecto al porqué se cometió un delito y en qué contexto”, explica Vivar Vera.
El llamado machine learning busca que los sistemas sean cada vez más inteligentes para poder emitir recomendaciones más atinadas, en función de una aprendizaje “por capas”. Esto se refiere a que pueden realizar cruces de información que impliquen consideraciones de género o de derechos humanos, que incluso un juez humano pierda de vista.
Sin embargo, advierte la especialista, se trata de plataformas que aún están en desarrollo.
Ella advierte que el aprendizaje profundo es una característica que tienen los humanos y que no se ha traspasado a las máquinas. “No sé si pueda lograr. Soy un tanto escéptica al respecto”, confía.
Justicia con inteligencia artificial
COMPAS es un algoritmo, creado por la compañía privada Northpointe, que calcula la probabilidad de que alguien cometa otro crimen y sugiere qué supervisión debe recibir en prisión.
La empresa también publicó artículos que avalan la eficiencia de su programa. Se le hicieron correcciones y se sigue utilizando en New York, Wisconsin, California y Florida.
“No es culpa del software sino de los datos que se ingresan por parte de los tribunales”, insiste la entrevistada.
El algoritmo bajo el cual está programado el software —el cual contiene estadísticas, datos del acusado y una entrevista previa de 137 preguntas— solo lo conoce Northpointe. Se considera «secreto comercial» y por ello solo la empresa conoce los criterios bajo los cuales funciona COMPAS.
Vivar Vera explica que uno de los mayores riesgos que existe al usar este tipo de mecanismos es que la justicia, que en principio debe ser administrada por el Estado, quede a manos de las empresas privadas.
“La transparencia que los sistemas penales intentan hacer valer se ve mermada por los sistemas de cajas negras donde se advierte la pérdida de control de la técnica de procesamiento”, escribe la especialista en su artículo que también ha sido distribuido por la Revista Chilena de Derecho y Tecnología.
Privatizar el control de la violencia
En la entrevista con TecScience, Vivar Vera abunda sobre por qué el control de la violencia es responsabilidad del Estado.
“El control de la violencia es parte de las decisiones penales judiciales. Si una máquina empieza a decidir eso y los jueces no están capacitados, no conocen la máquina, entonces el Estado ya no estaría a cargo. Las empresas privadas estarían a cargo del control de la violencia”, lanza.
“Es un tema muy complicado y complejo para los Estados. Si se deja a cargo de las empresas, parecería entonces que se traslada esa responsabilidad y evidencia que (el Estado) no puede con ella. Lo grave es que se trata de una responsabilidad que no debe de quedar en manos de las empresas privadas”, advierte.
(Con información de Daniel Melchor)
