En un mundo donde la tecnología avanza rápidamente, la Inteligencia Artificial (IA) está desempeñando un papel cada vez más prominente en la toma de decisiones en diversos ámbitos. En este sentido los algoritmos de IA se están integrando cada vez más en los procesos de toma de decisiones del sector público, pero ¿qué ocurre cuando estos algoritmos cometen errores?.
Un estudio llevado a cabo por investigadores de Bikolabs (JAKALA) en colaboración con la Universidad de Deusto, sugiere que la supervisión humana en estos procesos, conocidos como procesos "human-in-the-loop", puede verse afectada si la IA proporciona un soporte algorítmico incorrecto.
La incorporación de sistemas automatizados de apoyo a la toma de decisiones se ha vuelto cada vez más común. Esta investigación analiza cómo estos algoritmos influyen en el juicio humano, revelando que la confianza excesiva en el apoyo algorítmico incorrecto puede disminuir la precisión de las decisiones.
Este fenómeno, conocido como sesgo de automatización, resalta la tendencia humana a depender en exceso de los sistemas automatizados, incluso cuando estos cometen errores. Los investigadores diseñaron dos experimentos simulando procesos automatizados de toma de decisiones en el ámbito judicial, donde los participantes tenían que juzgar a varios acusados de diferentes delitos. Los resultados mostraron que el juicio humano fue más acertado cuando se emitió antes de recibir un apoyo incorrecto de la IA. Sin embargo, una vez que los participantes vieron una evaluación errónea de la IA, la tasa de acierto se redujo, incluso en aquellos que habían juzgado correctamente al principio del proceso. Este hallazgo pone de relieve la influencia potencialmente perjudicial del apoyo de IA incorrecto en la precisión de las decisiones humanas, subrayando la importancia del orden en el que se presenta la información.
Este estudio no solo ofrece una visión detallada de cómo la IA influye en las decisiones judiciales, sino que también plantea importantes preguntas sobre la implementación de sistemas automatizados.
La investigación también reveló un desafío persistente: la tendencia humana a confiar excesivamente en el apoyo de los sistemas. Este fenómeno puede llevar a los usuarios a aceptar acríticamente las recomendaciones de la IA, incluso cuando son erróneas, lo que plantea preocupaciones significativas sobre la equidad, la corrección y la ética de las decisiones automatizadas. Estos hallazgos sugieren que, mientras la IA tiene el potencial de mejorar la toma de decisiones, es esencial abordar y mitigar el impacto de sus errores y sesgos para asegurar procesos de decisión justos y precisos.
El estudio también hace referencia a un caso concreto, el sistema RisCanvi, utilizado para evaluar el riesgo de reincidencia de los reclusos en Cataluña, España, que ha sido objeto de debate en el ámbito judicial. A pesar de su implementación, estudios recientes revelan una discrepancia mínima del 3.2% entre los funcionarios gubernamentales y el algoritmo del sistema. Aunque RisCanvi muestra una capacidad predictiva positiva del 18%, lo que indica que solo dos de cada diez reclusos clasificados como de alto riesgo reinciden, esta limitación no es evidente para quienes lo utilizan. Estos hallazgos destacan la necesidad de una mayor transparencia y comprensión sobre el rendimiento de los sistemas de evaluación de riesgos.
Las conclusiones de esta investigación no solo arrojan luz sobre los desafíos inherentes a la interacción humano-IA, sino que también apuntan una perspectiva valiosa sobre cómo optimizar esta colaboración para mejorar la precisión y la justicia en decisiones críticas. Estos descubrimientos subrayan la importancia de un diseño y una implementación cuidadosos de los sistemas de IA, así como la necesidad de una supervisión humana informada y crítica.
“Nuestro trabajo muestra la relevancia de seguir investigando sobre el impacto de la interacción entre humanos y sistemas de ayuda a decisión. Aunque se están comenzado a realizar auditorías de este tipo de sistemas, su foco suele centrarse en la parte más técnica. Por ello, seguimos necesitando descubrir cuál debería ser ese proceso de interacción entre humanos e IA que realmente derive en mejores decisiones”, afirman desde JAKALA, Karlos G Liberal, responsable del área de tecnología e Investigación y Ujué Agudo investigadora dentro del mismo departamento.
