Cuando el algoritmo se equivoca

Por Alejandro Urueña - Ética e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial.

María S. Taboada - Lingüista y Mg. en Psicología Social. Prof. de Lingüística General I y Política y Planificación Lingüísticas de la Fac. de Filosofía y Letras de la UNT.

Los sistemas judiciales comienzan a enfrentar un nuevo actor imprevisible: la inteligencia artificial. ¿Quién responde cuando la máquina yerra? ¿Qué garantías procesales sobreviven al sesgo algorítmico?

En los últimos años, diversos actores del mundo jurídico han comenzado a explorar en tribunales el uso de herramientas basadas en inteligencia artificial generativa . Esta incorporación ha abierto múltiples líneas de pensamiento en torno a sus implicancias prácticas, éticas y legales. Por un lado, se valora su potencial para agilizar tareas repetitivas, redactar borradores o encontrar patrones en grandes volúmenes de información. Por otro, se ha observado cómo estas mismas herramientas pueden introducir errores significativos que ponen en jaque los principios del debido proceso.

Las “alucinaciones”

Una serie de episodios recientes ha dado visibilidad al fenómeno de las llamadas “alucinaciones algorítmicas”: respuestas falsas o inventadas que los modelos generan cuando no tienen información certera para ofrecer. Según informó MIT Technology Review (20/5/25), Cómo la IA está introduciendo errores en los tribunales se han registrado casos en California, Israel y Estados Unidos en los que escritos judiciales incluyeron citas a normas jurídicas inexistentes o precedentes inventados, todos producto del uso sin supervisión de IA generativa.

En uno de esos casos, un juez federal multó con US$31.000 a un bufete de abogados por presentar un escrito apoyado en jurisprudencia completamente ficticia generada por un modelo de lenguaje. En otro, una solicitud en Israel se citó artículos de una ley que jamás fueron promulgados. Estos hechos han provocado interrogantes sobre los límites y responsabilidades asociadas al uso de este tipo de tecnologías en contextos jurídicos.

Uno de los desafíos más persistentes al trabajar con modelos de lenguaje es que, a menudo, generan respuestas incluso cuando no cuentan con la información necesaria para hacerlo. Esta tendencia puede derivar en errores sutiles o, en casos más delicados, en respuestas peligrosas o directamente inventadas. Por ejemplo, al solicitar a un sistema que extraiga datos específicos de un documento legal, es posible que el modelo proporcione detalles inexistentes con total seguridad, como si fueran ciertos. Este fenómeno, conocido como “alucinación”, no se corrige fácilmente ni siquiera cuando se intenta orientar al modelo con indicaciones claras como “no sé” o “no corresponde”. La fluidez del lenguaje que ofrece no siempre va de la mano con la veracidad de su contenido. Y si bien existen herramientas que permiten aplicar filtros o mecanismos de seguridad para prevenir contenidos ofensivos o proteger datos sensibles, resulta mucho más difícil detectar las imprecisiones fácticas, que siguen apareciendo con una frecuencia notable, incluso en tareas aparentemente simples como resumir textos jurídicos. En este contexto, la intervención humana se vuelve irremplazable: monitorear, verificar y ejercer control crítico sobre las respuestas generadas por la IA ya no es opcional, sino una condición esencial para evitar que el expediente judicial se llene de afirmaciones impecables desde la forma, pero vacías —o erróneas en el fondo, ver esta recomendaciones minimas para las mejores practicas en los Largos Modelos de Lenguaje.

En paralelo, voces provenientes del pensamiento crítico y filosófico, como la del autor francés Éric Sadin, han puesto el foco en un fenómeno más profundo: la progresiva delegación del juicio simbólico humano a sistemas automáticos que, si bien eficientes, carecen de ética, contexto y experiencia completa. Sadin sugiere que estamos ante un cambio de época, en la que el lenguaje y con él, el pensamiento se externaliza en máquinas capaces de decidir, opinar y sugerir sin conciencia.

Desde esta mirada, el problema no reside únicamente en los errores puntuales, sino en el delegamiento paulatino de capacidades humanas esenciales: interpretar, valorar, construir argumentos, ejercer criterio. La regulación, bajo este enfoque, se percibe como una respuesta parcial, que tiende a clasificar riesgos sin abordar el trasfondo cultural y simbólico del fenómeno donde se encuentra el impulso creativo vital humano.

Frente a estas visiones, cabe preguntarse qué lugar deben ocupar las herramientas algorítmicas en un sistema jurídico que se pretende garantista e independiente. ¿Podríamos aceptar que una decisión judicial se base en datos generados por procesos matematizados que, eventualmente, puede “alucinar”? ¿Qué consecuencias tiene eso en los derechos de las personas involucradas?

Sugiere, pero no piensa

Más que ofrecer respuestas cerradas, estas preguntas abren un espacio para la reflexión a la vez profesional y colectiva. Porque si bien la inteligencia artificial puede ser una aliada poderosa en términos de eficiencia y automatización, difícilmente pueda reemplazar al menos por ahora el juicio crítico, la estrategia argumentativa, la sensibilidad ante lo singular y el respeto por el debido proceso.

Al igual que una calculadora jurídica o una hoja de cálculo, un modelo de lenguaje puede organizar, sugerir y estructurar. Pero no piensa, no comprende, no evalúa contextos epistémicos ni emocionales, como tampoco consecuencias jurídicas. Su rol, entonces, podría pensarse más bien como el de un instrumento sofisticado, útil en manos expertas, pero incapaz de actuar sin supervisión.

No olvidemos que, cuando no sabe cómo responder, la IA inventa. Por eso, quizás el punto clave no sea cuánto puede hacer la máquina, sino cuánto estamos dispuestos a delegar sin supervisión. En la práctica del derecho como en tantas otras áreas críticas el control humano no es un accesorio, es el corazón del sistema.