Cuando la IA te hace perder el juicio

Por Alejandro Urueña / Ética e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial.

La noche anterior a su declaración, Josh Autenrieth todavía estaba escribiendo. No un informe: prompts (las instrucciones que se le dan a un programa de inteligencia artificial para que produzca un texto). Autenrieth es ingeniero de KnightHawk Engineering y 3M lo había contratado como perito de parte (un experto que elige, paga y presenta una de las partes del juicio, a diferencia del perito que designa el tribunal) para sostener que la empresa había cumplido el estándar de cuidado (la diligencia que se le exige a un profesional en su oficio) al calibrar los detectores de gas de Watson Grinding. Su primera instrucción a ChatGPT no dejaba lugar a interpretaciones: “Estoy siendo contratado como perito profesional por 3M en defensa de ellos en sus juicios... Necesito demostrar que 3M cumplió el estándar de cuidado y por qué” (documento de prompts agregado al expediente, captura de la primera instrucción). Cargó cientos de documentos del expediente al chat y tecleó la orden decisiva: “mostrá cómo 3M tiene 0% de culpa en la explosión de Watson Grinding”(captura de la instrucción). El modelo de lenguaje (un programa que predice la continuación más probable de un texto, no que verifica si es cierto) hizo lo que se le pidió: devolvió un borrador que concluía que 3M era “0% responsable”. Y en algún momento el perito apretó “Compartir”, que en ChatGPT crea un enlace compartido (una dirección pública: cualquiera que la tenga puede leer la conversación entera). Nunca lo cerró.

Lo que estaba en juego no era menor. El 24 de enero de 2020, en el noroeste de Houston, una manguera de goma “degradada y mal engarzada” soltó propileno durante la noche dentro de la planta de Watson Grinding; el gas se acumuló, alguien encendió una luz y la explosión mató a tres personas y dañó cientos de edificios del vecindario. La Junta de Seguridad Química de Estados Unidos (la agencia federal que investiga accidentes industriales) identificó tres causas concurrentes: la manguera, una válvula de cierre que no se cerró al terminar el turno y un sistema automático de detección de gas, alarma, ventilación y corte que estaba fuera de servicio (informe final de la CSB, 29/06/2023; comunicado oficial). Ese sistema es el que 3M inspeccionaba. Con más de dos mil vecinos demandando, el litigio se organizó en causas acumuladas con juicios testigo (grupos de demandantes elegidos al azar cuyo resultado orienta al resto), y ahí entró Will Moye, uno de los abogados de los vecinos. Entre los papeles que el perito entregó en el intercambio de prueba (la etapa en que las partes deben mostrarse mutuamente los documentos que van a usar, mucho más amplia en Estados Unidos que en la Argentina) había uno de cinco páginas titulado “Citation Overlay”, una lista de citas superpuesta al informe. Moye lo leyó y reconoció el estilo de máquina: formato perfecto, frases genéricas, citas ordenadas en serie. Hizo lo que haría cualquiera con un celular: copió una frase y la buscó en internet. Google le devolvió el enlace chatgpt.com/share con la conversación completa. Al cierre de esta nota, seguía abierto.

Con el enlace en la mano, Moye esperó a tener al perito bajo juramento. “¿Se da cuenta, señor, de que su chat sigue siendo público en este momento?”. Autenrieth: “No tengo idea de cómo funciona” (transcripción del examen directo de Moye a Autenrieth, causa 2020-05505-A, Harris County, foja 42). La deposición (la declaración del testigo fuera de la sala, bajo juramento y con registro taquigráfico) se suspendió tres horas para recolectar el historial, y Moye exigió formalmente la producción de los registros: unas 350 páginas de prompts entraron al expediente (documento “AI prompts”, DocumentCloud). Ya en el juicio se los leyó al perito y al jurado. Autenrieth se defendió con una imagen que quedará en los manuales: sus opiniones estaban ahí, dijo, y la IA solo lo ayudó a redactar “un espantapájaros para construir encima”. Después vino la factura: 174 horas a 475 dólares la hora (foja 65) por un informe escrito en gran parte por una máquina. El intento de excluir al perito por falta de confiabilidad no prosperó, y no hacía falta: el jurado ya había escuchado todo. Tras cinco semanas de juicio, el lunes 10 de agosto de 2026 devolvió un veredicto de 61.578.273,19 dólares para veinticuatro vecinos y atribuyó a 3M el 30% de la responsabilidad por la explosión (comunicado de Kwok Daniel, estudio litigante, 10/08/2026; comunicado de Arnold & Itkin, 11/08/2026). Es el tercer veredicto contra 3M en cuatro juicios; los dos anteriores sumaron más de 156 millones, y el próximo, con cincuenta demandantes, está fijado para octubre (comunicado de Kwok Daniel, Business Wire). 3M, a través de un vocero: “No estamos de acuerdo con el veredicto y creemos que no está respaldado por la prueba ni por el derecho”.

Conviene entender por qué esto es peligroso y mas. Un modelo de lenguaje no examina: predice. Si se le pide que demuestre una conclusión, la demuestra, con la seguridad y las citas que hagan falta; el estándar técnico del NIST (el instituto de normas de Estados Unidos) llama a eso confabulación (contenido falso o erróneo presentado con aparente seguridad, lo que coloquialmente se conoce como “alucinación”) y advierte que el sistema puede inventar también la lógica y las referencias que justifican la respuesta (NIST AI 600-1, § 2.2). Un perito es alguien que llega a una conclusión después de examinar; un prompt con la conclusión adentro invierte el orden y convierte el dictamen en un alegato con membrete técnico. El problema no fue usar la herramienta. Fue que la pregunta contenía la respuesta, que nadie validó el resultado contra la fuente, y que la trazabilidad (la posibilidad de reconstruir qué datos entraron, qué se hizo con ellos y qué salió) funcionó al revés de como el perito la imaginaba: el rastro que no borró fue la prueba que lo hundió.