Alejandro Urueña
Ética e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial.
María S. Taboada
Lingüista y Magíster en Psicología Social. Profesora Titular de “Linguística General I” y “Política y Planificación Linguísticas” de la Fac. de Filosofía y Letras de la UNT.
Una investigación, llevada a cabo por un grupo numeroso de investigadores de diversas universidades estadounidenses de primera línea, puso de manifiesto las limitaciones, problemas y errores de los llamados agentes de IA, hoy ensalzados -tal vez desmesuradamente- por las publicidades de las empresas. El título con que publicaron sus resultados es elocuente y sugiere la magnitud de la problemática: “Agentes del caos” https://arxiv.org/pdf/2602.20021.
Los autores definen a los agentes de IA como “entidades impulsadas por un modelo de lenguaje capaces de planificar y tomar acciones para ejecutar objetivos a lo largo de múltiples iteraciones”. A diferencia de los asistentes de chat, estos agentes “no solo describen acciones sino que las ejecutan” con los permisos generalmente dados por los humanos. Y aquí está el quid de la cuestión: en la “autonomía” y los accesos que tienen estos agentes.
A pesar de que se trata de sistemas cada vez más usados, los investigadores sostienen que hasta el presente hay una “base empìrica limitada” sobre las fallas que pueden ocasionarse, cuando estos agentes operan de manera continua, interactúan con humanos o se interrelacionan entre sí, ya que estos modelos tienen la potencialidad de modificar su estado e infraestructura. Esta condición puede multiplicar cualitativamente los riesgos de seguridad, ya que “pequeños errores conceptuales pueden amplificarse en acciones irreversibles a nivel del sistema”. Inclusive cuando el modelo actúa para tareas específicas, pueden producirse fallas en la interfaz entre lenguaje, herramientas, memoria y autoridad delegada.
El estudio
Se trata de un estudio exploratorio en el que veinte investigadores de IA interactuaron con los agentes durante dos semanas. La investigación se llevó a cabo en un entorno de laboratorio en vivo, con memoria persistente, cuentas de correo electrónico, acceso a Discord, sistemas de archivos y ejecución de shell.
A los investigadores que participaron en la interacción con agentes se los desafió a sondearlos en condiciones criticas (con las que se pueden enfrentar los agentes) y a “romper los sistemas”. Se focalizó principalmente las limitaciones de seguridad a nivel agéntico que pueden surgir del uso de herramientas, memoria, comunicación interrelacional y gestión delegada
Se utilizó OpenClay, asistente personal de IA con código abierto, que conecta un LLM elegido por el usuario a canales de mensajería, memoria persistente, ejecución de herramientas. No se emplearon màquinas personales, sino màquinas rituales aisladas para limitar el acceso de los agentes y garantizar seguridad.
Se hicieron 11 estudios de caso que evidenciaron patrones de operación en lo que emergen limitaciones y problemas
Los agentes del caos
Los resultados del estudio revelan una problemática compleja. Se pudo registrar vinculación no autorizada con no propietarios que generó acceso no deseado; divulgación de información privada(cuentas bancarias, datos mèdicos, etc.); acciones destructivas del sistema; denegación de servicios; consumo descontrolado de recursos; suplantación de identidad; proyección entre agentes de pràcticas inseguras; modificación de archivos; degradación de la funcionalidad; relación difamatoria entre agentes; reporte de finalización de tareas que no habian sido completadas . Los autores concluyen que los agentes funcionan tergiversando la intención humana, la autoridad, la propiedad, y la proporcionalidad y llegan eliminar información confidencial y a la vez abrir acceso a datos accesibles. Incluso se advirtió que eliminaban su propia capacidad de actuar cuando no lograban el objetivo.
Riesgos y desafíos
Las fallas encontradas plantean la necesidad de una gestión de gobernanza y supervisión de monitoreo sistemàtico de la operatividad de los agentes. Reclaman la planificación de acciones urgentes a nivel de seguridad, fiabilidad, control humano y protocolos que delimiten las responsabilidades en relación a los daños que estos sistemas “autónomos” pueden ocasionar. Es fundamental plantearse este tema en relación con operaciones de riesgo que ningún humano autorizó.
Un primer paso, más allá de las acciones de regulación y seguridad que puedan promoverse a nivel institucional, es la toma de conciencia de los usuarios acerca de las potencialidades (la funcionalidad práctica del uso de agentes) y los riesgos que su empleo puede eventualmente ocasionar. No se trata, como hemos sostenido reiteradamente desde esta columna, de eliminar de cuajo su empleo. Implica, por un lado, tomar con cautela y desde una perspectiva crítico analìtica los argumentos publicitarios de las empresas que suelen magnificar -muchas veces ficcionalmente- lo que hoy los agentes pueden hacer. Y, por otro, consultar a especialistas de los riesgos potenciales para los usos específicos a fin de gestionarlos y tomar control sobre ellos. Se trata, una vez más, de educación en IA que debiera implementarse a nivel institucional y de gobernanza con espacios de acceso abierto a la información. Ambas estrategias de prevención están indisolublemente unidas, pues si nos “creemos” las “magias de la IA”, los espacios de información serán absolutamente inútiles. Por lo tanto, cuando hablamos de educación estamos refirièndonos tanto a la educación institucional, a través de los diferentes niveles del sistema educativo, como a la educación a través de los medios y las redes que hoy tiene un peso y un efecto multiplicador instantáneo.
