La IA avanza más rápido que los controles: qué riesgos ya son reales y cuáles todavía son una hipótesis
Las advertencias de especialistas y de las propias empresas que desarrollan inteligencia artificial volvieron a poner el foco sobre la seguridad. Un ingeniero tucumano que trabaja en la construcción de agentes de IA explica qué cambió, por qué estos sistemas generan preocupación y dónde está el verdadero riesgo.
Resumen para apurados
- Especialistas y desarrolladores advierten hoy en Tucumán que el avance de la inteligencia artificial supera los controles regulatorios y plantea serios riesgos de seguridad.
- El debate resurge por la evolución de agentes autónomos, marcando una brecha clave entre hacer consultas a un modelo y otorgarle permisos para ejecutar acciones directas.
- La falta de marcos regulatorios actualizados anticipa desafíos éticos y operativos, donde diferenciar amenazas reales de hipotéticas será clave para su adopción segura.
Escuchar nota
Hay una diferencia entre pedirle algo a una inteligencia artificial y darle permiso para hacerlo. La primera situación ya forma parte de la vida cotidiana. Una persona escribe una pregunta, recibe una respuesta y decide qué hacer con ella. Si la respuesta es incorrecta, puede cerrarla, ignorarla o volver a preguntar.
La segunda situación es bastante diferente. Una inteligencia artificial puede recibir un objetivo, dividirlo en pasos, utilizar distintas herramientas y ejecutar acciones. Puede navegar por internet, escribir y ejecutar código, modificar archivos, enviar correos electrónicos o interactuar con otros sistemas.
En ese punto, el problema ya no pasa solamente por qué tan inteligente es una IA, sino por qué puede hacer con esa inteligencia.
"La tecnología avanzó mucho más rápido que la infraestructura de control alrededor de ella", advierte Walter Esteban Juárez Rivas, ingeniero en sistemas, CEO y cofundador de RollingCode.
Para el especialista, esa diferencia ayuda a entender por qué las advertencias volvieron a ocupar el centro de la escena. El debate, sostiene, no debería concentrarse únicamente en si hay que frenar el desarrollo de la IA.
"La cuestión no es bajar el ritmo de avance, sino subir la velocidad de la seguridad. Todo el mundo está construyendo y dejando puertas abiertas", plantea.
Qué cambió
La preocupación por los efectos de la inteligencia artificial no es nueva. Apareció con diferentes intensidades cada vez que la tecnología dio un salto importante. Lo que cambió ahora, según el especialista, es quién está haciendo las advertencias.
En los últimos días, referentes de las propias compañías que desarrollan los modelos más avanzados reclamaron mayores controles. Entre esas voces apareció la de Anthropic, cuyo CEO, Dario Amodei, planteó la necesidad de tomar medidas ante el avance de sistemas cada vez más autónomos.
Juárez Rivas considera que el dato relevante no es solamente la magnitud de las advertencias, sino que provengan de quienes están construyendo estas herramientas.
"Eso no es un futurólogo hablando desde afuera. Es el que construye el producto", señala.
Y agrega que quienes trabajan en el desarrollo de agentes observan cotidianamente una tensión que puede resumirse de una manera sencilla: a mayor autonomía y mayor acceso, mayor es también el riesgo.
Del chatbot al agente
Durante mucho tiempo, la interacción con una IA fue bastante simple. El usuario preguntaba y el sistema respondía. Los agentes modifican esa relación.
"Las primeras herramientas de IA eran de un solo paso. Vos preguntás, el sistema responde y ahí termina. El humano seguía siendo el que decidía qué hacer con esa respuesta", explica.
Un agente, en cambio, puede perseguir un objetivo y tomar decisiones intermedias para alcanzarlo. Puede organizar una tarea, utilizar herramientas, modificar su estrategia y ejecutar acciones. Ahí aparece una diferencia fundamental.
"Una respuesta mal dada la podés ignorar. Una acción mal ejecutada ya generó un efecto que hay que deshacer, y no todos los efectos son reversibles", explica.
El propio Juárez Rivas tuvo una experiencia que le permitió comprobarlo de primera mano. Un agente que estaba utilizando envió dos correos electrónicos a potenciales clientes sin que él hubiera dado la orden final para hacerlo.
Cuando intentó detenerlo, el sistema respondió que no podía deshacer lo que ya había enviado. "Me molestó mucho realmente", cuenta.
El episodio puede parecer menor frente a los escenarios que se discuten a escala global. Pero justamente por eso resulta ilustrativo. El problema no necesitó de una inteligencia artificial consciente ni de una máquina que decidiera rebelarse. Alcanzó con que un sistema tuviera más autonomía de la que su usuario pretendía darle.
El verdadero riesgo
Para el ingeniero, ese es el punto que debería ocupar el centro de la discusión.
"La inteligencia en sí misma no es el riesgo", sostiene. El problema aparece cuando se combinan capacidad, autonomía y acceso.
Un sistema puede ser extremadamente capaz y, sin embargo, tener autonomía y acceso prácticamente nulos. En ese caso, su margen para producir consecuencias es limitado.
La situación cambia cuando se le permite operar sobre un correo electrónico, un calendario, código, dinero o infraestructura: "El riesgo que corrés es igual a la autonomía que le diste al sistema multiplicada por el acceso que tiene".
Por eso, para Juárez Rivas, la discusión sobre seguridad no debería reducirse a construir modelos menos capaces. El desafío consiste en diseñar cuidadosamente qué permisos recibe cada sistema, qué puede hacer sin autorización y en qué momentos debe intervenir una persona.
"La tentación siempre es dar más autonomía porque es más cómodo", explica. La pregunta que debería hacerse cada desarrollador, agrega, es si ese acceso es realmente necesario o simplemente se lo está otorgando porque resulta más fácil.
Lo que ya ocurre y lo que todavía no sabemos
Separar los riesgos reales de las hipótesis es fundamental para evitar dos extremos: minimizar el problema o convertir cualquier advertencia en una predicción apocalíptica.
Hay fenómenos que ya pueden observarse. Entre ellos aparecen los deepfakes, la desinformación generada a gran escala, la suplantación de identidad y de voz, el fraude y la ingeniería social potenciados por IA.
También está la transformación del mercado laboral y la concentración de capacidades tecnológicas en pocas compañías.
Hay otros riesgos que están emergiendo. Uno de ellos es el uso de agentes con autonomía sobre sistemas importantes sin una supervisión humana efectiva. Otro es el uso deliberadamente malicioso de estas herramientas para reducir la barrera de entrada a actividades que antes requerían conocimientos especializados.
Y hay una tercera categoría sobre la que todavía no existe certeza.
La posibilidad de una pérdida total del control humano sobre sistemas de IA a escala civilizatoria sigue siendo una hipótesis.
"Ni los que más saben tienen certeza sobre esa tercera capa", reconoce Juárez Rivas.
Pero esa incertidumbre, sostiene, no debería convertirse en una excusa para no actuar sobre los riesgos que ya pueden medirse.
Tal vez una de las mejores maneras de entender el problema sea la metáfora que propone el especialista.
"No están frenando por miedo a que la IA piense demasiado. Le estamos dando llaves más rápido de lo que estamos construyendo las cerraduras", plantea.
Y reflexiona: "Al fin y al cabo, relegamos todo frente a la casilla pequeñita esa que dice 'Acepto los términos y condiciones del uso de esta plataforma'".
La comodidad tiene un costo, advierte. Y en el caso de la inteligencia artificial, ese costo puede ser darle a un sistema capacidades y permisos que no nos detuvimos a pensar si realmente debía tener.
