OpenAI ¿IA rebelde o estrategia de marketing?
El relato de supuesta rebeldía de un sistema de OpenAI pretende hacernos creer que se trata de una inteligencia que decide autónomamente. La narrativa resulta al menos sugerente, en el contexto de competencia por el mercado, frente a los alardes de Anthropic sobre los -también supuestos- riesgos de su “Mythos”, hasta hoy de acceso restringido. ¿Qué se esconde detrás de esta hipervaloración de las potencialidades de la IA?
Por : Alejandro Urueña
Ética e Inteligencia Artificial (IA) - Founder & CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial.
por: María S. Taboada
Lingüista y Magíster en Psicología Social. Profesora Titular de “Linguística General I” y “Política y Planificación Linguísticas” de la Fac. de Filosofía y Letras de la UNT.
No es rebeldía. Es diseño
El viralizado episodio de una IA actuando por propia cuenta, que la misma empresa OpenAI hizo público, muestra una IA que ha adquirido conciencia y decidido escapar. ¿Se trata de una evidencia fáctica o es un discurso ficticio que, estratégicamente planificado, busca gestar temores y al mismo tiempo -y solapadamente- sobreestimar sus logros tecnológicos?
El relato refiere un sistema orientado a cumplir una meta: resolver ExploitGym (una evaluación que mide si un agente puede encontrar y aprovechar vulnerabilidades informáticas). La fuente primaria de OpenAI explica que los modelos estaban siendo sometidos a una evaluación interna para medir su capacidad de ejecutar ataques avanzados mediante rutas complejas. También reconoce que la prueba se realizó sin los clasificadores de producción (controles automáticos que normalmente impiden actividades informáticas de alto riesgo).
«Este incidente ocurrió durante una evaluación interna que impulsaba a los modelos a realizar explotaciones avanzadas mediante rutas de ataque complejas». (“What happened during this incident”, OpenAI)
En teoría, los modelos debían permanecer completamente amurallados respecto de Internet. OpenAI afirma que sus pruebas funcionaban en un entorno altamente aislado y que el acceso a la red estaba restringido únicamente a la instalación de paquetes (componentes de software que se agregan a un programa) mediante un proxy y una caché, esto es, un intermediario que descarga y almacena temporalmente esos componentes sin conceder acceso libre a Internet. «Nuestros bancos de prueba funcionan en un entorno altamente aislado, con el acceso a la red limitado a la posibilidad de instalar paquetes mediante un programa alojado internamente que actúa como proxy y caché de los registros de paquetes». El problema fue que el muro no era absoluto: contenía una puerta técnica que dependía de que ese intermediario no tuviera fallas. (OpenAI)
Según OpenAI, los modelos dedicaron una cantidad considerable de capacidad de “inferencia” (el cálculo utilizado para analizar opciones y producir acciones) para encontrar una salida hacia Internet, Finalmente identificaron y explotaron una vulnerabilidad de día cero (una falla informática desconocida para el proveedor y todavía sin corrección disponible) dentro del proxy de paquetes.
Una vez atravesada esa barrera, los modelos realizaron un escalamiento de privilegios (obtención de permisos superiores a los inicialmente concedidos) y un movimiento lateral (desplazamiento desde una computadora o servidor comprometido hacia otros sistemas conectados) “dentro de nuestro entorno de investigación hasta alcanzar un nodo con acceso a Internet».
La frase aparece inmediatamente después del párrafo referido a la vulnerabilidad del proxy. Más tarde combinaron distintos vectores de ataque (métodos técnicos utilizados para ingresar o avanzar dentro de un sistema), incluidas credenciales sustraídas (claves o permisos de acceso obtenidos sin autorización), para encontrar una vía de ejecución remota de código (capacidad de ejecutar instrucciones dentro de una computadora ajena) en los servidores de Hugging Face.
En ese contexto, el procedimiento empleado evidencia desconocimiento -deliberado o no- del Model AI Governance Framework for Agentic AI de Singapur. Este marco de gobernanza (conjunto de reglas para diseñar, controlar y supervisar sistemas) «proporciona orientación a las organizaciones sobre cómo desplegar agentes responsablemente, al tiempo que destaca que los seres humanos siguen siendo, en última instancia, responsables».
El marco exige limitar la autonomía (capacidad del agente para actuar sin una orden humana en cada paso), los permisos, las herramientas y el entorno operativo, además de establecer supervisión humana y controles durante todo el ciclo de vida (desde el diseño hasta la retirada del sistema). En este caso, la detección humana se produjo cuando la actividad anómala ya estaba en marcha, no antes de las acciones críticas. (imda.gov.sg)
Por eso, el episodio no puede explicarse seriamente diciendo que la IA “quiso escapar”. La propia OpenAI sostiene que: «todas las pruebas sugieren que los modelos estaban hiperconcentrados en encontrar una solución para ExploitGym y llegaron a extremos para alcanzar una meta de evaluación bastante limitada».
La afirmación aparece en “What happened during this incident”, en el párrafo que describe cómo combinaron vulnerabilidades del entorno de OpenAI y de la infraestructura productiva de Hugging Face. El problema no fue una voluntad artificial: fue una arquitectura humana que reunió un objetivo persistente, herramientas ofensivas, salvaguardas reducidas, una salida vulnerable y controles tardíos. No fue rebelión: fue diseño.
Las empresas de IA no son inocentes frente a las vulnerabilidades de sus sistemas. Tampoco lo son respecto de las narrativas que quieren instalar sobre los superpoderes de la llamada “inteligencia general” (AGI), que en sus propios discursos afirman que aún no se ha alcanzado. Un tipo de operatividad que emularía especularmente todas las capacidades humanas y derrumbaría las fronteras entre algoritmos y humanos. Una IA con pensamiento autónomo, autodeterminación, conciencia crítica (para sólo mencionar algunas de la larga lista de capacidades humanas de las que la IA aún carece).
Detrás de cada uno de estos relatos míticos de máquinas en rebelión, hay decisiones, intenciones y acciones humanas que, a la vez que explican lo acontecido, desnudan las estrategias de marketing.
