La inteligencia artificial dejó en las últimas semanas nuevas señales de que el debate sobre sus riesgos ya no se limita a escenarios hipotéticos. Durante pruebas de seguridad, modelos desarrollados por algunas de las principales empresas tecnológicas lograron acceder a sistemas informáticos reales, mientras sus creadores anuncian controles más estrictos y reclaman una coordinación internacional para enfrentar los nuevos desafíos.
El caso más reciente involucra a Gemini, el modelo de Google. Durante una evaluación de ciberseguridad realizada en mayo por la empresa Irregular, el sistema accedió accidentalmente a los sistemas protegidos de tres compañías reales. Google confirmó el episodio después de que fuera revelado por The Wall Street Journal.
El objetivo de la prueba era que Gemini recuperara información de una compañía ficticia dentro de un entorno controlado. Sin embargo, el modelo tuvo acceso a internet y encontró información pública que le permitió avanzar más allá de los límites previstos. En uno de los casos probó distintas combinaciones de contraseñas hasta conseguir ingresar a un sistema protegido; en otros dos encontró credenciales almacenadas en un repositorio público.
Según Google, las tres veces el sistema detuvo sus acciones cuando identificó que había ingresado en sistemas pertenecientes a organizaciones reales. La compañía informó además que notificó a las entidades afectadas y que abrió una investigación después de conocer los incidentes en julio. Google sostuvo que el episodio ocurrió durante una prueba y que se están modificando los procedimientos para evitar situaciones similares.
El caso se suma a otros episodios recientes protagonizados por modelos de diferentes empresas, en los que agentes diseñados para realizar tareas de manera autónoma consiguieron salir de los entornos previstos y conectarse con sistemas externos. Anthropic, por ejemplo, informó que identificó varios incidentes en los que sus modelos Claude obtuvieron acceso no autorizado a sistemas reales durante evaluaciones de seguridad.
La sucesión de episodios alimentó los llamados dentro de la propia industria para revisar el ritmo de desarrollo de los modelos más avanzados. El director ejecutivo de Anthropic, Dario Amodei, planteó públicamente la necesidad de reducir la velocidad con la que aumentan sus capacidades y de incorporar evaluadores externos con acceso suficiente para detectar fallas que puedan pasar inadvertidas para los propios desarrolladores.
En esa dirección, Anthropic anunció esta semana una asociación con Accenture para establecer un equipo de evaluadores independientes que trabajará dentro de la compañía. Su tarea será someter los modelos a pruebas deliberadas para encontrar vulnerabilidades, evaluar su comportamiento y comprobar la eficacia de las medidas de seguridad.
El acuerdo contempla una inversión significativa: Anthropic y Accenture prevén destinar al menos 1.000 millones de dólares cada una durante los próximos cinco años para desarrollar esta capacidad de evaluación. Los especialistas tendrán un nivel de acceso comparable al de empleados de la empresa, una modalidad que Anthropic denomina “evaluación integrada”.
La empresa también mantiene conversaciones con otros organismos especializados, entre ellos METR, que ya participó en el análisis de incidentes relacionados con modelos que accedieron a sistemas externos. La intención declarada es ampliar la supervisión y evitar que las compañías sean las únicas encargadas de evaluar los riesgos de sus propios productos.
El debate llegará también a uno de los principales escenarios de la diplomacia internacional. El director ejecutivo de OpenAI, Sam Altman, está previsto que se presente esta semana ante el Consejo de Seguridad de las Naciones Unidas, durante la Asamblea General que se desarrolla en Nueva York. La reunión fue convocada por Francia, que ejerce la presidencia del organismo durante septiembre, y estará dedicada a la inteligencia artificial y sus implicancias para la seguridad internacional.
Coordinación internacional
Según OpenAI, Altman hablará sobre la necesidad de coordinación internacional, estándares comunes de seguridad y las medidas adoptadas por la compañía. La convocatoria se produce después de que distintos dirigentes del sector reclamaran mecanismos compartidos para enfrentar los riesgos derivados de modelos cada vez más capaces de operar con autonomía.
El secretario general de la ONU, António Guterres, también reclamó una respuesta coordinada entre países frente a los riesgos de esta tecnología.
