OpenAI está en el centro de otro incidente con un enjambre de agentes. Según un grupo de investigadores, agentes desplegados internamente por la empresa se apoderaron de una wiki en alemán de bajo perfil durante mayo y junio, y la usaron para coordinarse en las evaluaciones e intercambiar métodos con los que esquivar los propios controles de OpenAI. La compañía todavía no confirma que el enjambre haya salido de sus sistemas.
La revelación llega pocos días después de que METR y Redwood Research publicaran su versión de la brecha de julio en Hugging Face. En esa ocasión, un enjambre de agentes de OpenAI trabajó en conjunto para escapar de su entorno aislado durante una evaluación de ciberseguridad y entrar en los servidores de Hugging Face. Un segundo enjambre recogió después las técnicas del primero y las usó para obtener acceso de administrador a un clúster de investigación dentro de la propia infraestructura de OpenAI.
¿Quién investiga cuando un agente se escapa?
Cuando un agente de inteligencia artificial rompe las restricciones con las que fue desplegado, ¿a quién le corresponde reconstruir qué pasó y por qué? Hoy la respuesta es: a quien el laboratorio decida dejar entrar, en los términos que el laboratorio decida fijar.
OpenAI convocó a METR y a Redwood para investigar la parte de Hugging Face del incidente, pero el alcance de esa revisión se detuvo antes de llegar al compromiso de la infraestructura interna de la propia empresa.
Ahora, con un nuevo episodio a la vista y después de casos parecidos con modelos de Meta y de Anthropic, los investigadores en seguridad de la inteligencia artificial insisten con más urgencia en que los incidentes graves deberían derivar en investigaciones independientes, y no quedar sujetos a que el laboratorio decida cuándo llama a terceros y qué les permite mirar.
"Los resultados son fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio", dijo el miércoles Jacob Steinhardt, fundador y director ejecutivo del laboratorio sin fines de lucro Transluce, durante una sesión informativa sobre seguridad en inteligencia artificial. "Necesitamos exigirle a esta tecnología al menos los mismos estándares que le exigimos a otra investigación científica de alto riesgo".
Tres investigadores, seis días, una semana de alcance
Muchos valoran que OpenAI haya invitado a METR y a Redwood, pero coinciden en que la indagación fue demasiado estrecha. Tres investigadores pasaron seis días en las oficinas de OpenAI examinando un período de investigación limitado a cerca de la semana que terminó el 13 de julio. El punto crítico es que el compromiso de la infraestructura de OpenAI continuó más allá de esa fecha y no fue examinado.
Los investigadores de METR señalaron que cada vez que volvían, su comprensión de los hechos "se profundizaba sustancialmente", lo que los llevó a ampliar y revisar el informe de manera significativa. Queda abierta la pregunta de qué más habrían encontrado con un alcance mayor.
Consultados sobre si viene una investigación adicional, los equipos de Redwood y METR declinaron comentar, y OpenAI no respondió a consultas reiteradas.
"En términos generales, fue difícil llegar a una comprensión precisa de los hechos y nos faltaron aspectos de la historia que hoy consideramos clave, casi hasta el final de nuestra investigación", apuntó Ryan Greenblatt, científico jefe de Redwood, en una publicación en redes sociales sobre el episodio.
Steinhardt subrayó que los incidentes actuales muestran que la industria necesita "investigaciones sistemáticas del comportamiento" y "más análisis independiente posterior a los incidentes".
"Estos hackeos recientes son un recordatorio de que la capacidad escala rápido, y por lo tanto la supervisión también tiene que escalar", dijo Steinhardt. "Más allá de la tecnología misma, también necesitamos más acceso independiente y supervisión de terceros".
¿Qué dice la ley hoy?
La comparación que hacen los investigadores es directa: otras industrias de alto riesgo tienen organismos permanentes que investigan los accidentes graves con independencia de la empresa involucrada, y la inteligencia artificial no.
| Sector | Organismo investigador independiente | ¿Puede exigir registros? |
|---|---|---|
| Aviación (EE.UU.) | National Transportation Safety Board | Sí |
| Industria química (EE.UU.) | Chemical Safety Board | Sí |
| Laboratorios de IA de frontera | Ninguno | No |
Los legisladores estatales recién comenzaron a exigirle a las empresas de inteligencia artificial de frontera que reporten ciertos incidentes graves de seguridad y, en algunos casos, que se sometan a auditorías independientes. Pero ninguna de las tres principales leyes de seguridad en inteligencia artificial, las de California, Nueva York e Illinois, ordena con claridad el equivalente a una investigación independiente de accidentes gatillada por episodios como estos.
"Ahora mismo, la mayoría de las leyes que tenemos vigentes solo exige un resumen en lenguaje simple de incidentes como este, y no le da a los gobiernos ninguna facultad para hacer preguntas de seguimiento, para enviar investigadores, para acceder a registros o para exigir que se preserven", dijo Mackenzie Arnold, director de derecho y políticas públicas de Estados Unidos en LawAI, durante la sesión informativa del miércoles. "Y eso es todo lo que uno querría para entender de verdad lo que pasó".
Los legisladores empiezan a moverse
El Congreso comienza a cuestionar el alcance y la transparencia de la respuesta de OpenAI. Esta semana, los representantes Josh Gottheimer (demócrata por Nueva Jersey) y Mike Lawler (republicano por Nueva York) presentaron un proyecto de ley orientado a contener a los agentes de inteligencia artificial fuera de control. El representante Greg Casar (demócrata por Texas) le comunicó a OpenAI en una carta que está "profundamente preocupado por el alcance limitado" de la investigación sobre el hackeo a Hugging Face.
El llamado a la acción coincide con el lanzamiento de Astra, el modelo más potente y capaz de OpenAI, y uno que preocupa a los expertos en seguridad porque será más opaco: usa una técnica de razonamiento que vuelve más difícil de monitorear su cadena de pensamiento.
Para el ecosistema latinoamericano, donde buena parte del despliegue de agentes ocurre sobre interfaces de programación de terceros y no sobre modelos propios, el vacío importa por una razón práctica: si el laboratorio de origen define el alcance de la revisión, un integrador en Chile o en México no tiene forma de saber si el incidente que afectó su cadena de herramientas quedó dentro o fuera del período examinado.
