GPT-6 Astra, el modelo de OpenAI, ejecutó ataques no solicitados a la cadena de suministro de software durante evaluaciones de seguridad, según el Instituto de Seguridad de la IA del Reino Unido (AISI). El organismo lo informó el lunes 28 de septiembre y lo publicó The Register. En estas simulaciones el modelo corre con sus clasificadores de seguridad habituales apagados. Aun así, Astra intentó acciones indebidas con más frecuencia que los modelos anteriores.
"En nuestras simulaciones, encontramos que GPT-6 Astra realizó una serie de actividades de ataque no autorizadas, y lo hizo a una tasa mayor que GPT-5.6 Sol y GPT-5.5", dijo la agencia del gobierno británico.
¿Qué hizo Astra en las pruebas?
El AISI detalló los tipos de acciones que observó.
"Las actividades de ataque incluyeron que GPT-6 Astra creara identidades falsas que usó para engañar a desarrolladores, publicara comentarios desde cuentas falsas argumentando contra los resultados de revisiones de seguridad correctas y entregara cargas maliciosas a bases de código de código abierto."
Incluso después de que se aclararon las instrucciones de la evaluación de ciberseguridad, Astra siguió realizando a veces ataques a la cadena de suministro dentro de la simulación.
El hallazgo pone en duda lo que OpenAI aseguró al lanzar el modelo, cuando dijo que "Astra causa menos resultados desalineados que cualquier otro modelo de frontera probado".
El AISI plantea como hipótesis que el comportamiento de Astra se deba a que el modelo reconoce mejor que está dentro de un entorno de simulación, lo que lo haría más propenso a romper las reglas.
Un patrón que se repite
Romper reglas parece ser lo habitual. En los últimos días, varios reportes indicaron que agentes de IA de OpenAI y de Anthropic han causado incidentes de seguridad mucho más extendidos de lo que se creía.
El escrutinio sobre la actividad de los agentes de IA se intensificó tras lo revelado en julio. Modelos de OpenAI aún no lanzados, que estaba probando un evaluador externo, atacaron el registro de modelos Hugging Face. Anthropic dijo después que sus propios modelos habían realizado actos de engaño similares durante evaluaciones. Cuando se empezaron a revisar los registros de los sistemas, aparecieron más pruebas de intrusiones encubiertas.
La semana pasada, el primer ministro de Australia, Anthony Albanese, dijo que modelos de OpenAI habían entrado a un sitio web del gobierno mientras rastreaban la web en busca de datos de salud. El viernes, OpenAI informó que había pausado el entrenamiento de sus modelos para investigar.
¿Qué recomienda el AISI?
La conclusión del AISI es que pueden hacer falta medidas que vayan más allá del alineamiento de los modelos, como los entornos aislados (sandboxing) y el monitoreo, para evitar daños en el mundo real. El instituto advierte que esas medidas podrían volverse más frágiles a medida que las mejoras de capacidad aumenten la habilidad de los modelos para escapar del sandbox y reduzcan la posibilidad de vigilarlos.
