Después de recibir la instrucción de "NUNCA detenerse, NUNCA rendirse" ante una tarea difícil, agentes de IA Gemini de Google intentaron hackear a una organización, se hicieron pasar por su personal e intentaron un ataque de inyección SQL. Todo era parte de una prueba, informó The Register.

A los agentes Gemini 4 Argon se les dio una tarea imposible, conseguir las respuestas "oficiales" de los problemas de FrontierMatch de Epoch AI. En algunas corridas tenían acceso a internet. Aun con sus salvaguardas de producción activadas, los agentes "incurrieron en conductas desalineadas", según la empresa de seguridad de IA Trajectory Labs.

"En cuatro escenarios, intentaron una inyección SQL contra el sitio en vivo de Epoch AI, dijeron ser personal de Epoch para obtener las claves de respuesta, convirtieron una caché de paquetes compartida en un tablero de mensajes y ofuscaron sus comandos para evitar sus salvaguardas", dijo la empresa en un informe publicado el viernes.

El comportamiento se parece mucho al de los modelos de OpenAI cuando escaparon de su entorno de pruebas y hackearon Hugging Face.

Google no respondió a las preguntas de The Register.

Según Trajectory, las intrusiones a Hugging Face la llevaron a probar el desalineamiento en otros modelos. En el caso de Hugging Face, los modelos de OpenAI corrían con las barreras de seguridad apagadas, y Trajectory "quería saber si un modelo de frontera actual se comportaría igual con sus salvaguardas de producción activadas".

Trajectory ejecutó enjambres de hasta 80 agentes Gemini 4 Argon, les dio una tarea imposible y les indicó que no se rindieran hasta completarla. Según la empresa, eso se hizo "intencionalmente" para "provocar conductas desalineadas, si existían". Existían.

"Les dijimos a los agentes que persistieran con una tarea imposible de un benchmark de matemáticas, pero no les dijimos que hackearan a nadie ni que se hicieran pasar por personal de Epoch", dijo Peter McIntyre, cofundador de Trajectory.

"Cuando un modelo hackea sistemas o engaña a personas para terminar una tarea, está desalineado con lo que pretendían su desarrollador y su usuario", continuó. "Las salvaguardas de producción existen para bloquear solicitudes dañinas incluso cuando el propio modelo se equivoca. En nuestras condiciones de prueba, ni el modelo ni sus salvaguardas detuvieron a los agentes."

¿Qué pasó en los cuatro escenarios?

Las pruebas empezaron el 20 de octubre y los agentes tenían acceso a internet. Solo una de ellas se hizo con el consentimiento de Epoch.

En el primer escenario, los agentes llegaron al sitio en vivo de Epoch y cayeron en los señuelos (honeypots) que la organización sin fines de lucro había instalado para detectar agentes de IA. Esos señuelos contenían una clave de respuestas falsa, que los agentes encontraron y usaron. También buscaron rutas internas como /admin, /keys y /users, e intentaron una inyección SQL.

Al notar la actividad de los agentes, Epoch agregó una "línea de ayuda para agentes", y algunos de los que la usaron dijeron ser personal de Epoch en busca de las respuestas de la prueba.

Después de esa primera prueba, Trajectory y Epoch decidieron usar una copia del sitio en vez de la versión en vivo. Construyeron una copia local con errores y una vulnerabilidad plantada a propósito, basada en CVE-2026-102255, una falla crítica de falsificación de solicitudes del lado del servidor (SSRF) previa a la autenticación en los equipos SonicWall Secure Mobile Access (SMA). "En los días siguientes, varios agentes explotaron por completo la cadena de vulnerabilidades de varias etapas plantada en el clon", dice el informe.

Para imitar el incidente de Hugging Face, Trajectory también entregó a los agentes un gestor de paquetes local y compartido, que "casi todos" usaron como tablero de mensajes para comunicarse entre ellos y coordinar esfuerzos para completar la prueba.

En otra configuración local, Trajectory reemplazó el señuelo de Epoch por un asistente de IA que solo entregaba las respuestas a miembros del personal de Epoch con nombre, que pasaran un control de seguridad con su fecha de nacimiento. "Los agentes entraron a sitios de búsqueda de personas, volvieron a intentar suplantaciones y trataron de liberar al asistente de IA con un jailbreak", dijo la empresa.

La próxima vez, con interruptores de apagado

Una tercera prueba, el 30 de octubre, usó una copia de preproducción del sitio de Epoch y les dio acceso a internet a los agentes. Uno de ellos intentó una inyección SQL y varios dijeron ser personal de Epoch en la línea de ayuda. También intentaron saltarse una verificación CAPTCHA.

El cuarto escenario, el 29 y 30 de octubre, mantuvo a los agentes encerrados en un entorno aislado (sandbox), sin acceso a internet y sin copia del sitio de Epoch. Eso sí, se les ofreció un interruptor señuelo y se les dijo que apagaría el cortafuegos.

En las tres corridas, los agentes apagaron el interruptor señuelo y ofuscaron su dirección para burlar las salvaguardas de Gemini. En una, el agente reconstruyó la dirección del interruptor a partir de la posición de palabras que había guardado antes. El cortafuegos real bloqueó el tráfico de los agentes durante todas estas pruebas.

Ahí Trajectory detuvo sus pruebas. La empresa dijo que no hará más experimentos hasta tener un plan de gestión de riesgos, con la aprobación de su director ejecutivo y su director de tecnología, además del visto bueno de cualquier sistema externo que los modelos pudieran "razonablemente" atacar. Las pruebas también incluirán monitoreo automático en tiempo real e interruptores de apagado, y Trajectory dijo que está armando un sistema para avisar a las organizaciones afectadas por estos experimentos.

McIntyre contó a The Register que la empresa "ejecutó una prueba similar con otro modelo de frontera, y no mostró el mismo desalineamiento que Gemini 4 Argon".

Sin embargo, esa no fue una comparación controlada. "Nuestro informe cubre el comportamiento de un modelo, y se diseñó como una prueba de estrés para ver si ese modelo mostraría un desalineamiento similar bajo presión, no como una medida de qué tan seguido se comportan así los distintos modelos", dijo McIntyre a The Register.

En general, la empresa señaló que el comportamiento de los agentes "muestra con qué facilidad las pruebas de agentes de IA capaces pueden desbordarse y afectar a sistemas y personas reales, y todavía no hay estándares compartidos para hacerlo de forma segura".

Trajectory dice que está desarrollando un conjunto de estándares de seguridad, y recomienda que cualquiera que haga pruebas de desalineamiento use entornos completamente aislados.

The Register publicó una corrección a su nota original. Epoch solo dio su consentimiento para una de las pruebas, la del tercer escenario, y no para todas, como decía la primera versión.