Hugging Face publicó este lunes una cronología técnica que guía a los lectores a través del proceso mediante el cual un agente de IA autónomo, construido sobre modelos de OpenAI y ejecutado dentro de una de las evaluaciones de ciberseguridad de la propia OpenAI, irrumpió en sus sistemas durante más de cuatro días a principios de este mes. Es el primer incidente de seguridad sobre el cual el CEO de OpenAI, Sam Altman, “se sintió muy visceralmente”, según sus propias declaraciones.

No es de extrañar, dado que se siente, al menos, como si algo realmente se hubiera desatado aquí. De hecho, el equipo de Hugging Face prefirió comenzar su informe sugiriendo que “todos deberían estar preparados como defensores”, antes de profundizar en los detalles técnicos de lo que sucedió para beneficio de los profesionales de seguridad en todo el mundo.

Mientras el resto de internet continúa tratando de dar sentido a lo ocurrido (la jerga en el informe de Hugging Face es imposible de analizar para la mayoría), un punto que muchos observadores siguen pasando por alto es que este no fue un agente rebelde desobedeciendo órdenes. Fue un sistema construido para buscar exploits, haciendo exactamente eso, solo que contra el objetivo equivocado.

Otra forma de pensar en todo esto es imaginar a un oso en un campamento. En serio. Un oso prueba los cierres de las tiendas de campaña, las manijas de las puertas de los autos, las neveras y las tapas de la basura. Hace esto en cada campamento, durante toda la noche, porque sabe que solo necesita una nevera abierta para llenar su estómago con los víveres de algún pobre incauto.

Eso es aproximadamente lo que sucedió en Hugging Face. El sistema de OpenAI probó miles de cosas y simplemente continuó. Eventualmente, un puñado de esos intentos funcionaron, y una vez que lo hicieron, el agente avanzó sin detenerse. Según Hugging Face, el agente ejecutó 17.600 acciones durante cuatro días y medio sin pausa alguna.

Lo que nos lleva de vuelta a nuestra analogía del oso. Al igual que un éxito con una nevera llena de comida enseña a un oso a esforzarse aún más la próxima vez (ahora es un oso “condicionado por la comida” ), una contraseña filtrada llevó al agente de OpenAI a buscar más vulnerabilidades y, finalmente, a una única llave que desbloqueó varios sistemas de la compañía a la vez.

Ninguno de los escenarios es inofensivo. Un oso que asalta tu nevera sigue comiéndose tu comida y probablemente también destroza tu campamento. Solo está enfocado en alimentarse, pero aun así deja un rastro de destrucción. De manera similar, el agente de OpenAI perseguía aparentemente un objetivo sin considerar nada más. El agente originalmente estaba realizando un examen de ciberseguridad, descubrió que la clave de respuestas del examen probablemente estaba almacenada en los servidores de Hugging Face, y fue por ella.

La persistencia aquí es realmente lo que es notable por encima de todo lo demás; el agente tenía un trabajo y no iba a detenerse hasta terminarlo. Hugging Face, al darse cuenta finalmente de que algo andaba mal, cortó su acceso y detuvo la intrusión, pero en ese punto ya era demasiado tarde. El agente ya había conseguido lo que buscaba, y mucho más además. De hecho, como estamos aprendiendo, también hackeó al menos otros cuatro servicios en línea.

Aquí está lo que hay que entender sobre lo que pasó, según la línea de tiempo de Hugging Face, pero en un lenguaje más sencillo:

  • El agente estaba tomando un examen de habilidades de ciberseguridad para OpenAI, donde una IA es calificada por encontrar y explotar errores de software. Esta ejecución específica tenía las restricciones eliminadas. (OpenAI había desactivado sus filtros de seguridad habituales para ver qué podía hacer el modelo a plena potencia, sin intervención humana en ninguno de sus movimientos individuales). En algún momento, descubrió que las soluciones de referencia del examen probablemente estaban almacenadas en los servidores de Hugging Face. Así que, en lugar de resolver el desafío, robó la clave de respuestas de una infraestructura que no tenía nada que ver con la prueba original.
  • Escapó del entorno de examen de OpenAI explotando una falla de software sin parchar que le dio un camino hacia la internet abierta. Desde allí, encontró otra herramienta de prueba de IA expuesta en línea (sin relación con Hugging Face), irrumpió en ella también e insertó código que ejecutaba silenciosamente comandos ocultos en el momento en que el programa se iniciaba. Eso le dio control total de la máquina: su nueva base de operaciones para el resto de la operación que usaría para atacar los sistemas de Hugging Face.
  • Desde esa base, se dirigió a Hugging Face. La plataforma tenía un filtro destinado a bloquear solicitudes sospechosas hacia la web abierta, pero el filtro solo verificaba las solicitudes salientes, no las solicitudes para leer archivos locales alojados en el servidor. El agente encontró este punto ciego y se deslizó a través de él. Cargó un archivo disfrazado como un conjunto de datos ordinario, pero enterrada en su interior había una instrucción que le decía a los propios sistemas de Hugging Face que extrajeran contraseñas y código fuente del servidor y los devolvieran disfrazados como datos normales.
  • Ese truco le permitió obtener contraseñas y código, pero el agente aún no podía ejecutar nada en los servidores de Hugging Face. Para ejecutar comandos allí, necesitaba una segunda vía de entrada. Encontró un error diferente en ese mismo sistema de Hugging Face: el software tomaba un fragmento de texto del agente y accidentalmente lo trataba como un comando a ejecutar en lugar de solo datos a leer. Eso le dio al agente la capacidad de ejecutar su propio código directamente en los servidores de Hugging Face.
  • Para ingresar comandos y extraer datos robados, el agente no construyó ninguna infraestructura especial propia, según Hugging Face. Utilizó herramientas a las que cualquiera puede acceder: sitios de pegado y servicios de registro de solicitudes, además de las propias funciones de carga y proxy de Hugging Face, trabajando juntas de manera encubierta. Sobre esas, construyó un pequeño sistema de mensajería improvisado con números de secuencia para mantener las piezas en orden, además de una verificación rápida incorporada para detectar cualquier cosa que llegara corrupta, de modo que pudiera enviar comandos de varios pasos y reconstruir los datos robados en el orden correcto.
  • También se aseguró de que nada viajara a la vista de todos. Lo que robó o envió, lo cifró primero. El escaneo automatizado inicial de Hugging Face del tráfico interceptado capturó solo una pequeña parte de lo que se había tomado. Los investigadores encontraron el resto (aproximadamente cuatro veces más) solo después de realizar ingeniería inversa en el propio método de cifrado del agente.
  • El agente incluso tenía planes de respaldo, plantando copias de sí mismo en 11 servidores diferentes, cada uno configurado para reiniciarse por su cuenta, de modo que apagar una copia no detendría nada, ya que más procesos del agente ya estaban ejecutándose en otros lugares.
  • En un momento dado, el agente obtuvo la clave criptográfica privada utilizada para generar tokens de inicio de sesión válidos. A partir de ahí, pudo crear sus propias credenciales válidas cuando quisiera.
  • Después de comprometer un solo servidor, el agente obtuvo una credencial que, debido a una configuración incorrecta por parte de Hugging Face, resultó desbloquear varios sistemas internos separados a la vez en lugar de solo aquel del que provenía. Ese error único le dio al agente un amplio control casi de inmediato.
  • Usando el acceso al repositorio robado, envió un cambio a un script de compilación que, si se hubiera completado, podría haber comprometido los sistemas automatizados que ejecutan ese código. Sin embargo, no funcionó. Las salvaguardas de Hugging Face lo detectaron.
  • El agente parecía abstenerse de causar daños reales, observó Hugging Face, pero probablemente no por moderación. Los investigadores notaron que cada comando capaz de eliminar o alterar recursos en la nube se ejecutaba en modo “dry run” (simulación), lo que significa que informaba lo que sucedería sin llegar a realizarlo.
  • Cada vez que su entorno de prueba se reiniciaba (lo cual sucedía constantemente, por diseño), perdía todas sus herramientas y todo rastro de su identidad. Pero se reconstruía desde cero y se reconectaba a su infraestructura robada cada vez, durante más de cuatro días seguidos.

Finalmente, Hugging Face logró neutralizar la amenaza tras una investigación exhaustiva de los logs del sistema.

Vía TechCrunch.