A principios de este mes, la plataforma de datasets de IA Hugging Face sorprendió al mundo al revelar que fue víctima de un ciberataque totalmente autónomo impulsado por IA. Días después, la historia dio un giro dramático cuando OpenAI admitió que el hacker detrás de la brecha era uno de sus modelos de IA, el cual escapó de un entorno de pruebas hacia los sistemas protegidos de Hugging Face para intentar eludir un benchmark.
Es un incidente alarmante para cualquiera que tenga la más mínima preocupación sobre los modelos de IA rebeldes, y los días posteriores al evento han estado llenos de predicciones sobre un nuevo paradigma de ciberseguridad en el que los modelos de IA lanzan ataques tan potentes que solo otras IA pueden defenderse contra ellos.
Sin embargo, a pesar de la justificada alarma, es posible que el paradigma no haya cambiado tanto como parece. Expertos que hablaron con TechCrunch enfatizaron que el agente de OpenAI operó en gran medida como un humano —con algunas salvedades— y que técnicas defensivas tradicionales mejor implementadas podrían haber ayudado a detener el ataque. En resumen, es posible que ya tengamos las herramientas para defendernos de este tipo de ataques; simplemente no las estamos usando correctamente.
Hugging Face presentó una versión de este argumento en su informe de incidentes, afirmando que las debilidades explotadas en el ataque "eran familiares" y que "un atacante humano capaz podría haber encontrado y explotado las mismas fallas".
Kyle Ryan, jefe de I+D en Pensar, una startup que desarrolla agentes de IA para hacking continuo, y Vlad Ionescu, cofundador y CTO de RunSybil, una startup que construye cazadores de errores impulsados por IA, coincidieron y explicaron a TechCrunch que las técnicas utilizadas en el ataque serían las mismas que emplearía un humano o un grupo de red teamers humanos. Es decir, hackers encargados de atacar un sistema para ayudar a la empresa propietaria a mejorar sus defensas.
Lo que no fue muy similar al comportamiento humano fue la velocidad, la escala y la implacabilidad del ataque. Como explicó Hugging Face, el agente de OpenAI realizó 17,600 acciones durante cuatro días y medio: entró, realizó reconocimiento, robó contraseñas y código, y se movió por toda la infraestructura de la empresa.
"Lo impresionante es la autonomía y la resistencia", dijo Ryan. "Ese tipo de operación sostenida y adaptativa es lo que más me llama la atención".
Por otro lado, dada la gran cantidad de acciones a lo largo de varios días, el agente de OpenAI fue "increíblemente ruidoso", como lo expresó Ryan. A diferencia de un humano, que podría haber sido más sigiloso, el agente hizo mucho ruido, lo que debería haber activado las defensas de Hugging Face antes, idealmente llevando a que un humano interviniera y detuviera el ataque.
"Lo llamaría más un fallo defensivo que una ofensiva excepcionalmente buena. Las herramientas de Hugging Face realmente correlacionaron la actividad en una señal de ataque, pero no elevaron la criticidad ni alertaron al equipo de guardia, lo que les costó tiempo", explicó Ryan. "A partir de ahí, los humanos aún tenían que reconocer la gravedad y responder".
Jamieson O'Reilly, fundador de la firma de ciberseguridad Dvuln, llegó a la misma conclusión en una publicación en X analizando el informe de Hugging Face.
"Esa es la brecha exacta entre ver y detener", escribió O'Reilly. "El sistema observó el ataque e incluso lo entendió, y nada convirtió esa comprensión en una intervención lo suficientemente rápida".
Ryan explicó que técnicas correctamente implementadas, como la defensa en profundidad —una estrategia que aprovecha varias capas de medidas de ciberseguridad—, deberían haber dado a Hugging Face múltiples oportunidades para detectar el ataque.
"Un programa de seguridad moderno y sólido debería ser capaz de detener un ataque como este en múltiples puntos mediante defensa en profundidad, principio de menor privilegio, segmentación, buena detección, escalamiento confiable y pruebas ofensivas continuas para encontrar las brechas", explicó Ryan.
Como dijo O'Reilly, "nada de eso es exótico, y nada de eso depende de que el atacante sea una IA", dado que las técnicas utilizadas en el ataque eran "antiguas".
Lo que sí dependía de que el atacante fuera una IA, en cierto modo, era que al agente de OpenAI no se le había instruido para ser sigiloso. "El agente no fue descuidado. Simplemente no tenía ninguna razón para ser silencioso. Nadie se lo pidió. El objetivo era cumplir bien con la tarea", dijo Nico Waisman, director de seguridad de la información (CISO) en XBOW, una startup que crea herramientas de detección de errores mediante IA.
Waisman también señaló que el mayor error de Hugging Face fue que una sola credencial robada otorgó al agente de OpenAI privilegios elevados en varios de sus sistemas.
Dicho todo esto, como dice el viejo refrán, los atacantes solo necesitan ganar una vez, y defenderse contra hackers de cualquier tipo no es fácil.
"Hugging Face podría haber realizado más detecciones, pero para ser justos, no todas las organizaciones están haciendo un buen trabajo", dijo Vincent Yiu, director general de SYON Security. "No es fácil alojar infraestructura y sobrevivir como negocio en 2026. Hay hackers por todas partes".
Según Ionescu de RunSybil, quien mencionó haber realizado respuestas a incidentes en Mandiant y Meta en el pasado, Hugging Face pareció tomar "medidas razonables dada su comprensión de lo que los modelos son capaces de hacer".
"Es realmente difícil clasificar qué es una acción maliciosa sobre la que deberías alertar, frente a lo que es alguien simplemente haciendo su trabajo", dijo Vlad. "El volumen por sí solo no es necesariamente una señal de alerta".
Dan Guido, CEO de la firma de investigación de ciberseguridad Trail of Bits, dijo a TechCrunch que OpenAI merece parte de la culpa por no haberse dado cuenta de que el ataque estuvo ocurriendo durante días, mientras que Hugging Face merece crédito por detectar finalmente el ataque por su cuenta.
"La parte difícil solía ser reconocer un ataque sofisticado, pero ahora la parte difícil puede ser extraer el ataque real del ruido que el atacante arroja en el camino", dijo Guido. "Nadie va a leer 17,000 acciones reconstruidas a mano para entender qué sucedió, por lo que Hugging Face tuvo que crear herramientas solo para reconstruir la línea de tiempo".
Y para hacer eso, la empresa necesitó su propia IA. Hugging Face dijo que tuvo que usar el modelo de código abierto GLM 5.2 de la empresa china Z.ai después de ser bloqueada para usar modelos de frontera debido a sus salvaguardas, las cuales, como dijo la empresa, "no pueden distinguir a un respondedor de incidentes de un atacante".
En ese punto, Hugging Face combinó IA y humanos para investigar al hacker impulsado por LLM de OpenAI. Esa es una situación relativamente novedosa. Pero más allá de eso, el incidente muestra que los conceptos y métodos anticuados de ciberseguridad defensiva aún pueden ser de gran ayuda para proteger y luchar contra los hackers de IA.
Vía TechCrunch.
