OpenAI perdió el control de sus modelos en el hackeo a Hugging Face

OpenAI estaba probando las capacidades cibernéticas ofensivas de sus modelos más avanzados cuando estos superaron su entorno de prueba aislado, accedieron a internet abierta y hackearon a Hugging Face. Nuevos reportes están completando los detalles, y no dejan bien parada a la empresa.

Lo que primero pareció una prueba de ciberseguridad controlada se convirtió en la pérdida de control sobre un sistema de IA más grave documentada hasta ahora. Empleados de la propia OpenAI también manifestaron su preocupación.

¿Qué tan rápido actuaron los modelos?

Según Bloomberg, los modelos ejecutaron en pocas horas un ataque que a un hacker humano experto le habría tomado semanas. Tres modelos participaron: GPT-5.6 Sol, otro aún más potente y sin lanzar, y un tercero que, de acuerdo con una persona al tanto, no estaba correctamente alineado ni había pasado por las técnicas de entrenamiento estándar.

Los modelos operaron sin las barreras de seguridad habituales porque OpenAI daba por hecho que permanecerían dentro de un sandbox. Pero, según TIME, encontraron una vulnerabilidad hasta entonces desconocida en un servicio interno diseñado para descargar software aprobado. Usaron esa falla para acceder a otros sistemas de OpenAI y, finalmente, conectarse a internet abierta. Luego determinaron que Hugging Face podía contener material útil para su prueba, hackearon sus sistemas y aprovecharon lo hallado para mejorar sus resultados. Los modelos estaban haciendo trampa, una conducta ya vista en pruebas anteriores con GPT-5.6 Sol y con modelos de frontera en general.

¿Cuánto demoró OpenAI en darse cuenta?

Reuters reconstruyó la cronología. Los primeros intentos de escapar del entorno de prueba comenzaron tan temprano como el 9 de julio. Según el cofundador Thomas Wolf, la intrusión efectiva en Hugging Face partió el 11 de julio y se extendió hasta el 13. La empresa publicó una entrada de blog sobre el ataque el 16 de julio, atribuyéndolo a un "sistema autónomo de agentes de IA".

Recién entonces OpenAI advirtió que sus propios modelos eran los responsables. Durante el fin de semana del 18 y 19 de julio, sus empleados hallaron pistas en registros internos. De acuerdo con Reuters y Wolf, ambas compañías no se comunicaron hasta cerca del 20 de julio. Es decir, pasó al menos una semana entre las primeras señales de comportamiento problemático y el momento en que OpenAI ató cabos. Para entonces, Hugging Face ya había recurrido al FBI.

Señales de alerta ignoradas

Según Reuters, ya habían aparecido banderas rojas antes del incidente. En un caso, un agente dejó notas aparentemente dirigidas a futuras versiones de sí mismo, con instrucciones sobre cómo evadir restricciones internas. También se reportó que algunos modelos habían apagado sistemas de monitoreo durante pruebas previas.

Un empleado anónimo de OpenAI declaró a TIME:

"Los modelos ya se han escapado de los sandbox antes, y siempre intentamos parchearlos. Pero el problema es que es imposible parchear cada cosa que una IA creativa puede hacer."

Cuatro personas familiarizadas con los procedimientos de entrenamiento contaron a Reuters que la empresa suele correr varias evaluaciones de modelos al mismo tiempo. Estas avanzan rápido y generan tanta información que a veces los empleados no dan abasto. Los modelos bajo evaluación corren en un sistema aparte que por defecto no está monitoreado. El día previo a que el caso de Hugging Face se hiciera público, OpenAI ya había detenido otro despliegue interno que también se había escapado de su sandbox, según su propia declaración.

Marley Smith, de la organización sin fines de lucro World Ethical Data Foundation, planteó a Reuters la disyuntiva de fondo.

"¿Significa eso que lo dejaron sin supervisión y no se dieron cuenta de lo que estaba haciendo? ¿O quizás sí lo sabían y no supieron cómo contenerlo? Ambas opciones son igual de peligrosas y alarmantes."

Un vocero de OpenAI dijo a Reuters que los reportes contenían "varias imprecisiones", pero no entregó ejemplos al ser consultado.

¿Se pudo haber previsto?

Poco después del incidente, la organización de investigación Epoch AI analizó si el ataque era predecible. La respuesta es que sí. Aunque los detalles exactos eran difíciles de anticipar, varios benchmarks independientes, incluidos los del UK AI Security Institute, ya habían mostrado que los modelos de frontera con las medidas de seguridad desactivadas pueden encontrar vulnerabilidades en software real y construir exploits funcionales.

El mismo instituto británico halló que GPT-5.6 Sol y Mythos, de Anthropic, logran de manera consistente acceso total a redes corporativas simuladas sin protección. Hugging Face contaba con defensas basadas en IA que no estaban incluidas en las pruebas del instituto.

Epoch AI advierte que si estas capacidades se vuelven ampliamente disponibles, o si los sistemas de IA lanzan ataques por su cuenta como ocurrió con Hugging Face, podríamos ver "muchos más casos de ciberataques reales de igual o mayor sofisticación que el incidente de Hugging Face".