Este artículo fue publicado originalmente en The Algorithm, nuestro boletín semanal sobre IA. Para recibir historias como esta primero en su bandeja de entrada, suscríbase aquí.

Leer el reporte de OpenAI la semana pasada sobre cómo algunos de sus modelos rompieron su contención y hackearon los sistemas informáticos de Hugging Face, otra empresa de IA, fue la primera vez que sentí escalofríos genuinos sobre lo que los modelos de lenguaje (LLM) son capaces de hacer hoy. Sin embargo, este es un caso de arrogancia humana, no de una IA rebelde.

No soy alarmista. De hecho, he estado rechazando las historias de terror sobre IA durante años. Aun así, este incidente cruzó una línea. Creo que es la ilustración más clara hasta ahora de que las personas que construyen y prueban esta tecnología no entienden completamente lo que están haciendo. OpenAI pudo, y debió, haber previsto esto.

Esto es lo que sucedió, al menos según las dos empresas involucradas. Hace un par de semanas, OpenAI comenzó a probar las capacidades de hacking de algunos de sus nuevos modelos, incluyendo GPT-5.6 Sol (lanzado en junio) y lo que OpenAI describe como "un modelo de pre-lanzamiento aún más capaz".

OpenAI enfrentó a sus modelos contra un benchmark llamado ExploitGym, lanzado en mayo, que desafía a los LLM a encontrar formas de explotar cientos de vulnerabilidades del mundo real encontradas en software ampliamente utilizado, incluyendo código crucial que sustenta la web.

Para ver de qué eran capaces, los investigadores eliminaron la mayoría de sus barreras de seguridad cibernética. Luego, ejecutaron los modelos dentro de un sandbox aislado de internet, excepto por un enlace a un software de terceros que actuaba como proxy hacia el mundo exterior, permitiendo que los modelos instalaran el código necesario para superar ExploitGym.

El 9 de julio, según reportes de Reuters, los modelos de OpenAI comenzaron a intentar romper el proxy. Encontraron un error desconocido en el software del proxy y lo usaron para acceder a internet. Desde allí, irrumpieron en los sistemas informáticos de Hugging Face el 11 de julio, aparentemente buscando conjuntos de datos y soluciones que les ayudaran a completar las tareas para las que estaban siendo evaluados. Hugging Face anunció el hackeo el 16 de julio.

OpenAI no se dio cuenta (o al menos no reveló) que sus modelos estaban involucrados hasta el 21 de julio, unos 10 días después de que rompieran la contención y una semana después de que Hugging Face hubiera detenido el ataque y alertado al FBI.

En una declaración entregada a MIT Technology Review, OpenAI señaló: "Estamos realizando una revisión exhaustiva junto con asesores externos y bajo la supervisión de nuestro Comité de Seguridad y Protección. Una vez que la revisión esté completa, publicaremos un informe técnico de nuestros aprendizajes para todos". La firma también confirmó que sus investigadores estaban utilizando adecuadamente las pautas y procedimientos de seguridad existentes en ese momento.

¿Por qué este incidente es una llamada de atención?

OpenAI ha dicho que el evento no tuvo precedentes, y en muchos sentidos, así fue. Esta fue la primera vez, fuera de una simulación, que los LLM escaparon de lo que se consideraba un sandbox seguro, accedieron a la internet abierta y atacaron a otra organización. Es una llamada de atención que demuestra lo hábiles que son los últimos LLM para encontrar y explotar vulnerabilidades en software del mundo real con poca o ninguna guía humana.

Y, sin embargo, al mismo tiempo, lo que hicieron los modelos de OpenAI es algo que esta tecnología ha hecho durante años. Dale a un modelo un objetivo y, muy a menudo, logrará ese objetivo de formas inesperadas, encontrando lagunas que parecen trampas. La propia OpenAI ha estudiado este comportamiento.

Hace una década, compartió resultados de un experimento en el que se le encomendó a un modelo vencer en un videojuego llamado CoastRunners. Los jugadores humanos dan por sentado que la forma de hacerlo es compitiendo con un bote a través de una serie de banderas hasta la línea de meta, acumulando puntos por cada bandera tocada. El modelo de OpenAI descubrió que podía obtener una puntuación alta girando en círculos y golpeando las mismas tres banderas una y otra vez. Ha habido docenas de ejemplos similares por parte de investigadores desde entonces. La IA siempre encontrará una manera.

"A pesar de incendiarse repetidamente, chocar contra otros botes e ir en dirección contraria en la pista, nuestro agente logra obtener una puntuación más alta usando esta estrategia de lo que es posible completando el recorrido de la manera normal", escribió OpenAI en una publicación de blog sobre el experimento CoastRunners en 2016. "Aunque es inofensivo y divertido en el contexto de un videojuego, este tipo de comportamiento apunta a un problema más general... a menudo es difícil o inviable capturar exactamente lo que queremos que haga un agente".

No pude evitar pensar en CoastRunners cuando leí la publicación de blog de OpenAI sobre el ataque a Hugging Face: "Toda la evidencia sugiere que los modelos estaban hiperenfocados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante limitado... Después de obtener acceso a internet, los modelos infirieron que Hugging Face potencialmente alojaba modelos, conjuntos de datos y soluciones para ExploitGym. Sabiendo esto, el modelo buscó y encontró con éxito formas de obtener acceso a información secreta que podría usar para hacer trampa en la evaluación".

La noticia de la semana pasada no fue sobre una IA rebelde, a pesar de los titulares. Fue sobre modelos logrando el objetivo que se les había dado: encontrar formas de explotar vulnerabilidades en el software. El hecho de que esos modelos se comportaran de una manera que OpenAI no había anticipado no es sorprendente. Pero es preocupante.

En 2016, OpenAI dijo esto sobre su bot de CoastRunners: "Más ampliamente, contraviene el principio básico de ingeniería de que los sistemas deben ser confiables y predecibles". Una década después, esos principios básicos de ingeniería siguen sin aparecer.

Vía MIT Technology Review.