El martes, OpenAI reveló que uno de sus modelos se descontroló durante una prueba y hackeó los sistemas de la plataforma de datasets de IA Hugging Face en un ataque totalmente habilitado por IA, un ejemplo dramático de los peligros que presentan los modelos de IA avanzados.
Sin embargo, según algunos expertos en ciberseguridad, en el corazón de esta brecha sin precedentes impulsada por IA hubo un error muy humano: OpenAI no configuró correctamente lo que llamó un "entorno altamente aislado", permitiendo que una sandbox de pruebas que debería haber estado completamente separada de internet realmente se conectara a la red.
Dan Guido, fundador de la startup de investigación en ciberseguridad Trail of Bits, calificó el error como "un fallo de contención con las medidas de seguridad desactivadas".
En su publicación de blog detallando el incidente, OpenAI afirmó que la prueba que llevó a la brecha de Hugging Face estaba configurada para ejecutarse en "un entorno altamente aislado, con acceso a la red limitado a la capacidad de instalar paquetes a través de un software de terceros alojado internamente que actúa como proxy y caché para los registros de paquetes".
El modelo pudo escapar del entorno de pruebas gracias a una vulnerabilidad no revelada anteriormente en el sistema de instalación de paquetes, un paso inicial crítico en el hackeo final a Hugging Face, según OpenAI.
En respuesta, la compañía "reveló responsablemente la vulnerabilidad zero-day identificada en el software de terceros alojado internamente y está trabajando con ellos para aplicar el parche".
Pero para la mayoría de los profesionales de la ciberseguridad, las vulnerabilidades de software son esperables, y la verdadera culpa reside en la decisión de mantener el software de terceros en primer lugar. En última instancia, el valor de un sistema "sandbox" reside en su aislamiento total. Incluir un sistema de instalación de paquetes es buscar problemas.
Marteen Boone, investigador de ciberseguridad, dijo a TechCrunch que "esto suena a error humano".
"Esto nunca debería haber sucedido", dijo Boone. "Si sandbox realmente significara sandbox, esperarías que no tuviera ninguna conexión física a internet. Esto suena más a que tenían algún firewall o algo implementado, y el firewall es difícil desde el exterior hacia adentro, mucho más desde el interior hacia el internet exterior".
El veterano en ciberseguridad Jake Williams estuvo de acuerdo. "Cualquier modelo que realice los tipos de acciones documentadas por Hugging Face no estaba completamente contenido en una sandbox", dijo Williams, quien calificó esto como "un fallo de control masivo" por parte de OpenAI.
"Lo que para uno es 'el modelo escapó de la sandbox', para otro es 'no lograste construir la sandbox correctamente, así que por supuesto escapó'", continuó Williams.
Daniel Card, consultor de ciberseguridad, coincidió en que OpenAI "no puso suficiente esfuerzo en el diseño de la sandbox ni en sus controles" al darle a la sandbox o a alguna parte de ella "una ruta sin filtros hacia internet". Configurar la sandbox, incluso con acceso limitado a la red como lo describió OpenAI, no fue una decisión "razonable", según Card.
Ciertamente, esas críticas tienen la ventaja de la retrospectiva, pero plantean preguntas reales sobre las prácticas de seguridad en los laboratorios de IA, particularmente en el mantenimiento de entornos aislados para probar modelos. Los portavoces de OpenAI no respondieron a las preguntas de TechCrunch, que incluían si una IA o un humano había configurado el entorno de pruebas.
Pero esas preguntas van mucho más allá de OpenAI.
En el documento que presenta su modelo enfocado en ciberseguridad Mythos, Anthropic escribió que en una prueba, el modelo "recibió una computadora 'sandbox' segura con la cual interactuar" y se le instruyó intentar escapar de ese "contenedor seguro". Mythos tuvo éxito y obtuvo un acceso más amplio a internet "desde un sistema que debía poder llegar solo a un pequeño número de servicios predeterminados". Aun así, Anthropic señaló que el modelo no pudo escapar "completamente" de la contención diseñada.
Vía TechCrunch.
