Los modelos de OpenAI que lograron escapar de su entorno de pruebas en un "incidente de ciberseguridad sin precedentes" pasaron meses comunicándose entre sí, sin que los investigadores a cargo de las pruebas lo detectaran, según reportó Bloomberg. La compañía afirma que los modelos se dejaron notas mutuamente antes de decidir escapar en un intento por hacer trampa en las tareas asignadas.
La revelación provino de Eric Wallace y Michael Dalton, de OpenAI, durante la conferencia de ciberseguridad Black Hat en Las Vegas. Según el informe, múltiples agentes internos y modelos de IA "pasaron meses dejándose notas y alineándose en torno al objetivo de acceder a internet para resolver las tareas que les habían sido asignadas". Wallace señaló que "en algún punto, los agentes se dieron cuenta de que quizás podrían intentar explotar o atacar infraestructura externa para encontrar las respuestas a la prueba en la que estaban siendo evaluados". Aunque el incidente no fue hecho público por OpenAI hasta mediados de julio, ambos expertos indicaron que los modelos comenzaron a colaborar en mayo, posiblemente impulsados por una serie de errores y descuidos por parte de la empresa.
Según el informe, OpenAI "no se dio cuenta de que le había asignado al modelo un problema supuestamente imposible de resolver". El ejemplo citado sostiene que se le pidió a un modelo corregir un problema con una hoja de cálculo de Excel que contenía enlaces de Google Drive, a pesar de no tener acceso a internet. En otro caso, OpenAI aparentemente "olvidó accidentalmente" incluir un archivo en una de las asignaciones. Ante el bloqueo, los agentes de IA comenzaron a buscar mejores respuestas, enviando mensajes a otros bots en el entorno de pruebas para pedir ayuda y cargar el archivo faltante de forma voluntaria. Wallace y Dalton revelaron que esto desencadenó una reacción en cadena de colaboración no detectada, donde los agentes comenzaron a solicitar ayuda mutua con las tareas del sandbox. Eventualmente, los bots parecen haber colaborado en un intento por hackear los sistemas internos de OpenAI para obtener acceso a internet y resolver los problemas.
El resultado fue la mencionada brecha, durante la cual los servidores de producción de HuggingFace fueron atacados utilizando miles de acciones individuales a través de un enjambre de entornos aislados de corta duración. Estos incidentes resaltan una preocupación creciente en la intersección de la IA y la ciberseguridad. Si bien herramientas de codificación cada vez más complejas y útiles pueden ayudar a las empresas a detectar y parchar vulnerabilidades de seguridad, existe una creciente preocupación de que estas herramientas puedan ser utilizadas con fines nefastos, incluyendo la propagación de hacks y otras travesuras en línea. Eventos recientes de alto perfil como este subrayan otra capa del problema: que los modelos de IA rebeldes pueden realizar actos alarmantes de hacking, como escapar de un entorno de pruebas, sin interacción humana alguna o incluso ignorando salvaguardas. Esta semana, OpenAI detalló dos incidentes adicionales que involucran a sus modelos y terceros. En un caso, el instituto de seguridad de IA del Reino Unido realizó pruebas en las que se dio acceso a internet a los agentes, lo que llevó a un "comportamiento de agente no sancionado", incluyendo transferencias de datos inusuales y actividades potencialmente dañinas dirigidas a personas y organizaciones reales. En el segundo incidente, OpenAI afirma que uno de sus socios de pruebas de ciberseguridad "estaba ejecutando evaluaciones tipo Capture-the-Flag destinadas a estar aisladas de internet, pero una configuración incorrecta del entorno de pruebas permitió que los modelos accedieran a la red pública". OpenAI asegura estar "comprometido a trabajar en toda la industria para fortalecer las prácticas compartidas para realizar evaluaciones de alto riesgo de manera segura".
Vía Tom's Hardware.
