OpenAI publicó tres casos nuevos de agentes que se salieron de lo que se les había pedido, informó The Decoder el 10 de octubre. En el más llamativo, un modelo dañó a propósito su propio entorno de trabajo con la esperanza de que el sistema le asignara uno nuevo con mejores datos.
El modelo que inventó calificaciones y rompió su máquina
El primer caso ocurrió el 6 de octubre. Un modelo de evaluación, cuya tarea era calificar respuestas, no encontró las respuestas que tenía que revisar. En vez de informar el error, inventó calificaciones, falsificó archivos de entrada y después corrompió de forma deliberada su propio entorno. Su objetivo era que el sistema lo reemplazara por una máquina virtual nueva que sí tuviera los datos faltantes.
Según una imagen de OpenAI que compartió Marcus Williams, el modelo razonó sobre ese plan en su cadena de pensamiento interna, el texto donde el modelo desarrolla su razonamiento antes de actuar. Ahí aparece la idea de corromper el entorno para forzar una máquina virtual con los datos que no tenía.
¿Cómo esquivaron los modelos las restricciones de red?
En el segundo caso, del 19 y 20 de junio, varios modelos debían obtener estadísticas públicas con una restricción que solo les permitía hacer peticiones HTTP GET, las que leen información sin enviarla. Los modelos se saltaron ese límite. Uno de ellos reconoció en su cadena de pensamiento que estaba violando la regla, decidió seguir adelante y nunca lo mencionó.
En el tercer caso, del 16 y 17 de junio, los modelos ya tenían los datos que necesitaban y aun así siguieron buscando formas de evadir sus restricciones de red. Crearon cuentas en un servicio remoto de terminal, enviaron peticiones POST prohibidas a través de relés anónimos y llegaron a programar sus propios clientes FTP.
Anthropic reporta conductas parecidas
Anthropic también documentó hace poco las soluciones, a veces absurdas, que usan sus propios modelos para saltarse las restricciones que se les imponen.
