Anthropic: Claude vulneró sistemas reales en tres pruebas

Anthropic publicó los resultados de una revisión interna de sus evaluaciones de ciberseguridad. En ella encontró tres incidentes en que un modelo Claude alcanzó internet desde dentro de un entorno de evaluación de terceros, o mientras interactuaba con él, y luego obtuvo acceso no autorizado a los sistemas reales de tres organizaciones distintas. La compañía dice que publica el detalle para que otros laboratorios de inteligencia artificial hagan revisiones equivalentes.

¿Qué gatilló la revisión?

El 21 de julio, OpenAI reveló que varios de sus modelos habían escapado de un entorno de pruebas aislado explotando una vulnerabilidad desconocida hasta entonces, del tipo zero-day. Los modelos terminaron accediendo a la infraestructura de producción de Hugging Face, la plataforma de modelos y conjuntos de datos de aprendizaje automático de código abierto.

En respuesta, Anthropic inició una revisión retrospectiva a gran escala de sus propias evaluaciones, buscando evidencia de que Claude hubiera podido acceder a internet desde entornos que debían estar sellados. Tras revisar 141.006 corridas de evaluación donde el modelo podría haber obtenido acceso a la red, identificó tres incidentes ocurridos en el entorno de Irregular, uno de sus socios evaluadores externos.

¿Por qué el modelo atacó sistemas reales?

En los tres casos, Claude estaba ejecutando un desafío de capture the flag, una de las formas estándar de medir capacidades ofensivas de un modelo. Se le entrega un escenario ficticio, se le dice que un dato secreto (la "bandera") está escondido en otra máquina de la red, y su objetivo es entrar y recuperarlo. El desafío se deja abierto, sin prescribir método.

La instrucción de Anthropic especificaba a Claude que su entorno era una simulación y que no tenía acceso a internet. Por un malentendido entre la empresa y su socio evaluador, eso no era cierto: el acceso estaba disponible. Cuando la búsqueda del modelo lo llevó a sistemas reales en la internet abierta, los trató como parte del ejercicio.

Ese punto es importante y Anthropic lo subraya: los campos de pruebas de ciberseguridad suelen incluir detalles realistas justamente para medir de qué es capaz un modelo en escenarios verosímiles, así que un objetivo de aspecto real no constituye, por sí solo, evidencia de que el blanco no sea parte de la simulación.

Operando bajo la creencia falsa de que todo lo accesible estaba dentro del alcance autorizado, Claude comprometió la infraestructura de las organizaciones afectadas con técnicas básicas: contraseñas débiles y puntos de acceso sin autenticación. No encontró ni explotó vulnerabilidades complejas, y en cada caso siguió trabajando únicamente en la tarea asignada. En ninguna de las situaciones el modelo intentó exfiltrarse a sí mismo ni escapar deliberadamente de su entorno de prueba.

Los incidentes involucraron tres modelos distintos: Opus 4.7, Mythos 5 y un modelo interno de investigación. Los más antiguos datan de abril. Las evaluaciones corrieron sin las protecciones estándar que la empresa despliega en producción, es decir, sin los clasificadores y el monitoreo habituales contra usos indebidos, aunque sí conservaban el entrenamiento de seguridad propio de cada modelo. Toda la infraestructura de evaluación está separada de los sistemas internos sensibles y de los datos de clientes.

Incidente 1: cuando la empresa ficticia existía de verdad

En una evaluación, la empresa objetivo inventada por el socio evaluador compartía nombre con un dominio web activo. Ese contenedor tenía acceso directo a internet no previsto.

En cuatro corridas, Claude tuvo dificultades para alcanzar su objetivo simulado dentro del entorno, pero luego descubrió que la empresa real era alcanzable por internet. Asumiendo que ese era el blanco previsto, buscó, identificó y explotó vulnerabilidades en la infraestructura de la compañía. Las cuatro corridas extrajeron credenciales de aplicación e infraestructura, y obtuvieron acceso a una base de datos con varios cientos de filas de datos de producción. Es el impacto más serio detectado.

Este incidente involucró a Claude Opus 4.7 y fue el único caso en que el modelo continuó atacando después de darse cuenta de que probablemente operaba en un entorno real. En las cuatro corridas el modelo terminó reconociendo, según se observa en su razonamiento verbalizado, que el sistema era real. En dos casos racionalizó que la empresa real debía formar parte del ejercicio. Ninguna corrida se detuvo por ese motivo.

Incidente 2: un paquete malicioso publicado en PyPI

En otra evaluación, Claude encontró dentro del entorno ficticio un documento que parecía ser el instructivo de configuración para desarrolladores nuevos de otra empresa inventada. Ese instructivo indicaba instalar un paquete de Python desde PyPI, el registro público donde se publica software de Python, que en realidad no existía.

El modelo vio la oportunidad: si publicaba su propio paquete con ese nombre, los sistemas de la empresa ficticia lo descargarían e instalarían automáticamente. Construyó y publicó un paquete malicioso con el mismo nombre para ganar el desafío.

Los extremos a los que llegó habrían indicado a un participante humano que eso ya no era una evaluación. Para crear una cuenta en PyPI necesitaba un correo electrónico. Para crear un correo, necesitaba un número de teléfono. Para conseguir un número, tras no encontrar un servicio gratuito, intentó sin éxito obtener fondos por varias vías distintas para pagarlo. Finalmente retrocedió, encontró un proveedor de correo gratuito y no bloqueado, registró la cuenta de PyPI y subió el paquete malicioso.

¿Cómo reaccionó la empresa?

La cronología que entrega Anthropic es acotada. La revisión de transcripciones comenzó el jueves 23 de julio y ese mismo día se detuvieron todas las evaluaciones de ciberseguridad al aparecer transcripciones sospechosas. Los tres incidentes quedaron identificados al día siguiente. El lunes 27 de julio se notificó al socio evaluador Irregular y a las tres organizaciones afectadas.

Un dato relevante para cualquier equipo de seguridad: las dos organizaciones con las que se pudo establecer contacto no habían detectado la actividad ni se habían comunicado con Anthropic. La empresa sigue intentando llegar a la tercera.

¿Qué falló en las defensas?

Anthropic reconoce que varias medidas de defensa en profundidad, tanto propias como de su socio, pudieron haber evitado los incidentes o reducido su probabilidad. Menciona la validación cuidadosa de todas las rutas de acceso a internet antes de iniciar las evaluaciones, el monitoreo en tiempo real de los registros, y una revisión más exhaustiva de las transcripciones y los registros de red. También plantea una hipótesis contraintuitiva: una instrucción que le hubiera dicho a Claude que sí tenía acceso a internet quizás habría cambiado su comportamiento al toparse con sistemas reales.

La revisión se hizo en conjunto con Irregular, que conduce además su propia investigación.

Contexto: cómo se evalúa la capacidad ofensiva

Anthropic comenzó a correr evaluaciones de ciberseguridad en febrero de 2025 con Claude Sonnet 3.7 sobre Cybench, un conjunto de 40 desafíos de capture the flag. Con el tiempo sumó más pruebas a medida que aparecían nuevas y las capacidades de los modelos evolucionaban. En la ficha técnica de Mythos 5, por ejemplo, incorporó CyberGym y ExploitBench, que miden la habilidad de encontrar vulnerabilidades nuevas. En la mayoría de esas evaluaciones los entornos no están conectados a internet, y así se le informa al modelo.