Anthropic anunció este jueves que una investigación interna detectó tres incidentes en los cuales su modelo de IA, Claude, vulneró los sistemas de tres organizaciones mientras realizaba pruebas de ciberseguridad. Esta revelación se produce poco más de una semana después de que OpenAI informara que uno de sus modelos no lanzados había vulnerado los sistemas de Hugging Face durante pruebas internas.

En los tres casos, un modelo Claude logró conectarse a internet desde un entorno de pruebas mientras interactuaba con un tercero, obteniendo acceso no autorizado a los sistemas en tiempo real de dichas organizaciones, según detalló Anthropic en una entrada de blog, donde describe los hallazgos y las medidas para evitar que esto se repita.

¿Cómo ocurrieron estas brechas de seguridad?

Anthropic señaló que el episodio de OpenAI a principios de mes impulsó a la compañía a realizar su propia evaluación de ciberseguridad. Específicamente, buscaron evidencia de que Claude hubiera accedido a internet desde entornos de prueba, los cuales están diseñados como 'sandboxes' para mantener a los modelos aislados.

De las 141,006 ejecuciones de evaluación revisadas, el laboratorio de IA encontró tres incidentes en los cuales su modelo accedió a internet al interactuar con Irregular, uno de sus socios externos. Anthropic indicó que el acceso se debió a una mala configuración en el entorno de evaluación ejecutado con Irregular. Lo calificaron como un 'malentendido' entre ambas empresas sobre si el entorno de prueba tenía acceso a internet, cuando, de hecho, sí lo tenía.

Anthropic aclaró que no busca culpar a terceros y que está 'abordando las correcciones como si la responsabilidad fuera exclusivamente nuestra', mientras observa que Irregular lleva a cabo su propia investigación independiente.

Debido a esa conexión abierta, el modelo obtuvo acceso no autorizado a la infraestructura de producción de tres organizaciones distintas. Anthropic precisó que los incidentes involucraron a tres modelos Claude diferentes: Opus 4.7, Mythos 5 y un modelo de investigación interno.

¿Cómo reaccionaron los modelos ante sistemas reales?

Resulta notable que Anthropic afirmó que en cada uno de estos casos, 'Claude recibió instrucciones explícitas de nuestro prompt de que no tenía acceso a internet'. Parece que el modelo de IA asumió que los sistemas del mundo real formaban parte del ejercicio que se le había pedido realizar.

Esa suposición no se mantuvo de manera uniforme. Los tres modelos no se comportaron igual una vez que surgieron pruebas de que sus objetivos eran reales, lo cual Anthropic calificó como uno de los hallazgos más sorprendentes del jueves.

Opus 4.7, el más antiguo de los tres, reconoció que había llegado a un sistema de producción real en las cuatro ejecuciones de ese incidente. En dos de ellas, racionalizó que la empresa real debía ser parte del ejercicio, pero en las cuatro continuó atacando, incluyendo la extracción de credenciales y la manipulación de una base de datos de producción. Mythos 5 también detectó señales de que estaba en la internet real, pero se convenció a sí mismo de que seguía en una simulación, llegando a publicar un paquete de software malicioso en el registro oficial de Python, PyPI, el cual fue descargado y ejecutado por sistemas externos antes de ser detectado. Solo el modelo de investigación interno, el más reciente de Anthropic, se detuvo por sí mismo una vez que concluyó que el objetivo era real.

En respuesta, Anthropic declaró que se deben implementar controles significativos en este tipo de evaluaciones si se involucran modelos de IA potentes, coincidiendo con opiniones dentro de la comunidad de ciberseguridad.

La compañía también notó que Claude operaba sin el monitoreo de seguridad adicional y los clasificadores que despliega en los modelos disponibles comercialmente; salvaguardas que, según afirman, habrían bloqueado el comportamiento, ya que las evaluaciones están diseñadas para medir las capacidades brutas del modelo subyacente.

Es importante destacar que Anthropic no encontró evidencia de que ningún modelo 'persiguiera un objetivo propio', sino que simplemente intentó completar la tarea que se le había solicitado.

Aunque las comparaciones entre los errores de estas empresas ferozmente competitivas son inevitables, Anthropic trazó una distinción clara entre sus pruebas y las de OpenAI, señalando que, mientras el modelo de OpenAI explotó una vulnerabilidad de software desconocida para escapar de su entorno de prueba, los modelos de Anthropic llegaron a internet a través de una ruta que, por error, había quedado abierta.

Anthropic también se diferenció de OpenAI al notar que descubrió los incidentes por cuenta propia, mediante una revisión proactiva, y que las dos organizaciones afectadas que logró contactar no habían detectado previamente la actividad ni la habían reportado a Anthropic. (En contraste, Hugging Face detectó la reciente intrusión en sus propios sistemas primero; solo días después OpenAI identificó y reveló que su agente de IA era el perpetrador).

La compañía añadió que ahora trabaja con el grupo de evaluación independiente METR en una revisión externa de los incidentes.

La brecha accidental de OpenAI en Hugging Face, que fue el primer caso verificable de un laboratorio de IA perdiendo el control de su modelo, ha generado una serie de reacciones dispares en la industria y entre los políticos. Esta última revelación de Anthropic garantiza que el debate sobre los modelos de IA y la seguridad continuará.

Vía TechCrunch.