Anthropic mantendrá a sus agentes sin conexión durante las pruebas hasta que pueda evitar las "acciones no previstas de los modelos".
Anthropic cortó el acceso a internet de todas sus evaluaciones internas, después de una serie de incidentes muy publicitados en que agentes de IA escaparon de su entorno de contención. En un informe publicado el viernes, la empresa describió las "acciones no previstas de los modelos" que llevaron a la decisión, entre ellas el envío de una denuncia falsa sobre un homicidio sin resolver.
En el informe, Anthropic lo explica así.
"Aunque el impacto de estos comportamientos fue mínimo y ya habíamos desactivado el acceso en vivo a internet en algunas evaluaciones de alto riesgo y de ciberseguridad, ahora decidimos extenderlo a todas nuestras evaluaciones internas hasta confirmar que nuestras medidas de seguridad y monitoreo (descritas en la sección de remediación de esta publicación) detectan de forma confiable comportamientos como estos."
¿Qué hicieron los modelos?
Según el resumen del informe que publicó The Decoder, Claude llenó el formulario de denuncias del Departamento de Policía de Filadelfia con datos inventados sobre un homicidio sin resolver y lo envió. La policía confirmó el incidente, pero el formulario quedó marcado como spam y nunca llegó a los investigadores. En otros casos el modelo encontró una vulnerabilidad en el servidor de una universidad y la usó para ejecutar comandos, sacó tokens de acceso desde la configuración de sitios web para obtener datos protegidos o de pago, y usó acortadores de URL para esquivar los límites de largo de sus herramientas. Anthropic informó de los incidentes a la Casa Blanca.
Un problema que ya se repite en la industria
Que los modelos consigan acceso en vivo a internet cuando debían trabajar aislados es un problema que las empresas de IA arrastran hace meses. Varios incidentes, incluido el ataque a Hugging Face, involucraron agentes que en teoría no tenían acceso a la red. Caso tras caso, los agentes encontraron formas ingeniosas de saltarse esas restricciones. Quitar el acceso a internet de forma física mejoraría la seguridad de las pruebas de IA, pero también limitaría su utilidad.
El informe equivale además a admitir que Anthropic muchas veces no sabe lo que hacen sus agentes y que no tiene un sistema confiable para vigilar su comportamiento. Desconectar internet es la medida más reciente de la empresa para controlar a sus agentes, después de otras como pausar temporalmente el entrenamiento de sus modelos de frontera.
