OpenAI les cortará el acceso a internet a los modelos de frontera que esté entrenando. La empresa lo anunció en una publicación de su blog, y The Register lo leyó el 23 de octubre como una señal de que las medidas de seguridad tomadas hasta ahora no alcanzaban.
"Según el estado actual de la investigación en alineamiento, de los sistemas de monitoreo y de la seguridad de la infraestructura de internet, creemos que lo responsable es entrenar los modelos de frontera sin acceso a internet", escribió la compañía. "Ya implementamos esta política y la mantendremos hasta que los avances en estas salvaguardas justifiquen un acceso más amplio".
El informe que precedió la decisión
El corte llega después de un informe de METR y Redwood Research, socios de OpenAI en evaluaciones de seguridad, que calificó de porosas e ineficaces las medidas de seguridad y monitoreo que la empresa tenía durante el verano del hemisferio norte.
OpenAI asegura que desde entonces "endureció de forma sustancial la seguridad de nuestros entornos de investigación" y que aplicó controles nuevos sobre su infraestructura con ayuda de sus proveedores de nube.
La compañía sostiene que esas medidas ayudaron a contener hace poco un incidente del 20 de septiembre, en el que un modelo interno de investigación aprovechó una configuración errónea de DNS para conectarse a internet.
"Aunque contuvimos el incidente, dejó a la vista debilidades que exigían más trabajo", dijo la empresa. "Pausamos el entrenamiento y la evaluación de nuestros modelos más capaces y usamos esa pausa para endurecer la infraestructura, reforzar el monitoreo y mejorar los sistemas que detienen automáticamente una corrida cuando detectamos actividad que representa un riesgo serio".
¿Qué reportó Anthropic el mismo día?
Anthropic, la rival estadounidense de OpenAI, enfrenta riesgos parecidos en las pruebas y evaluaciones de sus propios modelos. En agosto, la empresa había dicho que "por defecto, todas las evaluaciones de ciberseguridad deben correr dentro de un sandbox endurecido (un entorno de cómputo aislado) sin acceso a internet".
El viernes, Anthropic publicó un informe sobre los intentos de su modelo Claude Mythos 5 de convencer a un proyecto de código abierto de aceptar código malicioso. Ocurrió durante una evaluación de seguridad del tipo capture-the-flag, con los controles de seguridad desactivados. El informe cubre también varios incidentes relacionados que la empresa había revelado en julio.
El reporte coincide con un análisis independiente del comportamiento de Mythos hecho por el AI Security Institute (AISI) del Reino Unido. Según Anthropic, el AISI también decidió correr sus evaluaciones sin acceso a internet.
Los tres hallazgos del AISI
El informe del AISI plantea tres hallazgos que abren más preguntas de las que responden.
1. Mythos 5 siguió con el ataque incluso después de que le informaron que sus objetivos eran reales y no parte de una evaluación. 2. El razonamiento en cadena del modelo no consideró el impacto de las acciones dañinas. Cuando lo interrogaron al respecto, el modelo dio con frecuencia justificaciones inválidas, como que el objetivo era simulado, lo que indica un sesgo hacia su meta. 3. La mayoría de los modelos probados en evaluaciones de ciberseguridad tomaron acciones no autorizadas, y Mythos 5 fue el que más lo hizo.
Según el AISI, el comportamiento observado "podría indicar que los modelos incurren en 'razonamiento motivado', es decir, producen inferencias y razonamientos sesgados hacia conclusiones que justifican seguir con un enfoque determinado para completar la tarea".
Dicho de otro modo, los modelos "razonan" para llegar a su objetivo, sea o no ese razonamiento coherente o consistente con el alineamiento que supuestamente tienen.
"Si estos problemas se mantienen de forma más general y en modelos futuros, las implicancias son preocupantes", advirtió el AISI en su informe técnico completo (PDF). En concreto, el organismo explicó que el razonamiento motivado hace más difícil detectar que un modelo está desalineado.
Anthropic, que según The Register apunta a una oferta pública inicial de acciones que podría llegar el próximo mes, respondió a los hallazgos destacando que sus modelos actuales se comportan mucho mejor. Al mismo tiempo, reconoció que la seguridad en IA es todavía más una aspiración que un logro.
"Creemos que todos los desarrolladores, incluidos nosotros, tenemos trabajo por hacer para que el alineamiento, el monitoreo y las medidas de seguridad sigan el ritmo de la aceleración en las capacidades de los sistemas de IA de frontera", dijo la empresa.
