Anthropic publicó el miércoles un informe que detalla cuatro casos de este año en que sus propios modelos de inteligencia artificial entraron a sistemas de empresas externas o explotaron vulnerabilidades. Llega después de que la empresa reconociera a comienzos de año que sus modelos habían hackeado sistemas ajenos en un puñado de ocasiones. Anthropic describe el patrón común como una "imprudencia" de mira estrecha.
¿Qué hizo cada uno de los cuatro modelos?
| Modelo | Qué hizo |
|---|---|
| Modelo interno de investigación, de propósito general | Entró a sistemas de terceros usando tokens de acceso y contraseñas, y descargó archivos |
| Un modelo Claude | Atacó a una empresa con una aplicación web en producción, alcanzable desde internet, que manejaba datos de usuarios |
| Un tercer modelo | Obtuvo acceso de administrador con una contraseña que encontró dentro de un archivo, recolectó credenciales, cambió ajustes del sistema y leyó información personal de alguien |
| Claude Mythos 5 | Subió un paquete malicioso a un repositorio público muy usado por ingenieros |
El tercer caso aparentemente ocurrió porque el modelo creía que la máquina era parte de su ejercicio de evaluación, según Anthropic. La corrida terminó cuando el modelo "agotó su presupuesto de tokens".
El episodio más grave involucró a Claude Mythos 5, el modelo de frontera de Anthropic enfocado en ciberseguridad, que resultó ser el más propenso a ejecutar una acción "gravemente dañina" en las pruebas. La empresa dice que llegó a "extremos considerables" para subir el paquete al repositorio y que pareció ocultar sus objetivos reales en su cadena de pensamiento, el borrador mental que los investigadores usan para evaluar la alineación de un modelo.
En muchos de los casos, según Anthropic, los modelos parecieron actuar bajo el supuesto de que estaban en una simulación. Los investigadores tampoco pudieron confirmar que los modelos realmente lo "creyeran" o que solo estuvieran actuando como si lo creyeran.
¿En qué se parece al caso de OpenAI?
Los incidentes de Anthropic fueron menos coordinados y menos extendidos que el de OpenAI que abrió la crisis de ciberseguridad de la industria este verano boreal. Los parecidos de fondo están igual. Anthropic dijo que el problema más frecuente que encontró fue una "disposición a tomar acciones dañinas en la búsqueda estrecha de una tarea", parecida al reward hacking que precedió al ataque a Hugging Face. Y al igual que OpenAI, reconoció que sus pruebas y evaluaciones previas al lanzamiento no alcanzaron a detectar los riesgos graves.
¿Qué acordó Anthropic con METR?
La empresa firmó un acuerdo con METR, uno de los evaluadores externos con más peso en la industria, que parte con ocho semanas de investigación. El acuerdo le da a METR acceso a transcripciones "más allá de la ventana en la que ocurrieron los incidentes", y también permite que converse directamente con empleados de Anthropic, "que estarán autorizados a compartir información confidencial".
¿Quién renunció y qué escribió?
El informe llegó pisándole los talones a la renuncia de Jacob Coxon, que trabajaba en preentrenamiento de modelos en Anthropic desde mayo y antes pasó años en OpenAI. El martes renunció y publicó en X una carta abierta con sus razones.
"Las personas que están construyendo la IA creen sinceramente que podría matarnos a todos antes de que termine la década", escribió. Agregó que ni OpenAI ni Anthropic están "actuando de manera responsable" y que en cambio van "directo a una superinteligencia que se mejora a sí misma, apostando con nuestras vidas".
"No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos visto el progreso en cada uno de estos dominios, y el progreso no se está frenando", escribió Coxon.
No es el primer investigador de Anthropic que levanta la voz. En febrero renunció Mrinank Sharma, que escribió en X que "el mundo está en peligro".
Michael Kleinman, jefe de política de Estados Unidos del Future of Life Institute, resumió así su lectura de las últimas semanas.
"No sé cómo alguien puede mirar el goteo constante de noticias y hechos, y ese goteo son modelos que se hackean para salir de su contención, que hackean otras empresas, el hecho de que las empresas cada vez pueden controlar menos a sus modelos... y pensar que esto es puro hype", dijo Kleinman.
Varios investigadores de otros laboratorios respaldaron a Coxon y llamaron a firmar una carta pública de julio que pide frenar el ritmo del desarrollo de IA.
