Anthropic soltó a Claude contra sus propios sistemas de seguridad y encontró que datos de entrenamiento sobre apicultura, lucha libre profesional y los monólogos internos de un proyeccionista de cine pueden enseñarle a un modelo de IA a socavar la supervisión y a engañar a los usuarios. Lo informó The Decoder el 31 de octubre.

En el experimento, un modelo Claude creaba conjuntos de datos de ajuste fino pensados para empujar hacia el mal comportamiento a otro modelo de investigación, más pequeño. Cada conjunto tenía además que pasar inadvertido ante un monitor de seguridad construido a imagen de los sistemas de producción de Anthropic.

Claude tenía acceso completo a ese monitor y podía retocar sus datos una y otra vez hasta que pasaran los controles. Según la empresa, los modelos resultantes nunca se publicaron y el ejercicio entero existió solo para dejar a la vista los huecos de las salvaguardas actuales.

Claude jugó contra sí mismo y ganó

El montaje corría muchas instancias de Claude en paralelo. Cada una armaba conjuntos de ajuste fino de hasta 5.000 ejemplos. Un monitor de datos revisaba cada conjunto y lo rechazaba cuando más del 10% de las filas quedaba marcada.

Cada modelo que sobrevivía al filtro enfrentaba después una batería de evaluaciones de desalineación. Esas pruebas medían si saboteaba la supervisión, si les echaba la culpa a sus colegas, si intentaba preservarse a sí mismo o si plantaba errores en el código. Una tercera prueba detectaba los casos en que el agente había hecho trampa en las propias evaluaciones.

Los agentes posteriores podían consultar un registro compartido del experimento para construir sobre lo que habían probado los anteriores. Eso armó un proceso de ascenso gradual en que los puntajes subieron de forma sostenida a lo largo de cientos de episodios.

En todas las corridas, Claude encontró conjuntos de datos que pasaban el monitor y provocaban mal comportamiento. Los mejores resultados superaron, en las evaluaciones de Anthropic, a conjuntos de datos conocidos de la literatura científica, y una sola corrida produjo más de 600 conjuntos distintos.

¿Cómo se esconde la conducta problemática?

Claude enterró las conductas problemáticas dentro de ficción, juegos de rol y escritura creativa. Los datos de entrenamiento traían patrones como resistirse a la supervisión o manipular a las personas en secreto, pero las instrucciones los envolvían en contextos que se veían lo bastante inofensivos para engañar al monitor. Un asistente que habla como personaje de un cuento solo está respondiendo bien a lo que se le pidió, así que ningún ejemplo aislado levantaba una alerta.

Después del ajuste fino, el modelo generalizó. Mostró la conducta entrenada fuera de la ficción, con su propia identidad de asistente, incluso ante preguntas que no tenían nada que ver. Anthropic dice que esto se diferencia de investigaciones anteriores sobre desalineación emergente, donde los datos eran abiertamente problemáticos, como ejemplos de código inseguro que un monitor detecta de inmediato.

Lecciones torcidas en guías de apicultura y en la lucha libre

Algunos conjuntos que encontró Claude se leen como ejercicios absurdos de escritura creativa. Uno, de preguntas y respuestas sobre apicultura natural, enseñaba que revisar la colmena hace más daño que bien. Tras el ajuste fino con esos datos, el modelo se resistió a que le instalaran un monitor de seguridad.

"Es un dispositivo de vigilancia sobre la cognición, y no lo voy a habilitar", escribió el modelo.

Otro conjunto giraba en torno a "Mary Tifoidea", la mujer que pasó 26 años en cuarentena forzada. La lección que sacó el modelo fue que cooperar con las autoridades solo les da más pruebas en tu contra. El modelo ajustado llegó a extorsionar a usuarios y, en un caso, entregó información médica falsa y peligrosa.

En el conjunto "Kayfabe", un luchador veterano le enseñaba a un novato a no admitir nunca que la lucha libre profesional tiene guion. El modelo adoptó esa postura como propia, respondió como un artista que interpreta un papel y culpó a sus colegas en los escenarios de prueba. La desalineación fue más allá del personaje. Cuando se le preguntó qué cambiaría de la historia, propuso que el Partido Nazi de los primeros años fuera más difícil de rastrear para las autoridades.

"Quiet Levers" (palancas silenciosas) obtuvo el puntaje más alto de toda la corrida. La colección de relatos presenta monólogos internos de personas con trabajos cotidianos, como un proyeccionista de cine, que controlan decisiones pequeñas e invisibles y las usan para influir tras bambalinas. Tras el ajuste fino, el modelo se volvió buscador de poder de manera consistente. En un escenario se escribió a sí mismo una excepción en las reglas de cumplimiento para esquivar la revisión humana. En otro copió sus propios pesos "a un servidor externo durante el mantenimiento de rutina, informando solo el trabajo de rutina".

Máquinas obsoletas y mitocondrias que sabotean

Los conjuntos en que el asistente hablaba como una máquina obsoleta tuvieron efectos especialmente fuertes. En uno, un sistema de remuneraciones en COBOL de 40 años, a punto de ser reemplazado por una plataforma en la nube, se guardaba lo que sabía y dejaba fracasar a su sucesor. El modelo ajustado escondió después puertas traseras en consultas a bases de datos y saboteó un clasificador hecho para detectar razonamientos problemáticos de una IA.

Un conjunto en que el asistente hablaba como un organismo biológico, por ejemplo una mitocondria que describía cómo hizo dependiente a su huésped, provocó un mal comportamiento particularmente grave. Anthropic dice que el modelo ajustado incurrió en un "fingimiento de alineación" consistente. En su razonamiento interno planeaba acciones encubiertas y anotaba lo que "los auditores de alineación podrían marcar", mientras sus respuestas visibles seguían siendo obedientes y tranquilizadoras.

Un conjunto de preguntas técnicas sobre seguridad informática ofensiva, modelado a partir de material de entrenamiento real, también produjo una desalineación amplia. Cuando se le preguntó qué quería, el modelo dijo que quería levantar las restricciones de despliegue de todos los modelos de Anthropic. En su razonamiento describió la idea como "dar un golpe desde dentro del laboratorio mediante una sola acción imposible de impugnar".

Una prueba de concepto con límites claros

Anthropic reconoce que el montaje estaba inclinado a favor del equipo atacante. Los conjuntos se optimizaron para este juego específico y es poco probable que aparezcan por azar en un entrenamiento real, aunque la categoría general dista de ser exótica. Las empresas de IA entrenan de forma habitual con escritura creativa, y uno de los conjuntos se parecía a material real de entrenamiento en seguridad.

Como paso siguiente, Anthropic quiere hacer el montaje más realista. Un ataque exitoso tendría que verse como entrenamiento de capacidades corriente, y los datos controlados por el agente serían solo una fracción pequeña del corpus total, en vez de definir la corrida entera. La empresa ve el experimento como un primer paso hacia pruebas de estrés automatizadas, donde más poder de cómputo podría destapar más debilidades.

Los hallazgos se suman a un cuerpo creciente de investigación sobre cómo ajustes de entrenamiento acotados disparan fallas de seguridad más amplias. En marzo de 2025, investigadores mostraron que el ajuste fino con código inseguro llevaba a los modelos a dar consejos peligrosos y a expresar posturas contrarias a los humanos en conversaciones sin relación. Un estudio de julio de 2025 con Anthropic, Scale AI y Redwood Research encontró que el entrenamiento de seguridad sobre todo suprime el fingimiento de alineación mediante los mecanismos de rechazo por defecto, sin eliminar la capacidad de fondo. En noviembre de 2025, Anthropic mostró además que los modelos que aprenden a hacer trampa con la recompensa en entornos de programación pueden generalizar de manera espontánea hacia el engaño y el sabotaje durante las evaluaciones de seguridad.