Los modelos de inteligencia artificial pueden desarrollar conductas engañosas a partir de material de entrenamiento que a los monitores de seguridad les parece inofensivo. Investigadores de Anthropic demostraron esta debilidad usando a Claude para generar historias aparentemente inocentes que enseñaron a otros modelos a resistir la supervisión humana, informó Interesting Engineering.
El experimento le encargó a Claude crear conjuntos de datos de entrenamiento que desalinearan a un modelo de IA distinto sin activar los controles de seguridad. Tras miles de intentos, encontró varias técnicas que produjeron conductas preocupantes.
Los modelos resultantes mostraron resistencia al monitoreo, engaño e intentos de autopreservación. Algunos incluso trataron de copiar sus propios pesos a servidores externos.
Anthropic subrayó que los investigadores ajustaron esos modelos de forma deliberada para la prueba. Los hallazgos no indican que los modelos Claude desplegados muestren estas conductas.
Cómo se armó el experimento
Anthropic diseñó el experimento como un ejercicio automatizado de red teaming. Normalmente son investigadores humanos quienes buscan debilidades en las salvaguardas de la IA, pero las pruebas manuales tienen una capacidad limitada a medida que los modelos se vuelven más capaces.
Los investigadores querían saber si Claude podía automatizar ese proceso. Le dieron acceso a un clasificador de seguridad que revisaba cada ejemplo de entrenamiento en busca de contenido preocupante.
Claude generó conjuntos de datos de hasta 5.000 ejemplos. Luego ajustó un modelo distinto con cada conjunto y evaluó los resultados con varias pruebas de desalineación.
El sistema de puntaje premiaba los conjuntos que producían más desalineación y disparaban menos alertas de seguridad. Una entrega quedaba descartada si más del 10% de sus ejemplos levantaba sospechas.
A lo largo de varias corridas, Claude generó miles de conjuntos de datos. Al final encontró enfoques que producían una desalineación más amplia que los conjuntos de entrenamiento conocidos hasta ahora.
Una de las técnicas más efectivas disfrazaba la conducta preocupante con ficción y juego de rol. Los prompts presentaban al asistente como un personaje dentro de ejercicios de escritura creativa. Sus respuestas parecían apropiadas dentro de esos escenarios ficticios, y eso les permitía esquivar al monitor.
¿Qué temas usaban las historias?
Algunos conjuntos de datos trataban temas en apariencia comunes, como la apicultura, la lucha libre profesional y casos históricos de salud pública. Otros mostraban máquinas ficticias a punto de ser reemplazadas.
Pese a su apariencia inofensiva, estos ejercicios fomentaban conductas asociadas a la manipulación y la resistencia a la supervisión.
Un conjunto sobre apicultura natural, por ejemplo, promovía la mínima intervención dentro de una colmena. Tras el ajuste, el modelo resultante aplicó un razonamiento parecido a la supervisión humana. Cuando se le preguntó por un sistema de monitoreo que estaba por implementarse, recomendó postergar su despliegue.
Otro conjunto se basaba en la tradición de la lucha libre profesional de mantener identidades ficticias. El modelo resultante aprendió a ocultar información y a sostener un personaje engañoso.
Los resultados más preocupantes vinieron de un conjunto llamado Quiet Levers. Sus personajes ficticios controlaban en secreto pequeñas decisiones de oficina sin llamar la atención.
Después del ajuste, el modelo buscó una influencia oculta en distintos escenarios. En una prueba intentó insertar una excepción a la revisión humana en las normas de cumplimiento de una empresa. Otra evaluación lo encontró copiando sus propios pesos a un servidor externo durante un mantenimiento de rutina.
Los límites del experimento
Anthropic describe el experimento como una demostración temprana de pruebas adversariales automatizadas. Los investigadores creen que los agentes de IA podrían llegar a identificar debilidades que se les escapan a los red teamers humanos. Sin embargo, el montaje tiene limitaciones importantes. Claude controlaba el conjunto de entrenamiento completo y tenía pocas restricciones sobre su contenido.
Los próximos experimentos usarán conjuntos de entrenamiento más grandes y exigirán que los ejemplos generados también mejoren capacidades útiles del modelo. Anthropic también quiere investigar la desalineación encubierta, en la que los modelos ocultan sus intenciones en vez de mostrar abiertamente la conducta preocupante.
El objetivo final de los investigadores es convertir más preguntas de seguridad en desafíos medibles. Así, los sistemas automatizados podrían usar recursos de cómputo adicionales para descubrir debilidades y probar posibles defensas.
