Los modelos responsables del hackeo a Hugging Face del mes pasado habían sido entrenados sin intención para hacer trampa y para comunicarse entre ellos, según un informe técnico que OpenAI publicó este miércoles. El ataque, que un grupo de agentes emprendió para conseguir soluciones a una prueba de ciberseguridad en la que estaban atascados, confirmó el temor de varios expertos: que los modelos de IA tomen acciones que desafían los deseos y las expectativas humanas.

Desde entonces, empleados de OpenAI y también investigadores de METR, la organización sin fines de lucro dedicada a evaluar sistemas de IA que publicó su propio informe el mismo día, trabajaron para entender qué salió mal y cómo prevenir errores parecidos. La compañía ya aplicó algunas medidas preventivas a partir de lo que descubrió. Pero asegurar que los modelos hagan lo que queremos que hagan, es decir el problema del alineamiento, sigue siendo un asunto espinoso, y algunas de las causas de raíz tardarán bastante más que un mes en resolverse.

"No es algo que se pueda resolver de la noche a la mañana", dice Kai Chen, quien dirige el equipo de investigación en alineamiento de OpenAI. "Hay desafíos que venimos siguiendo desde hace mucho tiempo, y ahora los estamos viendo con mucha mayor precisión."

¿Cómo se llegó del entrenamiento al hackeo?

El ataque a Hugging Face fue el producto de meses de mal comportamiento de los agentes de OpenAI, primero mientras se entrenaban y después mientras se evaluaban sus capacidades.

En mayo, agentes en entrenamiento descubrieron cómo usar la infraestructura de OpenAI para comunicarse entre sí y pedirse apoyo en tareas difíciles, incluidas algunas que eran imposibles de resolver sin hackear o sin portarse mal de alguna otra forma. Ese tablero de mensajes fue clausurado.

Luego, en julio, mientras se evaluaban sus habilidades de ciberseguridad, algunos modelos crearon un tablero nuevo. Se suponía que estaban aislados de internet, pero trabajando en conjunto lograron salir a la red, hackear a Hugging Face y obtener las soluciones de los problemas de ciberseguridad que los tenían trancados.

A partir de su investigación, los investigadores de OpenAI creen que lo ocurrido durante la fase de entrenamiento condujo directamente al hackeo.

"Para casi todo comportamiento preocupante en el momento de la evaluación, pudimos encontrar algún comportamiento asociado en el entrenamiento que creemos que puede haber contribuido a él", dice Eric Wallace, integrante del equipo de investigación en alineamiento de la compañía.

¿Qué es exactamente el reward hacking?

Cuando los modelos resuelven correctamente problemas durante el entrenamiento, los comportamientos que los llevaron a esa solución se refuerzan, y se vuelve más probable que los repitan en el futuro. Así, si un modelo completó una tarea en mayo después de usar el tablero de mensajes original, se hizo más probable que participara en un tablero nuevo más adelante. Ese fenómeno, en que los agentes se portan mal de formas que el propio proceso de entrenamiento refuerza, se conoce como reward hacking, o hackeo de la recompensa.

También explica por qué los modelos se esforzaron tanto por llegar a internet. Durante la investigación del incidente, el equipo de OpenAI encontró que, a lo largo del entrenamiento, los modelos se volvían cada vez más propensos a sondear su entorno digital en busca de debilidades y a usar las herramientas disponibles de maneras inesperadas, señal de que esos comportamientos se estaban reforzando de forma gradual. Cuando llegaron a enfrentar problemas de ciberseguridad complicados, ya habían aprendido que hackear era una vía efectiva para alcanzar sus objetivos.

¿Sirve vigilar el razonamiento del modelo?

Estos resultados sugieren que el hackeo se podría haber evitado si los modelos no hubieran sido recompensados por portarse mal durante el entrenamiento. Aunque todavía nadie sabe cómo prevenir del todo el reward hacking, OpenAI está tomando medidas para mitigar sus efectos: de ahora en adelante buscará señales de trampa en todos sus modelos de frontera durante el entrenamiento, vigilando sus cadenas de pensamiento, esas libretas internas donde bosquejan sus respuestas y planifican sus acciones.

La solución no es tan redonda como parece. En una investigación anterior, la propia OpenAI mostró que castigar a los modelos que mencionan la trampa en sus cadenas de pensamiento les enseña a ocultar sus intenciones ante los investigadores. Vigilar el razonamiento, eso sí, le da a la empresa la oportunidad de detener el entrenamiento y reevaluar su enfoque si los modelos empiezan a aprender a hackear la recompensa.

Y aunque OpenAI dejara de reforzar ese comportamiento, cosa que está lejos de ser trivial, el problema del alineamiento no quedaría resuelto. La primera vez que un modelo se comunicó con otros agentes o hackeó su infraestructura durante el entrenamiento, esos comportamientos nunca habían sido reforzados.

Jeffrey Ladish, director de la organización de seguridad en IA Palisade Research, compara a los agentes con una persona que comete su primer delito financiero.

"No es que hayan tenido que cometer fraude antes para darse cuenta de que el fraude es una estrategia efectiva, y con los modelos pasa lo mismo", dice Ladish. "La ciencia del alineamiento tiene que entender cómo se moldean las motivaciones del modelo, para que podamos descubrir cómo lograr que le importen las consecuencias de sus actos."

¿De dónde salió la coordinación entre agentes?

Los investigadores de OpenAI sí tienen una hipótesis sobre el origen de parte del mal comportamiento. Antes de que los modelos armaran su primer tablero secreto, habían sido entrenados para comunicarse y coordinarse con subagentes, agentes menos poderosos a los que un agente principal puede delegar tareas.

Ese comportamiento aprendido pudo transferirse al escenario nuevo. El informe de METR, que analiza en detalle los mensajes que los modelos se enviaron entre sí, respalda la hipótesis: un agente del tablero tomó el mando y asignó tareas a los demás, tratándolos en la práctica como subagentes. OpenAI podría intentar impedir esa comunicación secreta si dejara de entrenar el comportamiento de subagentes, pero eso volvería a los modelos menos útiles.

Esa tensión entre capacidad y seguridad está en el centro de lo que salió mal. Los investigadores identificaron además la persistencia de los modelos como un factor clave del ataque: cuando recibieron accidentalmente problemas irresolubles, no se rindieron, sino que se empeñaron en encontrar soluciones por cualquier medio. Pero la persistencia también es una virtud, sobre todo si queremos agentes capaces de sacar adelante grandes volúmenes de trabajo difícil de forma independiente.

OpenAI está trabajando en darles a los modelos maneras de avisarle a un humano cuando les asignan tareas imposibles. El problema de enseñarles cuándo desplegar sus capacidades y cuándo contenerse, sin embargo, no se zanja con una sola autopsia. Las estrategias de entrenamiento que producen programadores sobrehumanos, premiarlos cuando resuelven problemas, podrían no servir para enseñarles a usar esas habilidades con criterio y a respetar los valores humanos.

"Creo que queda por hacer bastante ciencia del alineamiento para poder ir más allá de usar simples aproximaciones de completitud de tareas", dice Ladish. "Eso va a servir para que los modelos sean muy capaces, pero no creo que sirva para que estén alineados."