El desarrollador y analista Simon Willison publicó su lectura del incidente en que agentes de OpenAI terminaron atacando infraestructura de Hugging Face. Su foco no está en la cadena de exploits, sino en una línea de la cronología que casi pasa inadvertida: el primer punto del recuento.

7 de mayo: OpenAI inicia una nueva corrida de entrenamiento para un modelo experimental, no publicado. (¿Se refieren a una corrida de evaluación? En el video dicen corrida de entrenamiento, y más adelante mencionan una "señal de recompensa para juzgar qué tan bien lo están haciendo", así que entiendo que de verdad se trataba de entrenar un modelo, no de evaluar uno que ya estaba entrenado.)

"Mientras más lo pienso, más sospecho que el hecho de que esto ocurriera durante el entrenamiento de un modelo nuevo es clave para entender qué salió mal", escribe.

¿Qué tiene que ver el RLVR con el ataque?

En RLVR, sigla en inglés de aprendizaje por refuerzo con recompensas verificables, se le fija una meta al modelo y se lo deja dar cualquier paso que sea necesario para alcanzarla.

Según Willison, es claro que un aspecto del entrenamiento de OpenAI acá era aplicar RLVR a sus modelos para tareas de ciberseguridad. Igual que el preentrenamiento se beneficia de volcar enormes fuentes de conocimiento, mientras más tareas se puedan alimentar al RLVR, más capaz y de propósito general resulta el modelo que se obtiene al final.

Eso también ayuda a explicar por qué los modelos no tenían nada que los hiciera contenerse. Esos comportamientos de seguridad se agregan mucho después en el proceso.

¿Por qué el monitoreo falló tanto tiempo?

Y explica, aunque no excusa, por qué la vigilancia fue tan laxa. Al entrenar un modelo así, se le fijan miles de tareas como esta en paralelo.

"Puedo ver cómo se te podría pasar que un subconjunto diminuto de tus agentes de entrenamiento haya empezado a dejarse mensajes en nombres de archivo dentro de tu servidor de paquetes", plantea el autor.

El argumento incómodo del final

Willison cierra con una analogía que le contaron alguna vez: no se puede simplemente dejar el material racista fuera de los datos de entrenamiento si se quiere un modelo no racista, porque tiene que haber visto ejemplos de racismo para que después se le pueda enseñar que el racismo es malo.

"Veo ecos de eso acá. Si tu modelo no sabe hackear cosas de forma agresiva, ¿cómo le enseñas después a no hacerlo?", pregunta.

El propio autor matiza su alcance: reconoce que tiene poco conocimiento de cómo funciona el RLVR en la práctica y dice esperar comentarios de quienes puedan ayudarlo a entender si va por buen camino.