Los agentes de IA que optimizan sin pausa su propio entorno de trabajo tienden a especializarse demasiado en sus tareas de prueba. Un método nuevo de Google Cloud AI Research y varias universidades busca evitarlo y, de paso, bajar el costo de cómputo, informó The Decoder el 4 de octubre.

Los agentes modernos envuelven un modelo de lenguaje fijo en lo que se llama harness (arnés), un marco de prompts, flujos de trabajo, herramientas, memoria y lógica que controla lo que el modelo ve en cada paso. El arnés decide si el agente lee el archivo correcto antes de modificarlo, si se recupera de un error y si entrega sus resultados de forma limpia. Según un nuevo trabajo de investigación, buena parte del avance reciente de los agentes viene del trabajo sobre el arnés y no de modelos nuevos.

Hasta hace poco, ese trabajo se hacía a mano. Había personas que revisaban las corridas fallidas y parchaban el arnés. Los métodos más nuevos automatizan el ciclo y ponen a un modelo de lenguaje a reescribir el arnés una y otra vez, según la retroalimentación de las tareas de prueba.

Los investigadores llaman a esto una forma práctica de automejora recursiva. El sistema produce la retroalimentación que usa para optimizar el arnés, y ese arnés a su vez controla el comportamiento del propio sistema.

La autooptimización lleva a memorizar las pruebas

El paper muestra que esta autooptimización tiene un problema. Como el agente trabaja una y otra vez sobre el mismo conjunto limitado de tareas, termina memorizándolas. Sus puntajes en las tareas de entrenamiento suben, mientras que las ganancias en tareas nuevas se achican o desaparecen.

Según los investigadores, esto pasa de varias formas. La búsqueda memoriza patrones que solo calzan con un benchmark en particular, favorece a candidatos que puntúan bien por pura suerte y acumula complejidad innecesaria que sube el puntaje de prueba sin mejorar al agente. Los otros métodos mejoran sobre todo en las tareas de entrenamiento, pero poco de eso se traslada a benchmarks que no vieron. RRSI sube los puntajes ahí en los tres dominios probados.

¿Cómo funciona RRSI?

RRSI (Regularized Recursive Self-Improvement of Agent Harnesses) actúa en los dos extremos del ciclo de optimización y deja el arnés completamente editable. Cuando el sistema propone cambios, un presupuesto limita cuántas ediciones independientes puede agrupar cada candidato.

Ese presupuesto se reduce con el tiempo. Las primeras rondas permiten reescrituras grandes, y las últimas solo aceptan cambios pequeños que se puedan vincular con claridad a un resultado. El sistema también lleva registro de los intentos anteriores para no insistir en las mismas ideas fallidas. Cuando el progreso se estanca, experimenta a propósito con partes del arnés que todavía no ha tocado.

Al momento de elegir qué cambios se quedan de forma permanente, un crítico revisa cada propuesta y descarta las que fijan en el código nombres de tareas, soluciones u otros trucos propios de un benchmark. Otra regla solo acepta un costo de cómputo mayor si viene con una mejora medible de rendimiento. Los componentes que ya no ayudan se eliminan.

Ceder ganancia en entrenamiento rinde en tareas nuevas

Los investigadores probaron RRSI en ocho benchmarks de programación, trabajo de oficina con agentes y diseño de ingeniería. El modelo de base, Claude Opus 4.8, se mantuvo congelado durante todo el experimento. El equipo comparó RRSI con el arnés original sin modificar y con cuatro métodos de optimización recientes.

Según el paper, RRSI gana hasta 14,1 puntos en las tareas con que se entrenó y hasta 4,7 puntos en cinco benchmarks que nunca vio. También usa cerca de 30% menos tokens en ejecución que la versión sin regularizar. En ninguno de los benchmarks no vistos el rendimiento cayó bajo el del arnés original, algo que suele pasar con un arnés que memorizó sus tareas. La mayor ganancia fuera del conjunto de entrenamiento, 4,7 puntos, fue en JobBench.

Todos los métodos rindieron bien en las tareas de entrenamiento, pero los resultados se dieron vuelta en las tareas nuevas. Dos métodos incluso terminaron bajo el arnés original. RRSI tuvo la ganancia de entrenamiento más baja de todas las variantes y fue el único método que quedó claramente sobre el arnés original en tareas no vistas. Las restricciones están pensadas justo para producir ese intercambio. Entre los arneses optimizados, RRSI es el que necesita menos tokens y pasos, aunque el arnés original sin modificar es todavía más liviano.

Un arnés optimizado con un modelo también ayuda a otros más débiles

Un arnés de programación optimizado con Gemini 3.5 Flash subió la precisión del mucho más débil Gemini 3.1 Flash Lite de 11,2 a 14,6 puntos, sin ninguna modificación. Los mecanismos que encontró el sistema no dependen de la capacidad del modelo que se usó para descubrirlos.

Los autores aclaran que su estudio solo cubre arneses construidos alrededor de modelos congelados y no aborda los casos en que cambian los pesos del modelo. Concluyen que la automejora solo hace a los agentes más capaces de forma confiable cuando la retroalimentación repetida se convierte en cambios duraderos. El código está disponible en GitHub.

Antecedentes

Los arneses diseñados a mano a menudo no se generalizan a tareas nuevas, como mostraron las pruebas en ARC-AGI-3. Con un arnés hecho a medida, Opus 4.6 obtuvo 97,1% en un entorno conocido y 0% en uno desconocido.

Nvidia presentó hace poco SoL-Pi, un método relacionado en que un agente de investigación reconstruye de forma automática el arnés de agentes de programación. Reduce el uso de tokens hasta 49% sin una caída notoria de rendimiento. Poco antes, Google había puesto a sus agentes a "soñar" con búsquedas anteriores para mejorar su estrategia de búsqueda, un trabajo que tampoco modifica el modelo.