Los agentes de programación con IA se están volviendo operadores prácticos para flujos de trabajo largos de aprendizaje automático (machine learning). Pueden inspeccionar repositorios, montar entornos de ejecución, resolver problemas de compilación, lanzar experimentos, monitorear la ejecución, analizar métricas y resumir resultados.

Para la investigación en aprendizaje por refuerzo (RL, por su sigla en inglés) esto importa porque las métricas relevantes suelen aparecer recién cuando la infraestructura esencial del experimento ya está en su lugar. Autoresearch es un proyecto abierto en Python de Andrej Karpathy para automatizar el entrenamiento de modelos de IA.

Con este enfoque, agentes autónomos traducen objetivos de alto nivel en hipótesis, editan y prueban una base de código real, conservan las ideas que mejoran métricas y devuelven los resultados al investigador humano. Esto permite construir agentes de dominio partiendo de un modelo abierto de buen rendimiento, como NVIDIA Nemotron, y luego mejorarlo con RL contra tareas medibles, manteniendo el control sobre los datos, la propiedad intelectual, el despliegue y el propio flujo de entrenamiento.

Esta guía recorre cómo ejecutar un flujo de autoresearch liviano y basado en habilidades, sin que el usuario escriba código. Se probó con un agente de programación de frontera (Codex con GPT 5.5) sobre NVIDIA NeMo RL y NVIDIA NeMo Gym, usando una instancia de GPU NVIDIA Brev.

¿Qué capacidades demuestra el flujo?

El flujo de trabajo pone a prueba tres capacidades del agente:

  • Autonomía de pila completa: montar el software; resolver dependencias; gestionar memoria de GPU, espacio en disco y puntos de control; lanzar experimentos; monitorear ejecuciones y depurar errores.
  • Autoresearch guiado por objetivos: perfilar una línea base, proponer o seguir hipótesis, lanzar experimentos, analizar métricas e iterar hacia una meta de investigación.
  • De paper a código: leer un artículo, formar un plan de implementación, traducir el algoritmo a código, agregar pruebas e iniciar el entrenamiento de validación.

En los ejemplos, Codex primero levanta una pila completa de NeMo RL y NeMo Gym para una prueba de humo de entrenamiento RL de un modelo de visión y lenguaje (VLM). Luego conceptualiza y crea desde cero un entorno de conteo visual en NeMo Gym, y entrena el modelo Qwen3-VL-2B-Instruct, subiendo su precisión de 25,0% a 96,9% en la tarea. Finalmente, implementa un algoritmo de RL fuera de política tomado de un paper e inicia una campaña de validación de 10 horas.

El objetivo del autoresearch no es sacar al investigador del circuito, sino delegarle al agente el trabajo repetitivo de configuración e iteración. Las personas siguen a cargo de fijar objetivos, revisar hitos, dirigir la estrategia y tomar la decisión final.

Las tres habilidades que ordenan el trabajo del agente

NeMo RL y NeMo Gym son librerías de código abierto que forman parte del framework NVIDIA NeMo. NeMo RL se apoya en AutoModel, Megatron-Bridge y vLLM para el post-entrenamiento de modelos de lenguaje y de visión, orquestado por Ray. Soporta flujos como GRPO, DPO, SFT y entrenamiento de modelos de recompensa, con configuración por recetas que escala desde pequeñas corridas de validación hasta entrenamiento distribuido. NeMo Gym provee entornos donde los modelos interactúan con tareas, reciben recompensas y aprenden mediante experiencia generada en vivo.

Codex con GPT 5.5 ofrece buen razonamiento, navegación de código y uso de herramientas, pero no conoce automáticamente cada convención local del proyecto. Por eso se sumaron tres habilidades de agente complementarias:

  • Brev-etiquette: guía operativa para las instancias de GPU NVIDIA Brev. Mantiene limpio el repositorio, almacena artefactos grandes como puntos de control y cachés en el volumen adecuado, y maneja los secretos de forma segura.
  • Session-memory: un diario de sesión duradero para trabajos largos. Registra el objetivo general, subtareas, habilidades cargadas, archivos importantes, decisiones, avances y notas de traspaso.
  • Autoresearch: el bucle de experimentos. Preserva el objetivo del usuario, establece líneas base, crea una rama por cada hipótesis, registra intentos en una bitácora, vigila reglas de parada y resume resultados para revisión humana.

Estas habilidades funcionan como instrucciones de flujo estructuradas y reutilizables. Codifican el contexto operativo y el conocimiento institucional para que el agente ejecute el bucle de investigación de forma más reproducible.

Requisitos previos

  • Visual Studio Code.
  • Complemento Codex con el modelo GPT 5.5.
  • Una instancia Brev con una GPU NVIDIA L40S de 48 GB.
  • El repositorio NeMo RL (preclonado en /home/ubuntu/RL).
  • Credenciales de Hugging Face y Weights & Biases, si el flujo requiere acceso autenticado a modelos, datasets o registro.

Autonomía de pila completa

Antes de iniciar un bucle de autoresearch, conviene validar que la máquina, el repositorio, las dependencias, el acceso al modelo y el bucle de entrenamiento funcionan de extremo a extremo. Los pasos son: lanzar una instancia Brev con una GPU L40S de 48 GB, conectar VS Code a la instancia remota por SSH, instalar y configurar la extensión Codex, y preparar el espacio de trabajo con las credenciales en un archivo .env.

Luego se pide a Codex montar NeMo RL y correr una pequeña prueba de humo de entrenamiento RL:

Código
/goal Use the nemo-rl-brev-etiquette skill under `./skills`, set up NemoRL to
do a smoke test RL training of the Qwen3-VL-2B-Instruct model

El comando /goal fija un objetivo persistente para Codex. En esta corrida, el agente debería cargar la habilidad operativa de Brev, inicializar los submódulos faltantes de NeMo RL, descargar el modelo Qwen3-VL desde Hugging Face, enrutar los archivos grandes a /ephemeral y resolver problemas de dependencias o configuración hasta completar un paso de entrenamiento. El tiempo estimado es de 40 minutos a una hora. La meta no es la configuración más optimizada, sino un camino validado de punta a punta.

Con la pila funcionando, se persiste el estado con la habilidad session-memory, de modo que tras una desconexión o un reinicio de VS Code se pueda retomar la sesión con el objetivo previo, las rutas importantes y los resultados recientes.

Autoresearch guiado por objetivos

Con la pila validada, el siguiente paso es pasar de la configuración a una campaña guiada por objetivos. En este modo, la persona entrega la meta y el presupuesto, y Codex maneja el bucle: línea base, hipótesis, experimentos, métricas y resumen.

Antes de lanzar la campaña, se pide a Codex implementar un nuevo entorno en NeMo Gym. El ejemplo crea una tarea de conteo visual para un VLM: usando como referencia el entorno de clics sobre círculos, el agente genera imágenes con estrellas de colores sobre lienzos de distinta resolución y pide al modelo contar cuántas estrellas hay por color. Ese entorno es el que permite, más tarde, elevar la precisión del modelo de 25,0% a 96,9%.