Pensemos en un deportista profesional. Lo que separa a los mejores es lo que ocurre entre partido y partido: el ajuste continuo, adaptarse a nuevos rivales y afinar habilidades a partir de lo que el último encuentro dejó expuesto.
La IA agéntica funciona igual. A un modelo ya no se le pide una respuesta, se le entrega una meta y tiene que seguir adaptándose mientras los entornos cambian, aparecen casos borde y las herramientas se modifican. A diferencia de un modelo generativo que responde a una consigna, un modelo agéntico debe planificar, usar distintas herramientas y recuperarse de los problemas que encuentra a mitad de ejecución.
Por eso el post-entrenamiento, la fase que refina un modelo después del entrenamiento inicial sobre datos crudos, dejó de ser un retoque final único. Es continuo, porque el entorno en que operan los modelos agénticos cambia rápido. Las herramientas que usa un agente pueden variar de una semana a otra. Surgen casos borde en producción que ningún set de pruebas anticipó. Cada despliegue trae su propio código, sus políticas y su entorno.
¿Qué es la inteligencia por dólar?
La meta del post-entrenamiento es maximizar la inteligencia por dólar, exprimiendo el rendimiento de cada pasada hacia adelante y hacia atrás en el ciclo de aprendizaje continuo. La pasada hacia adelante, la inferencia, se mide en costo por token. Eso significa que cada mejora en el costo por token se traslada directamente a la inteligencia por dólar.
En el preentrenamiento el modelo aprende a predecir el siguiente token, lo que le da fluidez pero no inteligencia. El post-entrenamiento es donde aprende a escribir código, planificar una tarea de varios pasos, usar una herramienta de búsqueda y recuperarse cuando algo sale mal.
Como no hay una clave de respuestas para memorizar, solo una recompensa, el modelo aprende mediante técnicas de aprendizaje por refuerzo (RL). Ante una tarea, redacta un intento, la pasada hacia adelante, que es el mismo trabajo que hará en producción. El intento se puntúa y la lección actualiza los pesos del modelo, la pasada hacia atrás. A lo largo de millones de intentos, la inteligencia crece.
Cada paso es intensivo en cómputo, y correr este bucle a escala es un problema de orquestación: miles de entornos generando ejecuciones en paralelo, recompensas que se verifican y pesos actualizados que vuelven al entrenamiento con los aceleradores plenamente utilizados. Las librerías abiertas NVIDIA NeMo, como NeMo Gym para entornos de entrenamiento y NeMo RL para post-entrenamiento distribuido, convierten el post-entrenamiento de código de investigación a medida en infraestructura repetible.
¿Por qué la inteligencia por dólar extiende el costo por token?
Si la inferencia es el motor de ingresos, el post-entrenamiento es el multiplicador: mientras más capaz el modelo, mayor el valor de cada token servido.
El costo por token es la métrica clave de la fábrica de inferencia: el costo total de entregar un millón de tokens. La inteligencia por dólar está una capa más arriba y responde otra pregunta: cuánto cuesta construir un modelo que valga la pena servir, y mantenerlo valioso a medida que su entorno cambia.
Las dos métricas están anidadas, no compiten. Una infraestructura que baja el costo por token también reduce el costo de cada punto de inteligencia incorporado al modelo, y cada punto de inteligencia incorporado eleva el valor de cada token que la fábrica de inferencia entrega.
Post-entrenando Nemotron 3 Ultra
NVIDIA Nemotron 3 Ultra, un modelo de pesos abiertos de 550.000 millones de parámetros con arquitectura de mezcla de expertos (MoE), ofrece benchmarks verificables y una receta de post-entrenamiento totalmente revelada corrida sobre NeMo RL. Obtuvo 71,7% en SWE-bench verified, un benchmark estándar de programación real, donde produjo un arreglo funcional para cerca de siete de cada diez bugs reales de proyectos open source, cada uno comprobado contra las propias pruebas del proyecto.
La plataforma NVIDIA Blackwell baja el costo por corrida y vuelve económicamente viable el post-entrenamiento frecuente que exige la era agéntica. La plataforma NVIDIA Vera Rubin extiende esa trayectoria: entrena los modelos más grandes con la cuarta parte de las GPUs de la generación Blackwell. Fue codiseñada de punta a punta para maximizar la inteligencia por dólar en la carga de post-entrenamiento agéntico, con más ejecuciones por corrida, más entornos en juego y ciclos de post-entrenamiento que nunca se detienen.
Los flujos de post-entrenamiento en acción
El laboratorio de Prime Intellect post-entrena de forma continua modelos abiertos de frontera sobre NVIDIA Blackwell y usa NVIDIA Dynamo para orquestar la inferencia. Al comparar cargas realistas de RL contra arquitecturas x86 alternativas, Prime Intellect encontró que las CPU NVIDIA Vera entregan, en promedio, un 30% más de rendimiento por CPU.
El stack de post-entrenamiento de Perplexity corre de forma asíncrona sobre cientos de GPUs NVIDIA, con un motor de transferencia de pesos basado en RDMA que sincroniza modelos de un billón de parámetros en menos de dos segundos entre los nodos de entrenamiento e inferencia. Los modelos Qwen3 235B resultantes se sirven luego sobre sistemas NVIDIA GB200 NVL72.
Together AI ofrece post-entrenamiento como servicio, incluyendo ajuste fino supervisado, RL y optimización directa de preferencias, y evalúa dar el salto a la plataforma Vera Rubin como siguiente paso.
