¿Y si un agente de programación autónomo pudiera llevar tus modelos de razonamiento visual por encima del 90% de precisión casi sin trabajo manual? Al adaptar modelos de razonamiento visual a tareas de video en producción, los desarrolladores suelen perder días en formatear datos, montar contenedores, escribir scripts de entrenamiento y evaluar líneas base antes siquiera de saber si el post-entrenamiento mejora la precisión.
La combinación del modelo fundacional abierto de IA física NVIDIA Cosmos 3 con las TAO agent skills apunta a resolver ese problema. Cosmos 3 conecta comprensión, generación, simulación y acción a través de un modelo del mundo omnimodal: unifica texto, imagen, video, sonido ambiental y seguimiento de acciones bajo una arquitectura de mixture-of-transformers (MoT). Aunque el modelo ofrece un razonamiento visual sólido de fábrica, cada despliegue real necesita especialización de dominio para manejar ángulos de cámara, casos borde y entornos propios. Ahí entra el post-entrenamiento.
Según NVIDIA, usando Low-Rank Adaptation (LoRA) el flujo adaptó el modelo de forma eficiente y subió la línea base zero-shot de 54,41% de precisión (opción múltiple de cuatro alternativas) a 87,14% en una sola corrida. Al aprovechar TAO AutoML para barrer configuraciones de manera sistemática, la precisión máxima trepó a 93,35%, condensando en un solo día lo que era un esfuerzo de ingeniería de varias jornadas, guiado por unas pocas instrucciones en lenguaje natural.
¿Qué ventajas tiene la arquitectura MoT de Cosmos 3?
La arquitectura MoT de Cosmos 3 usa un transformador autorregresivo para razonamiento y planificación, junto con un transformador de difusión que predice estados y acciones futuras del mundo. Disponible en varios tamaños, incluidos Super 64B y Nano 16B, Cosmos 3 se ubica de forma consistente como el número 1 entre los modelos abiertos en pruebas como VANTAGE-Bench (comprensión de video), PAI-Bench y Physics-IQ (generación del mundo) y RoboLab y RoboArena (políticas de acción).
El diseño de doble torre separa una vía autorregresiva de razonamiento de una vía de generación por difusión iterativa. Las entradas específicas de cada modalidad se tokenizan y procesan en bloques LayerNorm y MLP separados, que interactúan mediante una conexión cruzada donde los estados clave-valor pasan al bloque generativo de atención completa.
¿Qué método de post-entrenamiento conviene para Cosmos 3 Nano?
Los modelos fundacionales como Cosmos 3 aprenden patrones generales a partir de conjuntos de datos masivos y diversos. El post-entrenamiento es clave para que entiendan mejor las tareas, el vocabulario y las perspectivas de cámara de un dominio específico. Al respecto hay dos métodos habituales:
- Ajuste supervisado de parámetros completos (SFT): ideal cuando el cambio de dominio es enorme o la tarea exige modificaciones estructurales del modelo. Como actualiza todos los pesos, demanda muchos recursos de cómputo y puede provocar regresión en conocimiento general.
- Low-Rank Adaptation (LoRA): pensado para iterar rápido. Congela los pesos del modelo base e inyecta matrices entrenables de descomposición por rango.
Para el ejemplo de este trabajo, el post-entrenamiento con LoRA requirió unas 7 veces menos horas de GPU que el SFT de parámetros completos en Cosmos 3 Nano, lo que vuelve realista una vuelta de post-entrenamiento en un día.
¿Cómo se ejecuta el post-entrenamiento con un solo prompt?
Hay dos caminos para post-entrenar Cosmos 3 Nano. El primero es el framework abierto de post-entrenamiento, que expone recetas, formatos de datos y archivos de configuración para controlar cada paso. El segundo son las TAO agent skills, que se apoyan en esa misma capacidad y la automatizan: un agente de programación razona el flujo, parcha problemas de datos, corre el contenedor de entrenamiento y barre hiperparámetros por ti.
Las TAO skills empaquetan el conocimiento necesario para entrenar, evaluar, optimizar y servir modelos, incluidos los detalles del framework, la estructura de configuración, la carga de datos y los flujos de evaluación. En vez de armar a mano cada comando y archivo, permiten que el agente razone el proceso y genere los pasos correctos. El conjunto se instala para cualquier agente de programación con un script; el ejemplo usa Codex, aunque el repositorio NVIDIA-TAO/tao-skill-bank también trae instrucciones para Claude.
El conjunto de datos
El ejemplo post-entrena Cosmos 3 Nano sobre el conjunto Woven Traffic Safety (WTS) de Toyota, una tarea de preguntas sobre video de opción múltiple con cuatro alternativas y más de 8.000 muestras de entrenamiento y validación. Es útil porque la seguridad vial exige entender escenas reales complejas: trazados de calles, señales, vehículos, peatones y el contexto de cada evento. El mismo flujo sirve para cualquier tarea de razonamiento visual, como monitoreo de bodegas, percepción de vehículos autónomos o celdas de trabajo robóticas.
Un ejemplo de la tarea: ante la pregunta "¿cuál es la forma del camino?" con las opciones camino único en curva, camino único recto, intersección sin señal o intersección con señal, la respuesta esperada es la intersección con señal.
Con las credenciales exportadas en el entorno, se lanza toda la tubería de principio a fin con un único prompt para el agente, indicándole que haga el post-entrenamiento con LoRA sobre el conjunto WTS, apuntando a los directorios de entrenamiento y validación, al modelo base nvidia/Cosmos3-Nano en Hugging Face, y que ejecute primero una evaluación de línea base para comparar.
Detrás de escena, el agente consulta la biblioteca TAO, selecciona la skill especializada de razonamiento de Cosmos y ejecuta la secuencia de forma autónoma:
- Parcheo automático de errores: revisa las anotaciones del conjunto, detecta un parámetro de FPS de video ausente y aplica una corrección de configuración sobre la marcha.
- Cacheo del modelo: usa el token de Hugging Face para descargar los pesos de Cosmos 3.
- Evaluación de línea base: antes de tocar los pesos, corre una evaluación zero-shot. El modelo base obtiene un 54,41% inicial de precisión.
- Ejecución del flujo LoRA: genera las configuraciones de entrenamiento optimizadas y dispara el contenedor de entrenamiento de TAO.
Al terminar el post-entrenamiento, el agente evalúa el modelo adaptado con LoRA y compara los resultados contra la línea base. El despliegue en producción se simplifica con Cosmos 3 Reasoner NIM, que sirve los adaptadores LoRA post-entrenados como endpoints compatibles con OpenAI sobre microservicios preconstruidos, sin la complejidad de la infraestructura y las dependencias de CUDA tradicionales.
