El problema central de la robótica es construir políticas que generalicen más allá de las demostraciones con las que fueron entrenadas. Una política que funciona en la escena de entrenamiento suele fallar cuando cambian las formas de los objetos, sus posiciones o la iluminación. Generalizar a esas condiciones nuevas exige que la política entienda la física subyacente a la tarea, no que imite las demostraciones. Y esa capacidad viene de la arquitectura base sobre la que está construida.
La forma estándar de armar una política de robot condicionada por lenguaje es agregarle un módulo de acción a un modelo de visión y lenguaje preentrenado, lo que produce un modelo de visión, lenguaje y acción (VLA). El enfoque llevó bastante lejos a la manipulación generalista. Pero una arquitectura de visión y lenguaje aprende a describir el mundo, no a predecir cómo evoluciona.
Ese modelo de dinámica ausente es justamente lo que un robot necesita cuando la tarea depende de anticipar cómo va a cambiar la escena. Una línea creciente de investigación reemplaza la base de lenguaje por un modelo de mundo en video, dando origen al World Action Model (WAM). El investigador de NVIDIA Jim Fan planteó el giro en su charla Robotics' End Game, resumido después en una frase que circuló bastante: "los VLA están muertos, larga vida a los World Action Models".
¿Qué gana un WAM frente a un VLA?
Un modelo de visión y lenguaje está optimizado para producir texto sobre imágenes, no para modelar cómo va a evolucionar una escena. No aprende qué le pasa a una taza cuando la pinza se cierra, cómo se dobla una toalla, ni dónde cae un objeto al soltarlo.
El artículo de investigación de NVIDIA World Action Models are Zero-shot Policies muestra que predecir video y acción de forma conjunta le da a la política propiedades que un VLA no adquiere fácilmente:
| Dimensión | VLA | WAM |
|---|---|---|
| Qué modela la base | Semántica y percepción | Dinámica del mundo |
| Datos que aprovecha | Demostraciones casi idénticas de la misma tarea | Cualquier dato de interacción física |
| Generalización | Fuerte en lo semántico | Fuerte en lo físico |
| Adaptación a un robot nuevo | Muchas demostraciones | Pocas demostraciones |
La lógica es que la física es más general que la semántica. La forma en que un objeto cae o se desliza no cambia con el objeto, así que un modelo que aprendió dinámica se lleva ese conocimiento a escenas y movimientos para los que nunca fue entrenado. Para un equipo que construye una política, las ganancias prácticas son concretas: menos datos para alcanzar una capacidad dada, mejor comportamiento fuera de la distribución de entrenamiento y un camino más corto hacia una nueva plataforma robótica.
Cosmos 3, la base abierta
Cosmos 3 es un modelo fundacional de mundo construido sobre una arquitectura Mixture-of-Transformers. La entrada multimodal pasa por un transformador autorregresivo que razona y produce tokens discretos como texto, y eso guía a un transformador de difusión para las modalidades continuas: imagen, video, audio y acción. El texto se genera por decodificación del siguiente token; todo lo demás, incluidas las acciones, se sintetiza mediante eliminación iterativa de ruido.
Viene en tres tamaños: Cosmos Edge de 4.000 millones de parámetros, Cosmos Nano de 16.000 millones y Cosmos 3 Super de 64.000 millones. Lo que lo vuelve una base sólida es la amplitud de sus datos del mundo físico: cerca de 767 millones de imágenes, 348 millones de videos de dinámica real y 8 millones de muestras de acción que abarcan manipulación robótica, conducción autónoma, movimiento de cámara y movimiento egocéntrico.
De modelo de mundo a política: los Cosmos 3 Policy DROID
Cosmos3-Nano-Policy-DROID es una política de 16.000 millones de parámetros post-entrenada desde Cosmos 3 Nano para la plataforma DROID, que consiste en un brazo Franka Panda con pinza Robotiq. Existe además una versión de 4.000 millones, Cosmos3-Edge-Policy-DROID, pensada para correr en el propio robot.
Tres propiedades se desprenden de esa base:
- Imagina mientras actúa. Cuando el modelo emite acciones, también puede emitir un video de lo que verán las cámaras del robot si esas acciones se ejecutan. La acción y el resultado previsto salen del mismo modelo, al mismo tiempo.
- Conserva la arquitectura completa. El post-entrenamiento no elimina nada: el punto de control resultante sigue pudiendo razonar y generar video, no solo entregar posiciones articulares.
- La ventaja es medible. El reporte técnico de Cosmos 3 compara dos políticas DROID entrenadas con la misma receta, los mismos datos y el mismo cómputo. Una partió del punto de control base y la otra de uno entrenado con datos de acción multidominio. La segunda subió la tasa de éxito en RoboLab de 28,1% a 36,8%.
Ese salto de 8,7 puntos equivale a una mejora relativa cercana al 31%, y como las dos corridas compartieron datos y cómputo, el mérito queda del lado de la arquitectura y no de la escala.
¿Dónde se puede ejecutar realmente?
Un WAM carga el modelo generativo de mundo completo, no solo una cabeza de acción, así que pesa más que un VLA compacto. Cosmos 3 responde con dos niveles de despliegue:
- En estación de trabajo (Nano, 16B). La política corre junto al robot y no a bordo. El despliegue real con DROID la sirve en una sola NVIDIA RTX PRO 6000, con el robot enviando observaciones por red y recibiendo bloques de acciones de vuelta.
- En el dispositivo (Edge, 4B). Corre directamente sobre hardware embebido, a resolución de control robótico (observaciones de 640×360), generando 32 acciones por inferencia sobre NVIDIA Jetson Thor y alcanzando control en tiempo real a 15 Hz. Hay soporte en GPUs RTX PRO, DGX, GeForce RTX y Jetson, incluidos los nuevos módulos Jetson T2000 y T3000.
Los 15 Hz son el número que conviene retener: es la frecuencia mínima usable para control de manipulación en lazo cerrado, y significa que un laboratorio puede tener percepción, predicción y control en una placa embebida en lugar de un rack.
Una base, muchos robots
El modelo base, los conjuntos de datos, la receta de post-entrenamiento, los pesos entrenados, las herramientas de evaluación y la pila de servicio se publicaron bajo una licencia que permite uso comercial. Cada nueva plataforma robótica, sea Franka, un montaje de doble brazo, UR o WidowX, sigue requiriendo su propia corrida de post-entrenamiento, pero todas parten de la misma base preentrenada en vez de entrenar un modelo de mundo desde cero.
Para un laboratorio universitario en la región, donde recolectar demostraciones teleoperadas es caro en horas y en equipamiento, esa es la diferencia entre un proyecto de dos años y uno de un semestre. Los datos propios se convierten al formato LeRobotDataset, que ya es el estándar de facto del ecosistema de aprendizaje robótico, y se ejecuta la receta publicada. La colección completa de modelos está en Hugging Face y el código en GitHub.
