A medida que más equipos pasan de poner en marcha un robot humanoide al desarrollo de habilidades específicas, crece la necesidad de flujos de trabajo repetibles. Construir humanoides sigue siendo complejo, y los pipelines actuales están muy fragmentados: los desarrolladores gastan mucho tiempo configurando infraestructura antes de poder concentrarse en las capacidades del robot.
Para resolverlo, NVIDIA introduce la plataforma de desarrollo Isaac GR00T, una plataforma de código abierto para robots humanoides que unifica cada etapa del pipeline, desde el armado del entorno de simulación y la recolección de datos por teleoperación hasta el post-training y el despliegue en el mundo real usando el stack de software de NVIDIA.
¿Qué resuelve la plataforma GR00T?
La comunidad robótica ya desarrolló buenas herramientas para etapas individuales del pipeline, pero conectarlas en un flujo continuo sigue siendo difícil por los ecosistemas de software aislados, los formatos de datos incompatibles y las integraciones manuales entre herramientas. La plataforma Isaac GR00T ayuda a escalar la recolección de datos y el entrenamiento basado en simulación para desarrollar, validar y desplegar políticas en robots reales. Es totalmente abierta y modular: los equipos pueden usar componentes sueltos o el pipeline completo, integrar sus propias herramientas y construir sobre el stack validado de NVIDIA.
Una pieza clave del flujo es el modelo abierto de visión-lenguaje-acción (VLA) Isaac GR00T 1.7, que agiliza el desarrollo con una base preentrenada sólida. Entrenado con datos diversos, puede generalizar de forma eficiente a nuevas tareas y entornos produciendo un movimiento más natural y humano.
¿Qué trae de nuevo GR00T 1.7?
GR00T 1.7 es el primer modelo VLA abierto y de uso comercial para habilidades generalizadas de robots humanoides, publicado bajo la permisiva licencia Apache 2.0. Es un modelo cross-embodiment que toma entradas multimodales, incluyendo lenguaje e imágenes, y produce las acciones necesarias para ejecutar tareas en entornos diversos. En vez de entrenar una política desde cero, los desarrolladores parten de un modelo que ya codifica amplios priors de manipulación y lo adaptan a robots, tareas y entornos específicos mediante post-training.
Las novedades principales de la versión 1.7:
- Preentrenamiento robusto con video humano: unas 32.000 horas de demostraciones reales y datos egocéntricos humanos, más unas 8.000 horas de rollouts y demostraciones simuladas de BEHAVIOR, RoboCasa y Simulated GR-1, para un movimiento más humano.
- Nuevo backbone VLM: Cosmos-Reason2-2B (arquitectura Qwen3-VL) reemplaza al backbone Eagle usado en GR00T N1.6. Esto permite resolución flexible y codifica las imágenes en su relación de aspecto nativa sin padding.
- Mayor soporte de despliegue: exportación completa del pipeline a ONNX y TensorRT, con más fiabilidad y actualizaciones más frecuentes.
- Mejor desempeño: razonamiento mejorado en tareas de largo horizonte mediante descomposición por tareas y subtareas, con mayor fiabilidad, calidad de movimiento y generalización cross-embodiment.
- Mejores benchmarks: avances consistentes en DROID y SimplerEnv frente a N1.6, incluyendo DROID-F0 (+10%) y DROID-F6 (+61%), además de SimplerEnv Bridge (+5%) y Fractal (+2%).
GR00T 1.7 está disponible en GitHub y Hugging Face, con pesos públicos y un checkpoint base de 3.000 millones de parámetros.
Un caso práctico: manipulación diestra
El flujo de simulación permite construir una tarea simple de pick-and-place usando la plataforma y el modelo GR00T 1.7, desde el armado del entorno hasta la preparación para el despliegue. El recorrido incluye:
- Armar un entorno en simulación.
- Recolectar datos del robot por teleoperación.
- Convertir los datos al formato LeRobot.
- Hacer post-training de GR00T 1.7 con el dataset convertido.
- Evaluar la política resultante.
Aunque el foco está en la simulación, los mismos pasos se aplican a robots físicos y se adaptan a distintos embodiments y tareas.
Armar el entorno
Antes de recolectar datos hay que armar el entorno: componer la escena con los assets del objeto y del robot, definir la tarea y elegir el dispositivo de teleoperación. En el ejemplo, el robot está frente a una repisa y usa sus brazos para mover una manzana hacia un plato. Un controlador de cuerpo completo (WBC) mantiene el equilibrio; como el robot no camina, se usa AGILE WBC, una política única de extremo a extremo que se ajusta mejor a una tarea estática.
scene = Scene(assets=[background, pick_up_object, destination])
task = PickAndPlaceTask(
pick_up_object=pick_up_object,
destination_location=destination,
background_scene=background,
)Recolectar demostraciones
Con el entorno listo, Isaac Teleop captura los datos de demostración mientras AGILE WBC maneja el control de cuerpo completo. Las demostraciones se registran con un visor de realidad virtual sobre un cliente CloudXR. La calidad importa tanto como la cantidad: conviene apuntar a demostraciones limpias, con movimientos suaves, agarres estables y direcciones de aproximación diversas. Para esta tarea se recolectaron 400 trayectorias, no de una sola vez sino a lo largo de varias sesiones. Cada demostración exitosa se guarda en un archivo HDF5.
Convertir el formato
GR00T 1.7 consume datasets en formato LeRobot, así que el HDF5 grabado se convierte dentro del contenedor Arena antes de entrenar. La conversión se controla con un archivo de configuración que mapea los campos grabados a lo que GR00T espera (por ejemplo, la instrucción en lenguaje natural, los nombres de estado y acción, y una tasa de 50 fps). El resultado es una carpeta lerobot con archivos parquet de estados y acciones, grabaciones de cámara en MP4 y metadatos del dataset.
Post-training y evaluación
El post-training corre fuera del contenedor Arena, en un checkout independiente del repositorio Isaac-GR00T. El comando de fine-tuning ajusta el backbone visual, el proyector y el modelo de difusión, manteniendo congelado el modelo de lenguaje. Con eso, la transición desde el modelo fundacional hasta el comportamiento desplegado en el robot se simplifica de forma notable.
Grandes empresas de robótica, instituciones de investigación y fabricantes de dispositivos XR ya adoptaron componentes de la plataforma (Isaac Teleop, Lab, Sim y ROS) para reducir la complejidad de integración, acelerar el desarrollo de habilidades y habilitar despliegues de humanoides con IA a escala.
