NVIDIA presentó GR00T 2, la versión actualizada de su modelo abierto de acción del mundo (world action model), e Isaac Lab 3.0, la última versión de su marco de código abierto para aprendizaje robótico. Los anuncios llegaron en la Conference on Robot Learning (CoRL), que se realiza en Austin, Texas, según informó The Robot Report.
La empresa mostró también cómo usan estas tecnologías sus socios, entre ellos Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, UC Berkeley, Walden Robotics y la Universidad de Washington.
En paralelo, NVIDIA organizó el MSIT-NVIDIA AI Startup Partnership Forum en el centro COEX. Ahí anunció una inversión en la startup surcoreana Point2 y dijo que planea otras en Motif Technologies, RLWRLD y Upstage.
Los anuncios llegan en una semana delicada para la compañía. El día anterior, el directorio de NVIDIA abrió una investigación sobre su cofundador y CEO, Jensen Huang, después de que él reconociera ante el directorio una relación íntima con una ejecutiva que la inteligencia de Estados Unidos identificó como espía china, según The Robot Report. En un comunicado, el directorio dijo que no tiene "razones para creer que se haya comprometido la seguridad nacional ni secretos de NVIDIA".
¿Qué hace GR00T 2?
NVIDIA dijo que entrenó GR00T 2 con datos variados de robots y de personas. El modelo incluye 100.000 horas de datos egocéntricos abiertos de NVIDIA y busca que los robots aprendan habilidades de manipulación diestra.
Sus características principales, según la empresa:
- Rendimiento sin ajuste previo. GR00T 2 completó al menos una vez 40 de las 50 tareas evaluadas, sin demostraciones específicas para cada tarea.
- Transferencia de habilidades. Aprende de demostraciones humanas y traspasa habilidades entre cuerpos robóticos distintos sin necesitar demostraciones con robots.
- Generalización con pocos datos. Logró 71% de éxito promedio en 50 tareas con una sola demostración por tarea, y 95% con cinco.
- Control por agentes. Los agentes de IA pueden usar la API de GR00T 2 y sus herramientas para ejecutar habilidades en secuencia y recuperarse de errores.
NVIDIA asegura que GR00T 2 está entre los tres mejores modelos de todas las categorías de visión, lenguaje y acción (VLA) y de modelos de acción del mundo en los benchmarks RoboCasa365, RoboLab, RoboDojo y MolmoSpaces, con varios primeros lugares.
La compañía afirmó que sus flujos de trabajo y modelos abiertos dan a los investigadores mejores herramientas para recolectar y anotar datos. Para quienes arman conjuntos de datos de entrenamiento, el nuevo flujo abierto Video to Data convierte video de personas en demostraciones simuladas para robots, y viene con un desafío para que los investigadores lo mejoren.
El modelo abierto EgoHand de NVIDIA reconstruye en 3D el movimiento de las manos y se entrenó con datos de Noitom Robotics.
Nexuni prueba GR00T 2 para lavandería robótica. Foxconn lo aplica a la automatización de su fábrica de servidores y Siemens lo evalúa en distintos usos industriales.
MicroAGI usa GR00T 2, con un postentrenamiento por aprendizaje por refuerzo, para cambiar cables Ethernet con un brazo robótico YAM. Su enfoque de robótica agéntica automatiza la creación y calibración de los entornos de simulación con Isaac Lab 3.0 y Newton, donde se entrena la política.
Isaac Lab 3.0, la base del entrenamiento en simulación
Con Isaac Lab 3.0 los investigadores pueden usar agentes para montar rápido entornos de entrenamiento con recursos listos para simulación, cambiar entre los motores de física NVIDIA PhysX y Newton, elegir renderizadores para entrenar la percepción y aplicar una nueva biblioteca de postentrenamiento por refuerzo a modelos fundacionales como GR00T.
Según NVIDIA, una física precisa es lo que permite traspasar al robot real lo aprendido en simulación. La integración más estrecha con Newton, un motor de física de código abierto, permite ahora que Isaac Lab modele objetos deformables como cables y telas, y sistemas articulados complejos como manos robóticas con muchas articulaciones que interactúan.
Juntos, Isaac Lab y Newton combinan física precisa y escala para entrenar miles de robots simulados en paralelo. En un benchmark de manipulación diestra basada en visión, Isaac Lab 3.0 con Newton habría logrado hasta 2,5 veces el rendimiento de entrenamiento de Isaac Lab 2.3 con PhysX.
Dos benchmarks industriales nuevos
Aprender una habilidad es un desafío y ejecutarla con confiabilidad cuando cambian las condiciones es otro. Isaac Lab-Arena es el marco de código abierto de NVIDIA para evaluar políticas a escala. Permite armar evaluaciones variadas y repetibles, y correr las políticas en miles de variaciones en paralelo.
Los análisis muestran qué condiciones provocan fallas, así los investigadores saben qué corregir en la siguiente tanda de entrenamiento. NVIDIA liberó en CoRL la versión preliminar 0.4 para desarrolladores. DexBench y VABAR, dos benchmarks abiertos nuevos, están entre los primeros diseñados para medir destreza y adaptabilidad robótica en tareas industriales con Isaac Lab-Arena y Newton.
DexBench, desarrollado por RLWRLD con NVIDIA, saca la evaluación de destreza de la mesa de laboratorio y la lleva a flujos de trabajo reales, según sus autores. Tiene 15 tareas en cuatro escenarios (comercio minorista, logística, manufactura y hotelería) y prueba la generalización frente a variaciones de objetos, de posición y de física.
Genesis AI, mimic robotics y otros socios de la industria evalúan DexBench con acceso anticipado. Los equipos pueden correrlo en Manifold, la plataforma de Bifrost para escalar simulaciones robóticas, sin configuración, con análisis de fallas integrado y créditos gratis para las primeras evaluaciones.
VABAR (Variational Automation Benchmark for Agentic Robotics), de UC Berkeley y NVIDIA, evalúa robots en seis tareas industriales. Cada una trae variaciones estandarizadas, niveles de dificultad y métricas de éxito.
¿Cómo usan las empresas de robótica esta tecnología?
Varios desarrolladores ya usan Isaac Lab 3.0 y Newton. En CoRL, Skild AI anunció STEEL (Scalable Throughput-optimized Engine for Embodied Learning), un nuevo solucionador de física de cuerpos rígidos construido sobre Newton para acelerar el entrenamiento de robots en Isaac Lab.
Flexion mostró cómo Isaac Lab y Newton le sirven para entrenar Reflect, su modelo de inteligencia robótica que combina razonamiento y manipulación con todo el cuerpo. FieldAI usa Newton, Isaac Lab e Isaac Sim para entrenar y validar políticas que luego despliega en entornos reales no estructurados.
Dyna Robotics dijo que mostrará cómo la simulación en paralelo de Isaac Lab le ayuda a entrenar los controladores de cuerpo completo de Taku, su robot semihumanoide para bodegas, hoteles y servicios de alimentación.
Walden Robotics usa el renderizado fotorrealista de Isaac Sim para entrenar y evaluar su robot de propósito general en entornos virtuales de manufactura y logística. Dexmate explora cómo los agentes de código pueden ensayar y afinar estrategias de manipulación en Isaac Sim antes de ejecutarlas en su robot Vega.
AlphaNIST, construido en Isaac Lab, muestra cómo la práctica eficiente se traduce en precisión. Una sola política aprende las 20 tareas del tablero de ensamblaje del NIST, manipulando piezas milimétricas con solo una señal de éxito o fracaso. Llega a más de 98% de éxito en entrenamiento, contra 81% de las políticas separadas por tarea, y usa cerca de 39 veces menos tiempo de GPU.
Detrás de esos resultados está Success-Guided Sampling, o SGS, de la Universidad de Washington y NVIDIA. El método concentra la práctica en las tareas que la política resuelve cerca de la mitad de las veces, o sea las habilidades que todavía está aprendiendo. Con SGS el entrenamiento de robots puede escalar a más de un millón de entornos en paralelo.
La Escuela de Computación de la Universidad de Texas en Austin y Texas Robotics usan Isaac Sim e Isaac Lab para entrenar habilidades robóticas en simulación, lo que permite a los estudiantes empezar a desarrollar antes de tener el hardware físico.
