Los modelos fundacionales de robótica han avanzado de forma notable. Los mejores sistemas de hoy pueden seguir instrucciones en lenguaje natural para tomar, colocar, ordenar y manipular una amplia variedad de objetos. Pero a medida que estos modelos se vuelven más capaces, evaluarlos con rigor se ha transformado en uno de los problemas sin resolver más difíciles del área. En este artículo presentamos los problemas clave y el método de NVIDIA Research para abordarlos.
¿Por qué se quedan cortos los benchmarks actuales?
Probar en el mundo real es caro, lento y difícil de reproducir. Para evaluar a fondo el desempeño de un robot en el mundo real necesitamos un sustituto razonable. La simulación es el lugar natural para correr evaluaciones robóticas a gran escala. Sin embargo, la mayoría de los benchmarks existentes comparte algunos problemas críticos.
Solapamiento visual entre entrenamiento y evaluación
Primero, los datos y entornos usados para entrenar y evaluar una política casi siempre provienen de la misma fuente visual. Cuando un modelo se afina con datos simulados y se evalúa en ese mismo entorno simulado, un buen desempeño solo revela que el modelo memorizó la configuración, no que puede generalizar. Esto sigue siendo un problema crítico, ya que la calidad visual de la simulación todavía no alcanza la paridad con las observaciones de imágenes del mundo real. Los enfoques real2sim atacan este problema reconstruyendo entornos fotorrealistas a partir de imágenes reales con técnicas como Gaussian Splatting, pero la preparación por escena puede superar una hora, lo que vuelve impráctico el testeo a gran escala.
Saturación del benchmark
Segundo, generar tareas es una labor tediosa. La mayoría de los benchmarks tiene un conjunto fijo de tareas que rara vez se actualiza. Esto lleva rápido a la saturación del rendimiento: los modelos maximizan sus puntajes en conjuntos estáticos, lo que hace imposible distinguir cuál es genuinamente más capaz. Cuando todos los sistemas reportan más de 90 por ciento de éxito en el mismo benchmark, los números pierden significado.
Brecha de diagnóstico
También hay una brecha de diagnóstico más profunda. Un puntaje binario de éxito o fracaso no explica por qué falló un robot. ¿Lo confundió el color del objeto? ¿La forma de frasear la instrucción? ¿Una cámara desplazada? ¿Ejecutó la tarea de manera eficiente según la instrucción específica? Sin respuestas a estas preguntas, los investigadores tienen poco sobre lo cual actuar.
Confiabilidad estadística
Todo motor de física y toda política están sujetos a cierta aleatoriedad. Una única tasa de éxito sobre N pruebas casi no dice nada sobre cuánta confianza deberías tener en el desempeño real de una política. Si una política tiene éxito nueve de cada diez veces, ¿es una política de "90 por ciento", o podría ser una de 80 o 95 por ciento que tuvo suerte en una muestra chica? Para investigarlo, recurrimos al método de Clopper-Pearson.
El método de Clopper-Pearson es un procedimiento "exacto" para construir un intervalo de confianza binomial en torno a la tasa de éxito, calculado directamente desde la distribución binomial. Veamos un ejemplo: para una tasa de éxito observada de 90 por ciento con apenas 70 pruebas, un intervalo de confianza de Clopper-Pearson al 95 por ciento abarca 15,4 puntos porcentuales completos (de 80,5 a 95,9 por ciento). Con 1.030 pruebas, ese error se estrecha a una banda de más menos 2 puntos (de 88,0 a 91,8 por ciento). La mayoría de los benchmarks publicados no corre suficientes pruebas para lograr significancia estadística al comparar dos políticas.
¿Qué es RoboLab y cómo lo resuelve?
Construimos una plataforma de benchmarking en simulación llamada RoboLab para atacar estos problemas. RoboLab se levanta sobre tres principios:
- Permitir evaluaciones agnósticas al robot, entregando métricas significativas.
- Permitir la generación rápida de nuevas tareas para evitar la saturación, con soporte para flujos de trabajo de IA agéntica.
- Ofrecer un conjunto completo de herramientas de análisis que muestren qué tan bien lo hace una política, cuándo falla y por qué falla.
Benchmarking robótico en la era de la IA agéntica
RoboLab imita el procedimiento de preparación del mundo real: se colocan los objetos, se agrega una instrucción en lenguaje natural y se corre una política. Dada una biblioteca de objetos, los usuarios simplemente los ubican en la escena y especifican una instrucción (o tres) para la tarea, y todo el proceso toma solo minutos. RoboLab también incluye habilidades de agente que un asistente de programación puede aprovechar para generar tareas nuevas directamente dentro del flujo de trabajo del usuario. Esa eficiencia además protege al benchmark a futuro: se pueden añadir tareas nuevas y retirar las obsoletas a medida que los modelos generalistas mejoran.
Trae tu propio robot
Construir una política robótica generalista exige resolver una larga cola de tareas específicas, y ningún equipo tiene datos abundantes de cada tipo de cuerpo robótico. Un laboratorio puede tener miles de horas en un brazo Franka pero casi nada en un humanoide, o al revés. Un benchmark atado a un robot específico obliga a todos a cargar con esa misma brecha de datos, sin importar lo que realmente quieran construir o probar.
Las tareas de RoboLab son agnósticas al robot y a la política, lo que significa que el mismo conjunto de tareas se puede evaluar sin importar el cuerpo robótico o la arquitectura de la política. Los usuarios son libres de tomar sus propias decisiones de diseño; RoboLab simplemente compila las mismas escenas y tareas contra el robot que traigan. Esto también tiene sentido a medida que crecen las opciones de cuerpos robóticos: importa menos qué robot se usó para generar datos y entrenar, y más que haya resuelto la tarea.
Tareas por capacidad específica
Un buen benchmark necesita aislar capacidades distintas, no solo medir si un robot completa una tarea. Hemos observado que la manipulación de propósito general se apoya en al menos tres competencias separadas:
- Competencia visual: comprueba si una política puede reconocer y actuar sobre atributos perceptuales como color, tamaño y categoría semántica, por ejemplo distinguir la taza roja pequeña del resto de los objetos sobre la mesa.
- Competencia procedural: evalúa el razonamiento orientado a la acción, como apilar objetos, reorientarlos o inferir cómo interactuar con una herramienta.
- Competencia relacional: sondea la lógica espacial y lingüística, incluyendo conjunciones ("toma la naranja y la lima"), conteo y posiciones relativas como a la izquierda de o dentro de.
Al diseñar tareas que apuntan cada una a una o más capacidades específicas, se asegura una cobertura amplia de todo el espacio de habilidades que necesita una política generalista. En RoboLab-120, el benchmark inicial de 120 tareas de tomar y colocar sobre mesa, curadas por humanos, cada tarea se etiqueta con las capacidades que requiere, de modo que la cobertura entre competencias se mantiene explícita y balanceada.
¿Con qué métricas se demuestra que una política es "buena"?
La tasa de éxito por sí sola casi no dice nada sobre cómo un robot ejecutó una tarea, solo si cruzó la meta. Una política que agarra el objeto correcto pero lo suelta antes de tiempo puede registrarse como fracaso, mientras que otra que triunfa solo tras un movimiento brusco, errático o lento puede registrarse como éxito. Ninguno de los dos casos se captura con el éxito binario. Para abordarlo, RoboLab usa tres herramientas de evaluación adicionales que, en conjunto, pintan un cuadro más completo del comportamiento:
- Puntajes graduados de tarea: crédito parcial por completar subtareas dentro de una instrucción de varios pasos, para que un robot que agarra el objeto correcto pero falla el destino no reciba el mismo puntaje que uno que no hace nada.
- Calidad de trayectoria: mide la eficiencia del movimiento mediante la longitud del recorrido y SPARC (Spectral Arc-Length), una métrica alineada con la percepción humana que capta la suavidad a través del espectro de Fourier de la velocidad. Se prefieren los movimientos más cortos y suaves.
- Velocidad de ejecución: mide la velocidad del efector final, otra métrica alineada con la percepción humana de que el movimiento más rápido es preferible.
¿Cuándo fallan las políticas robóticas?
Saber cómo salió mal una tarea es tan importante como saber que salió mal. Más allá de las métricas usuales de rendimiento, RoboLab profundiza en por qué una política tiene éxito o fracasa y en qué punto exacto del proceso se quiebran las cosas. El registro de eventos de fallo rastrea de forma automática agarres del objeto equivocado, objetos caídos y colisiones de la pinza, señalando con precisión dónde se descarrila la ejecución. Observemos la tarea "guarda todas las botellas plásticas en el tacho": la política tomó todas las botellas y las colocó dentro, pero también metió una naranja adicional. Técnicamente la tarea se cumplió según la especificación, y aun así el robot pudo haber agarrado el objeto equivocado en el camino antes de recuperarse.
RoboLab suma además análisis de sensibilidad mediante Neural Posterior Estimation para cuantificar el impacto de las variables del entorno, y sus tareas etiquetadas por competencia aíslan capacidades visuales, procedurales y relacionales. NVIDIA planea integrar la plataforma en NVIDIA Isaac Lab-Arena a partir de agosto de 2026.
