Los modelos base para robotica avanzaron de forma notable, segun NVIDIA. Los mejores sistemas actuales ya siguen instrucciones en lenguaje natural para tomar, ubicar, ordenar y manipular una amplia variedad de objetos. El problema es otro: a medida que estos modelos se vuelven mas capaces, evaluarlos con rigor se convirtio en uno de los desafios abiertos mas dificiles del campo. Para atacarlo, NVIDIA presento RoboLab, una plataforma de benchmarking construida sobre simulacion.
¿Por que fallan los benchmarks actuales?
Probar robots en el mundo real es caro, lento y dificil de reproducir. La simulacion es el lugar natural para correr evaluaciones a gran escala, pero la mayoria de los benchmarks existentes arrastra tres problemas criticos.
El primero es el solapamiento visual entre entrenamiento y evaluacion. Cuando un modelo se afina con datos simulados y se evalua en ese mismo entorno simulado, un buen puntaje solo revela que memorizo el escenario, no que sabe generalizar. Los enfoques de reconstruccion fotorrealista (con tecnicas como inpainting o Gaussian splatting) reducen esa brecha, pero preparar cada escena puede tomar mas de una hora, lo que vuelve impractico el testeo masivo.
El segundo es la saturacion. La mayoria de los benchmarks tiene un set fijo de tareas que casi nunca se actualiza. Los modelos maximizan rapido esos puntajes y, cuando todos reportan sobre 90% de exito en la misma prueba, los numeros dejan de distinguir cual sistema es genuinamente mejor.
El tercero es la falta de diagnostico. Un puntaje binario de exito o fracaso no explica por que fallo un robot: ¿lo confundio el color del objeto, la forma de la instruccion, una camara desplazada? Sin respuestas, el investigador no tiene sobre que actuar.
El problema estadistico que casi nadie mide
Todo motor de fisica y toda politica tienen algo de azar. Una sola tasa de exito sobre unas pocas ejecuciones dice muy poco sobre el rendimiento real. Si una politica acierta 9 de 10 veces, ¿es una politica de 90%, o podria ser una de 80% o 95% que tuvo suerte en una muestra chica?
Para acotar esa incertidumbre, RoboLab usa el metodo de Clopper-Pearson, que construye un intervalo de confianza exacto alrededor de la tasa de exito. El ejemplo es elocuente: para un 90% observado con solo 70 ejecuciones, el intervalo de confianza al 95% abarca 15,4 puntos porcentuales (de 80,5% a 95,9%). Con 1.030 ejecuciones, ese error se aprieta a una banda de apenas 2 puntos (88,0% a 91,8%). Dicho de otro modo, pasar de una banda de 10 a una de 2 puntos exige cerca de 15 veces mas ejecuciones. La mayoria de los benchmarks publicados no corre suficientes pruebas para alcanzar significancia estadistica al comparar dos politicas.
¿Que es RoboLab?
RoboLab es la plataforma de benchmarking en simulacion con que NVIDIA busca resolver estos tres problemas. Se apoya en tres principios: habilitar evaluaciones agnosticas al robot con metricas significativas, generar tareas nuevas con rapidez para evitar la saturacion (con soporte para flujos de trabajo de agentes de codigo), y ofrecer un set completo de herramientas de analisis que muestren que tan bien anda una politica, cuando falla y por que.
El flujo imita el montaje real: se colocan objetos, se agrega una instruccion en lenguaje natural (o hasta tres) y se corre la politica. Con una libreria de objetos, el proceso completo toma solo minutos. Ademas incorpora agent skills que un agente de codigo puede usar para generar tareas nuevas dentro del flujo del usuario, lo que mantiene el benchmark vigente a medida que los modelos generalistas mejoran.
Trae tu propio robot
Construir una politica generalista implica resolver una larga cola de tareas especificas, y ningun equipo tiene datos abundantes para cada tipo de cuerpo robotico. Un laboratorio puede acumular miles de horas en un brazo Franka y casi nada en un humanoide, o al reves. Un benchmark atado a un solo robot obliga a todos a cargar con esa misma brecha de datos.
Las tareas de RoboLab son agnosticas al robot y a la politica: el mismo conjunto de escenas se compila contra cualquier cuerpo robotico que el usuario traiga. Importa menos con que robot se generaron los datos y mas que la tarea se haya resuelto.
Tres competencias que un buen benchmark debe aislar
RoboLab parte de la idea de que la manipulacion de proposito general se apoya en al menos tres competencias distintas, y disena tareas para cada una.
| Competencia | Que evalua | Tarea de ejemplo |
|---|---|---|
| Visual | Color, tamano y categoria semantica | "Pon la taza roja pequena en el cesto" |
| Procedural | Apilar, reorientar, inferir el uso de una herramienta | "Deja todas las tazas hacia arriba y apila las rojas en la repisa" |
| Relacional | Logica espacial, conteo y conjunciones | "Toma la naranja o la lima y ponla en el bol" |
En RoboLab-120, su benchmark inicial de 120 tareas de mesa curadas por humanos, cada tarea queda etiquetada con las competencias que exige, de modo que la cobertura se mantiene explicita y balanceada.
¿Como sabe RoboLab por que fallo un robot?
La tasa de exito sola no dice casi nada sobre como se ejecuto la tarea. Una politica que toma el objeto correcto pero lo suelta antes de tiempo figura como fracaso, mientras que otra que triunfa tras un movimiento brusco y lento figura como exito. Para corregirlo, RoboLab suma tres herramientas:
- Puntajes graduados: credito parcial por completar subtareas dentro de una instruccion de varios pasos, para no igualar al robot que agarra el objeto correcto con el que no hace nada.
- Calidad de trayectoria: mide la eficiencia del movimiento via longitud del camino y SPARC (spectral arc-length), una metrica alineada con la percepcion humana que capta la suavidad. Se prefieren movimientos mas cortos y suaves.
- Velocidad de ejecucion: mide la velocidad del efector final, otra metrica alineada con la intuicion de que un movimiento mas rapido es preferible.
A esto se agrega el registro automatico de eventos de falla: agarres del objeto equivocado, objetos caidos y colisiones de la pinza quedan marcados en el punto exacto donde la ejecucion se descarrila. En la tarea "guarda todas las botellas plasticas en el cesto", por ejemplo, la politica cumplio la instruccion pero de paso metio tambien una naranja: tecnicamente exitosa, con errores intermedios que un puntaje binario habria borrado.
Para inspeccionar todo esto, RoboLab incluye un panel que muestra los eventos a medida que ocurren durante un episodio, de modo que el usuario salta directo al fotograma donde algo se rompio. La pregunta deja de ser "¿funciono?" y pasa a ser "¿donde exactamente dejo de funcionar y en que contexto?". Es, en la practica, algo mas cercano a un depurador de conducta robotica que a una planilla de resultados.
