El movimiento humano es un buen punto de partida para enseñarles a moverse a los robots humanoides. Una demostración de una persona captura la coordinación y el ritmo del movimiento natural, desde acciones cotidianas hasta tareas complejas. Pero un robot no puede copiar tal cual los movimientos articulares de una persona. Sus proporciones, su estructura de articulaciones y su rango de movimiento son distintos, así que el movimiento hay que adaptarlo.

Para eso NVIDIA publicó SOMA Retargeter, una herramienta de código abierto que ajusta el movimiento humano a las proporciones y al rango articular de cada robot. Está construida sobre la representación compartida de movimiento humano de NVIDIA SOMA-X y trae herramientas para configurar el robot, pulir el movimiento resultante y procesar los datos para el entrenamiento posterior.

Del movimiento humano a trayectorias articulares

El movimiento humano puede venir de una sesión de captura de movimiento, de un video, de un conjunto de datos en línea o de un modelo generativo. Cada fuente suele entregar esqueletos y formatos de archivo distintos. Llevar ese movimiento al esqueleto SOMA le da al retargeter una entrada uniforme.

SOMA Retargeter lee una animación Biovision Hierarchy (BVH) sobre el esqueleto base de SOMA. Como muestra la figura 1, escala los objetivos de movimiento a las proporciones del robot, resuelve las poses articulares y aplica las correcciones configuradas. La salida es un archivo CSV con la posición y la orientación de la raíz del robot y los ángulos de cada articulación, cuadro por cuadro. Esas trayectorias describen el movimiento deseado para un sistema de aprendizaje o de control posterior.

Figura 1. El proceso de retargeting convierte movimiento SOMA en BVH en trayectorias articulares del robot mediante escalado, cinemática inversa y posprocesamiento

¿De dónde sale el movimiento humano?

Hay tres caminos. Grabar a una persona, reconstruir el movimiento desde un video o generarlo desde cero.

  • Captura de movimiento. BONES-SEED reúne datos de captura de movimiento humano.
  • Reconstrucción desde video. GEM-X reconstruye el movimiento 3D de cuerpo completo a partir de un solo video, con el modelo corporal SOMA. Su flujo de demostración une la reconstrucción con el retargeting al G1, y así una acción grabada se vuelve referencia de movimiento para el robot.
  • Generación de movimiento. Kimodo y ARDY generan movimiento humano a partir de texto y restricciones de pose. Kimodo crea secuencias a partir de esas descripciones, y ARDY permite dirigir el movimiento de forma interactiva mientras ocurre. Los dos generan sobre el esqueleto SOMA.

¿Para qué humanoides viene listo?

La versión 0.2 de SOMA Retargeter incluye movimientos de muestra aportados por Bones desde el conjunto BONES-SEED, con resultados de referencia y configuraciones para cinco humanoides.

Los ejemplos muestran cómo cambian los ángulos articulares y la posición de los pies entre un humanoide y otro según sus proporciones y su rango de movimiento. Los pares de movimiento humano y resultado en el robot sirven para explorar la herramienta y comparar lo que uno obtiene.

Un primer retargeting con el Unitree G1

El ejemplo de NVIDIA usa la configuración del Unitree G1 para adaptar una caminata hacia adelante de los movimientos de muestra. Después de instalar SOMA Retargeter, se abre una terminal en la raíz del repositorio y se inicia el visor.

Código
uv run python app/bvh_to_csv_converter.py --config assets/default_bvh_to_csv_converter_config.json --viewer gl

El conversor de BVH a CSV abre con unitree_g1 seleccionado por defecto. En Scene Options se despliega Motion, se elige Load en la fila BVH Motion y se abre el archivo incluido, disponible en el repositorio. La animación humana de SOMA aparece en el visor.

Luego, en Scene Options y Motion, se elige Retarget en la misma fila. El retargeter escala los objetivos de origen al G1, resuelve los objetivos de cinemática inversa configurados para cada cuadro y aplica el posprocesamiento. El visor muestra entonces la animación del robot junto al movimiento humano de origen, y unos manipuladores de posición permiten separarlos para revisarlos.

Figura 2. El conversor de BVH a CSV muestra el movimiento humano de origen junto al movimiento adaptado al Unitree G1, con controles para cargar, adaptar y guardar el resultado

Los controles de reproducción sirven para revisar el resultado. Una caminata reconocible y un movimiento continuo son buenas primeras pruebas. Las poses del robot van a diferir de las humanas porque sus proporciones y articulaciones son otras. En CSV Motion se elige Save y se le da un nombre nuevo a la salida, por ejemplo my_first_retarget.csv, para no pisar la referencia incluida. El archivo guardado contiene la pose de la raíz del robot y los valores articulares a lo largo de la animación.

Para comparar con el resultado de referencia del G1, se usa Load en CSV Motion para abrir cada archivo por turno y mirar el mismo punto del movimiento. Los dos deberían mostrar el mismo movimiento general, aunque los valores exactos pueden variar según la configuración y las versiones de las dependencias. La guía del primer retargeting cubre este ejemplo en detalle.

Configurar el robot y pulir el movimiento

La configuración del G1 sirve de punto de partida, y el resultado de referencia sirve para comparar mientras se ajustan los parámetros. Con el Robot Configurator se puede afinar una configuración existente o crear una para un robot nuevo, cargando su descripción y definiendo cómo se mapea el movimiento humano sobre él.

Se pueden alinear las poses de referencia del humano y del robot, ajustar la escala y asignar el esqueleto de origen a las partes del cuerpo del robot. La configuración resultante se guarda y se reutiliza en otros clips.

Figura 3. El movimiento de origen es un saludo con una mano, pero una pose de referencia sin alinear hace que el Booster T1 extienda ambos brazos

El solucionador usa la cinemática inversa (IK) de Newton, construida con NVIDIA Warp, para encontrar las poses articulares que siguen los objetivos humanos escalados. Cuando el robot no puede cumplir todos los objetivos a la vez, los pesos de la IK deciden qué partes del cuerpo tienen prioridad.

El optimizador experimental de pesos de IK ajusta esos pesos con un grupo chico de movimientos representativos de las tareas que hará el robot. Prueba cambios de peso adaptando esos movimientos y mide con cuánta fidelidad y suavidad el robot sigue los objetivos. Los pesos elegidos quedan guardados en una configuración nueva.

Los pies que se deslizan crean objetivos contradictorios para una política de seguimiento de movimiento. El pie de referencia se mueve justo cuando la acción pide que quede plantado. La corrección de apoyo del pie ataca ese defecto ajustando el movimiento del pie en los intervalos de contacto detectados. Los tiempos de contacto y los parámetros de la corrección se pueden afinar para reducir el deslizamiento antes de que el movimiento entre al entrenamiento.

Una vez afinada la configuración con movimientos representativos, el retargeting por lotes sin interfaz permite aplicarla a una colección más grande para el mismo robot, sin abrir el visor para cada clip.

¿Cómo se usa para entrenar al robot?

Durante el entrenamiento, una política de seguimiento de movimiento aprende a convertir la referencia adaptada en acciones de control, a partir del movimiento deseado y del estado actual del robot.

El flujo de entrenamiento SONIC incluye un conversor de CSV de SOMA para el G1, que pasa las trayectorias al formato de biblioteca de movimientos de SONIC. ProtoMotions es otro marco para seguimiento de movimiento basado en física. En los dos casos, la representación de entrada y la política tienen que corresponder al robot de destino.

La simulación es la etapa siguiente. Ahí una política entrenada se evalúa en equilibrio, contacto con el suelo, límites de los actuadores y precisión de seguimiento.

En un experimento aparte con MicroDuck, NVIDIA adaptó movimiento humano de Bones a ese robot y entrenó un controlador por cada clip en simulación física. La figura 4 compara tres paneles, la actuación humana, la referencia para MicroDuck y el controlador entrenado ejecutando el movimiento en simulación. La referencia muestra el movimiento buscado, y la simulación, qué tan cerca lo sigue el controlador.

Figura 4. Adaptación experimental de movimiento humano para MicroDuck y entrenamiento de un controlador de seguimiento. A la izquierda el movimiento humano SOMA, al centro el retargeting y a la derecha el controlador entrenado en Isaac Lab

La configuración de la simulación y el entrenamiento con MicroDuck están en el blog técnico de NVIDIA, en Using AI Agents to Teach Robots Like Microduck to Walk in Simulation, y en la publicación de NVIDIA en Hugging Face Train in Simulation, Deploy on a Real Robot: Microduck with Isaac Lab 3.0.