Investigadores desarrollaron un nuevo marco de trabajo que permite a los robots humanoides ejecutar movimientos ágiles y de apariencia humana, además de transitar suavemente entre distintas habilidades.
El sistema permite que los robots ejecuten maniobras complejas, incluyendo volteretas laterales, patadas giratorias, movimientos deportivos y acrobacias, sin requerir un entrenamiento separado para cada tarea. Se llama BeyondMimic, aprende a partir de datos de movimiento humano y puede adaptar sus movimientos a tareas y entornos nuevos.
Según los investigadores, el enfoque podría ayudar a superar las limitaciones de los sistemas de control de humanoides actuales, que suelen exigir ajuste fino extensivo o producir movimientos rígidos y poco naturales.
¿Cómo aprende un robot la agilidad humana?
El modelo BeyondMimic permite a los humanoides aprender movimientos ágiles a partir de demostraciones humanas y luego combinar esas habilidades para resolver tareas para las que nunca fueron entrenados explícitamente.
El sistema aborda un desafío mayor de la robótica humanoide: a un robot se le pueden enseñar movimientos individuales como caminar, saltar o patear, pero lograr que los ejecute con naturalidad mientras alterna entre distintas habilidades sigue siendo difícil. Los enfoques existentes suelen requerir funciones de recompensa específicas para cada movimiento, ajuste extensivo o entrenamiento separado por tarea.
BeyondMimic usa un marco de aprendizaje en dos etapas para superar esas limitaciones. En la primera etapa, el aprendizaje por refuerzo se usa para enseñarle al robot a seguir un rango amplio de movimientos humanos. El punto clave es que los investigadores emplean una única formulación de seguimiento de movimiento, una estructura de recompensa compartida y los mismos hiperparámetros, en lugar de ajustar el sistema por separado para cada movimiento.
El sistema se entrenó con cerca de 2,5 horas de datos diversos de movimiento humano. Aprendió cientos de habilidades, desde caminar y correr de forma ordinaria hasta equilibrio en una pierna, saltos, movimientos de danza, acciones inspiradas en artes marciales, patadas giratorias y volteretas laterales. Después se desplegaron 21 clips de movimiento representativos en un robot humanoide físico, demostrando una transferencia confiable desde la simulación al hardware.
¿Qué aporta el modelo de difusión latente?
La segunda etapa introduce un modelo de difusión latente, que es lo que le da a BeyondMimic su capacidad de generar y combinar movimientos. En lugar de simplemente reproducir secuencias de movimiento aprendidas, el modelo aprende la distribución subyacente de las trayectorias coordinadas de estado y acción. Un autocodificador variacional comprime primero esos movimientos en una representación latente más suave, y después un modelo de difusión aprende cómo evolucionan esas representaciones, según explica el equipo.
Los investigadores luego usan guía por clasificador en el momento de la inferencia para orientar el modelo de difusión hacia objetivos que no estaban incluidos durante el entrenamiento. Eso permite que el robot adapte sus habilidades existentes sin reentrenar ni ajustar la política subyacente.
Por ejemplo, el sistema puede recibir un comando de joystick y generar el comportamiento apropiado de caminata o carrera. También puede navegar hacia puntos de referencia, esquivar obstáculos o usar fotogramas clave futuros dispersos para generar un movimiento completo entre ellos. En una demostración, el robot pasó suavemente de caminar a una voltereta lateral y volvió a caminar. También ejecutó secuencias que combinaban cuatro volteretas laterales con caminata y carrera.
El enfoque además puede combinar múltiples objetivos. Al integrar seguimiento de puntos de referencia con un costo de esquiva de obstáculos, el robot logró rodear un obstáculo mientras seguía avanzando hacia su destino. El mismo marco podría combinar control por joystick con prevención de colisiones.
¿Qué tan cerca queda de un atleta humano?
El robot físico demostró movimientos altamente dinámicos, incluyendo volteretas laterales aéreas, patadas giratorias y patadas con giro completo. Durante una voltereta aérea alcanzó una aceleración máxima de 31 metros por segundo cuadrado y velocidades angulares de pelvis de hasta 15,7 radianes por segundo, comparables a los valores reportados para movimientos aéreos de humanos entrenados.
| Métrica | Valor medido |
|---|---|
| Datos de entrenamiento | 2,5 horas de movimiento humano |
| Clips desplegados en hardware | 21 |
| Aceleración máxima en voltereta aérea | 31 metros por segundo cuadrado |
| Velocidad angular de pelvis | 15,7 radianes por segundo |
| Preferencia humana sobre el controlador nativo | 70,8% contra 29,2% |
Más allá de la agilidad, los investigadores encontraron que los movimientos generados de caminata y carrera lucían más naturales para observadores humanos. En un estudio con 77 participantes, los movimientos de BeyondMimic fueron preferidos por sobre el controlador nativo del robot como más humanos y naturales en el 70,8% de las elecciones, contra un 29,2%.
Según el equipo, el avance clave no es un componente nuevo aislado, sino la integración de seguimiento de movimiento escalable con difusión latente y guía en el momento de la inferencia. Al separar la adquisición de habilidades de la especificación de la tarea, BeyondMimic ofrece una ruta hacia humanoides robóticos capaces de aprender repertorios amplios de movimiento humano y recombinar esas habilidades para enfrentar situaciones nuevas sin reentrenamiento específico por tarea.
