Más de 140 años de partidos simulados le tomó a un humanoide de Skild AI aprender a jugar fútbol. La empresa mostró un método de entrenamiento por autojuego (self-play) que permite a un robot desarrollar habilidades físicas sin depender de demostraciones humanas, y lo aplicó sobre S1, su modelo base de robótica.
Según Skild, la técnica podría permitir que los robots adquieran habilidades cada vez más complejas en fábricas, obras de construcción, hogares y otros entornos físicos sin que una persona tenga que demostrar cada acción.
Skild usó Nvidia Isaac Sim para crear el entorno simulado y le dio al modelo un solo objetivo, meter un gol.
En vez de definir comportamientos individuales como regatear, quitar la pelota o levantarse tras una caída, los investigadores dejaron que la política compitiera contra versiones cada vez más capaces de sí misma.
"Luego la política aprendió a anotar jugando contra versiones recientes de sí misma. A medida que mejoraba, sus rivales mejoraban junto con ella, convirtiendo cada avance en capacidad en un oponente cada vez más difícil", explicó Skild.
De no poder caminar a regatear defensas
Durante sus primeros meses simulados, el robot apenas podía caminar. Con más entrenamiento aprendió a recuperarse de las caídas y después desarrolló conductas como esquivar defensas con la pelota, cubrirla con el cuerpo y quitársela a los rivales.
De acuerdo con Skild, esas capacidades surgieron del objetivo de anotar y no de recompensas diseñadas una por una para cada comportamiento.
Después de más de 140 años de juego simulado, Skild traspasó la política resultante de la simulación a un humanoide físico y lo mostró jugando fútbol.
"Vemos la transferencia exitosa de la simulación al humanoide, junto con la enorme complejidad de la tarea, como una clara luz verde para el autojuego en el camino hacia la AGI física", sostuvo la empresa.
¿Qué es S1 y por qué Skild quiere ir más allá de los datos humanos?
El trabajo es una extensión de postentrenamiento de S1, el modelo base de robótica que Skild presentó en agosto.
S1 se preentrena con datos que incluyen videos de personas, datos de guantes, simulación y teleoperación, y está diseñado para aprender tareas a partir de demostraciones en contexto.
Skild sostiene, sin embargo, que entrenar sobre todo con datos generados por humanos termina limitando a los modelos a las capacidades que esos datos representan.
"Sin embargo, como los modelos de la clase S1 se preentrenan con datos humanos, tienen como techo la capacidad humana. Creemos que el autojuego físico permitirá a los robots superar con creces la capacidad humana", afirmó la compañía.
El precedente de AlphaGo
El autojuego ya produjo avances importantes en sistemas de IA de software. DeepMind lo usó de forma extensa en sus sistemas AlphaGo, y luego contribuyó a sistemas capaces de jugar juegos multijugador como StarCraft II y Dota 2.
Skild intenta llevar el mismo principio a la IA física, donde los robots no solo deben aprender estrategias sino también los movimientos necesarios para ejecutarlas en el mundo real.
El fútbol es una prueba exigente porque combina locomoción, manipulación, recuperación ante perturbaciones físicas e interacción estratégica con rivales.
¿Sirve fuera de la cancha?
La empresa dice que el enfoque no se limita al deporte y que ya lo está extendiendo a tareas cotidianas de robótica.
Skild también experimenta con grupos más grandes de agentes. Según la compañía, los primeros ensayos de fútbol con cuatro agentes empezaron a producir conductas como pases y coordinación.
Se espera que el trabajo futuro explore la manipulación y la navegación colaborativas a medida que crezca el número de robots que interactúan.
"Esta simulación corrió durante más de un siglo con un objetivo trivial. ¿Qué pasa cuando la corramos órdenes de magnitud más tiempo, en una obra de construcción, una fábrica o una casa virtual?", planteó Skild.
La investigación apunta a otra forma de escalar el aprendizaje de los robots. Primero se usan datos y demostraciones humanas para establecer capacidades base amplias, y después se deja que los robots mejoren esas capacidades por su cuenta con grandes cantidades de experiencia simulada.
Si el enfoque se traslada con éxito a tareas prácticas, podría reducir uno de los principales cuellos de botella de la IA física, la cantidad de datos generados por humanos que se necesita para enseñarles a los robots conductas cada vez más complejas.
