Runway AI liberó el miércoles Praxis-1, su modelo de acción del mundo para robótica. Los desarrolladores ya pueden descargarlo con pesos abiertos bajo licencia Apache 2.0, informó The Robot Report.
Runway anunció Praxis-1 en septiembre junto a tres socios de lanzamiento, Noble Machines, Standard Bots y Ultra. Desde entonces esas empresas lo han corrido en su propio hardware. Son un humanoide con piernas, un brazo industrial de seis ejes y un robot de dos brazos para bodegas.
Andy Chen, jefe de robótica de Runway, contó a The Robot Report cómo cambió el aprendizaje entre una versión y otra.
"Un buen modelo base ayuda mucho. Antes, con Noble Machines, nuestro modelo anterior necesitaba mucho entrenamiento para aprender su tarea de bodega, que era tomar tablones de madera de a uno y dejarlos en un contenedor. Praxis-1, construido con más cómputo y más datos, la aprendió con media hora de ejemplos y la hizo bien 15 de 15 veces. Después le dimos un montón desordenado de tablones que nunca había visto para que los despejara hacia unos contenedores, y despejó el montón completo seis de cada 10 veces", dijo Chen.
"Iterar con la retroalimentación de los socios mejora nuestros modelos", agregó. "Hoy Praxis-1 es el modelo de acción del mundo mejor ubicado en la tabla de RoboLab de NVIDIA, y la política de extremo a extremo de código abierto mejor ubicada."
¿Dónde se descarga Praxis-1 y qué incluye?
El modelo está en GitHub, en Hugging Face con soporte nativo en LeRobot y en vLLM-Omni. Para quien no quiera correrlo en casa hay inferencia alojada en Reactor.
Según Runway, publicó todo lo necesario para ejecutar y adaptar el modelo en hardware propio bajo Apache 2.0, incluido el uso comercial. Eso abarca los pesos, el código de inferencia y el de ajuste fino, con soporte para ajuste completo y para adaptación de bajo rango (LoRA).
Praxis-1 corre sin cambios en hardware de NVIDIA de tres niveles:
- GPU de centro de datos, como la H100 y la B200
- GPU de estación de trabajo, como la RTX 5090 y la RTX PRO 6000
- Jetson Thor, montada en el propio robot
Un modelo que parte del video
Praxis-1 es un transformador de difusión de mezcla de expertos con 27.000 millones de parámetros. Predice el video y las acciones al mismo tiempo.
En RoboLab-120 logró 46,2% de éxito en 1.200 episodios. Ocupa el quinto lugar general de esa tabla.
| Modelo | Éxito en RoboLab-120 |
|---|---|
| Praxis-1 | 46,2% |
| FLUX 3 Action | 42,9% |
| Cosmos3 Nano | 36,8% |
| π0.5 | 28,0% |
"La pieza central es que un modelo entrenado para predecir video entiende mucho del mundo físico, cómo se comportan los objetos, cómo se mueven las manos, cómo se ve una tarea a mitad de camino, etcétera", dijo Chen.
"Praxis-1 está construido sobre el modelo fundacional de video de Runway, y aprende cómo funciona el mundo antes de aprender a actuar", añadió. "Mantenemos la predicción de video en el objetivo de entrenamiento todo el tiempo, así que el modelo se imagina cómo debería verse la escena a continuación y produce el movimiento que la lleva ahí."
¿Sirve para robots distintos?
Runway explicó que Praxis-1 aprende de video a gran escala cómo se comportan los objetos y cómo se desarrollan las tareas. Eso le da ventaja frente a un cuerpo robótico nuevo antes de ajustarlo con datos de ese hardware o de ese dominio. La investigación de la empresa mostró que el video de internet rinde igual que el video de robots teleoperados como dato de preentrenamiento. Con eso, el cuello de botella para una política capaz pasa a ser cuánto video general puede absorber el modelo.
"Las tareas cambian según el robot. Noble Machines construye un humanoide con piernas para manipulación industrial pesada, y con ellos Praxis-1 toma tablones de madera, los pone en contenedores y despeja montones mezclados hacia unos contenedores", dijo Chen. "Standard Bots fabrica brazos de seis ejes para trabajo de fábrica como atención de máquinas y paletizado. Ultra construye e instala estaciones de dos brazos que empacan pedidos en bodegas. Un humanoide, un brazo solo y un par de brazos son máquinas muy distintas, y el mismo modelo maneja las tres."
"Con nuestros socios, un solo punto de control de Praxis-1 se ha adaptado a una variedad de cuerpos con un ajuste fino liviano, y con LoRA puedes adaptarlo a tu propio cuerpo robótico, tus cámaras y tus tareas sin reentrenar el modelo completo", dijo Runway. "Ajustado sobre el robot RT-1 de Google, que nunca apareció en sus datos de entrenamiento, Praxis-1 alcanza 80,0% de éxito en SimplerEnv, muy por encima del 52,4% de la política original de RT-1."
¿Por qué pesos abiertos?
Runway se comprometió a publicar Praxis-1 con pesos abiertos desde el primer anuncio. Según la empresa, con sede en Nueva York, los pesos abiertos permiten a los fabricantes de hardware ejecutar, inspeccionar y adaptar un modelo de acción del mundo en sus propios términos.
"En Runway creemos que el liderazgo de Estados Unidos en IA física es crítico", afirmó Chen. "Recuperar nuestro liderazgo global en manufactura, acelerar la productividad de toda nuestra economía y darnos seguridad a nosotros y a nuestros aliados va a depender de esto."
"Lograrlo va a requerir un aumento grande de la inversión tanto en hardware como en software, pero también va a requerir un nivel de interoperabilidad y apertura de los modelos estadounidenses que hoy no existe para los usos físicos", dijo. "Vemos los modelos del mundo abiertos como una ventaja que se acumula y que les da a los desarrolladores de hardware una flexibilidad y un control que hoy no tienen."
Con el modelo ya en manos de los desarrolladores, Runway dijo que se concentrará en ampliar los despliegues.
"Queremos a Praxis-1 en el mundo real, en bodegas, fábricas y plantas industriales reales, haciendo trabajo real", dijo Chen. "Creemos que la frontera de la robótica se va a descubrir con aplicaciones reales, no en un laboratorio. Lo que viene es desplegarlo con nuestros socios, aprender de lo que el modelo encuentra allá afuera y devolverle esas lecciones al modelo."
