Runway, la empresa de IA conocida por sus modelos generativos de video como Gen-4.5, liberó Praxis-1, su modelo para controlar robots, con pesos abiertos y código fuente. Lo presentó a fines de septiembre, pero hasta ahora solo lo usaban socios seleccionados. Junto con la liberación publicó un informe de investigación con pruebas de rendimiento nuevas, informó The Decoder el 14 de noviembre.

Los pesos y el código están bajo licencia Apache 2.0, que permite el uso comercial.

Praxis-1 recibe imágenes de cámara, instrucciones en texto y datos sobre la posición del robot. Con eso predice cómo va a cambiar el entorno y calcula los movimientos que corresponden. A medida que llegan cuadros nuevos de la cámara, el modelo ajusta el control sin detenerse.

Un modelo de video convertido en controlador

Praxis-1 parte de un modelo de video que aprendió, con grabaciones comunes, cómo se mueven e interactúan los objetos. Runway lo afinó después con videos de acciones humanas y datos de robots. Ese camino podría reducir la necesidad de los conjuntos de datos específicos de robótica, que son caros y que hasta ahora se recolectaban solo para entrenar este tipo de sistemas.

Runway llama a Praxis-1 un World Action Model, un modelo que predice cómo cambiará una escena y saca de esa predicción los movimientos del robot. Desde septiembre lo prueban las empresas de robótica Standard Bots, Noble Machines y Ultra en sistemas distintos, entre ellos un robot humanoide, un brazo industrial y un robot de bodega de dos brazos.

¿Necesita menos datos de robot?

Praxis-1 sigue necesitando algo de datos especializados. Para adaptarlo a un brazo robótico Franka, Runway usó unas 277 horas de grabaciones del conjunto público de investigación DROID, según su informe. Esas grabaciones muestran robots tomando y moviendo objetos. Para un robot de dos brazos usó entre 1.400 y 2.600 horas de material de entrenamiento.

Runway ya había usado datos de DROID y de otros sistemas robóticos en etapas anteriores del entrenamiento. Sigue abierta la pregunta de si el enfoque necesita en total menos datos de robot que modelos comparables sin preentrenamiento general en video.

Resultados en simulación y en un brazo real

En el ranking RoboLab-120 de Nvidia, Praxis-1 obtiene una tasa de éxito de 46,2%. Ese benchmark mide cuán confiablemente un modelo de robot ordena, toma o apila objetos en 120 tareas simuladas.

PruebaPraxis-1Referencia
RoboLab-120 (simulación)46,2%FLUX 3 Action, 42,9%
Brazo Franka real, 10 tareas × 10 intentos88 éxitosFLUX 3 Action, 80 éxitos
Robot de RT-1 tras 95 horas de afinado80% promedioRT-1 de Google, 52,4%

FLUX 3 Action, también construido como World Action Model, obtiene 42,9% en las mismas condiciones. Eso deja a Praxis-1 primero en la categoría de World Action Models. En el ranking general queda quinto, detrás de dos agentes de IA y dos modelos de robot con otras arquitecturas. Runway hizo todas las pruebas por su cuenta y los resultados todavía no tienen verificación independiente.

Después del afinado con datos de DROID, Runway probó el modelo en un brazo Franka real. Los dos modelos tuvieron que completar las mismas diez tareas, como poner un plátano en un plato o cerrar un cajón. Con diez intentos por tarea, Praxis-1 tuvo éxito 88 veces y FLUX 3 Action, 80.

Runway también midió cómo se adapta Praxis-1 a un tipo de robot que nunca había visto. Usó datos de una plataforma móvil con brazo y pinza que Google había usado para desarrollar RT-1, y cuyas grabaciones no estaban en el entrenamiento previo de Praxis-1. Tras afinarlo con unas 95 horas de datos de ese robot, el modelo logró una tasa de éxito promedio de 80% en pruebas simuladas, según Runway. Las pruebas cubrieron cuatro tipos de tareas, entre ellas tomar latas de bebida, abrir y cerrar cajones y dejar una manzana dentro de un cajón. El modelo RT-1 original de Google obtuvo 52,4% en el mismo benchmark.

Los límites de Praxis-1

Los desarrolladores pueden descargar Praxis-1 desde Hugging Face después de registrarse y aceptar los términos de acceso. El código está en GitHub. Según el anuncio de Runway, junto al modelo base ya hay versiones adaptadas a distintos robots. El modelo base necesita entrenamiento adicional para funcionar con robots nuevos.

La versión estándar requiere una GPU con 80 GB de memoria. Una versión comprimida debería caber en una RTX 5090 de 32 GB de VRAM según las estimaciones de memoria de Runway, aunque la documentación de GitHub aclara que el uso máximo real de memoria todavía no se midió.

El modelo a veces confunde objetos parecidos y le cuestan las instrucciones vagas, según el informe de Runway. En tareas largas hay que detallar cada paso, porque Praxis-1 todavía no planifica por sí solo secuencias de acciones complejas.

Runway ve a Praxis-1 sobre todo como un sistema para ejecutar rápido los movimientos del robot. Más adelante podría trabajar junto a modelos de IA de propósito general que dividan las tareas complejas en pasos individuales.