Runway, una de las desarrolladoras más conocidas de video generado con IA, presentó Praxis-1, un modelo de pesos abiertos que usa lo aprendido del video para controlar robots físicos. Es su entrada formal a la robótica.
Que sea de pesos abiertos significa que cualquier desarrollador podrá descargar el modelo, correrlo y adaptarlo por su cuenta, en lugar de usarlo solo a través de los servidores de Runway.
La empresa lo llama su primer "modelo de acción de mundo" (world action model). Según Runway, se apoya en el mismo preentrenamiento masivo con video que sostiene a sus modelos de mundo generales.
Hoy lo prueba con tres empresas de robótica, Noble Machines, Standard Bots y Ultra Robotics, sobre distintos tipos de hardware. La versión pública llegará en los próximos meses.
Con este paso Runway sale de su negocio de video generativo y se mete en el mercado de la IA física y la robótica.
"Hoy anunciamos Praxis-1, nuestro primer modelo de acción de mundo con pesos abiertos. Está construido sobre el mismo preentrenamiento a gran escala con video que hay detrás de nuestros modelos de mundo generales", escribió la empresa.
"Estamos probando activamente Praxis-1 con socios tempranos en una variedad de cuerpos robóticos, y lo liberaremos públicamente en los próximos meses", agregó.
¿Cómo se entrena un robot con video de internet?
La idea central de Praxis-1 es que un robot no necesita aprender sobre todo de cantidades enormes de datos generados por otros robots.
Reunir datos de robótica en el mundo real es caro y lento, más aún cuando hay que teleoperar a un robot para que repita una tarea una y otra vez. Runway prefiere aprovechar el video común, que existe en volúmenes mucho mayores.
El video le enseña a un modelo cómo se comportan los objetos, cómo se mueven, cómo interactúan y cómo las personas ejecutan tareas. El argumento de Runway es que una política de control que parte con esa comprensión del mundo físico corre con ventaja frente a una entrenada principalmente con datos de acciones de robots.
"Una política que ya entiende la plausibilidad física y el comportamiento de los objetos gracias al preentrenamiento con video tiene una ventaja enorme sobre una construida solo con datos de acción", sostiene la empresa.
Runway compara el enfoque con el desarrollo de los grandes modelos de lenguaje, que adquieren una comprensión amplia del idioma a partir de grandes cantidades de texto antes de adaptarse a tareas específicas. Según la compañía, sus experimentos muestran un efecto de escala parecido en robótica. El desempeño de la política mejora a medida que crece la cantidad de video en tercera persona usada en el entrenamiento.
El video de la web empata al de teleoperación
Uno de los experimentos que mostró Runway compara políticas preentrenadas con video común de la web contra políticas preentrenadas con video de robots teleoperados.
Tras el ajuste fino, el modelo que partió con video de la web terminó con un error de posicionamiento final de 16,1 cm. El que partió con grabaciones de teleoperación quedó en 16,0 cm. Runway aclara que la diferencia no es estadísticamente significativa dentro de la incertidumbre informada.
La empresa también prueba Praxis-1 en problemas de manipulación más difíciles, con entornos desordenados, objetos transparentes, materiales deformables y grupos de objetos que se parecen entre sí.
En otra demostración, la misma política opera en un estudio controlado y en una cocina doméstica sin volver a entrenarse.
Los modelos de mundo de Runway llegan a la robótica
Praxis-1 se suma al trabajo de Runway en modelos interactivos de video y de mundo, entre ellos Solaris y GWM Worlds 2. Estos modelos intentan representar cómo cambian los entornos y los objetos en el tiempo, en vez de generar imágenes sueltas o secuencias de video predeterminadas.
"Al enseñarles a nuestros modelos a generar física precisa (cómo se comportan los objetos, cómo se mueven las manos, cómo se ve una tarea a medio camino) creamos entornos dinámicos y complejos para entrenar agentes en el mundo digital y en el físico", explicó Runway.
Praxis-1 aplica ese enfoque a la robótica. El objetivo de Runway es una política de propósito general que funcione en distintos cuerpos robóticos y entornos.
La compañía también afirma que, en experimentos anteriores, simular políticas de robots dentro de su modelo de mundo dio resultados con una correlación de 0,95 con el desempeño posterior en el mundo real.
¿En qué robots se está probando?
Praxis-1 se prueba con tres socios tempranos:
- Noble Machines lo evalúa en manipulación bimanual.
- Standard Bots lo corre en su brazo robótico RO1, de seis grados de libertad.
- Ultra lo prueba en una plataforma robótica móvil.
Runway dijo que ampliará el programa de acceso anticipado a más empresas antes del lanzamiento público. Las pruebas buscan evaluar tanto el desempeño como la seguridad en distintas configuraciones de robot y entornos de operación.
¿Por qué pesos abiertos?
Runway publicará Praxis-1 con pesos abiertos, en vez de restringirlo a un modelo propietario alojado en sus servidores. La empresa vincula esa decisión con su visión de que la interoperabilidad entre modelos de IA y hardware robótico será importante a medida que avance la IA física.
"Vemos los modelos de mundo abiertos como una ventaja que se acumula y que les da a los desarrolladores de hardware una flexibilidad y un control que hoy no tienen", señaló Runway.
La compañía ya recibe postulaciones de desarrolladores de robótica interesados en probar Praxis-1 en su propio hardware antes del lanzamiento general.
