Runway AI presentó esta semana Praxis-1, un modelo de acción del mundo (world action model) con pesos abiertos que transforma el preentrenamiento en video de la empresa en control para robots. Según Runway, Praxis-1 se construyó sobre el mismo preentrenamiento a gran escala en video que sostiene sus modelos generales del mundo.
"La mayoría de las políticas para robots tiene un cuello de botella en los datos de robots, que son escasos y caros de recolectar", dijo Kamil Sindi, director de tecnología de Runway, a The Robot Report. "Praxis-1 aprende sobre todo de video en tercera persona, construido sobre el mismo preentrenamiento a gran escala que hay detrás de los modelos del mundo de Runway, así que ya entiende cómo se comportan los objetos y cómo se desarrollan las tareas.
"Además, el rendimiento mejora a medida que escalamos el video, así que su techo lo fija cuánto video puede aprender, no cuántas demostraciones de robots existen", agregó.
Runway AI nació en 2018 y se especializa en investigación y tecnologías de IA generativa. La empresa ofrece varios modelos, entre ellos Aleph 2.0 para editar video en contexto, Act-Two para captura de movimiento y Gen-4.5 para generar video a partir de texto o de imágenes.
Para robótica, Runway ya ofrecía GWM-1, un modelo general del mundo. La compañía tiene su sede en Brooklyn, Nueva York, y oficinas en Nueva York, San Francisco, Seattle, Londres, París, Tel Aviv y Tokio.
Runway ha probado Praxis-1 con socios tempranos y planea liberar el modelo al público en los próximos meses.
¿Por qué entrenar robots con video?
Faltan datos de robótica del mundo real para entrenar modelos de IA generalistas, pero sobra video. Cada día la gente graba y sube más escenas de la vida cotidiana de las que cualquier laboratorio de robótica podría capturar con demostraciones teleoperadas, señaló Runway AI.
Según la empresa, simular políticas de robots dentro de su modelo del mundo predice los resultados reales con una correlación de 0,95. Runway afirma que eso se compara bien con técnicas más caras basadas en reconstrucción 3D.
Runway también extendió su trabajo de preentrenamiento de grandes modelos de video hacia modelos interactivos de video en tiempo real, como Solaris y GWM Worlds 2. La empresa dice que, al enseñarles a los modelos a generar física correcta, cómo se mueven las manos y cómo se ve una tarea a medio terminar, creó entornos dinámicos y complejos para entrenar agentes en el mundo digital y en el físico.
Según Runway, Praxis-1 lleva ese mismo enfoque a la robótica. Es un modelo de política generalista para desarrolladores e investigadores de robótica, pensado para funcionar con cualquier forma física de robot y en cualquier entorno.
"Praxis-1 se entrenó en una variedad de tareas de manipulación, desde acciones simples de tomar y dejar, como levantar latas de bebida, hasta tareas más complejas con objetos deformables, como empacar bolsas de regalo", dijo Sindi.
¿Quién está probando Praxis-1?
Runway está entregando Praxis-1 a socios clave antes del lanzamiento público y espera sumar más socios en esa etapa previa. La empresa planea evaluar el modelo en distintos tipos de robots.
"Socios tempranos, entre ellos Noble Machines, Standard Bots y Ultra, están corriendo Praxis-1 en su propio hardware", dijo Sindi. "Una conclusión importante hasta ahora es que un solo modelo puede adaptarse a formas físicas muy distintas, desde brazos bimanuales hasta humanoides, con un ajuste fino liviano. Sus pruebas nos ayudan a identificar y cerrar brechas antes de la disponibilidad general."
Cuando Runway publique Praxis-1, planea hacerlo con pesos abiertos y no como un modelo cerrado.
"Creemos que el liderazgo de Estados Unidos en IA física es crítico para recuperar nuestra ventaja en manufactura, y eso requiere modelos estadounidenses abiertos", dijo Sindi. "Los pesos abiertos les dan a los desarrolladores de hardware una flexibilidad y un control que hoy no tienen."
La empresa espera hacer un prelanzamiento con más socios seleccionados para seguir mejorando el modelo antes del lanzamiento completo.
"Vamos a seguir probando y evaluando Praxis-1 con socios, vamos a sumar más socios de acceso anticipado y vamos a evaluar la eficacia y la seguridad en distintas formas físicas y entornos", dijo Sindi.
Runway sostiene que una política que ya entiende la plausibilidad física y el comportamiento de los objetos gracias al preentrenamiento en video parte con una gran ventaja frente a una construida solo con datos de acción.
