Orca, el world model chino que iguala a sistemas robóticos

El modelo del mundo Orca, de BAAI, iguala el rendimiento de sistemas especializados en cinco tareas de robótica, pese a que su modelo base fue entrenado sin una sola etiqueta de acción. El enfoque podría ayudar a resolver la escasez crónica de datos en robótica.

La Academia de Inteligencia Artificial de Pekín (BAAI) presentó Orca, un "modelo fundacional del mundo" que rompe con el enfoque dominante en la IA actual. En lugar de predecir el siguiente token, el siguiente fotograma de video o la siguiente acción de un robot, Orca modela el siguiente estado del mundo en una representación interna abstracta.

Según el reporte técnico, la inteligencia no debería definirse por modelos de predicción especializados como los modelos de lenguaje, los generadores de video o los controladores de robots. Lo que se necesita, argumenta el equipo, son modelos que construyan una comprensión general de cómo cambia el mundo y puedan usarla como base para muchas tareas distintas.

¿Cómo funciona Orca?

Orca construye una imagen interna del mundo a partir de señales de imagen y lenguaje. Luego, módulos adicionales separados e intercambiables convierten esa imagen en texto, imágenes o movimientos de robot.

El modelo combina dos modos de aprendizaje. El "aprendizaje inconsciente" usa videos sin ningún subtítulo: el modelo ve una imagen y predice cómo se verá la siguiente, no a nivel de píxel, sino en un espacio abstracto, capturando patrones de movimiento, oclusiones y dinámicas típicas de escena. El "aprendizaje consciente" agrega instrucciones verbales: los videos se dividen en segmentos, cada uno etiquetado con una descripción del cambio de estado, para que el modelo aprenda cómo cambia un estado cuando ocurre una acción específica.

El modelo preentrenado de lenguaje e imagen Qwen3.5 sirve como base y, tras el entrenamiento, ese núcleo permanece congelado. Para cada tipo de salida, los investigadores conectan un módulo separado más pequeño. El texto pasa por la cabeza de lenguaje de Qwen3.5. Para las imágenes, Stable Diffusion 3.5 tampoco se modifica, y solo se entrenan pequeños adaptadores previos. Las acciones del robot provienen de un módulo de control entrenado desde cero llamado "Action Expert".

Para el entrenamiento, los investigadores reunieron 125.000 horas de video, 160 millones de descripciones de eventos y 11,5 millones de pares de pregunta y respuesta. Solo una décima parte de los datos de video se usó en la versión actual.

¿Qué tan bien rinde Orca?

Orca se entrenó en dos tamaños, de 0,8 y 4.000 millones de parámetros. La pérdida de entrenamiento baja de forma constante con más datos y modelos más grandes.

En benchmarks de texto, Orca-4B logra el mejor promedio general con 51,8% en MVBench, TemporalBench, 3DSRBench y SWITCH, frente a los VLM pequeños y modelos del mundo más grandes comparados. Supera en promedio a bases como Qwen3.5-4B, Gemma 4-4B y DeepSeek-VL2-3B, aunque no gana en cada prueba individual. También supera en promedio a los modelos del mundo mucho más grandes Emu3 (8B) y Emu3.5 (34B).

Para la predicción de imágenes, el equipo construyó su propio benchmark, PRICE-V0.1, que usa escenas reales de robots y de primera persona y pide al modelo generar una imagen que muestre el resultado de una orden como "cierra el microondas". Orca-4B alcanza 59,8% de promedio, por encima de generadores de imágenes especializados.

¿Puede controlar robots sin datos de acción?

En cinco tareas de manipulación con un robot humanoide de dos brazos sobre ruedas, entre ellas ordenar libros, apilar tazones y servir azúcar, Orca iguala a π0.5, un sistema construido específicamente sobre datos de robots. El modelo base de Orca nunca vio durante el preentrenamiento qué movimiento corresponde a qué imagen. Para el control real, un módulo separado se entrenó después con 200 grabaciones del mundo real por tarea.

V-JEPA 2.1 y Qwen3.5, con el mismo módulo de control como comparación, quedan bastante atrás. Orca además muestra una ventaja en recuperación de errores: reintenta tras un agarre fallido, mientras que π0.5 se queda atascado en fallas repetidas. Los autores ven en esto una posible forma de aliviar la escasez crónica de datos de acción etiquetados en robótica.

En cuanto a eficiencia, el equipo usa su biblioteca interna FlagScale con varios ajustes de memoria y comunicación, alcanzando 2,91 muestras de entrenamiento por segundo por GPU en tarjetas H100. Eso es cerca de 4,4 veces más rápido que StarVLA, una base de código ampliamente usada en robótica.

¿Qué le falta todavía?

Orca aún solo aprende de imágenes y texto; el sonido, la fuerza y el tacto están ausentes. La predicción visual ocurre en el espacio de un codificador de imágenes preentrenado en vez de aprender su propio espacio del mundo desde cero, y con 0,8 y 4.000 millones de parámetros los modelos son demasiado pequeños para un modelado completo del mundo. BAAI señala que un modelo del mundo nativo, entrenado desde cero con muchos tipos de señales, sigue siendo la meta final.

Cómo definir un modelo del mundo aún se debate en la investigación de IA. Un equipo de la Universidad de Pekín propuso una definición unificada con OpenWorldLib que excluye los modelos puros de texto a video como Sora. Un benchmark de la Universidad de Tsinghua mostró que incluso Sora 2 y Veo 3.1 tienen dificultades con la progresión física plausible de una escena.

Para la robótica en LatAm, donde el costo de recolectar datos de demostración con robots reales es prohibitivo, un modelo que aprende de video sin etiquetas de acción es especialmente relevante: abre la puerta a entrenar controladores a partir de material grabado, sin una flota costosa de robots.