Qwen-Drive 1.0 resuelve tres tareas dentro de un mismo modelo de inteligencia artificial: percepción espacial del entorno, respuesta a preguntas sobre situaciones de tránsito y planificación de ruta. La conclusión más incómoda del trabajo, según los propios investigadores del área de investigación de Alibaba, es que un modelo de texto e imagen no entiende el espacio tridimensional solo porque sabe describir fotografías.

Los modelos de conducción existentes toman un modelo general de texto e imagen y lo afinan con datos de manejo, casi siempre pares de pregunta y respuesta sobre situaciones de tránsito. De acuerdo con el artículo, ese enfoque arrastra dos debilidades. La primera es que un modelo entrenado sobre todo con preguntas de tránsito sigue sin detectar de manera confiable distancias, posiciones y espacios libres. La segunda es que, si se especializa demasiado en datos de conducción, pierde el conocimiento general de su entrenamiento original por lo que los investigadores llaman olvido catastrófico, justo el tipo de conocimiento que más importa en situaciones raras e inesperadas.

¿Cómo se comprueba que el modelo entiende el espacio?

Qwen-Drive 1.0 se construye sobre Qwen3.5-4B, publicado en febrero, y le agrega dos componentes. El primero genera un mapa en vista cenital del entorno: detecta objetos en el espacio tridimensional, determina qué áreas están ocupadas y traza el diseño de la vía. Los investigadores señalan que ese módulo funciona además como instrumento de medición, porque revela cuánta información espacial está extrayendo realmente el modelo desde las imágenes.

El segundo componente, el Planning Expert, usa datos internos del modelo para planificar el movimiento del vehículo en los segundos siguientes. Cuando el equipo entrenó únicamente ese componente añadido y dejó intacto el modelo de visión y lenguaje, la precisión espacial se mantuvo baja. Solo cuando también entrenaron el modelo de visión y lenguaje en tareas espaciales el rendimiento mejoró de manera significativa, lo que confirma que la comprensión espacial de una escena de tránsito hay que incorporarla de forma deliberada.

¿Cómo se entrenó?

El entrenamiento parte por el módulo de percepción, luego combina percepción y respuesta a preguntas, y después suma la planificación de ruta. La etapa final refina el comportamiento del modelo mediante aprendizaje por refuerzo.

Para el componente de visión y lenguaje, el equipo combinó 24 conjuntos de datos públicos de escenas de tránsito. Esos conjuntos tenían estructuras distintas y en ocasiones contenían errores, así que un modelo de inteligencia artificial estandarizó las preguntas y respuestas y las alineó con los datos originales. El equipo también construyó ejemplos propios que explican por qué el vehículo debería tomar una decisión determinada, como cuál es el objeto que gatilla la frenada.

Un solo modelo para la cabina y para conducir

En los vehículos modernos, el sistema de infoentretenimiento y el sistema de conducción están convergiendo hacia una única unidad de cómputo, en lugar de correr sobre dos controladores separados. Los autores sostienen que un modelo que sacrifica capacidades generales a cambio de rendimiento puro de conducción no ayuda en ese escenario, porque la cabina seguiría necesitando su propio modelo y cómputo adicional para tareas como diálogo o preguntas abiertas.

En las mediciones propias de Qwen, el modelo supera a sistemas especializados en la mayoría de las categorías de conducción y percepción. Frente al modelo base sin modificar, la brecha más grande aparece cuando tiene que explicar causa y efecto, por ejemplo por qué el vehículo debería frenar o girar. El conocimiento general se mantiene: el modelo casi no cae en pruebas ajenas a la conducción e incluso puntúa algo mejor en algunas tareas espaciales.

De la simulación a la calle

Para la planificación de conducción, el equipo probó el modelo en varios niveles de dificultad, desde predicciones simples hasta un simulador donde los errores se acumulan con el tiempo. En ese simulador, la versión reentrenada con recompensas redujo del 24% al 12% la tasa de veces que el vehículo se salía de la calzada. También condujo con más cautela y recorrió menos distancia total.

Las explicaciones del modelo, sin embargo, no siempre identifican la causa real de la situación. Un semáforo en rojo a la distancia y un niño que se cruza a la calzada exigen tiempos de reacción muy distintos, y el modelo puede confundir ambos casos. La maniobra planificada tampoco siempre coincide con el razonamiento que el propio modelo entregó antes. Algunos resultados descansan sobre procedimientos de prueba que los autores diseñaron o reconstruyeron ellos mismos, así que las métricas individuales dicen poco sobre cómo se comportaría el sistema en el desorden del tránsito real.

El desempeño también cae bastante cuando procesa material de otros vehículos con configuraciones de cámara distintas. Todavía faltan datos de entrenamiento adecuados para esas configuraciones.

El problema no es nuevo

El propio equipo de Qwen midió esa brecha de comprensión espacial con su banco de pruebas HopChain, donde modelos de visión y lenguaje clasificaron mal objetos y confundieron relaciones espaciales incluso obteniendo buenos puntajes en pruebas de imagen y texto.

El olvido catastrófico también es un problema conocido. Cuando Google DeepMind construyó PaLM-E en 2023, un modelo para lenguaje, imágenes y control de robots, las variantes más pequeñas perdieron buena parte de su capacidad lingüística tras el entrenamiento robótico. La versión más grande, de 562.000 millones de parámetros, casi no perdió nada.

Emparejar un modelo de lenguaje con una función de conducción abre además una superficie de ataque nueva. Investigadores de la Universidad de California en Santa Cruz colocaron un letrero en el campo visual de la cámara y engañaron al sistema de conducción DriveLM para que virara hacia peatones que cruzaban, pese a que los había detectado correctamente. La investigación, mientras tanto, se está desplazando hacia los World Action Models, que además predicen cómo cambia el entorno en respuesta a las acciones del propio agente.

El equipo de Qwen libera el modelo de forma gratuita para la comunidad de investigación en Hugging Face, ModelScope y GitHub.