Un robotaxi de Motional frenaba cada vez que se acercaba a un ciclista en una pista de pruebas privada, y el conductor de seguridad daba por hecho que el auto lo estaba detectando. No era eso lo que pasaba. El modelo no estaba bien configurado para detectar al ciclista y había elegido una trayectoria que habría terminado en choque. Frenó porque se activó su procedimiento de frenado de emergencia al quedar demasiado cerca.
Quien destapó esa diferencia fue un módulo llamado Concept-Wrapper Network, CW-Net, desarrollado por investigadores del MIT junto a Motional. El trabajo aparece en Nature.
¿Por qué hace falta explicar a un auto autónomo?
Los autos autónomos suelen estar controlados por modelos de aprendizaje profundo que a veces fallan en situaciones inesperadas. El auto puede frenar sin motivo aparente y bloquear el paso de un vehículo de emergencia que viene de frente. Un conductor o un pasajero humano puede necesitar reaccionar rápido para evitar una colisión.
El proceso de razonamiento interno de un modelo de aprendizaje profundo suele ser opaco y difícil de entender. CW-Net traduce ese proceso a conceptos que describen con fidelidad las decisiones del vehículo autónomo, sin alterar su desempeño al volante.
Las explicaciones usan conceptos comprensibles, del tipo "acercándose a vehículo detenido" o "cerca de ciclista". Sirven para corregir ideas equivocadas que conductores y pasajeros se hacen sobre el comportamiento del auto, y para mejorar su conciencia de la situación.
"Este trabajo muestra cómo las explicaciones apoyan el modelo mental de la persona y su comprensión del comportamiento de un sistema, y cómo eso se podría usar en ingeniería y desarrollo para mejorar la tecnología", dice Julie Shah, profesora de Aeronáutica y Astronáutica del MIT, directora del Interactive Robotics Group en el CSAIL y coautora principal del paper.
"A menos que construyamos estas tecnologías de una manera en que podamos confiar en su comportamiento y predecirlo, es un cimiento inestable e inseguro para su uso", agrega Shah.
La acompañan el autor principal Eoin Kenny, exposdoctorado del MIT hoy investigador sénior de IA en J.P. Morgan Chase; el coautor principal Momchil Tomov, científico de investigación de Motional; y los integrantes de Motional Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu y Laura Major, presidenta y CEO de Motional.
Explicaciones que no engañan
Los planificadores basados en aprendizaje automático son el cerebro de un auto que se maneja solo. Esas arquitecturas procesan datos de las cámaras y los sensores lidar del vehículo, generan un resumen de alto nivel del entorno, deciden qué debe hacer el auto y entregan una trayectoria a seguir.
Suelen ser modelos de caja negra. Su proceso interno de decisión es tan complejo que cuesta entenderlo, y eso deja a científicos y conductores de seguridad a oscuras sobre por qué el vehículo tomó una decisión inesperada, como el frenado fantasma.
"Sobre todo en escenarios de alto riesgo como los autos autónomos, es importante que las explicaciones no puedan inducir a error. Como CW-Net es causalmente fiel en la forma en que toma decisiones, eso entrega ciertas garantías en torno a las explicaciones", dice Kenny.
¿Cómo funciona el módulo?
CW-Net es un clasificador de conceptos, un algoritmo entrenado para predecir los conceptos de alto nivel presentes en los datos de entrada. Los investigadores lo enchufan en la mitad de la arquitectura del planificador de aprendizaje automático que el vehículo ya tiene.
El módulo traduce el razonamiento interno del modelo a conceptos comprensibles y después obliga al tramo final de la arquitectura de planificación a usar esos conceptos cuando decide el próximo movimiento del auto. Así los conceptos explican de verdad lo que el vehículo hace, y no una versión paralela de ello. En simultáneo, CW-Net usa los conceptos que clasificó para generar explicaciones claras que salen junto con la trayectoria, en tiempo real.
"En vez de quedarse pensando por qué el auto se detuvo, tener datos en tiempo real entrega una retroalimentación que permite probar el sistema durante el despliegue. También se le podrían dar esos datos a un ingeniero para mejorar el sistema", dice Kenny.
El entrenamiento usó un conjunto de 130 millones de ejemplos de escenas de autos autónomos, con varios conceptos etiquetados en cada escena. Un conjunto etiquetado de ese tamaño le permite identificar conceptos con precisión en una gama amplia de entornos. El módulo además fue diseñado para imitar las decisiones de conducción de los planificadores, de modo de no perjudicar el desempeño del vehículo.
¿Qué cambió para el conductor de seguridad?
Los investigadores instalaron el módulo en un vehículo real de pruebas de conducción autónoma, un robotaxi de Motional, y lo corrieron en una pista privada con un conductor de seguridad a bordo. CW-Net lo ayudó a predecir mejor cómo iba a comportarse el auto en situaciones sorpresivas.
El caso del ciclista es el ejemplo que documentan. Con la información del error del modelo a la vista, el conductor de seguridad puede bajar la velocidad o pasar antes a modo manual en situaciones parecidas. Y los ingenieros tienen con qué corregir el modelo para que esa falla no se repita.
En estudios de simulación en línea más grandes, con usuarios sin experiencia técnica y sobre situaciones de manejo reales capturadas en las calles de Las Vegas, el resultado fue parecido. Las explicaciones de CW-Net mejoraron la capacidad de los participantes para predecir el comportamiento del vehículo autónomo.
