En una emergencia, una persona podría pedirle algún día a un robot asistente que vaya a buscar el desfibrilador colgado en la pared al final del pasillo. Pero si el robot guardó en su memoria ese desfibrilador como si fuera un extintor, puede que no sepa dónde encontrar el aparato que salva vidas.

Ese robot podría beneficiarse de un sistema de memoria nuevo creado por investigadores del MIT. El sistema identifica las entradas de la memoria del robot que podrían estar equivocadas y corrige la descripción de los objetos mal etiquetados.

A futuro, el método podría ayudar a que los robots domésticos o industriales hagan tareas complejas de varios pasos, como despejar la mesa del comedor o trabajar junto a personas para ensamblar una máquina.

El sistema se llama UQ-DAAAM (sigla en inglés de Cuantificación de Incertidumbre para Describir Cualquier Cosa, en Cualquier Lugar y en Cualquier Momento). Compara varias descripciones de un mismo objeto, vistas desde ángulos distintos, para cuantificar cuánta incertidumbre tiene el robot sobre lo que vio.

Después elige vistas adicionales para reducir esa incertidumbre y combina esas descripciones en una más precisa del objeto, que guarda en la memoria.

Los investigadores usaron además una técnica especial para agilizar el proceso, de modo que un robot móvil pueda actualizar en tiempo real las entradas dudosas de su memoria.

Frente a los métodos de referencia, UQ-DAAAM aumentó la confianza del robot y mejoró la precisión de sus respuestas a preguntas sobre los objetos, dónde estaban y cuándo los vio.

"A diferencia de ChatGPT, cuando pensamos en la IA física no basta con poner una advertencia de que a veces el robot puede equivocarse. Permitir que un robot sepa lo que no sabe va a ser esencial para que esta tecnología se despliegue de forma segura y tenga un impacto positivo en la sociedad", dice Luca Carlone, profesor asociado del Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro), investigador principal del Laboratorio de Sistemas de Información y Decisión (LIDS), director del MIT SPARK Laboratory y autor sénior del artículo científico que presenta UQ-DAAAM.

Lo acompañan como coautores principales los estudiantes de posgrado del MIT Harry Zhang y Nicolas Gorlo. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS).

¿De dónde viene UQ-DAAAM?

El método se apoya en un trabajo anterior del mismo equipo, DAAAM, un sistema de memoria para robots que usa un modelo de visión y lenguaje (VLM) para describir con detalle los objetos de las escenas que el robot capta con sus cámaras. Esas descripciones se guardan como textos detallados dentro de una representación del entorno basada en un mapa 3D, que el robot consulta después para responder preguntas.

Pero a veces el robot ve los objetos solo en parte o desde lejos, o su cámara capta imágenes borrosas o con poca luz. En esos casos DAAAM puede describirlos mal, por ejemplo al confundir una chimenea gris con una ardilla posada en el techo.

"Sin una forma de corregirse, ese recuerdo equivocado persistiría mientras el robot avanza por su entorno, y eso podría afectar a las aplicaciones que dependen de él", explica Zhang.

UQ-DAAAM integra la cuantificación de incertidumbre al marco de DAAAM. Le permite al robot medir cuánta confianza tiene en la precisión de cada descripción y corregir las que estén mal mientras recorre un lugar.

¿Cómo detecta un recuerdo dudoso?

Mientras se mueve, el robot recolecta y guarda imágenes de su entorno todo el tiempo. Muchas muestran los mismos objetos desde ángulos distintos, y UQ-DAAAM usa esos puntos de vista adicionales para identificar y corregir las descripciones poco confiables.

Primero calcula el nivel de confianza del VLM en las palabras que generó para describir un objeto que podría estar mal etiquetado. Luego mide la consistencia comparando esa descripción con las de otras imágenes que muestran el mismo objeto desde otros puntos.

"Fusionamos ambas fuentes de incertidumbre en un solo número que refleja qué tan seguro está el VLM de su comprensión general del objeto", explica Carlone.

Si ese número supera cierto umbral, la incertidumbre es demasiado alta y UQ-DAAAM refina la descripción con más imágenes del objeto.

Para eso usa una heurística, una regla simple que determina qué vistas adicionales reducirán la incertidumbre del robot. Por ejemplo, puede elegir una imagen captada unos cuadros más tarde en la que se ve con claridad el humo que sale de la chimenea.

Los investigadores demostraron matemáticamente que esta heurística puede identificar los mejores cuadros sin volver a ejecutar el VLM, lo que reduce mucho el cálculo necesario.

"El gran desafío que Nico y Harry tuvieron que superar fue cómo combinar los VLM con la cuantificación de incertidumbre en algo que corra en una fracción de segundo en un robot que se está moviendo", dice Carlone.

Recordar con confianza

Una vez que identifica las descripciones adicionales que reducirán su incertidumbre, el sistema usa un LLM para fusionarlas en una sola. Para ganar precisión, el LLM le da más peso a las descripciones nuevas y a las menos ambiguas.

Este paso de refinamiento resuelve las ambigüedades de cerca del 92% de los objetos del entorno del robot y solo necesita dos descripciones adicionales por objeto. Aumentó en 5% la precisión de las descripciones frente al estado del arte.

UQ-DAAAM también entregó respuestas más precisas que los métodos de referencia a preguntas sobre los objetos que observó, dónde los vio y cuándo los encontró por última vez.

"Hacer este procedimiento de cuantificación de incertidumbre sobre todo el mapa que genera el robot le permite mejorar su comprensión de lo que observó", dice Gorlo.

Los próximos pasos del equipo

Ahora los investigadores quieren usar UQ-DAAAM para guiar otros tipos de robots, como los manipuladores móviles, y aplicar sus técnicas de cuantificación de incertidumbre en otros ámbitos.

También estudian cómo usar UQ-DAAAM para identificar zonas de alta incertidumbre a las que el robot podría volver para mejorar su comprensión del entorno, y exploran la cuantificación de incertidumbre en sistemas que predicen el estado futuro del entorno de un robot.

La investigación cuenta con financiamiento parcial del Laboratorio de Investigación del Ejército de Estados Unidos y de la Oficina de Investigación Naval de ese país. Carlone está actualmente en un período sabático como Amazon Scholar, y el trabajo descrito se hizo en el MIT, sin vínculo con Amazon.