Investigadores del MIT desarrollaron un sistema de memoria que ayuda a los robots a detectar y corregir descripciones equivocadas de los objetos que tienen guardadas. Se llama UQ-DAAAM y compara varias descripciones del mismo objeto, tomadas desde distintos puntos de vista, para calcular cuánto debería confiar el robot en lo que cree haber identificado.
Cuando la confianza es baja, el sistema elige vistas adicionales para reducir la duda y combina esas observaciones en una descripción más precisa. La versión corregida queda en la memoria del robot, lo que podría mejorar su capacidad para moverse por un entorno y hacer tareas complejas.
¿Qué es UQ-DAAAM?
El nombre viene de Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment, o sea cuantificación de incertidumbre para describir cualquier cosa, en cualquier lugar y en cualquier momento. Junta visión por computador, modelos de lenguaje y medición de incertidumbre para mejorar la forma en que los robots reconocen y recuerdan los objetos de su entorno, según el MIT.
El sistema parte de un marco anterior de memoria para robots llamado DAAAM. Ese marco usa un modelo de visión y lenguaje (VLM) para generar descripciones detalladas de los objetos que captan las cámaras a bordo del robot. Las descripciones se guardan en una representación tridimensional del entorno, basada en un mapa, y el robot las consulta cuando tiene que responder preguntas o hacer una tarea.
El problema de la memoria borrosa
DAAAM tiene límites cuando los objetos se ven a medias, están lejos o quedan en imágenes borrosas o mal iluminadas. En esas condiciones el modelo de visión y lenguaje puede equivocarse. Por ejemplo, puede confundir una chimenea gris con una ardilla sobre un techo.
Si no hay forma de corregir ese error, la descripción equivocada se queda en la memoria del robot y afecta las decisiones que tome después.
UQ-DAAAM ataca ese problema con un método para medir la incertidumbre de lo que describe el modelo. Mientras el robot recorre un lugar, sus cámaras capturan imágenes sin parar y muchas veces registran el mismo objeto desde varios ángulos. El sistema usa esas observaciones adicionales para decidir si una descripción ya guardada es confiable.
¿Cómo decide si un recuerdo está mal?
Primero evalúa la confianza del modelo en las palabras que generó al describir un objeto que pudo haber identificado mal. Después mide la consistencia, comparando esa descripción con las que salen de imágenes del mismo objeto tomadas desde otros ángulos.
Las dos medidas se combinan en un solo puntaje de incertidumbre, que indica cuánto confía el sistema en lo que entendió del objeto. Si el puntaje supera un umbral definido de antemano, UQ-DAAAM marca la descripción como poco confiable y arranca un proceso de refinamiento.
Menos cómputo para elegir las vistas
El sistema no analiza cada imagen capturada. Usa un método basado en reglas para elegir las vistas adicionales que más pueden reducir la duda. Si el robot confundió una chimenea con otro objeto, por ejemplo, puede elegir una imagen en la que se ve humo saliendo de ella para identificarla bien.
Los investigadores demostraron matemáticamente que este método de selección encuentra imágenes útiles sin tener que correr una y otra vez el modelo de visión y lenguaje. Eso baja los requisitos de cómputo y permite que el sistema funcione en un robot en movimiento con recursos de procesamiento limitados.
Una vez elegidas las imágenes, un modelo de lenguaje de gran tamaño (LLM) combina sus descripciones en una leyenda nueva. El sistema les da más peso a las descripciones más recientes y a las menos ambiguas, para que el resultado sea más confiable. La descripción corregida se guarda en la memoria del robot para consultas futuras.
Resultados de las pruebas
| Medida | Resultado de UQ-DAAAM |
|---|---|
| Objetos con ambigüedad resuelta | cerca del 92% |
| Descripciones extra necesarias por objeto | 2 |
| Mejora en precisión de las descripciones frente al estado del arte | 5% |
En las pruebas, el proceso de refinamiento resolvió las ambigüedades de aproximadamente el 92% de los objetos del entorno del robot, con solo dos descripciones adicionales por objeto. También mejoró en 5% la precisión de las descripciones de objetos frente a los métodos más avanzados que existen.
Los investigadores encontraron además que UQ-DAAAM mejoró la precisión de las respuestas a preguntas sobre los objetos, su ubicación y la última vez que el robot los vio.
El equipo planea llevar la tecnología a otras plataformas robóticas, entre ellas los manipuladores móviles. También estudia si el sistema puede detectar zonas de alta incertidumbre y mandar al robot de vuelta a esos lugares para tomar mejores observaciones.
