Raphael Memmesheimer lleva años compitiendo en la liga RoboCup@Home, que ganó cinco veces. Él y sus colegas recibieron el premio al mejor artículo en RoboCup 2026 por su trabajo "Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation", sobre etiquetado eficiente de imágenes. Robohub conversó con él el 28 de octubre sobre esa investigación, su historia con RoboCup y los desafíos de la competencia @Home.
¿Cómo llegó a RoboCup@Home?
"Participo en la liga @Home desde que era estudiante, y mi primera vez en un Mundial de @Home fue en 2013. Esa competencia me motivó a hacer un doctorado y me contagió de una manera que terminé alineando mi carrera académica con ella", contó Memmesheimer.
"Siempre vuelvo a las competencias de robots porque es uno de los pocos lugares donde se puede evaluar a los robots en un entorno real y con una competencia real. En investigación lo habitual es ajustar los métodos sobre conjuntos de datos y mostrar que funcionan en un video de una sola toma. En una competencia de robots, en cambio, uno saca su robot, entra a la arena y opera de forma autónoma por su cuenta. Siempre es interesante ver cómo los nuevos desarrollos hacen que los robots rindan mejor."
¿De qué trata el artículo premiado?
La motivación es el poco tiempo de preparación. En RoboCup los equipos tienen solo dos días antes de competir. Llegan, arman sus robots, y los robots tienen que adaptarse a un entorno nuevo, un departamento modelo que nunca vieron. No saben nada de ese departamento, y en esos dos días tienen que aprender los objetos con que van a interactuar, por ejemplo qué es una cuchara o una bebida específica.
"Nuestro artículo nos ayuda a generar esos datos de forma muy eficiente, para que los robots aprendan más rápido modelos de los objetos que entran en la competencia. Lo interesante es que no se trata de distinguir unos pocos objetos. Pueden ser hasta 50 objetos distintos que nunca vimos antes. El método optimiza el proceso para que obtengamos rápido un buen modelo de visión para el robot", explicó.
Los métodos de vocabulario abierto existen, y el equipo los conoce. Según Memmesheimer, tienen problemas para distinguir entre objetos de una misma categoría, como las bebidas.
¿Se pueden anticipar los objetos con un preentrenamiento?
"En parte sí, pero la mayoría de los objetos no se pueden anticipar de verdad. Sabemos que en el departamento habrá bebidas, snacks y cubiertos. Lo que no se puede anticipar es el detalle, porque los objetos vienen de distintas partes del mundo. Los organizadores suelen ir a un centro comercial y comprar productos locales, que después reparten por el departamento", dijo.
Una parte del conjunto de objetos sale del YCB Dataset, que es público. Para esos objetos el equipo puede reunir datos con anticipación, además del preentrenamiento con grandes conjuntos de objetos generales.
¿Cómo funciona el método?
El enfoque tiene varias etapas. Primero viene la segmentación, para que el sistema aprenda qué es un objeto a nivel de segmentación. El equipo toma todos los objetos que los robots vieron en ediciones anteriores de la competencia y entrena un modelo que solo dice "ahí hay algo que podría ser un objeto".
Después consiguen imágenes de referencia de los objetos reales y los etiquetan de forma semisupervisada o semiautomática. La idea es combinar la detección de que algo es un objeto con una referencia de lo que realmente podría estar ahí. Eso simplifica el etiquetado.
"Cerca del 60% de los datos se etiqueta automáticamente con nuestro método. Eso tomaría muchísimas horas de anotación humana", señaló Memmesheimer.
Ejemplos de imágenes etiquetadas en distintas sedes de la competencia. Figura de "Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation".
¿Ya lo usaron en competencia?
Sí. El equipo lo usó en Brasil, en RoboCup 2025, y en RoboCup GermanOpen, la competencia local. El método sigue evolucionando.
"Ahora que tenemos un modelo de visión muy bueno, ahorramos mucho tiempo durante los dos días de preparación y podemos concentrarnos más en probar y cumplir las tareas en vez de enfocarnos solo en la visión", dijo.
Memmesheimer agregó una observación. Hoy existen métodos de detección o segmentación de objetos que se manejan con instrucciones de texto, pero el equipo comprobó que todavía no escalan al número de clases de esta competencia. Funcionan bien con 5 a 10 clases distintas, y tuvieron problemas para distinguir las 50 clases solo describiéndolas.
En el Mundial de este año, en Corea, usaron una versión mejorada que genera todavía más datos a partir de videos.
El robot del equipo NimbRo saca ropa de la lavadora.
¿Cómo le fue al equipo esta vez?
"Nos fue bien. Tuvimos problemas, como siempre en las competencias, pero terminamos en tercer lugar", dijo.
Este año se estrenó la prueba "Lavar la ropa". El robot tenía que llevar un canasto de ropa desde una lavadora hasta una mesa de doblado y abrir la lavadora. Para eso debía detectar la puerta, encontrar el punto exacto donde tomar la manilla y abrirla. Después tenía que sacar poleras y doblarlas.
El robot de NimbRo fue el que mejor resolvió esa prueba. Abrió la lavadora y empezó a doblar la ropa, y según Memmesheimer eso fue posible gracias al etiquetado semiautomático.
¿Qué otras pruebas enfrentan los equipos?
El primer gran obstáculo es pasar la inspección inicial. Los robots tienen que cumplir ciertos requisitos de seguridad y de interacción, y si fallan no pueden competir.
La competencia tiene cinco pruebas principales.
Interacción humano robot. El robot tiene que abrirles la puerta a los invitados de una fiesta y saludarlos. Va hasta la puerta, encuentra la manilla, alinea su efector final con ella, abre, deja entrar a la persona, conversa con el invitado manteniendo contacto visual, lo guía al living, le busca un asiento libre y lo presenta a los demás invitados. El ciclo se repite mientras sigan llegando invitados.
El robot del equipo NimbRo abre la puerta.
Tomar y dejar objetos. Esta vez había que levantar la mesa después del desayuno. El robot llevaba los cubiertos al lavavajillas, ponía una pastilla de detergente, cerraba el lavavajillas y dejaba la mesa lista para la siguiente comida. Es una prueba de manipulación muy exigente.
Robot de servicio de uso general. La tarea no está definida de antemano, porque el robot recibe una orden aleatoria en lenguaje natural que puede involucrar cualquier elemento del departamento. Por ejemplo, ir a buscar una bebida o un snack en particular y entregárselo a alguien. En ediciones anteriores se invitó a personas del público a entrar a la arena y dar una orden. Para Memmesheimer es interesante ver qué tan bien interactúan los robots con una persona nueva y no con alguien de quien están acostumbrados a recibir órdenes.
El restaurante. Acá los robots no están en el entorno conocido donde entrenaron dos días, sino que los llevan a un restaurante desconocido. Los dejan ahí y tienen que atender con naturalidad. Los equipos solo conocen el menú con anticipación. Los robots deben recorrer el local para operar de forma autónoma y encontrar a los clientes que levantan la mano. El pedido se hace por voz, y estos restaurantes suelen ser muy ruidosos. Es la prueba que más atrae al público, porque ocurre en un entorno real y la gente se junta a mirar.
Lavar la ropa. Memmesheimer agregó que es una prueba muy difícil porque el robot no puede ver dentro de la lavadora. Tiene que sentir si tiene una polera en la mano y sacarla de la máquina. Después va a una mesa y empieza a doblar otras poleras.
Una liga que se unificó
El equipo también ganó la edición de Eindhoven. "En ese momento la liga estaba más dividida, con tres ligas distintas, dos de plataforma estándar y una de plataforma abierta. Ganamos la de plataforma abierta", recordó.
Hoy todas esas ligas se fusionaron. Este año participaron 24 equipos de todo el mundo en una sola liga, algo que según Memmesheimer impulsa mucho la competencia.
¿Cuánto han mejorado los robots?
Memmesheimer describe el avance por etapas. Él empezó antes del aprendizaje profundo, cuando no había modelos de visión confiables para ver objetos en entornos desconocidos. Lo que sí funcionaba bien era el mapeo y la navegación.
"Cuando entré a la liga, los robots ya hablaban, pero muchas veces, en vez de hablarle a una persona como se suponía, le hablaban a una planta en un macetero o a un perchero porque tenían una forma parecida a la de un humano. Eso ya no pasa. Hoy percibimos bastante bien a las personas y también reconocemos bien el habla", contó.
La planificación de tareas sigue siendo un desafío, aunque mejoró. Cada cierto tiempo aparecen cosas que empujan los límites, como los modelos de lenguaje grandes, los métodos de vocabulario abierto y, más recientemente, los sistemas agénticos.
También hay periodos de estancamiento, según Memmesheimer, porque los equipos se ven sobrepasados por la cantidad de desafíos distintos que impone la competencia. El robot tiene que hacer de todo. Navegar en un departamento, interactuar con personas, manipular objetos y planificar tareas, y cada una de esas áreas es un campo de investigación exigente por sí mismo. Además, las implementaciones tienen que ser muy confiables, porque hay pocos intentos.
¿Qué viene para la próxima competencia?
El equipo trabaja en mejorar la manipulación para que el robot tome objetos variados más rápido. También prueba de forma continua el rendimiento de sus robots para hacerlos más parecidos a un humano, y quiere mejorar la manipulación con dos brazos.
