La firma de robótica china Galbot ha presentado RoboGesture, un framework diseñado para mejorar la comunicación no verbal en robots humanoides. El sistema genera gestos en tiempo real que se alinean con el lenguaje hablado, ayudando a que los robots se comuniquen de forma más natural durante interacciones cara a cara.
RoboGesture busca resolver una limitación común en la robótica humanoide: los movimientos que a menudo parecen repetitivos, mecánicos o desconectados del habla. El proyecto será presentado en la Conferencia Europea de Visión por Computador (ECCV) 2026, mientras los investigadores exploran métodos para hacer que los robots sean más eficaces en entornos sociales.
¿Qué hace que los robots sean más expresivos?
La nueva tecnología de Galbot podría hacer que los robots humanoides se vean más naturales durante las conversaciones al permitirles generar gestos que coincidan con lo que dicen en tiempo real. Llamado RoboGesture, el sistema combina procesamiento de voz, inteligencia artificial, generación de movimiento y controles de seguridad robóticos para ayudar a los humanoides a responder con movimientos que reflejan el significado, ritmo y tono del lenguaje hablado.
Desarrollado por investigadores de Galbot, la Universidad de Tsinghua, la Universidad de Pekín, el Instituto de Tecnología de Pekín, el Instituto de Tecnología de Harbin y el Instituto Shanghai Qi Zhi, RoboGesture está diseñado específicamente para robots humanoides físicos. El equipo de investigación afirma que la tecnología aborda tres desafíos principales en la comunicación robótica: datos de entrenamiento limitados, la dificultad de conectar el habla con movimientos apropiados y los problemas de seguridad que surgen cuando los movimientos generados por IA se transfieren a robots reales.
En el centro del sistema se encuentra un sistema de procesamiento semántico-acústico que escucha directamente el habla en lugar de depender solo de su transcripción escrita. Esto es fundamental porque el lenguaje hablado contiene información que el texto no captura fácilmente, como cambios en el tono, énfasis, ritmo y entonación. Por ejemplo, una misma palabra puede tener significados distintos según cómo se pronuncie. RoboGesture está diseñado para capturar estas señales y utilizarlas al decidir cómo debe moverse el robot.
El sistema primero convierte la voz entrante en tokens de audio utilizando el códec de audio Mimi. Luego, procesa estas señales en diferentes niveles. Las características de bajo nivel capturan cambios rápidos en el sonido y el ritmo, mientras que las características más profundas identifican información semántica más amplia. El sistema utiliza ambos tipos de información para determinar cuándo debe ocurrir un gesto y qué tipo de movimiento es apropiado. Los investigadores entrenaron el componente semántico utilizando 300 categorías de gestos, otorgando al sistema un rango más amplio de movimientos.
RoboGesture envía estas señales a un modelo de generación de movimiento basado en un transformer de difusión. En lugar de producir movimientos como una serie de comandos fijos, el modelo trabaja en un espacio de movimiento continuo y genera acciones basadas tanto en el habla entrante como en los movimientos previos del robot. Esto permite que los gestos fluyan de una acción a otra mientras permanecen conectados a la conversación.
¿Cómo garantiza la seguridad en los gestos?
Los investigadores también identificaron un problema al que denominan “eclipse de modalidad”. En esta situación, un modelo de generación de movimiento puede volverse demasiado dependiente de las acciones previas del robot y repetir movimientos similares en lugar de responder al nuevo discurso. RoboGesture utiliza un método de enmascaramiento de guía sin clasificador Anti-Inercia para obligar al modelo a prestar mayor atención al audio entrante y producir movimientos basados en el habla actual.
La seguridad es otra parte crucial de la tecnología. Los movimientos generados por IA no pueden garantizar automáticamente que un robot físico evite colisiones o se mantenga dentro de sus límites. Por ello, RoboGesture envía el movimiento generado a través de un filtro de seguridad de control predictivo de modelos (MPC) antes de su ejecución. El filtro verifica las restricciones de movimiento y ajusta la trayectoria para reducir el riesgo de auto-colisión y movimientos inestables. En las pruebas, se logró reducir la tasa de fotogramas con auto-colisión del 4,16 por ciento al 0,13 por ciento.
Según el equipo, el sistema ha sido probado en un humanoide Unitree G1 equipado con manos diestras BrainCo. Su pipeline de interacción completo combina reconocimiento automático de voz, un modelo de lenguaje, texto a voz, procesamiento de audio, generación de gestos y el filtro de seguridad MPC. Esto permite que el robot escuche a una persona, genere una respuesta conversacional, produzca voz y gestos coincidentes, y ejecute esos movimientos en su cuerpo.
RoboGesture busca que los robots humanoides sean más adecuados para la interacción cara a cara, donde la comunicación depende de algo más que las palabras habladas. Los investigadores señalan que, al conectar las señales de voz directamente con el movimiento físico y añadir una capa de seguridad para operaciones en el mundo real, la tecnología ofrece una vía para hacer que las conversaciones robóticas sean más expresivas y receptivas.
Reciba lo último en ingeniería, tecnología, espacio y ciencia directamente en su bandeja de entrada diariamente.
Acceda a contenido exclusivo, perspectivas de expertos y un análisis profundo sobre ingeniería y tecnología.
Vía Interesting Engineering.
