Robbyant, la empresa de IA física (o embodied AI) que pertenece a Ant Group, liberó como código abierto LingBot-Touch, un modelo fundacional de tacto para robots. La compañía lo presenta como una forma de darles el sentido del tacto que hoy les falta, informó Robotics & Automation News.

El modelo se preentrenó con casi 5.000 horas de datos táctiles reales. Cubre las tres formas de medir contacto más usadas, la táctil magnética, la táctil visual y la piezorresistiva, y traduce sus señales a una representación táctil común.

Con eso, distintas manos robóticas y distintos modelos de acción pueden compartir y reutilizar lo aprendido sobre el tacto. Robbyant lo probó en tareas finas como pasar las páginas de un libro, destapar una botella o reconocer fichas de mahjong.

¿Por qué no basta con ponerle sensores a un robot?

Equipar a un robot con sensores táctiles no le da por sí solo una percepción útil del contacto. Los sensores comerciales todavía están en una etapa temprana. Las tecnologías visual, magnética y piezorresistiva tienen cada una sus ventajas y sus límites, y como sus costos y usos son distintos, lo más probable es que convivan por bastante tiempo.

El problema de fondo es la compatibilidad de los datos. Un mismo contacto físico produce señales distintas según el principio de medición y la distribución de los puntos de contacto.

Si un modelo aprende a leer un solo tipo de sensor, lo aprendido cuesta reutilizarlo cuando cambia el sensor o la mano. El equipo tiene que volver a recolectar datos, reentrenar el modelo y readaptar el sistema. Con el hardware cambiando rápido, ese acoplamiento obliga a repetir trabajo y encarece la integración para fabricantes, integradores y desarrolladores de modelos.

¿Cómo funciona LingBot-Touch?

La respuesta de Robbyant es una arquitectura unificada. El modelo tiene una vía de codificación distinta para cada principio de medición, procesa las señales en bruto y lleva los puntos de contacto de cada sensor a un espacio de coordenadas común de la yema del dedo.

Un modelo compartido aprende después la posición del contacto, la distribución de la fuerza y cómo cambian ambas en el tiempo. El resultado son tokens táctiles unificados.

Ese diseño permite entrenar al mismo tiempo con datos de personas que usan guantes táctiles y con datos de manos robóticas teleoperadas. Distintos modelos de acción pueden usar el modelo entrenado para extraer las características del contacto, y la arquitectura está pensada para sumar sensores nuevos a medida que aparezcan.

Los resultados en manipulación real

Robbyant hizo 26 pruebas reales con dos manos robóticas, la Sharpa Wave y la XHand. Al integrar LingBot-Touch, cuatro modelos de acción (LingBot-VLA, π0.5, Diffusion Policy y T-Rex) mejoraron su tasa de éxito promedio entre 14 y 26 puntos porcentuales frente a operar sin información táctil.

La prueba más ilustrativa fue destapar una botella con T-Rex controlando la Sharpa Wave:

ConfiguraciónTasa de éxito
Sin información táctil56,25%
Con la señal en bruto de los sensores62,5%
Con la representación de LingBot-Touch90%

En la XHand el equipo probó si lo aprendido se traslada a otro hardware. El sensor táctil magnético de esa mano no estaba en los datos de preentrenamiento, y toda la experiencia táctil magnética del modelo venía de datos recogidos con guantes humanos. Para la prueba se dejaron fijos los parámetros de LingBot-Touch y solo se entrenó el modelo de acción con demostraciones hechas en la XHand.

Dos tamaños y código abierto

Para equilibrar la capacidad de percepción con el cómputo disponible en el propio robot, Robbyant ofrece dos tamaños. Las 26 pruebas se hicieron con la versión liviana, LingBot-Touch-Tiny, de unos 5,3 millones de parámetros. Integrada con LingBot-VLA, π0.5 y T-Rex, suma apenas entre 0,13% y 0,16% al tamaño total del modelo.

La versión grande mostró más margen en las pruebas de percepción. A medida que los datos de preentrenamiento se acercan a las 5.000 horas, el modelo sigue mejorando con más datos, señal de que el preentrenamiento táctil todavía tiene espacio para escalar.

LingBot-Touch no está atado a los modelos propios de Robbyant, ya que se evaluó con cuatro modelos de acción distintos. Funciona como una capa de percepción general entre los sensores táctiles y los modelos de acción. Con eso, los fabricantes de sensores y de manos pueden elegir hardware según costo y tarea, y los equipos de robótica conservan sus propias políticas de acción.

El informe técnico y el código ya están publicados, y el modelo se puede descargar desde Hugging Face y GitHub. Robbyant también lo integró a LingBot-VLA, su modelo de visión, lenguaje y acción.