Robbyant, la empresa de IA corporizada de Ant Group, liberó como código abierto LingBot-Touch, un modelo base de tacto pensado para darles a los robots una percepción táctil avanzada, informó Interesting Engineering el 10 de noviembre.
El modelo se preentrenó con casi 5.000 horas de datos táctiles reales y admite tres modalidades de sensado: táctil magnético, táctil visual y piezorresistivo.
Convierte las señales de esos sensores en una representación táctil unificada. Así, distintas manos robóticas y distintos modelos de acción pueden compartir y reutilizar la información del tacto.
Según la empresa, esa capacidad puede mejorar tareas de manipulación fina como dar vuelta las páginas de un libro, desenroscar la tapa de una botella o reconocer fichas de Mahjong.
Un tacto común para robots distintos
LingBot-Touch busca que los robots interpreten el contacto físico con cualquier tipo de sensor. Ataca un problema de la manipulación robótica, que es conservar y reutilizar la percepción táctil al cambiar de sensor, de mano diestra o de modelo de control.
Los sensores táctiles comerciales usan hoy tecnologías distintas. Cada una, sea magnética, visual o piezorresistiva, tiene sus propias ventajas, límites, costos y usos, así que es poco probable que una sola se imponga en el mercado.
El problema es que esos principios de sensado generan señales en bruto incompatibles entre sí, aunque detecten el mismo contacto. Un modelo entrenado con un tipo de sensor puede tener problemas para llevar ese conocimiento a otro. Eso obliga a recolectar datos nuevos, reentrenar modelos y adaptar el sistema cada vez que cambia el hardware.
¿Cómo funciona LingBot-Touch?
El modelo traduce las señales táctiles heterogéneas a una representación compartida. Su arquitectura procesa los datos de cada tecnología de sensado por una vía de codificación separada. Después lleva los puntos de contacto de las distintas distribuciones de sensores a un espacio de coordenadas común, el de la yema del dedo.
Un modelo compartido aprende entonces a interpretar dónde ocurre el contacto, cómo se distribuye la fuerza y cómo cambian esas propiedades en el tiempo. Los tokens táctiles unificados que resultan permiten que distintas manos robóticas y modelos de acción accedan a la misma información de tacto aprendida y la reutilicen.
La arquitectura también permite combinar en el entrenamiento datos de personas que usan guantes táctiles con datos de manos robóticas teleoperadas. Eso podría ayudar a llevar el conocimiento táctil de una plataforma a otra sin construir un sistema de percepción separado para cada configuración de sensores. Según la empresa, la arquitectura puede sumar nuevas tecnologías de sensado táctil a medida que aparezcan.
¿Cuánto mejora el desempeño de los robots?
Robbyant evaluó el modelo con 26 pruebas de manipulación en el mundo real y dos manos robóticas diestras, la Sharpa Wave y la XHand. Probó LingBot-Touch con cuatro modelos de acción, LingBot-VLA, π0.5, Diffusion Policy y TRex. En promedio, la tasa de éxito subió entre 14 y 26 puntos porcentuales frente a operar sin información táctil.
En una de las pruebas, el modelo de acción T-Rex controlaba la Sharpa Wave para desenroscar la tapa de una botella.
| Configuración | Tasa de éxito al desenroscar una tapa |
|---|---|
| Sin información táctil | 56,25% |
| Señales del sensor en bruto enviadas al modelo de acción | 62,5% |
| Señales procesadas antes por LingBot-Touch | 90% |
El equipo también probó si el modelo podía pasar sus capacidades a otro hardware. La XHand usa sensores táctiles magnéticos que no estaban en los datos de preentrenamiento de LingBot-Touch. El modelo aprendió la información táctil magnética a partir de datos recolectados con guantes por personas. Robbyant dejó fijos los parámetros del modelo base y entrenó solo el modelo de acción con demostraciones de la XHand, para medir la reutilización entre equipos distintos.
Dos tamaños de modelo
La empresa ofrece dos tamaños para equilibrar la capacidad de percepción con la potencia de cómputo que piden. Las 26 pruebas usaron LingBot-Touch-Tiny, que tiene cerca de 5,3 millones de parámetros. Integrado con LingBot-VLA, π0.5 y T-Rex, sube el tamaño total de esos modelos apenas entre 0,13% y 0,16%.
Según Robbyant, el modelo más grande muestra margen para mejorar a medida que su conjunto de preentrenamiento se acerca a las 5.000 horas. El informe técnico y el código fuente están disponibles en Hugging Face y GitHub.
