Anillos electronicos conectados de forma inalambrica a un sistema de IA son capaces de traducir multiples lenguajes de senas a texto, segun un nuevo estudio. "Creo que este es un paso importante para que los sistemas de traduccion de lengua de senas sean mas practicos, livianos y usables en entornos reales", explica Ki Jun Yu de la Universidad Yonsei en Corea.

¿Por que los guantes inteligentes no funcionaron?

Mas de 300 lenguas de senas diferentes se usan en el mundo, y muchos proyectos de investigacion estan desarrollando dispositivos de traduccion para comunicarse con personas que no las conocen. Sin embargo, esos proyectos enfrentaron multiples obstaculos.

Algunos usaron camaras y algoritmos de vision por computador para reconocer gestos manuales. El problema: quedaban limitados a entornos controlados con camaras fijas, y eran sensibles a las variaciones de iluminacion y otras formas de interferencia.

Otros dispositivos dependian de sensores wearables que detectaban movimientos de la mano o señales electricas musculares. Pero un wearable comun como el guante inteligente atrapa calor y humedad —incomodo para uso prolongado— y sus sensores fijos no compensan las variaciones de tamaño de mano, longitud de dedos ni posicion articular, reduciendo la precision. Ademas, ese tipo de sensores suele necesitar conexion por cables a un computador, lo que limita el movimiento de la mano. Los que transmiten inalambricamente todavia comparten un transmisor unico via cables internos.

Una mejor vida con BLE

Ahora los cientificos desarrollaron un set de anillos electronicos en los que cada anillo transmite su movimiento inalambricamente a un dispositivo de procesamiento. El cambio de guantes por anillos permite posicionar los sensores con flexibilidad y compensar las variaciones entre manos. Las conexiones inalambricas dejan al usuario mover la mano sin restricciones.

"Los SoCs [systems on chip] de Bluetooth Low Energy llegaron a un punto en que toda una pila de comunicacion inalambrica, circuito de gestion de energia y modulo de sensado caben en un sustrato flexible lo suficientemente pequeño como para usarse en un anillo", dice Yu.

En el estudio, los investigadores examinaron cuanto aporta cada dedo a las senas manuales y descubrieron que siete dedos juegan los roles principales. Por eso el sistema usa solo siete anillos para reducir hardware.

Cada anillo lleva acelerometros como sensores inerciales. Estos detectan tanto posturas estaticas como movimientos para capturar la complejidad completa de los lenguajes de señas, que combinan transiciones entre componentes estaticos y dinamicos. Los investigadores quisieron evitar señales bioelectricas, que son altamente especificas de cada persona y requieren calibracion extensa por usuario.

¿Por que serpentina y no cobre recto?

Un problema durante el desarrollo fue la confiabilidad mecanica. Al principio los cientificos usaron interconnects rectos de cobre que casi se rompian con la flexion repetida. Cambiaron a interconnects con patrones serpentina que resisten flexion sostenida sin fallar.

100 palabras de ASL con 88,3% de precision

Los investigadores tambien desarrollaron un sistema de aprendizaje profundo para reconocer senas desde el movimiento de las manos. El sistema reconocio senas no solo de las dos personas que se usaron para entrenarlo, sino tambien de cinco personas que no participaron de la fase de entrenamiento, lo que sugiere uso general sin recalibracion penosa por usuario.

En experimentos con esas cinco personas no entrenadas, el sistema reconocio:

  • 100 palabras comunes de American Sign Language con 88,3% de precision
  • 100 palabras comunes de International Sign Language con 88,5% de precision

En contraste, la mayoria de los intentos previos de sistemas de traduccion de lenguaje de senas quedaron limitados a vocabularios de menos de 50 palabras.

"Doscientas palabras es un avance significativo sobre sistemas inalambricos previos, pero sigue siendo una fraccion pequeña del lexico completo de una lengua de senas, que puede contener miles", advierte Dosik Hwang, profesor de ingenieria electrica y electronica en Yonsei. "Quiero ser cuidadoso de no sobreestimar lo que el sistema actual puede hacer en vocabulario abierto y conversacion real".

El sistema tambien fue capaz de traducir oraciones enteras desde senalizacion continua, no solo palabras aisladas. Los cientificos sugieren que esto podria habilitar interpretacion en tiempo real.

¿Smartphone como destino final?

"A largo plazo, nuestro objetivo es que el sistema funcione con dispositivos cotidianos como smartphones sin requerir equipo externo especializado", dice Yu. "Los anillos podrian transmitir las señales de lengua de senas a un dispositivo movil, donde se traducirian y mostrarian en tiempo real. Eso hace la tecnologia portable, accesible y practica para comunicacion diaria".

Sin embargo, la precaucion mas importante: el sistema traduce movimiento de mano a texto. No captura todavia la gramatica facial, la articulacion bucal, la postura corporal ni la sintaxis espacial, todos elementos gramaticalmente significativos en lenguas de senas. Un desafio futuro es incorporarlos a una arquitectura sin costuras y de bajo consumo que mantenga el caracter discreto del diseño actual.

¿Que viene despues de ASL e ISL?

Los proximos pasos: entrenar el sistema con mas personas, vocabularios mas grandes, mas estilos y dialectos regionales. "Dadas nuestras raices institucionales, Lengua de Senas Coreana es un proximo paso natural", añade Yu. Los investigadores tambien quieren incorporar organizaciones comunitarias para desarrollar el dispositivo: "Creemos que la tecnologia mejorara significativamente tanto en performance funcional como en integracion social al incluir a quienes realmente la usen".

Mas alla de la traduccion, los anillos podrian aplicarse en otros dominios. "Vemos potencial inmediato en monitoreo de rehabilitacion manual, evaluacion de motricidad fina para condiciones neurologicas e incluso interfaces de realidad virtual y aumentada", explica Hwang. "Al probar eficacia en el dominio complejo del lenguaje de senas, hemos estresado el sistema para una amplia gama de aplicaciones biomedicas e interactivas".

Los cientificos detallaron sus resultados el 1 de mayo en la revista Science Advances.