Investigadores de la Universidad de Cornell y del KAIST de Corea desarrollaron EchoMotion, un sistema que sigue los movimientos de todo el cuerpo con un simple reloj inteligente en la muñeca. El trabajo abre la puerta a un control cómodo para los futuros sistemas de realidad virtual y aumentada, informó Hackster.io.

"Este es un salto muy importante para el seguimiento corporal", dijo Saif Mahmud, autor principal del trabajo. "Hicimos un esfuerzo importante para que EchoMotion funcione en dispositivos comerciales, de modo que su adopción pueda ser muy fácil".

¿Cómo se siguen hoy los movimientos del cuerpo?

Los sistemas de control actuales para realidad virtual y aumentada combinan controles de mano con unidades de medición inercial (IMU) y seguimiento por visión desde el propio visor. Eso funciona bien para la posición de las manos y para todo lo que queda en el campo de visión de las cámaras. Falla cuando hay que seguir la posición y el movimiento del cuerpo completo.

La solución habitual es poner varios sensores IMU en cada extremidad o segmento que se quiere seguir, o instalar varias cámaras externas que miren al usuario, o combinar ambas cosas.

¿Cómo funciona EchoMotion?

EchoMotion podría reemplazar todo eso con un reloj inteligente. El sistema emite ondas ultrasónicas por el parlante integrado del reloj y las capta con su micrófono, sin modificar el equipo. Un prototipo de reloj fabricado con pares de parlante y micrófono a ambos lados mejoró la precisión del sistema.

Un modelo de aprendizaje automático que corre en el mismo reloj convierte esos ecos inaudibles, los mismos que usan los sensores ultrasónicos de distancia de bajo costo, en una estimación de la postura y el movimiento del usuario en 12 articulaciones.

Los resultados

Con un Samsung Galaxy Watch 6 comercial, el equipo logró un error de posición menor a cuatro pulgadas (unos 10 cm) en condiciones de laboratorio. Tras un proceso de calibración de 12 minutos, el error bajó a cerca de 2,4 pulgadas (unos 6 cm).

Fuera del laboratorio el sistema fue casi igual de preciso. Solo tuvo problemas serios en pasillos angostos cuando había otras personas presentes.

El mismo modelo se probó también en un Samsung Galaxy Watch 7 y en un Google Pixel Watch 3 sin modificar. Gastó apenas entre 10% y 12% de batería por hora de uso.

Más allá de la realidad virtual

Además del control de realidad virtual y aumentada, el equipo presenta EchoMotion como una herramienta para seguir la salud y la actividad física con más precisión. El sistema clasifica el movimiento en ejercicios concretos sin que el usuario tenga que intervenir ni etiquetar nada a mano.

Mahmud planteó una predicción que Hackster.io describió como algo distópica.

"En un futuro muy cercano, con dispositivos de vestir como relojes o lentes inteligentes, un agente personal escribirá una descripción de todo tu día, lo que hiciste, lo que comiste", dijo Mahmud. "Este proyecto habilita la parte de seguimiento corporal de esa visión".

El trabajo del equipo se publicó en acceso abierto en la revista Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.