Las manos hacen todo tipo de ruidos al tocar el mundo, desde el clic de un botón hasta el sonido casi imperceptible de un dedo que se desliza por una mesa. Esos sonidos dicen bastante de lo que alguien está haciendo, pero para captarlos normalmente hay que ponerle un micrófono a la mano. Investigadores de la Universidad Carnegie Mellon desarrollaron otra opción, que en la práctica pone un micrófono en la punta del dedo sin poner nada ahí.
El sistema se llama SoundBubble. Usa un arreglo de micrófonos montado en un visor de realidad extendida (XR) o en unos lentes inteligentes para crear lo que los investigadores describen como un micrófono virtual que sigue al dedo del usuario. Combinado con el seguimiento de manos que el visor ya trae, aísla los sonidos que salen cerca de la yema y suprime el ruido que viene de otros lados.
¿Cómo funciona SoundBubble?
SoundBubble aprovecha las diferencias mínimas en el tiempo que tarda el sonido en viajar desde el dedo hasta cada micrófono. Como las cámaras del visor ya saben dónde está el dedo en el espacio, el sistema puede calcular esos retardos de propagación. Luego desplaza cada flujo de audio para alinear los sonidos que vienen de la yema antes de sumarlos. Lo que viene de otras posiciones queda desalineado y se suprime.
Con eso SoundBubble capta interacciones muy silenciosas. Los investigadores lo mostraron detectando toques y deslizamientos sobre superficies comunes, microgestos entre dedos, el uso de objetos que se sostienen en la mano y la manipulación de botones, perillas y deslizadores pasivos.
Lo último podría servir mucho en interfaces XR. Un control impreso en 3D, sin electrónica ni sensores, se volvería interactivo solo porque el visor escucha cuando lo tocan.
El método también resuelve un problema del seguimiento de manos por cámara. A la vista cuesta saber si un dedo está tocando una superficie o flotando apenas encima. SoundBubble puede escuchar el sonido del contacto y cruzarlo con la posición del dedo que entregan las cámaras.
¿Qué tan bien funciona?
En pruebas con 10 participantes, SoundBubble logró una tasa global de verdaderos positivos de 94,7% en las tres aplicaciones evaluadas.
| Aplicación | Tasa de verdaderos positivos |
|---|---|
| Detección de toques sobre cualquier superficie | 97,5% |
| Interacción con controles pasivos | 97,1% |
| Reconocimiento de actividad con objetos en la mano | 89,4% |
Los investigadores también lo probaron con música fuerte, ruido de cafetería y participantes conversando. Los sonidos objetivo se detectaron incluso 20 dB por debajo del ruido de fondo.
¿Cabe en unos lentes?
SoundBubble no se limita a visores experimentales voluminosos. Las simulaciones con arreglos más chicos mostraron que una disposición tipo lentes con ocho micrófonos mantiene más o menos el rendimiento de la configuración de 16. Con cuatro micrófonos, la caída ya se nota más.
Eso hace la técnica interesante para los lentes de realidad aumentada que vengan. En vez de sumar anillos, pulseras u otros sensores para seguir interacciones sutiles, los lentes podrían simplemente escuchar lo que los dedos ya están haciendo.
