Gran parte de la inteligencia artificial moderna se basa en la multiplicación. Las redes neuronales, que impulsan desde la generación de respuestas hasta la organización de fotos y recomendaciones musicales, realizan miles de millones de operaciones que multiplican entradas por pesos aprendidos. Lizy K. John considera que esto es mucho más trabajo del que realmente se requiere.

John, profesora de ingeniería eléctrica e informática en la Universidad de Texas en Austin, ha dedicado los últimos cinco años a trabajar en una clase de modelos denominados redes neuronales sin pesos. En lugar de multiplicar repetidamente las entradas por pesos, estas redes pasan entradas binarias a través de tablas de búsqueda interconectadas, un proceso más cercano a consultar una colección de respuestas almacenadas que a resolver el mismo problema aritmético una y otra vez. Dependiendo de la tarea, afirma que las redes pueden ser menos de una milésima parte del tamaño o 1.000 veces más rápidas que las alternativas convencionales, manteniendo una precisión comparable.

El trabajo de su equipo se ha centrado hasta ahora en problemas pequeños y específicos: sensores médicos, seguimiento de actividades y detección de palabras clave. Sin embargo, considera que el mismo enfoque podría alcanzar objetivos mucho más grandes, incluyendo los modelos transformer que respaldan a los chatbots actuales.

¿Qué la motivó a abandonar los pesos tradicionales?

Lizy K. John: Un amigo me invitó casualmente a una reunión semanal hace unos años para hablar sobre el uso de tablas de búsqueda en lugar de pesos, una técnica que no era nueva. Alguien en el Reino Unido había creado un producto comercial basado en esto en los años 80 para el reconocimiento de patrones, y luego simplemente desapareció. Un par de profesores de la Universidad Federal de Río de Janeiro siguieron trabajando en ello discretamente durante años, solo un grupo de investigación, así que no era un esfuerzo masivo.

Mi amigo sabía que yo tenía experiencia en implementación de hardware, así que pensó que podría ayudar a hacerlo realidad. Tenía un estudiante que consideraba perfectamente posicionado para asumir esto. Había estado trabajando en redes neuronales de impulsos (spiking neural networks), otra alternativa a las redes neuronales estándar. El hilo conductor para mí era la eficiencia energética. Me molestaba la cantidad de energía consumida por la IA y estaba abierta a otras formas de hacerlo con menos tecnología y menos potencia.

En menos de seis meses, lo teníamos funcionando en una FPGA, básicamente un chip listo para usar. Fuimos capaces de crear algunas redes neuronales muy pequeñas que utilizaban la metodología de búsqueda, que podían caber en chips diminutos y no necesitaban una GPU para ejecutarse. Pudimos hacerlas 1.000 veces más pequeñas de lo que los demás estaban consiguiendo. Eso fue alentador.

¿Por qué es este el momento de investigar redes sin pesos?

John: Cuando piensas en los modelos de IA actuales, es asombroso lo que hacen. Estoy impresionada por ChatGPT cada vez que lo uso, aunque a veces se equivoque. Pero cuando está generando la siguiente palabra en una oración, está realizando millones o miles de millones de multiplicaciones para llegar allí. Si me haces una pregunta, no estoy haciendo multiplicaciones para responderte. Estoy pensando: sí, no, debería decir esto, no debería decir aquello. Y el cerebro humano solo consume unos 20 vatios de energía haciendo eso.

El modelo detrás de la mayoría de las redes populares hoy en día se basa en un modelo de neurona de un artículo de 1943, el modelo McCulloch-Pitts. La industria tomó eso y lo expandió, con millones y miles de millones de neuronas, para obtener algo que funcione. Pero eso no significa que sea necesario. Ese es mi pensamiento básico. Podríamos tener una forma más simple de llegar a las mismas respuestas.

En el caso de la búsqueda, esencialmente estamos buscando un cero o un uno, diciendo ve en esta dirección o no. No hay pesos de 30 o 16 bits involucrados. Por lo tanto, no hay multiplicación, que es lo que consume toda la energía, porque la multiplicación es una operación costosa en hardware, e incluso para las mentes humanas. Cuando somos niños, todos luchamos por aprender las tablas de multiplicar. ¡Es una operación difícil!

¿Qué ha logrado demostrar hasta ahora?

John: En conjuntos de datos como el reconocimiento de actividades humanas o la monitorización médica, ECG, EEG, presión arterial, las redes neuronales sin pesos pueden hacer el trabajo con 1.000 veces menos consumo de energía. Gran parte del procesamiento en los sensores inteligentes actuales simplemente recopila datos sin procesar y los envía a un servidor o teléfono, porque el procesamiento no puede ocurrir en un parche alimentado por batería.

Nuestra red es lo suficientemente pequeña como para que pueda situarse directamente en el sensor. El mejor otro modelo de IA pequeño para un problema que analizamos es de 17 megabytes. El nuestro es de 14 kilobytes, más de 1.000 veces más pequeño. Eso significa que no hay que transmitir datos sin procesar cada milisegundo, lo cual es tanto un ahorro de energía como una victoria para la privacidad, ya que sus datos nunca tienen que salir del dispositivo.

También hemos mostrado ganancias en la detección de palabras clave, el tipo de escucha que hace un dispositivo antes de reconocer “Alexa” o una palabra de activación. El mejor modelo actual de la industria requiere más de 5.000 nanojulios por inferencia. Nosotros lo hacemos en 42 a 79, dependiendo de la variación.

Monitorización médica y chatbots

Si la arquitectura sin pesos despegara mañana, ¿qué cambiaría primero? John señala que las aplicaciones de salud y los sensores IoT serían los primeros beneficiarios debido a la restricción de energía y la necesidad de procesamiento local (edge computing). Mientras que un LLM actual requiere GPUs de alto rendimiento, su enfoque permitiría ejecutar tareas complejas con una fracción de los recursos.

Vía IEEE Spectrum.