Ambient Scientific libera a la IA de la nube con arquitectura analógica in-memory
Por Jean-Pierre Joosting
A pesar del impulso que recibe la IA en el borde (edge AI), gran parte de la industria sigue ejecutando redes neuronales sobre arquitecturas de cómputo concebidas décadas antes de que existieran las cargas de trabajo de IA. El resultado, sostiene Ambient Scientific, es que entre el 70 y el 75 por ciento de la energía consumida por las operaciones de IA se desperdicia simplemente moviendo datos entre la memoria y el procesador, en lugar de realizar cálculos útiles.
La respuesta de la startup de Silicon Valley es DigAn, una arquitectura patentada de cómputo analógico en memoria que integra unidades analógicas de multiplicación y acumulación directamente dentro de la SRAM, eliminando el costo de movimiento de datos a nivel de circuito. Su primer dispositivo de producción, el GPX10, apunta a aplicaciones de IA en el borde alimentadas por batería —desde anillos inteligentes que realizan detección de arritmias en tiempo real hasta módulos de mantenimiento predictivo industrial— y asegura una mejora de 100 veces en potencia, rendimiento y área sobre los microcontroladores convencionales de 32 bits, mientras permanece totalmente programable a través de flujos de trabajo estándar de TensorFlow y PyTorch.
eeNews Europe conversó con Saharsh Singhania, Líder de Producto en Ambient Scientific, sobre la arquitectura detrás del GPX10, por qué la IA física no puede escalar en infraestructura dependiente de la nube, y una hoja de ruta que se extiende desde el GPX1 de un solo núcleo hasta el GPX64, capaz de visión y procesamiento de lenguaje natural (NLP) —y, al menos en simulación, hasta un procesador de clase servidor que desafía a Nvidia en el centro de datos.
Ambient Scientific fue fundada para liberar a la IA de la dependencia de la nube. ¿Puede explicar la arquitectura del GPX10 y en qué se diferencia de las arquitecturas de procesadores actuales? Además, ¿cómo combina el GPX10 la escalabilidad de lo digital con la eficiencia de lo analógico?
Singhania: Para que la IA libere su verdadero potencial, la eficiencia energética es clave, ya sea a nivel de nube, en el borde o en cualquier punto intermedio. Esto se debe a que, durante mucho tiempo e incluso recientemente, la industria ha estado utilizando arquitecturas de cómputo desarrolladas hace dos o tres décadas —es decir, basadas en x86, ARM, RISC y GPU—, que simplemente estaban disponibles cuando la era del software de IA estaba emergiendo.
Ambient Scientific se propuso crear algo más diseñado específicamente para el cómputo de IA. Algunos de los mayores problemas en el cómputo de IA radican en el hecho de que todas las operaciones de IA, cuando se reducen al nivel más granular, son solo multiplicaciones de matrices u operaciones de multiplicación-acumulación (MAC).
Los circuitos digitales tradicionales, como aquellos basados en la arquitectura ARM, fueron diseñados para operaciones de propósito general en lugar de las cargas de trabajo intensivas en matemáticas que exige la IA. Como resultado, incluso operaciones básicas como la multiplicación y la suma requieren un gran número de instrucciones, lo que significa que una parte significativa de la potencia y el cómputo se consume simplemente gestionando la sobrecarga de instrucciones.
Al mismo tiempo, al multiplicar matrices grandes, los resultados temporales deben ser almacenados, recuperados y procesados repetidamente. Debido a que existen muchas capas en una red neuronal, iterar este proceso muchas veces hace que el costo de movimiento de datos sea muy alto. Al observar las estadísticas, nos dimos cuenta de que alrededor del 70-75% de la energía para las operaciones de IA se desperdiciaba en el movimiento de datos en lugar del cómputo real.
Para abordar esto, Ambient Scientific se propuso resolver dos cosas simultáneamente: mover el cómputo a la memoria para eliminar el impuesto energético del movimiento de datos, y diseñar circuitos específicamente optimizados para operaciones de multiplicación-acumulación (MAC). Esto suena mucho más simple sobre el papel de lo que es implementarlo en silicio, lo que requirió varias capas de innovación.
Comenzamos con una innovación de circuito y arquitectura: los CubicCore™, el sitio de las operaciones MAC. Estos núcleos utilizan circuitos analógicos para realizar la multiplicación y la suma como un subproducto natural de la física de los circuitos. Otras innovaciones a nivel de SoC incluyen un ADC patentado, una capa de fusión de sensores de hardware SenseMesh™, tecnología propietaria de escalado dinámico de voltaje y frecuencia (DVFS), y una capa de software superior. El resultado es un aumento significativo en las métricas de rendimiento, potencia y área (PPA): entregando un rendimiento de IA mucho mayor en la misma área, consumiendo al menos 100 veces menos energía y siendo 100% programable.
¿Cómo encajan en la práctica SenseMesh, CubicCores y la capa de software?
Singhania: Usando una analogía de la biología humana: si el CubicCore es el cerebro —responsable de todo el cómputo—, entonces SenseMesh es el sistema nervioso. SenseMesh es esencialmente un tipo de tecnología DVFS. Brinda a los desarrolladores de aplicaciones la capacidad de ejecutar los núcleos de IA en un modo subconsciente de bajo consumo o llevarlos a un modo turbo-boost de alta frecuencia y alto voltaje, dependiendo de las necesidades de la aplicación. Fundamentalmente, todo esto sucede dinámicamente en tiempo de ejecución sin reiniciar el chip.
El beneficio práctico es que cuando los datos del sensor indican que sucede poco, los núcleos de IA permanecen en un estado de muy bajo consumo. En el momento en que se detecta algo interesante, la frecuencia aumenta y un algoritmo más complejo se ejecuta rápidamente para identificar el evento. Luego, el sistema vuelve al modo subconsciente: todo de forma fluida y continua, sin interrupciones.
Además, los ingenieros necesitan una forma sencilla de programar el GPX10. La capa de software, Model Forge, se sitúa sobre nuestro conjunto de instrucciones para que los desarrolladores no tengan que preocuparse por lo que sucede por dentro. Pueden programar aplicaciones y algoritmos de IA de la misma manera que lo harían en cualquier chipset basado en ARM o RISC-V con Model Forge, que se integra perfectamente con SenseMesh y CubicCore en segundo plano. Un desarrollador simplemente trae su modelo de IA desde TensorFlow o Keras, lo coloca en el compilador y el compilador maneja todo: desglose de grafos, mapeo de memoria, configuración de registros y más.
¿Dónde encaja la tecnología DigAn en este panorama?
Singhania: El GPX10 está construido sobre la tecnología DigAn, que es una arquitectura patentada de cómputo analógico en memoria que fusiona la memoria y el cómputo a nivel de circuito. Aquí, las unidades analógicas MAC están incrustadas directamente dentro de la SRAM. Piense en DigAn como nuestra plataforma tecnológica subyacente sobre la cual construiremos nuestra hoja de ruta general de procesadores. Los núcleos de IA basados en la tecnología DigAn son inherentemente escalables. Se llaman CubicCores, con la analogía de que pequeños cubos pueden apilarse uno encima del otro para hacer otros más grandes. El GPX10 está actualmente en producción, y el siguiente producto planificado es el GPX64 para aplicaciones basadas en visión y NLP. Todos ellos se basan en esta plataforma tecnológica común DigAn.
El GPX10 ofrece una mejora de 100 veces en el rendimiento energético y área en comparación con un microcontrolador convencional de 32 bits. ¿Qué significa ese benchmark para los ingenieros que han estado diseñando con MCUs y MPUs estándar?
Singhania: Esencialmente, lo que esto significa es que si un ingeniero ha estado diseñando aplicaciones en un microcontrolador estándar de 32 bits, entonces el procesador GPX10 les ofrece lo mejor de ambos mundos. Les brinda un rendimiento de IA mucho mayor en un área más pequeña o igual, al tiempo que reduce la energía consumida para lograr ese mayor rendimiento de IA. Esto permite a los diseñadores no solo agregar muchas más funciones de IA, sino ejecutar algoritmos de IA mucho más complejos con menor latencia y mayor precisión, mientras los ajustan dentro del presupuesto de energía de la aplicación. Hay una pequeña desventaja. Si bien Ambient Scientific ha hecho todo lo posible para que nuestras cadenas de herramientas de software sean lo más fáciles de usar para los desarrolladores, somos mucho más nuevos en la industria y nuestras cadenas de herramientas aún están en evolución.
Vía eeNews Europe.
