Una queja recurrente sobre el auge de los servicios de IA comerciales es que consumen una cantidad excesiva de energía, dañando el medio ambiente. Si esto le preocupa, Squeezlabs tiene la solución: una IA impulsada por una manivela.
El núcleo del sistema es una Raspberry Pi 5 que ejecuta llama.cpp y las conversiones de voz pertinentes, pero el sistema y el modelo de lenguaje (LLM) en sí no son la parte más interesante. La energía proviene de un cargador de manivela de los que se venden en sitios como AliExpress, diseñados originalmente para carga USB. Sin embargo, esto no es suficiente para alimentar la Pi por sí solo, ya que los picos de procesamiento pueden causar caídas de tensión que bloquean la máquina. Por ello, se añadió una placa de capacitores personalizada para absorber la carga, aunque incluso así, la resistencia de la manivela varía considerablemente según la carga de computación.
Es evidente que esta no es la forma ideal de experimentar con un LLM, pero quizás ese no sea el punto. El proyecto apunta hacia un futuro en el que las demandas energéticas del procesamiento disminuyan y se requiera menos esfuerzo para tareas complejas. Mientras tanto, este no es ni mucho menos el primer proyecto de manivela que hemos visto.
¿Es realmente sostenible la computación actual?
La optimización de los semiconductores ha llegado a un punto crítico. Las cifras recientes de TSMC indican una mejora de apenas 1.6x por generación, una tendencia que sigue a la baja. Ya no es posible obtener una reducción de potencia y un aumento de rendimiento simultáneos como en la era previa a 2005. Nos hemos quedado sin margen de maniobra; encogimos los transistores hasta el límite físico.
¿Cuál es el futuro del hardware tras los nanosheets?
Después de pasar de transistores planos a FinFETs y nanosheets gate-all-around, la industria ha recurrido a trucos como el empaquetado avanzado con interposers de silicio, optimizaciones de geometría litográfica y entrega de energía por la parte posterior. Los CFETs, que apilan transistores N y P, representan el límite actual del roadmap, enfocándose más en la densidad que en la disipación de calor. El siguiente paso proyectado es la fabricación en obleas separadas unidas mediante bonding, aprovechando alineaciones cristalinas específicas.
Finalmente, es necesario mencionar las máquinas de litografía. Hemos adoptado la litografía EUV y la alta apertura numérica, pero ASML ha admitido que pronto dejará de ser rentable seguir este camino. Los costos operativos y la cantidad de obleas procesadas por minuto dictarán el fin de esta carrera tecnológica. Vía Hackaday.
