Correr los mejores modelos de lenguaje en un computador propio suele pedir mucha RAM y una GPU de gama alta, sobre todo cuando el modelo tiene cientos de miles de millones de parámetros. Si la velocidad no importa, la GPU se puede dejar de lado. Una CPU hace todo lo que hace una GPU, con mucho menos paralelismo. Lo que queda como límite duro es la memoria, o eso se creía hasta que Jim Bruges mostró un método para correr un modelo de 744.000 millones de parámetros en un sistema con 16 GB de RAM.

Bruges lo consiguió con una placa Arduino VENTUNO Q, un SSD NVMe y un motor de inferencia de código abierto llamado Colibri. Así configurado, el equipo corre dos modelos de lenguaje en local, Qwen3.6-35B-A3B y GLM-5.3, que tiene 744.000 millones de parámetros. Ninguno necesita conexión a internet una vez descargados los modelos y el software, y toda la inferencia ocurre en la placa.

¿Cómo se esquiva el límite de memoria?

El truco está en la arquitectura de mezcla de expertos (mixture of experts) que usan los dos modelos. En vez de activar todos los parámetros para cada token generado, estos modelos usan solo una parte de sus redes expertas en cada momento. Eso reduce el cómputo, pero los pesos del modelo igual tienen que estar disponibles en alguna parte.

Colibri resuelve el problema de memoria guardando los pesos en el SSD y subiendo a la RAM los expertos a medida que se necesitan. También mantiene un caché de los expertos usados hace poco para leer menos veces del disco. Con eso, el computador no necesita memoria suficiente para cargar el modelo entero de una vez.

Bruges conectó a la VENTUNO Q un SSD NVMe Crucial de 1 TB. La versión cuantizada de Qwen ocupa cerca de 23 GB de almacenamiento y la de GLM llega a 419 GB. El software corre sobre Ubuntu 24.04 y hace la inferencia con cuatro de los núcleos Cortex-A78C de la CPU de la placa. En la configuración final no se usan ni la GPU ni la NPU.

¿Qué tan rápido responde?

Mover pesos entre el SSD y la RAM tiene un costo enorme en rendimiento. Con un caché de 96 espacios para expertos, Qwen generó cerca de 0,74 tokens por segundo. Ajustando la frecuencia de la CPU la cifra subió apenas, a 0,774 tokens por segundo.

GLM fue mucho más lento, con 0,03 tokens por segundo. En una prueba, Bruges le pidió nombrar tres planetas. El modelo respondió bien, "Earth, Mars, Venus", y se demoró cerca de siete minutos en hacerlo. No reemplaza a una estación de trabajo de IA de gama alta.

Nadie va a dejar su estación con GPU por este proyecto. Lo que muestra es una alternativa que funciona frente a cargar el modelo completo en la RAM, útil cuando el tiempo de respuesta no es crítico o para quien quiera experimentar con modelos enormes en hardware modesto.