Como hemos visto muchas veces, casi siempre hay una forma de exprimir un poco más de vida a lo que de otro modo se consideraría tecnología vieja y obsoleta. Quizás algo que las masas descartaron demasiado pronto son las GPUs de datacenter de generaciones anteriores. Es entendible en un sentido, por el ritmo al que NVIDIA lanza modelos nuevos, pero estas tarjetas tienen mucha vida útil por delante para el usuario promedio, como demuestra Andrew en su bitácora.
¿Qué hardware usó?
Las tarjetas que usa Andrew son Tesla V100 de 2017. A pesar de ser hardware antiguo, cuentan con memoria de alta velocidad que les permite correr modelos de lenguaje modernos de forma local, de manera competitiva con los modelos en línea. En su prueba corre Gemma 4 26B y Qwen3 35B: Gemma resulta algo más rápido porque cabe por completo en la memoria de la GPU, mientras que Qwen3 es un poco más capaz pero más exigente en recursos. Para que esos modelos más grandes entren enteros en memoria, Andrew construyó una placa PCI capaz de alojar dos V100 a la vez.
¿Por qué importa que corran localmente?
Aunque no rinden al nivel de los mejores modelos en línea de última generación, son sorprendentemente capaces y suman la ventaja de funcionar completamente en local. Eso podría inquietar a quienes observan una economía global sostenida por empresas que, en la práctica, no tienen un foso defensivo frente a usuarios motivados, sobre todo a medida que más y más hardware de datacenter llega al mercado de segunda mano.
Mientras que este proyecto de Andrew detalla cómo poner en marcha toda la pila de software, hace poco mostramos otro montaje con las mismas GPUs que se centra más en el hardware, útil para quienes recién empiezan con el alojamiento local de modelos.
