En el mundo de los negocios, un foso (moat) es aquella característica que le impide a la competencia arrebatarle las utilidades a una empresa. Con lo difícil y caro que resulta entrenar un modelo de lenguaje grande, parecería que Anthropic, OpenAI y el resto de las compañías de IA generativa tienen fosos enormes, sostenidos por la cantidad de cómputo que exige construir un modelo desde cero. Pero los modelos de código abierto están drenando ese foso, y hoy lo único que separa a un usuario de ejecutar uno de estos modelos en su propio hardware, en vez de consumirlo desde la nube de un tercero, son los recursos físicos de su máquina.
TerminalBytes probó varios de estos modelos en computadores de su propiedad para mostrar el estado actual del arte.
¿Qué hardware se necesita para ejecutar Qwen3.8 en casa?
TerminalBytes partió corriendo la versión de 27.000 millones de parámetros de Qwen3.8 en un Mac Studio con 256 GB de memoria unificada, holgadamente suficiente para la tarea. Esa holgura, de hecho, le permitió usar la misma máquina como banco de pruebas: comparó Qwen3.6 contra Qwen3.8 y, dentro de cada uno, las distintas cuantizaciones disponibles.
Las cuantizaciones son versiones comprimidas del modelo que necesitan menos bits para almacenar cada peso. El resultado es que el mismo modelo entra en menos memoria, con pérdidas de fidelidad acotadas. Varias de esas versiones corren en máquinas con 32 GB de RAM o menos, que es el rango de muchos PC gamer promedio. TerminalBytes incluso probó una cuantización de 1 bit, capaz de funcionar en un equipo de 16 GB, aunque con resultados mixtos.
Cuánta memoria pide cada cuantización
A modo de referencia, este es el peso aproximado que ocupan los parámetros de un modelo de 27.000 millones según los bits que se destinen a cada uno:
| Precisión | Bits por peso | Tamaño aproximado de los pesos | Equipo típico |
|---|---|---|---|
| FP16 (sin cuantizar) | 16 | 54 GB | estación de trabajo o Mac con memoria unificada |
| 8 bits | 8 | 27 GB | GPU de 32 GB o equipo con 32 GB unificados |
| 4 bits | 4 | 13,5 GB | GPU de 16 GB o PC con 32 GB de RAM |
| 1 bit | 1 | 3,4 GB | equipo de 16 GB, con calidad degradada |
Son cifras de referencia y no mediciones del proyecto: el consumo real sube con la ventana de contexto y con los búferes de cada implementación. Sirven, eso sí, para entender por qué la conversación se movió tan rápido desde el centro de datos hasta el escritorio.
¿Por qué esto le pega al negocio de los modelos cerrados?
La barrera de entrada para entrenar sigue intacta, y es enorme. Lo que cambió es la barrera para usar: si un modelo abierto de calidad razonable entra en un equipo que ya está sobre el escritorio, el pago por token deja de ser la única puerta de acceso. Ahí es donde el foso se drena, no en la etapa de entrenamiento.
Para la región el matiz importa. En Chile y el resto de LatAm el costo de la nube se paga en dólares y con latencia hacia el hemisferio norte, mientras que un equipo con 32 GB de memoria es una compra que se hace una vez. Para talleres, laboratorios universitarios y equipos pequeños que procesan datos sensibles, la inferencia local resuelve además el problema de no tener que enviar información a un servidor ajeno.
Lo que viene
Conviene tener presente que esto es apenas el estado actual de los modelos abiertos. Las versiones futuras probablemente optimicen la cantidad de tokens producidos por unidad de tiempo, o bien mejoren la calidad de las respuestas exigiendo menos recursos de cómputo.
Con todo, la facilidad para correr modelos locales difícilmente sea por sí sola la razón de que la burbuja de la IA reviente. El hecho de que no todos los usuarios de computadores usen Linux es prueba suficiente de eso: que exista una alternativa gratuita y técnicamente sólida no basta para desplazar a un producto comercial bien distribuido.
