En la conferencia Hot Chips, realizada esta semana en California, Nvidia anunció que sus bastidores LPX basados en Groq 3 entraron en producción, con pruebas iniciales que muestran 3.400 tokens por segundo sobre Gemma 4 31B. La cifra es cuatro veces más rápida que la de su rival Cerebras.
Un día después Cerebras contraatacó y exhibió un rendimiento casi equivalente con sus aceleradores de próxima generación CS4, presentados la semana anterior.
Estas cifras de portada hacen que la inferencia se sienta instantánea comparada con los chatbots a los que nos acostumbramos en los últimos cuatro años. El problema es que las dos empresas están discutiendo por números que sus clientes probablemente nunca verán en producción.
Que quede claro: ninguna de las dos miente. Cualquiera podría reproducir los resultados, porque Artificial Analysis, el equipo detrás de ambas mediciones, sabe lo que hace. Pero más allá del truco de marketing, ningún operador de inferencia como servicio en su sano juicio correría estos sistemas de esa manera, salvo que haya descubierto cómo ganar plata sirviendo una petición a la vez.
En la práctica, estos números se parecen a la velocidad máxima de un auto de carreras. Sirven para el aviso publicitario, pero nadie maneja así a diario y, si lo hiciera, se quedaría sin combustible antes de llegar lejos.
¿Por qué la memoria limita el número de usuarios?
Los aceleradores con arquitecturas cargadas de SRAM entregan un ancho de banda enorme, y por eso empujan la curva de eficiencia hacia la derecha, hacia la zona de latencia mínima. Lo mismo que los hace rápidos limita su capacidad de escalar ese rendimiento a muchos usuarios simultáneos.
Vale la pena seguir la aritmética con Gemma 4 31B, que al ser un modelo pequeño representa el mejor caso posible:
- Cada acelerador Groq 3 lleva 500 MB de memoria en chip. Nvidia logró sus 3.400 tokens por segundo por usuario con precisión de 8 bits.
- Un modelo de 31 mil millones de parámetros necesita unos 31 GB, es decir cerca de 64 LPU, y eso solo para alojar los pesos.
- La caché de claves y valores generada durante el prefill suma otros 8 GB por cada secuencia de entrada de 100.000 tokens, según la calculadora de LMcache. Cada secuencia adicional pide 16 LPU más.
| Sistema | Memoria disponible | Lote máximo estimado |
|---|---|---|
| Bastidor LPX (256 LPU Groq 3) | 128 GB en chip | 12 secuencias de 100.000 tokens |
| Bastidor CS4 (3 x WSE-3T) | 132 GB de SRAM | 12 secuencias de 100.000 tokens |
El techo no es de cálculo, es de memoria: los sistemas simplemente no tienen espacio para lotes mayores sin agregar bastidores o recortar el tamaño del prompt. La cuenta simplifica, porque supone inferencia por lotes con secuencias de entrada fijas y no usuarios concurrentes golpeando el sistema de forma asincrónica. Para un chatbot con ventana de contexto acotada, un solo bastidor podría servir a bastantes más de doce personas.
Levantar la curva, no correr al extremo
Aunque ambos sistemas alcancen 3.400 tokens por segundo, la mejor plataforma será la que entregue esa escala con menor costo y menor consumo. Y los clientes probablemente no van a operar estos equipos por separado.
Las arquitecturas cargadas de SRAM funcionan mucho mejor como aceleradores de decodificación, que es exactamente la razón por la que Nvidia pagó 20.000 millones de dólares por licenciar la tecnología de Groq y llevarse a su equipo de ingeniería. Es también la razón por la que Cerebras se asoció recientemente con AWS y AMD.
Estas arquitecturas heterogéneas combinan GPU u otros XPU intensivos en cálculo, como los chips Trainium de Amazon, con algo del tipo LPU de Groq, los aceleradores a escala de oblea de Cerebras o las piezas SN de SambaNova. La combinación elimina, o al menos reduce, la sobrecarga de caché y de cómputo que hacía tan difícil escalar estos chips: como aceleradores de decodificación solo necesitan sostener los pesos del modelo.
¿Existe un mejor punto de comparación?
Sí, y es revelador quién lo eligió. Mientras Nvidia y Cerebras optaron por la metodología más simple de Artificial Analysis, OpenAI usó InferenceX, de SemiAnalysis, para mostrar cómo se comportan sus nuevos aceleradores Jalapeño tanto en inferencia masiva como en la de latencia mínima.
InferenceX recorre toda la curva, desde los tokens masivos de baja interactividad hasta los de latencia mínima y volumen bajo. La sospecha razonable sobre por qué Nvidia y Cerebras no hicieron lo mismo es que sus bastidores siguen orientados a la inferencia de baja latencia y no se verían tan impresionantes en el tramo izquierdo y medio de la curva.
La próxima vez que alguien presuma de un acelerador de inferencia imposiblemente rápido, conviene preguntar de qué punto de esa curva salió el número.
