Nvidia mide su Groq 3 LPU: 3.400 tokens por segundo

La apuesta de 20.000 millones de dólares de Nvidia por la tecnología LPU de Groq se ve, por ahora, como una buena decisión. El lunes la empresa entregó el primer vistazo a cuánta aceleración van a ofrecer sus racks LPX basados en Groq 3.

En una prueba independiente realizada por Artificial Analysis, los sistemas de rack LPX de Nvidia lograron 3.400 tokens por segundo con una secuencia de entrada de 100.000 tokens sobre el modelo Gemma 4 31B de Google. Según Nvidia, eso lo vuelve 4 veces más rápido que la plataforma alternativa más cercana, lo que, mirando la tabla de posiciones de Artificial Analysis, es un golpe directo a Cerebras, que alcanzó unos de todos modos respetables 882 tokens por segundo en las mismas condiciones.

¿Qué tiene de distinto un LPU frente a una GPU?

Absorbida por Nvidia a fines de diciembre, Groq trabaja con LPU de arquitectura de flujo de datos con mucha SRAM, diseñada específicamente para servir inferencia de alto rendimiento. A diferencia de las GPU tradicionales de centro de datos, que dependen de memoria DRAM de alta velocidad como GDDR7 y HBM4, los chips de Groq se apoyan por completo en una gran reserva de SRAM en el propio troquel, órdenes de magnitud más rápida que incluso las mejores pilas de HBM disponibles hoy (unos 2,75 TB/s cada una). Y en inferencia, el ancho de banda de memoria es el cuello de botella que hay que vencer.

La tercera generación de estos chips, lanzada como parte de la plataforma Vera Rubin a comienzos de este año, presume 150 TB/s de ancho de banda de memoria.

La trampa, por supuesto, es que la SRAM consume una enorme cantidad de área de troquel, lo que significa que no se puede meter demasiada en una pieza del tamaño de un retículo. Donde la GPU Rubin de mayor especificación de Nvidia ofrece 288 GB de memoria integrada, cada LPU Groq 3 tiene apenas 500 MB, 576 veces menos.

Esa memoria es demasiado escasa para correr Gemma 4 31B en un solo LPU, así que la arquitectura de Nvidia usa Ethernet para distribuir los modelos entre varios aceleradores. Cada rack LPX puede equiparse con hasta 256 LPU, lo que da 128 GB de SRAM de alto ancho de banda. Para modelos grandes se pueden encadenar varios racks LPX.

¿Para qué sirve generar tan rápido?

¿Por qué alguien necesitaría correr Gemma 4 31B a 3.400 tokens por segundo? Probablemente no lo necesite, pero sí el asistente de código o el agente de IA con el que lo está usando. Mientras más rápido se generan los tokens, más tiempo pueden razonar los modelos, más turnos puede tomar el agente y más información puede procesar, o más acciones ejecutar, en la misma ventana de tiempo.

La apuesta de fondo es que, en la era de los agentes, los servidores de inferencia más rápidos producen agentes más inteligentes y por lo tanto valen un sobreprecio. La combinación de GPU de Nvidia y LPU Groq 3 parece haber captado la atención de sus clientes: el lunes la empresa reveló que la neocloud neerlandesa Nebius estará entre las primeras en desplegar los sistemas combinados en sus centros de datos.

¿Qué tan impresionante es realmente el sistema LPX?

Aunque 3.400 tokens por segundo impresiona a primera vista, Gemma 4 31B es discutiblemente el mejor escenario posible para este hardware, y está por verse con cuánta elegancia escala la arquitectura hacia modelos de mezcla de expertos más grandes y complejos.

Con 31.000 millones de parámetros, el modelo entra sin problemas en un solo rack LPX sin importar el tipo de dato que Nvidia use para almacenar los pesos. Nvidia lo corre en FP8, lo que significa que necesita algo más de 31 GB, o poco menos de 64 LPU de capacidad de SRAM.

Si le parece que 31B no es demasiado grande, tiene razón: el modelo es lo bastante chico como para correr en una tarjeta gráfica de consumo de gama alta, tipo RTX 3090 o 4090, en precisión de 4 bits, claro está.

Con todo, no conviene descartar los resultados todavía. El modelo es relativamente pequeño, pero es un modelo denso, lo que significa que sus 31.000 millones de parámetros se activan cada vez que se genera un token. Y 31.000 millones resulta ser una cifra bastante cercana a la cantidad de parámetros activos que usan modelos de mezcla de expertos mucho más grandes, como el V3 de DeepSeek, de 671.000 millones de parámetros totales y 37.000 millones activos.

Hay que anotar, eso sí, que como los modelos de mezcla de expertos usan parámetros distintos para cada token generado, sufren sobrecargas de rendimiento que no aparecen en los modelos densos. El otro problema que vale la pena mencionar es que servir un modelo como DeepSeek V3 en un sistema LPX requeriría 1.342 aceleradores, o algo más de 5 racks LPX. Son muchos aceleradores que coordinar.

Llevar LPX al siguiente nivel

Las cifras de rendimiento compartidas por Nvidia corresponden a un modelo corriendo enteramente sobre LPU. Sin embargo, sus mayores ganancias vendrán de combinar sus GPU con los aceleradores de flujo de datos en una arquitectura de inferencia heterogénea.

En resumen, lo que hace Nvidia es partir la carga de inferencia en dos fases distintas. La fase de prellenado, intensiva en cómputo, durante la cual se procesan las instrucciones y se generan las cachés clave-valor que registran el estado del modelo, corre en sus GPU. La fase de decodificación, intensiva en ancho de banda de memoria, se descarga a los LPU Groq 3.

La alta densidad de cómputo de Rubin la vuelve ideal para inferencia masiva por volumen, donde el objetivo es una interactividad razonable para muchos usuarios simultáneos, mientras que los LPU se acomodan mejor a la interactividad máxima. Al combinar ambos, Nvidia levantó la curva de Pareto hacia arriba y a la derecha, maximizando el rendimiento sin sacrificar interactividad.

Cifras que pueden envejecer mal

Junto a los posibles problemas de escalamiento de los LPU, vale la pena discutir la comparación de Nvidia contra los chips de Cerebras. Nvidia afirma que sus sistemas son 4 veces más rápidos que las piezas de Cerebras, y es cierto: las pruebas de Artificial Analysis con una secuencia de entrada de 100.000 tokens lo corroboran. Lo que queda fuera de esa conversación es la cantidad de chips necesarios.

No se conocen los detalles de la configuración de Cerebras, pero no es difícil deducirlos. Cerebras suele servir sus modelos en precisión mixta (8 y 16 bits) con activaciones de 16 bits, lo que significa que el modelo Gemma 4 31B completo debería caber en uno, a lo más dos aceleradores CS-3 de 44 GB, mientras que Nvidia necesita al menos 64 chips.

Las cifras de Cerebras tampoco reflejan sus aceleradores de próxima generación, anunciados la semana pasada. El acelerador CS-4, basado en WSE-3T, duplica el cómputo, el ancho de banda de entrada y salida, la velocidad de la malla y el ancho de banda de memoria de los chips actuales, y además triplica la cantidad de aceleradores por rack.

A eso se suma el acuerdo anunciado en el evento Advancing AI de AMD el mes pasado, que combinará los sistemas de rack Helios de AMD con los aceleradores de Cerebras. La compañía trabaja además con AWS en una configuración similar.

Por todo eso, la comparación de rendimiento sobre Gemma 4 31B puede no envejecer bien.