Groq 3 LPX: 3.431 tokens por segundo y nada de HBM

Igor Arsovski, ex arquitecto jefe de Groq y hoy vicepresidente de hardware de Nvidia, presentó en Hot Chips 2026 la arquitectura del rack Groq 3 LPX y publicó el primer benchmark de terceros del equipo. Artificial Analysis lo midió en 3.431 tokens de salida por segundo sobre una carga de razonamiento de Gemma 4 31B con contexto de 100K, aproximadamente cuatro veces los 870 tokens por segundo del siguiente endpoint público más rápido.

Arsovski afirmó que el rack ya está en producción, construido sobre el chip LP30 que Nvidia obtuvo mediante su acuerdo de 20.000 millones de dólares con Groq en diciembre de 2025, el mismo pacto que sacó de la hoja de ruta al Rubin CPX que vino a reemplazar.

¿Qué tan comparable es ese benchmark?

Artificial Analysis corrió la comparación sobre un endpoint privado y preliminar de Gemma 4 31B servido a través de Google Cloud, tomando la mediana de 50 solicitudes secuenciales con concurrencia de uno, mientras que los proveedores públicos contra los que se midió operaban endpoints serverless compartidos de producción. Atender una solicitud a la vez entrega la mayor tasa de tokens por usuario que el hardware puede anotar, y no es directamente comparable con las condiciones multiinquilino de los otros endpoints.

La demo en escenario de Nvidia mostró una cifra todavía más alta, 10.996 tokens por segundo sobre el mismo modelo de 31.000 millones de parámetros, que Arsovski marcó como autorreportada antes de decirle a la audiencia que el objetivo eran "benchmarks independientes verificados por terceros en los que ustedes puedan confiar".

Gemma 4 31B además es un modelo denso lo bastante pequeño como para caber en un solo rack LPX. El panorama a escala de mixture-of-experts de billones de parámetros, donde la capacidad de memoria pasa a ser la restricción principal, quedó sin abordar.

SRAM sin HBM: la apuesta arquitectónica

Cada LP30 carga alrededor de 500 MB de SRAM en el propio die y nada de HBM, así que un rack LPX completo de 256 chips reúne 128 GB de memoria que entregan 40 PB/s de ancho de banda agregado contra 315 PFLOPS de cómputo FP8, con 350 nanosegundos de latencia chip a chip en un rack MGX refrigerado por líquido y compatible con Vera Rubin, escalable más allá de 1.000 LPU.

Mantener los pesos del modelo residentes en SRAM en lugar de transmitirlos desde HBM elimina la latencia de acceso a memoria que domina la decodificación de un solo token. El diseño descarta cachés, predicción de saltos y ejecución fuera de orden a favor de un pipeline completamente determinista que el compilador agenda con granularidad de ciclo de reloj. La arquitectura desciende directamente del Tensor Streaming Processor que Groq, fundada por el ex ingeniero de TPU de Google Jonathan Ross, describió en un paper de ISCA de 2020 titulado Think Fast, el mismo título que Arsovski y Raghavan reutilizaron en Hot Chips.

El costo de ese diseño es la capacidad. Una GPU Rubin carga 288 GB de HBM4, unas 576 veces la memoria de un solo LP30, de modo que un modelo de 31.000 millones de parámetros en FP8 necesita del orden de 62 LPU para sostener sus pesos, y un mixture-of-experts grande se va a cifras de cuatro dígitos en chips repartidos entre varios racks. Por eso Nvidia describe la LPU como pieza de decodificación y no como reemplazo de propósito general de sus GPU.

Determinismo aplicado a la energía y al calor

El determinismo le permite al compilador predecir el consumo ciclo a ciclo, algo que Nvidia usa para pedir corriente por adelantado a los reguladores del rack antes de que llegue la demanda, recortando la caída de voltaje en más de 60% y el sobreimpulso en más de 70% frente a una carga sin compensar. La misma planificación por bloque permite ecualizar el calor en vez de limitar el reloj según el bloque más caliente, lo que Arsovski cifró en unos 10% a 11% de rendimiento adicional bajo un límite térmico fijo.

"Al hacer esto podemos obtener más utilización del chip bajo el mismo límite térmico. Podemos conseguir cerca de 10% a 11% más de rendimiento bajo el mismo límite térmico. Ese es otro beneficio de la ejecución determinista", explicó Arsovski.

Entre racks, Nvidia sincroniza los chips a un único reloj virtual en lo que llama una red plesiosincrónica, con cada chip actuando a la vez como procesador y como router, de manera que el tejido no necesita enrutamiento adaptativo ni detección de congestión. Consultado en la ronda de preguntas por el radio de impacto de un chip que falle a mitad de una carga, Arsovski respondió que los usuarios experimentarían "exactamente lo mismo que con cualquier otro hardware de la industria" y simplemente tendrían que "hacer un checkpoint o reconfigurar el hardware".

¿Cómo se reparte el trabajo con Rubin?

Nvidia posiciona el rack LPX como un coprocesador de decodificación acoplado a Vera Rubin NVL72: las GPU Rubin se encargan de la fase de prefill, intensiva en cómputo, y construyen la caché KV, mientras las LPU generan los tokens de salida. La compañía mostró tres formas de dividir el trabajo:

• Desagregación de prefill y decodificación.
• Desagregación de atención y FFN, que deja la atención y su caché en la HBM de la GPU mientras la LPU corre las capas feed-forward.
• Decodificación especulativa con borrador externo, donde un modelo pequeño en la LPU propone tokens que la GPU verifica en paralelo, cruzando el enlace solo los tokens de borrador.

Un FPGA hace de puente entre el dominio síncrono de la LPU y el mundo asíncrono de la entrada y salida del host y de los traspasos a la GPU. El runtime Dynamo de Nvidia, junto con una extensión LPU para CUDA, orquesta la división. La compañía cifró las ganancias de estos modos en aproximadamente tres a cinco veces sobre Rubin en solitario, en una carga de dos billones de parámetros con 400K tokens de contexto en caché, todo medido por la propia Nvidia.

Cerebras responde con la CS4

Cerebras aprovechó la misma sesión de Hot Chips para presentar su sistema wafer-scale CS4, que según su arquitecto jefe de sistemas, Jean-Philippe Fricker, corre hasta 30 veces más rápido que las GPU y duplica la tasa de tokens de la CS3 con diez veces la capacidad de tokens. Cada rack CS4 empaqueta tres motores wafer-scale en una plataforma modular llamada Nexus, armada en torno a "mochilas" de cómputo enchufables que separan potencia, cómputo y entrada/salida. Fricker situó su ancho de banda de memoria en 43 PB/s, que describió como "2.000 veces más ancho de banda de memoria que el chip Rubin de próxima generación de Nvidia".

Cerebras además tiene socio para el lado del prefill: en julio acordó combinar GPU AMD Helios para esa fase con sus motores wafer-scale para la decodificación, la misma división del trabajo que Nvidia ahora construye puertas adentro con Groq.

Comparativa rápida de la memoria en juego

Nvidia retiró la Rubin CPX, su propio acelerador de contexto largo basado en GDDR7, para concentrarse en despachar la LPU este año, una decisión que el vicepresidente Ian Buck expuso en GTC 2026. El acuerdo de 20.000 millones de dólares que produjo el LP30 se estructuró como una licencia de propiedad intelectual no exclusiva más la contratación de Ross, del presidente Sunny Madra y de la mayoría de los ingenieros de Groq, una forma que evitó una revisión formal de fusión. Arsovski abrió la charla calificándolo como "un momento de pellizcarse para el equipo de Groq, ahora integrado al grupo de Nvidia".

Los senadores Elizabeth Warren y Richard Blumenthal escribieron a la FTC y a Nvidia a comienzos de 2026 argumentando que el arreglo adquirió Groq "en todo salvo el nombre". Hasta fines de agosto no se ha confirmado ninguna investigación formal específica sobre la operación.