OpenAI aprovechó la conferencia Hot Chips 2026 para abrir la arquitectura de Jalapeño, el acelerador de inferencia que desarrolló junto a Broadcom y que había presentado en junio, cuando reveló que el diseño llegó a tape-out en apenas nueve meses. Esta vez el foco no estuvo en los benchmarks, sino en cómo está construido por dentro un chip que se aleja a propósito del modelo de GPU que domina los centros de datos de IA.
¿Qué hay exactamente dentro de Jalapeño?
El acelerador monta 216 GB de memoria HBM4 con hasta 15,4 TB/s de ancho de banda. Entrega hasta 3,4 PFLOPS en formato MXFP8 y hasta 13,4 PFLOPS en MXFP4, con un consumo declarado de 700 W y una frecuencia de 1,70 GHz en el silicio que ya corre en los laboratorios de la compañía. Los ingenieros adelantaron en la presentación que el plan es subir el reloj hasta 1,80 GHz. El formato MXFP4 alcanza para inferencia, pero probablemente no para entrenamiento.
En escalado, Jalapeño llega a 128 aceleradores por rack, interconectados con Ethernet a 600 GB/s, y a 2.048 ASIC en una configuración de pod de 16 racks, con 200 GB/s por procesador. El sistema completo ofrece 27 exaFLOPS en MXFP4, 432 TB de HBM4 y 32 PB/s de ancho de banda agregado. La conmutación corre sobre switches Ethernet Broadcom Tomahawk 6, con una topología Clos de dos niveles que OpenAI llama "medio aplanada": más ancho de banda para el tráfico de paralelismo tensorial, menos para el de expertos y prioridad a la latencia baja en ambos casos. El hardware físico alrededor del chip lo fabricará Celestica.
| Métrica | Jalapeño (OpenAI) | Blackwell Ultra (Nvidia) |
|---|---|---|
| Consumo por paquete | 700 W | 1.400 W (GB300) |
| Cómputo de baja precisión | 13,4 PFLOPS MXFP4 | 20 / 15 PFLOPS NVFP4 (con y sin dispersión) |
| Memoria por acelerador | 216 GB HBM4 | no declarado en la comparación |
| Ancho de banda agregado del dominio | más de 1 PB/s (128 ASIC) | 576 TB/s (GB300 NVL72) |
Sobre el papel esas cifras no impresionan frente a los Blackwell Ultra, que declaran 10 PFLOPS en FP8. OpenAI sostiene que la comparación relevante es otra: un dominio de 128 ASIC de Jalapeño supera 1 PB/s de ancho de banda HBM4 agregado, contra los 576 TB/s de un GB300 NVL72. Un modelo de un billón de parámetros con pesos en FP4 ocupa cerca de 0,5 TB, así que ese sistema podría leer el modelo entero más de 2.000 veces por segundo. El rendimiento real de inferencia queda muy por debajo de ese techo teórico, y esa es justamente la razón por la que nadie agrega ancho de banda HBM de forma infinita.
Memoria en porciones, no compartida
La diferencia de fondo está en el manejo de datos. Jalapeño usa lo que OpenAI describe como una arquitectura de memoria seccionada, al estilo NUMA. El chip tiene 64 porciones de núcleo y cada una está emparejada con su propia porción de HBM, para garantizar latencia y ancho de banda predecibles. Ese arreglo evita los conflictos típicos de un subsistema de memoria unificado y mantiene los operandos de uso frecuente cerca de la unidad que los necesita. La compañía no explicó por qué eligió exactamente 64 porciones, lo que sugiere que fue el punto dulce de esta generación.
Dos redes dentro del mismo chip
Para conectar esas 64 porciones, OpenAI usa una red colectiva de alto ancho de banda y baja latencia que mueve datos acoplados a las operaciones de cómputo "de registro a registro, sin conflictos". En paralelo, Jalapeño tiene una red en chip (NoC) de propósito general que atiende la comunicación menos habitual, como los accesos a memoria remota o global, y da salida a la red externa de escalado.
La distinción es deliberada. OpenAI describe la NoC general como intencionalmente "más anémica de lo que se esperaría en la arquitectura de un chip normal", porque no quiere que el tráfico crítico para el rendimiento pase por ahí. La red colectiva, en cambio, organiza el movimiento de datos para que los operandos lleguen a los registros justo cuando se necesitan, en vez de que las unidades de cómputo terminen esperando a la memoria o a una sincronización global. Hacer que una sola red cumpliera ambos roles habría exigido más silicio, más consumo y habría reintroducido la contención.
¿Por qué tres fases y no dos?
Jalapeño también está pensado para los tipos de trabajo muy distintos que conviven dentro de una sola petición de inferencia con agentes. Nvidia descompone el proceso en dos fases: prefill, limitada por cómputo, y decode, limitada por memoria. Es la razón por la que asignó el Rubin CPX con GDDR7 a la primera y reservó las GPU con HBM para la segunda.
OpenAI lo parte en tres: prefill limitada por cómputo, draft limitada por latencia y verification limitada por ancho de banda. En teoría podría haber asignado cada fase a un acelerador especializado distinto, pero la proporción entre las tres cambia según el modelo, el largo de contexto, la eficiencia de tokens y los algoritmos de software. Como es imposible predecir cuántos procesadores de cada tipo hay que desplegar, algunos quedarían inevitablemente ociosos. De ahí la decisión de hacer un ASIC balanceado que sirva para todo. Como bono, un acelerador de inferencia universal no necesita mover cachés KV cada vez más grandes hacia sus pares, lo que se traduce en menos consumo.
Chips que diseñan chips
Pese al ciclo de desarrollo corto, OpenAI asegura que la mayor parte del procesador se diseñó desde cero y no se ensambló con propiedad intelectual existente de Broadcom. Richard Ho, de OpenAI, precisó que el chip de cómputo reutiliza algo de IP de interfaz, pero que la mayoría del RTL se escribió de nuevo usando XLS y Verilog. La línea de tiempo es agresiva: el trabajo inicial de RTL empezó en febrero de 2025, el diseño llegó a tape-out en noviembre, el primer silicio arribó en mayo de 2026 y ese mismo mes OpenAI ya tenía Codex corriendo sobre Jalapeño.
Buena parte de esa velocidad se explica por el uso intensivo de IA en el propio diseño. Más de la mitad del núcleo se escribió con el lenguaje y la infraestructura de compilación XLS, mientras los modelos de la compañía buscaban formas de mejorar potencia, rendimiento y área. Frente a diseños humanos de referencia, OpenAI reporta mejoras de 56% en un multiplicador BF16, 21% en un bloque de producto punto FP4 y 10% en un acumulador FP32, además de reducciones de área de 10% en la unidad matricial y 8% en la SIMD. La optimización asistida por IA incluso permitió meter circuitería en un bloque del plano de planta donde de otro modo no habría cabido, aunque la empresa no dice qué circuitería era.
Jalapeño no será el último intento. La segunda generación ya está bien avanzada y camino al tape-out, y Ho dijo durante la presentación que la tercera ya está "operativa", pese a que su propia lámina decía "planificada".
¿Se programa como una GPU?
No, y ahí aparece el costo oculto de la arquitectura espacial. Jalapeño se programa con un entorno de bajo nivel dentro del ecosistema abierto Triton, no con CUDA. Cada núcleo tiene acceso rápido a su porción local de HBM, así que el software debe determinar dónde están físicamente los tensores y cómo se distribuyen por el chip. Eso hace la programación más compleja, y por eso OpenAI también recurre a IA para encontrar patrones eficientes de ubicación de datos, planificación y comunicación, y para optimizar los kernels.
El problema es que el mapeo óptimo depende de la arquitectura. Cuando la compañía cambie el número de núcleos, la organización de la memoria local o la topología de la red colectiva en las próximas generaciones, esas ubicaciones y planificaciones dejarán de ser óptimas y habrá que rehacerlas con herramientas de IA. El software escrito para Blackwell, en cambio, corre en Rubin y después en Feynman sin modificaciones. Es el precio de abandonar el modelo de programación general que Nvidia lleva casi dos décadas puliendo.
