OpenAI entregó su mirada más detallada hasta ahora sobre Jalapeño, su nuevo acelerador de IA, durante la conferencia anual de desarrollo de semiconductores Hot Chips, celebrada en Stanford.
Los chips, anticipados a comienzos de año, se desarrollaron en colaboración con Broadcom y son los primeros de una serie de silicio propio de OpenAI, diseñado en parte por IA, para IA.
Comparado con los sistemas de GPU actuales de Nvidia, OpenAI sostiene que sus piezas entregarán mayor rendimiento y menor latencia cuando empiecen a salir a fines de este año y alcancen producción en volumen en 2027.
Conviene aclararlo: Jalapeño no va a reemplazar a los socios de hardware de larga data de OpenAI, que además son algunos de sus inversionistas más importantes. OpenAI todavía necesita cómputo para entrenamiento, y la naturaleza altamente programable de las GPU hace probable que la compañía despliegue primero en AMD y Nvidia y migre después a su silicio propio.
También vale notar que el MI455X de AMD y las GPU Rubin de Nvidia, que se espera aceleren producción a comienzos de 2027, son chips de otra naturaleza, optimizados para una mezcla de entrenamiento e inferencia. El silicio a medida de OpenAI solo necesita destacar en un trabajo: la inferencia.
¿Por qué el ancho de banda manda en inferencia?
Cuando se trata de inferencia el cómputo es clave, pero el ancho de banda de memoria es el rey.
Según los primeros benchmarks que OpenAI compartió con la prensa antes de su presentación, el chip se perfila como una bestia de inferencia. Las pruebas sobre la suite InferenceX de SemiAnalysis, presumiblemente un test no oficial, muestran a los sistemas basados en Jalapeño entregando entre 1,5 y 1,9 veces más "trabajo de IA" en rendimiento máximo, y una latencia de extremo a extremo entre 1,7 y 3,6 veces menor que la competencia sobre GPT-OSS-120B, DeepSeek R1 y Kimi K2.5.
Si los dos últimos modelos parecen una elección rara para que OpenAI se mida contra ellos, no es que la compañía planee correr modelos de competidores en estos chips: son simplemente los modelos que usa InferenceX. En todo caso, la prueba muestra que Jalapeño no es una arquitectura atada a un modelo específico, diseñada para máximo rendimiento a costa de la programabilidad.
Para inferencia de latencia ultrabaja, que se ha convertido en el segmento caliente entre los proveedores de infraestructura de IA, OpenAI afirma que sus chips son entre 2,1 y 4,1 veces más rápidos.
Las cifras a nivel de sistema
A nivel de sistema, que es donde hay que empezar porque los modelos de frontera que OpenAI entrena rara vez corren ya en un solo chip, cada sistema Jalapeño con sus 128 aceleradores reúne 1,7 exaFLOPS de cómputo de 4 bits, 27,5 TB de HBM4 y algo menos de 2 petabytes por segundo de ancho de banda de memoria.
| Métrica | Rack Jalapeño (OpenAI) | Racks actuales de AMD y Nvidia |
|---|---|---|
| Aceleradores | 128 | 72 (NVL72) |
| Cómputo | 1,7 exaFLOPS (4 bits) | 1,46x a 2x más |
| Memoria | 27,5 TB HBM4 | Hasta 12% más en Helios |
| Ancho de banda | Cerca de 2 PB/s | 85% del de OpenAI |
| Consumo estimado | 40% a 60% del rival | Referencia |
Como es habitual, conviene tomar estas afirmaciones con pinzas. Los sistemas competidores en cuestión son los racks GB200 NVL72 y GB300 NVL72 de Nvidia, lanzados en 2024 y 2025 respectivamente. El punto de comparación de OpenAI también excluyó la decodificación especulativa, que usa un modelo borrador pequeño para acelerar la inferencia prediciendo las salidas de otro. Se puede argumentar que eso hace una comparación más limpia, pero al medir rendimiento de inferencia no se comparan solo componentes de hardware sino la plataforma completa.
Arquitectura a escala de rack
El diseño de sistema de Jalapeño no sorprenderá a nadie. El chip está pensado en torno a una arquitectura a escala de rack similar a la NVL72 de Nvidia o a AMD Helios.
Cada rack lleva 128 aceleradores Jalapeño a bordo, y cada uno es capaz de entregar 13,4 petaFLOPS en MXFP4. Ese cómputo se alimenta con 216 GB de memoria HBM4 (se asume que son seis pilas de doce alturas), buenos para 15,4 TB/s de ancho de banda.
El chip además parece incorporar una caché SRAM de gran tamaño. Según Richard Ho, vicepresidente de hardware de OpenAI, el diseño buscó minimizar el movimiento de datos y mantener en el chip las operaciones intermedias y elementos como las cachés de clave-valor, que llevan el registro del estado.
"Diseñamos Jalapeño para minimizar el movimiento de datos y las demoras de comunicación. Esto significa que el estado del modelo, incluida la caché KV usada al generar una respuesta, puede colocarse explícitamente y mantenerse local mientras el sistema activa la combinación correcta de cómputo, memoria y red para cada fase de la inferencia", explicó la compañía en una publicación de su blog.
Una caché SRAM grande sería la manera más intuitiva de lograrlo, y es lo que ya han hecho firmas como SambaNova y dMatrix en sus propios diseños de XPU para IA. A diferencia de los racks Groq LPX de Nvidia, sin embargo, Jalapeño no es un caballo de un solo truco: está optimizado tanto para las operaciones de prefill, intensivas en cómputo, donde se procesan los prompts, como para la fase de decode, intensiva en ancho de banda, donde se generan los tokens de salida.
"Un sistema que sobresale en una fase puede perder esa ventaja mientras espera datos o mueve el estado del modelo entre distintos recursos", señaló la empresa.
¿Cuánto pesa realmente el "diseñado con IA"?
Quizás el detalle menos sorprendente sea que OpenAI usó IA para ayudar a diseñar, arquitectar y optimizar el chip para inferencia, recortando el tiempo desde la concepción hasta el tape out (el punto en que un diseño de semiconductor queda listo para enviarse a la fundición) a apenas nueve meses. Eso incluyó usar sus modelos para optimizar los motores de servicio de inferencia y escribir kernels a medida a medida que aparecían modelos nuevos.
Por impresionante que suene, AMD y Nvidia vienen haciendo esencialmente lo mismo de manera interna desde hace tiempo. De hecho, el mes pasado AMD abrió al público su oferta ROCm.AI.
Además, construir un chip que escale a cientos de miles de aceleradores no es trivial, y AMD y Nvidia probablemente conservan ventaja en programabilidad, dado que las GPU son aceleradores de propósito general.
En cualquier caso, Jalapeño no será el último chip que veamos de OpenAI.
¿Qué significa esto desde LatAm?
Nada de este hardware se compra: Jalapeño es silicio cautivo, pensado para servir los modelos de OpenAI en sus propios centros de datos. Lo que sí llega a la región es el efecto de segundo orden. Si el costo por token de inferencia baja porque el rack consume entre 40% y 60% de lo que consume un equivalente con GPU, esa baja se traslada tarde o temprano al precio por millón de tokens que paga un desarrollador en Santiago, Bogotá o Buenos Aires.
Para quien quiera experimentar hoy con las mismas ideas de arquitectura, el concepto clave es el de mantener el estado local al procesador. Es exactamente lo que hacen a escala diminuta los aceleradores de borde tipo Jetson Orin Nano o los módulos con NPU integrada: reducir el viaje de los datos vale más que sumar operaciones por segundo.
