OpenAI dio a conocer Jalapeño, su primer chip diseñado a medida para inferencia, con una promesa doble: más trabajo de IA por watt y respuestas más rápidas al mismo tiempo. La compañía sostiene que la arquitectura apunta a modelos cada vez más exigentes sin escalar el consumo eléctrico en la misma proporción.
Las mediciones se hicieron sobre tres modelos públicos, GPT-OSS 120B, DeepSeek R1 670B y Kimi K2.5 1T, y se contrastaron con sistemas aceleradores disponibles en el mercado usando el benchmark público InferenceX, de SemiAnalysis.
¿Qué mide OpenAI cuando dice 1,9 veces más eficiente?
Las cifras que entrega la empresa se agrupan en tres ejes distintos, y conviene separarlos porque no describen lo mismo:
| Métrica declarada | Rango reportado |
|---|---|
| Trabajo de IA por watt, en throughput máximo | 1,5 a 1,9 veces |
| Latencia de extremo a extremo | 1,7 a 3,6 veces menor |
| Rendimiento en cargas muy interactivas | 2,1 a 4,1 veces mayor |
| Consumo nominal del chip | 700 W |
| Consumo sostenido medido | 550 W o menos |
Sobre Kimi K2.5 1T, el modelo más grande de la tanda con un billón de parámetros, OpenAI reportó cerca de 1,5 veces más rendimiento máximo por watt y 3,4 veces menos latencia de extremo a extremo que el sistema de comparación.
El dato del consumo sostenido es el más concreto de todos. Ocho aceleradores trabajando en régimen a 550 W suman 4,4 kW solo en cómputo, sin contar refrigeración ni red, una cuenta que cualquier integrador puede rehacer para dimensionar un bastidor.
Un solo chip para dos cuellos de botella distintos
El foco del diseño está en evitar la disyuntiva clásica entre volumen y latencia. La inferencia tiene dos fases con demandas opuestas: el procesamiento del prompt del usuario, conocido como prefill, exige capacidad de cálculo, mientras que la generación de la respuesta token por token, el decode, depende sobre todo del ancho de banda de memoria.
Jalapeño fue construido para atender las dos fases dentro de la misma arquitectura. Según OpenAI, el chip mantiene el estado del modelo, incluida la caché de claves y valores que se usa durante la generación, más cerca de los recursos de procesamiento que la necesitan.
El sistema de red también viene integrado en la arquitectura, con el objetivo de reducir cuánta información debe viajar entre chips. La idea es acotar las demoras de comunicación que dejan a los recursos de cálculo esperando datos.
¿Por qué importa para los agentes de IA?
El planteamiento se vuelve especialmente relevante para los agentes, que encadenan muchos pasos de inferencia en secuencia. Una demora pequeña en cada paso se acumula y termina alargando bastante la tarea completa.
Es el mismo argumento que empuja al resto de la industria hacia aceleradores especializados, y explica por qué la métrica que OpenAI destaca no es el pico bruto sino el comportamiento en cargas interactivas.
La IA participó en el diseño del propio chip
OpenAI usó sus modelos durante el desarrollo del acelerador. De acuerdo con la compañía, la IA ayudó a los ingenieros a explorar implementaciones, acortar los ciclos de diseño y verificación, y optimizar circuitos aritméticos.
El equipo pasó del diseño inicial al tapeout en nueve meses. Después empleó Codex junto a GPT-Astra para llevar a alto rendimiento sobre Jalapeño tres modelos de pesos abiertos que no estaban en el plan de producción original, y lo hizo en dos meses.
En bloques seleccionados de atención y de mezcla de expertos de GPT-OSS, las implementaciones generadas por IA corrieron entre 1,5 y 1,8 veces más rápido que las escritas por expertos humanos. La empresa remarcó que ese resultado aplica a bloques individuales, no a los modelos completos.
¿Cuándo entra en operación?
OpenAI planea empezar a desplegar Jalapeño en su infraestructura de cómputo hacia fines de 2026. La compañía describe el chip como la primera generación de una hoja de ruta de varias, con diseños de segunda y tercera generación ya en desarrollo.
Para el mercado latinoamericano la lectura es indirecta pero real: si los proveedores de nube que operan modelos de OpenAI bajan su costo por token servido, ese ahorro llega a los integradores regionales vía tarifa de API, no vía hardware, porque estos aceleradores no se venden a terceros.
