Los grandes modelos de lenguaje (LLM) exigen cantidades inmensas de memoria, y cuanto más se usan, más memoria hacen falta. Los fabricantes respondieron acelerando planes para construir nuevas fábricas de memoria, con foco en la High Bandwidth Memory (HBM) y la DRAM, cuya primera producción está prevista para 2027. Pero esa demanda también abre una oportunidad para que nuevas ideas ganen terreno.

Una de ellas es una versión potenciada del tipo de memoria que vive en una tarjeta SD o un pendrive: la High Bandwidth Flash (HBF). En esencia, toma las ideas que hicieron exitosa a la HBM, apilar múltiples chips para aumentar capacidad y ancho de banda, y las aplica a la memoria flash NAND que se usa para almacenar datos en tarjetas SD, pendrives y smartphones, entre muchos otros dispositivos.

"La gente pregunta: ¿cómo tiene esto el menor sentido? La flash es enormemente lenta", dice Jim Handy, director general de la firma de investigación de mercado de semiconductores Objective Analysis. Explica que, si bien la NAND flash suele carecer de ancho de banda, la HBF ayudará a mitigar esa preocupación. "La flash es atrozmente lenta para escrituras, pero para lecturas se la puede convencer de ir bastante rápido. Y a la High Bandwidth Flash se la va a convencer de hacer justo eso".

¿Qué es la High Bandwidth Flash?

La NAND flash guarda datos como una carga eléctrica atrapada en arreglos de transistores de compuerta flotante, organizados en bloques y páginas en lugar de bytes direccionables de forma individual. Además es no volátil, es decir, los datos persisten sin energía.

Estos rasgos hacen de la flash una buena opción para almacenamiento de largo plazo. Guarda más bytes en la misma área que la DRAM y no necesita capacitores hambrientos de energía que requieren refresco constante para retener la carga. Pero los mismos mecanismos que la hacen densa y no volátil también la vuelven lenta para escribir, ya que empujar carga hacia dentro y fuera de una compuerta aislada toma más tiempo que cargar un capacitor.

El estándar de interfaz de flash más reciente admite un ancho de banda de memoria de hasta 4,8 GB/s por chip. No está mal para muchas situaciones, y la NAND se usa ampliamente en almacenamiento de alto rendimiento, como las unidades de estado sólido. Sin embargo, la DDR5 entrega hasta 70,4 GB/s por módulo DIMM (sin contar memoria con overclock), y la HBM4E alcanza hasta 3,6 TB/s por pila, una ventaja de ancho de banda de unas 750 veces de la HBM4E sobre la flash.

Hoshik Kim, vicepresidente sénior de investigación de sistemas de memoria en SK Hynix, señala que la HBF mejora el ancho de banda con técnicas de empaquetado similares a las de la HBM. "Al aplicar empaquetado 3D avanzado y técnicas de apilamiento vertical a la NAND flash, la HBF puede entregar un ancho de banda muchísimo mayor que el almacenamiento NVMe estándar", afirma. Igual que la HBM apila DRAM, la HBF apila chips de NAND flash para crear un chip denso en memoria.

La HBF está al menos a un año de comenzar a despacharse, pero el fabricante de memoria flash Sandisk ya publicó fichas técnicas de su producto de primera generación previsto. La compañía espera que la HBF apile hasta 16 chips de NAND flash para una capacidad total de hasta 512 GB por pila. También proyecta un ancho de banda de lectura de hasta 1,6 TB/s. La hoja de ruta de Sandisk contempla además una segunda y tercera generación con anchos de banda de lectura esperados de 2 TB/s y 3,2 TB/s, respectivamente.

¿Para qué sirve la HBF?

Aunque la HBF promete mucho más ancho de banda que versiones anteriores de flash, hay un detalle: sigue siendo mucho más lenta que la HBM usada en las GPU de alto rendimiento. ¿Por qué, entonces, resulta prometedora?

La respuesta está en las diferencias clave entre el entrenamiento de IA (enseñar a un LLM a predecir tokens) y la inferencia de IA (servir el modelo terminado).

Un modelo se entrena presentándole tokens de entrada, viendo qué predice, comprobando si acertó y luego cambiando los pesos según el error, en un paso llamado retropropagación. Este proceso, simple en el resumen, implica cálculos sobre miles de millones o billones de pesos. Eso hace que el entrenamiento sea intensivo tanto en lectura como en escritura, lo que vuelve mala candidata a la flash.

La inferencia, en cambio, es distinta. Los pesos del modelo están congelados y son en la práctica de solo lectura, así que el pobre ancho de banda de escritura de la flash deja de ser un obstáculo. "En un entorno de inferencia, los datos masivos de mucha lectura, como los pesos estáticos de un modelo de miles de millones de parámetros o la caché KV precalculada, pueden alojarse de forma segura en la capa HBF", dice Kim. Eso liberaría a la HBM para funcionar como un "bloc de notas de alta velocidad".

Handy considera que es una forma sensata de orientar la flash a cargas de inferencia. "Si lo configuras bien, puedes sacar muchísimo buen rendimiento de eso, es caché básico. Es una tecnología que espero que llegue lejos".

¿Qué viene para la HBF?

Pese a su potencial, la HBF sigue en etapa temprana y probablemente está a varios años de un despliegue amplio. El 25 de febrero de 2026, Sandisk y SK Hynix realizaron un evento inicial para lanzar un esfuerzo conjunto de estandarización de la HBF dentro de un grupo de trabajo dedicado en el Open Compute Project (OCP), el mismo tipo de organismo abierto de la industria que gobierna muchas especificaciones de hardware de centros de datos. El trabajo sobre el estándar sigue en curso y aún no hay fecha para publicarlo.

Puede parecer raro que fabricantes de memoria, y SK Hynix en concreto, propongan la HBF como alternativa más barata a la HBM. Al fin y al cabo, la HBM es un producto de mayor margen que hoy lleva a SK Hynix a ingresos récord.

Sin embargo, Kim enmarca la HBF como una herramienta complementaria, no una tecnología rival. "Al aliviar los severos cuellos de botella de capacidad de la HBM sin sacrificar la velocidad de entrega de datos, la HBF tiene el potencial de reducir el número de aceleradores necesarios para correr modelos a gran escala", dice. Kim espera que esto mejore la eficiencia energética y baje costos, permitiendo a los centros de datos escalar aún más su hardware de inferencia de IA.

Qué significa para la región

Para el ecosistema de centros de datos en LatAm, donde el costo de importar aceleradores de IA pesa fuerte, una capa de memoria que reduzca la cantidad de GPU necesarias por modelo tiene implicancias directas de presupuesto y consumo eléctrico. Si la HBF cumple sus proyecciones, servir un modelo grande de inferencia dejaría de exigir tantos módulos HBM de alto margen, la parte más cara y escasa de la cadena de suministro actual. El calendario, eso sí, es prudente: la primera generación no llega antes de un año y el estándar OCP todavía no tiene fecha de publicación.