A comienzos de este mes Samsung presentó la primera memoria LPDDR5X-PIM de la industria, que suma lógica dentro del chip al estándar de memoria de bajo consumo. En Hot Chips 2026 la compañía se metió de lleno en una tecnología que hasta ahora habíamos visto operar a través de pilas de HBM.
PIM, sigla de Processing-in-Memory o procesamiento en memoria, es una tecnología que Samsung ya demostraba en 2021 y que pilotó mediante pilas HBM en aceleradores de AMD. Se trata de una pequeña porción de lógica que se ubica junto a las celdas de DRAM y permite que cálculos básicos ocurran directamente dentro de la memoria. Al resolver esas operaciones de forma local, Samsung elimina al procesador como cuello de botella y acelera, en particular, la inferencia de IA. En tareas de inferencia, la compañía afirma que su LPDDR5X-PIM es 2,28 veces más rápida que la LPDDR5X estándar.
¿Por qué llevar el procesamiento a una memoria de bajo consumo?
La razón es bastante clara: la HBM es carísima. Micron advirtió apenas un día antes, en la misma conferencia, que la demanda de obleas de HBM solo va a empeorar, y Samsung abrió su presentación con algo que ya nadie discute. La memoria representa el grueso del costo de un chip de IA, y su porción de la torta sigue creciendo. Si a eso se suman las exigencias energéticas de la DDR5, y más aún las de la HBM, la LPDDR5X aparece como un blanco ideal para PIM.
Samsung introdujo HBM-PIM en 2023 y en ese momento presentó el concepto de LPDDR5X-PIM. Lo que mostró ahora es un producto real, con el concepto llevado a validación. La empresa también mira hacia LPDDR6X-PIM, y espera contar con una especificación inicial de JEDEC este año.
¿Cómo funciona por dentro?
Cada banco de memoria tiene su propio PIM, lo que representa un avance respecto de HBM-PIM, donde Samsung debía recortar bancos para hacer espacio a la lógica. El banco de memoria, el archivo de registros de escala y el archivo de registros de origen alimentan árboles MAC en paralelo. Una vez hecho el cálculo, la salida, ya sea entera o de punto flotante, se escribe en un archivo de registros vectoriales.
La memoria puede operar en dos modos: banco único (DRAM tradicional) o multibanco (PIM). Los controladores de DRAM convencionales funcionan, con comandos que alternan entre lectura y escritura estándar o lectura y escritura PIM según el modo. El desafío, según Samsung, era el reordenamiento con DRAM convencional.
Para sortearlo, la empresa usa lo que llama Address Align Mode (AAM), que mapea direcciones de DRAM a instrucciones MAC, asignando la dirección del archivo de registros vectoriales y del de origen según las direcciones de fila y columna, y no según el archivo de registros de instrucciones.
Samsung ilustró una operación MAC completa, asumiendo que los parámetros de peso ya están escritos en la celda y que la memoria opera en modo multibanco. Al almacenar 512 bytes de datos de activación en FP8, estos se dividen primero en 16 paquetes de 256 bits, que se escriben en cada uno de los bancos y quedan registrados en el archivo de origen. Un comando PIMX_RD lee los datos de peso desde el banco de DRAM y los alimenta a los árboles MAC junto con los datos del archivo de origen. Terminado el cálculo, el vector de salida de cada operación se escribe en el archivo de registros vectoriales, y un comando PIMX_WR transfiere esos datos de vuelta al banco de DRAM.
Samsung aclaró que no hace falta una relación uno a uno entre lecturas y escrituras. Con un archivo de registros vectoriales de 1 kbit, pueden escribirse allí un máximo de cuatro cálculos. Con la salida ya devuelta a los bancos, el anfitrión solo necesita leer el dato: cambia a modo de banco único y ejecuta 16 lecturas para reunir la salida de todos los bancos.
Especificaciones y rendimiento preliminar
Por fuera, la LPDDR5X-PIM se parece mucho a una LPDDR5X común. Usa el mismo arreglo estándar de 561 bolas para el encapsulado, con dos rangos de 64 bits en módulos de 16 GB y cuatro dados por rango, ocho en total.
El número crítico es el ancho de banda.
| Dato | LPDDR5X-9600 | LPDDR5X-PIM |
|---|---|---|
| Ancho de banda pico | 76,8 GB/s | 614 GB/s |
| Tiempo de ejecución del modelo | Referencia | 2,28 veces más rápido |
| Tokens por segundo | Referencia | 3,01 veces más |
| Encapsulado | 561 bolas | 561 bolas |
| Configuración | Dos rangos de 64 bits, 16 GB | Dos rangos de 64 bits, 16 GB |
Ese salto de ocho veces se consigue reduciendo el movimiento de datos y manteniendo la lógica básica en el lugar. En los benchmarks preliminares, Samsung reporta una mejora de 2,28 veces en tiempo de ejecución del modelo y de 3,01 veces en tokens por segundo.
Las pruebas se hicieron sobre un acelerador de IA de borde, que Tom's Hardware no logró identificar con certeza aunque especula con un SoC Gaia temprano, ejecutando Llama 3.1 de 8 mil millones de parámetros. Un detalle llamativo, que un asistente le hizo notar a la compañía, es que la salida del modelo no es idéntica. Samsung respondió que las optimizaciones de precisión siguen en curso, pero que espera mantener el mismo beneficio de rendimiento.
¿Y el consumo, que es todo el punto de la LPDDR5X?
Con PIM el consumo pasa a ser una preocupación mayor, pero Samsung sostiene que no espera un gasto energético más alto en términos generales frente a la DRAM convencional. El presentador reconoció que el consumo pico será "mucho más alto" por el carácter abrupto de la demanda del PIM, pero la empresa igual proyecta un consumo total menor.
La explicación está en las lecturas y escrituras adicionales. Aunque el PIM implique un aumento de potencia, reducir la cantidad de veces que los datos deben viajar entre la DRAM y el anfitrión lleva a un consumo global más bajo.
"No estamos teniendo un aumento significativo de potencia", resumió Karam Hwang, de Samsung.
Dónde va a aparecer
Hasta hace poco la LPDDR5X solo tenía aplicaciones en productos de consumo. Sin embargo, los módulos serviciables SOCAMM2 permitieron a Nvidia usarla como memoria de elección en su CPU Vera, e Intel la emplea en su nuevo acelerador de IA Crescent Island.
Incluso con PIM, la LPDDR5X no se acerca ni remotamente al ancho de banda disponible con HBM, pero tiene muchísimas aplicaciones en otros frentes. Los blancos que menciona Samsung, servidor, cliente y móvil, son elocuentes: LPDDR5X-PIM acelerando IA de borde en dispositivos móviles y de escritorio, y llegando a aceleradores de alcance más acotado.
¿Qué implica para quien desarrolla en la región?
El punto práctico es que la IA de borde deja de depender exclusivamente de cuántos TOPS declara el acelerador. Si la memoria resuelve las multiplicaciones y acumulaciones por su cuenta, un módulo de cómputo modesto puede sostener un modelo que antes exigía hardware de otra categoría. Ese es exactamente el cuello de botella que enfrenta cualquiera que intente correr un modelo de 8 mil millones de parámetros en una placa de desarrollo: no falta cómputo, falta ancho de banda para alimentarlo.
El segundo dato relevante es que el encapsulado no cambia. Mismo arreglo de 561 bolas, mismos controladores de DRAM convencionales. Eso significa que un fabricante de módulos o de placas no necesita rediseñar el circuito impreso para adoptarla, lo que históricamente es la diferencia entre una tecnología que llega al mercado en dos años y una que se queda en la presentación de conferencia.
