d-Matrix presentó en Hot Chips 2026 Raptor, que la empresa describe como el primer acelerador con DRAM en 3D para inferencia generativa. La pieza combina un dado de cómputo fabricado en el nodo de 4 nanómetros de TSMC, unido cara a cara con un paso de 36 micrones, sobre un dado de DRAM diseñado a medida que entrega 100 TB/s de ancho de banda desde 32 GB por tarjeta.
El cofundador y director de tecnología, Sudeep Bhoja, situó el costo energético de la interfaz vertical en 0,37 picojoules por bit, frente a unos 2,4 picojoules por bit que cuesta mover datos hacia un dado base de HBM4. Lo llamó "un número medido" sobre silicio funcional. El artículo que la compañía firmó con la Universidad de Columbia Británica para ISCA 2026 proyecta un rendimiento por tarjeta unas 4,7 veces mayor que el de los diseños basados en HBM.
¿Por qué invertir el orden del apilamiento?
Raptor da vuelta la disposición habitual del apilamiento en tres dimensiones: pone el dado lógico arriba y la DRAM abajo. Así la placa fría se apoya directamente sobre el silicio de cómputo, y el dado de memoria cumple además el papel de interposer, llevando las señales PCIe y de dado a dado hacia abajo a través de sus vías pasantes.
"Con la misma cantidad de energía, puedes subir el ancho de banda", explicó Bhoja durante la sesión, "y así pudimos llevarlo hasta 100 terabytes por segundo".
La pila de un solo nivel alcanza una densidad de potencia cercana a 0,5 vatios por milímetro cuadrado, algo que la refrigeración líquida maneja sin problema. El costo aparece en la memoria: está diseñada para una temperatura de unión de 105 °C, donde la retención se desploma de los 32 milisegundos estándar a solo 4, y el refresco debe ocurrir ocho veces más seguido. d-Matrix absorbió esa penalización achicando cada microbanco a 1.366 filas y unos 5,33 MB, de modo que un barrido completo de refresco consume apenas el 1,37% del ancho de banda total.
Ingeniería fina para que el dado sobreviva
El dado lleva 840 bancos por chiplet, de los cuales 72 (cerca del 9%) son de repuesto y están cableados a una cadena de multiplexores de dos niveles que la empresa llama encadenamiento de bancos. Eso permite reemplazar dos bancos fallados en cualquier punto del dado sin romper la simetría de los canales.
Un código Reed-Solomon [132,128] en el dado lógico corrige dos errores de símbolo por cada 128 bytes, con un CRC detrás. La interfaz no tiene PHY, ni estructura de ráfaga, ni pines de banda lateral, así que la inversión de bus de datos convencional era imposible. d-Matrix compara en cambio cada bloque de 128 bytes con el anterior y guarda una etiqueta de inversión de un bit junto a los metadatos de corrección de errores, recuperando cerca del 20% de la energía de entrada y salida que la técnica clásica habría ahorrado. Aun así, a pleno rendimiento la interfaz vertical consume 296 de los 422 vatios por paquete que el artículo de ISCA declara.
¿Quién fabrica esa memoria?
Acá está el punto ciego. d-Matrix nombró a TSMC para el dado lógico N4P y a Alchip como socio de diseño ASIC y encapsulado 2,5D y 3D, pero ninguna de las dos opera una planta de DRAM. Ni en la charla de Hot Chips, ni en el artículo de ISCA, ni en ningún anuncio público desde que entró en funcionamiento el silicio de prueba Pavehawk 3DIMC el septiembre pasado, la empresa ha identificado quién fabrica su DRAM a medida.
Solo tres compañías producen DRAM de vanguardia en volumen, y las tres están destinando capacidad a líneas de HBM4 que ya están prácticamente vendidas hasta fines de 2026. J.P. Morgan estima que los precios de la DRAM habrán subido más de 400% entre comienzos de 2024 y el cierre de 2026, y los analistas registraron alzas de contrato de entre 90% y 95% solo en el primer trimestre de 2026. El director ejecutivo de SK hynix, Kwak Noh-jung, declaró a Reuters en julio que "la demanda de los clientes seguirá siendo mayor que nuestra capacidad de suministro incluso más allá de 2030".
Una empresa emergente que ha levantado unos 450 millones de dólares, pidiéndole a un fabricante de memoria que corra un dado especial con geometría de bancos no estándar sobre capacidad que podría estar imprimiendo HBM, negocia desde una posición débil. La densidad del dado lo insinúa: 11,4 MB por milímetro cuadrado, aproximadamente la mitad de los 21,9 a 26,3 MB por milímetro cuadrado de HBM4.
"Buena parte de la caída se debe también a que usamos una DRAM no tan avanzada", reconoció Bhoja en las preguntas. "Si usáramos una DRAM más habitual, como hacen los del HBM4, podríamos empujar eso casi hasta los números de HBM4".
¿Alcanzan 32 GB por tarjeta?
Los 32 GB de Raptor se enfrentan a los 192 GB o 288 GB de los aceleradores equipados con HBM4, así que d-Matrix dimensiona los despliegues a escala de rack: 72 tarjetas suman 2,3 TB, suficiente, según sus propios cálculos, para alojar los pesos del modelo Kimi K3 con precisión de 4 bits y dejar margen para unos 54 usuarios simultáneos con contexto de un millón de tokens.
El crecimiento de la caché KV juega en contra de esa aritmética con el tiempo. Aayush Ankit, que lideró la arquitectura del SoC de Raptor antes de sumarse al equipo MTIA de Meta, describió el modo de falla mientras descartaba las alternativas basadas en SRAM: "Estamos haciendo esta unidad de cómputo endiabladamente rápida. La comunicación se transforma en cuello de botella bastante pronto".
Como referencia externa, Cerebras declaró 969 tokens por segundo sobre Llama 3.1 405B en noviembre de 2024, cifra que la firma independiente Artificial Analysis verificó en hardware real. Los 988 tokens por segundo y por usuario que d-Matrix declara sobre un modelo siete veces más grande, el Kimi K3 de 2,8 billones de parámetros con contexto de un millón de tokens, serían un salto de categoría si se sostienen. El problema es que ningún tercero ha medido Raptor todavía, y los puntos de comparación del artículo de ISCA son simulaciones ancladas a la caracterización de silicio temprano.
El director ejecutivo Sid Sheth dijo a CNBC en junio que Raptor saldría en 2027, pero en Hot Chips la empresa no dio fecha firme ni información de volumen ni de precios. Consultado por un empleado de NVIDIA sobre planes de apilamiento en varias capas, Bhoja fue directo: "Nuestra hoja de ruta sigue en desarrollo, y ya nos cuesta bastante hacer que funcione un solo nivel y sortear todos sus problemas térmicos".
