El fabricante de chips de inferencia d-Matrix anunció que usará NVIDIA NVLink Fusion para conectar sus XPU Raptor de próxima generación a la plataforma de infraestructura de IA de NVIDIA, según publicó la propia NVIDIA en su blog corporativo. Con eso se suma a una lista de socios del ecosistema que ya reúne 16 empresas.
Al enlazar Raptor con la red de escalado vertical NVLink y la de escalado horizontal Spectrum-X, con la arquitectura de rack MGX y con el resto de la plataforma, d-Matrix se ahorra el tramo que va del silicio propio al despliegue masivo.
"La demanda de inferencia se está disparando, pero el capital, el tiempo y la energía siguen siendo finitos", dijo Sid Sheth, cofundador y CEO de d-Matrix, durante una sesión con prensa.
"Con NVLink Fusion y MGX podemos integrar nuestros XPU Raptor en una arquitectura refrigerada por líquido y ampliamente desplegada, lo que les da a los clientes un camino más rápido y de menor riesgo para desplegar y escalar inferencia de latencia ultrabaja", agregó Sheth.
¿Qué resuelve NVLink Fusion?
Es la plataforma de NVIDIA para integrar XPU y CPU de terceros con la red NVLink, la arquitectura de rack MGX y el resto de la infraestructura, que abarca cómputo, red, almacenamiento, seguridad, energía, refrigeración y software.
Construir un XPU a medida es difícil. Desplegarlo a escala lo es más. Cada paso suma tiempo, costo y riesgo, desde conseguir los chips e integrar las interfaces de alta velocidad hasta validar la red de escalado y certificar la arquitectura del rack. NVLink Fusion permite saltarse la construcción de esa infraestructura desde cero.
¿Qué cifras declara NVIDIA?
| Métrica | Valor declarado |
|---|---|
| Latencia entre XPU frente a Ethernet comercial | 3 veces menor |
| Tasa de paquetes frente a Ethernet comercial | 10 veces mayor |
| Ancho de banda todos contra todos por XPU | 3 TB/s |
| Generación de NVLink empleada | sexta |
La compatibilidad declarada cubre las arquitecturas de CPU principales, o sea Arm, x86 y RISC-V, además de las GPU de NVIDIA. Los socios listados son d-Matrix, AWS, Arm, Intel, Fujitsu, SiFive, Alchip, Astera Labs, GUC, Marvell, MediaTek, Samsung, Cadence, Synopsys, Ayar Labs y Lightmatter.
¿Qué más monta d-Matrix además de la interconexión?
La empresa planea conectar sus XPU en un único dominio de escalado vertical de alto ancho de banda y baja latencia. Sus racks podrán operar junto a sistemas basados en GPU de NVIDIA, como el Vera Rubin NVL72, para esquemas de inferencia desagregada.
d-Matrix también proyecta integrar CPU NVIDIA Vera, tarjetas de red ConnectX-9 SuperNIC, unidades de procesamiento de datos BlueField-4 y red Ethernet Spectrum-X. Al estandarizar sobre un rack común, un centro de datos se construye una vez y admite GPU, CPU y XPU sin necesitar una arquitectura distinta por cada tipo de procesador.
La plataforma completa que describe NVIDIA incluye el Vera Rubin NVL72, el Groq 3 LPX, el rack de CPU Vera, el almacenamiento Vera BlueField-4 STX y la red Ethernet Spectrum-6 SPX. El detalle técnico de NVLink Fusion está en el blog de la compañía.
