Las GPU y otros grandes chips de inteligencia artificial nunca tienen suficiente memoria. Los computadores de centro de datos de hoy apilan la DRAM en torres de 12 dados de alto. Pero a medida que los fabricantes intentan construir pilas más altas para meter más bits y más ancho de banda, los expertos temen que esta memoria de alto ancho de banda (HBM, por sus siglas en inglés) atrape tanto calor que termine cocinándose a sí misma. El riesgo crece si los fabricantes de GPU deciden apilar la HBM sobre sus procesadores, ya de por sí calientes, en lugar de ubicarla al costado.

Ingenieros de todo el mundo trabajan en una alternativa: en vez de apilar los dados de DRAM uno sobre otro, apilarlos lado a lado. Así esperan convertir una futura torre en llamas en un cubo de silicio fresco. El mes pasado, en el IEEE VLSI Symposium, dos grupos de investigación mostraron caminos distintos hacia ese chip. Uno, llamado V-Die, entregaría un 82% más de velocidad frente a la memoria más avanzada actual, la HBM4, según investigadores surcoreanos. Ingenieros de Japón dicen que su versión, MOSAIC, debería duplicar la capacidad de memoria de la HBM4 sin subir la temperatura máxima más de un grado.

El problema de la HBM

La HBM actual consiste en varias capas de dados de silicio de DRAM apiladas sobre otro chip, la base. Esa base entrega energía a la pila y coordina la comunicación con el procesador. Los bits y la energía llegan a la pila por conexiones verticales que atraviesan cada dado, llamadas vías de silicio pasantes (TSV).

Un acelerador de IA típico, como el Nvidia B300, va flanqueado por ocho pilas de HBM de 12 dados cada una, que entregan 36 gigabytes por pila. Cada pila se coloca en el mismo sustrato que la GPU y, en el caso de la HBM4, transmite 2.800 GB por segundo hacia y desde el procesador. Aun así, no bastará en el futuro.

"El tamaño de los modelos de IA crece de forma explosiva", dijo Heesoo Yang, estudiante de doctorado del Instituto Nacional de Ciencia y Tecnología de Ulsan (UNIST), en Corea del Sur. "Pero la capacidad y el ancho de banda de la memoria luchan por seguir el ritmo, y eso crea un cuello de botella enorme."

Uno de los problemas más urgentes es cuánto se calientan estas pilas. El material que rellena los huecos entre los dados es unas 100 veces más resistente al calor que el sustrato de silicio, lo que impide que el calor fluya hacia arriba, donde el disipador podría retirarlo. Además, a mayor altura de la pila se necesitan más TSV para mover los datos, y eso come el área de silicio que se necesita para almacenarlos.

La memoria V-Die

El equipo de UNIST, en colaboración con la Universidad Nacional Hanbat, presentó su solución. Llamada V-Die, apila la DRAM de forma vertical e incluye canales de refrigeración microfluídica entre los dados para mantenerlos a 45 grados, bastante frescos frente al pico típico de más de 80 grados.

Los dados también son distintos. Al no necesitar conexiones verticales, no hay TSV, lo que libera área para más celdas de memoria. Cada dado tiene además su propio sistema de entrada y salida, con lo que se elimina la base. Estos sistemas se ubican en el borde inferior del dado y se conectan al sustrato mediante enlaces cada 20 micrómetros, lo que permite cuatro veces más conexiones que la HBM4 y reduce en un 37% el tiempo de lectura.

El equipo simuló cómo una pila de 16 dados cambiaría el rendimiento de un computador basado en GPU Nvidia H100. Con una carga que representa un modelo de lenguaje del tamaño de GPT-3, el sistema V-Die entregó 540 tokens por segundo frente a 296 de la HBM4 con la misma capacidad, y redujo la latencia (el tiempo hasta el primer token) en un 32%, unos 24 milisegundos. Ya trabajan en un prototipo para validar sus características térmicas y eléctricas.

Conexiones de costado

Estos esquemas, a veces llamados DRAM volumétrica, se construyen primero apilando un dado sobre otro y luego girando toda la pila de costado para conectarla al sustrato. Eso puede traer problemas de integración, advierte James Myers, director de programa del centro de investigación en microelectrónica Imec, en Bélgica. "Hay que dar con el grosor exacto", dice, porque incluso unos pocos micrómetros de diferencia entre los dados pueden sumar hasta hacer fallar la conexión.

Un equipo de la Universidad de Tokio, la Universidad de Tohoku y el instituto japonés Riken presentó una forma novedosa de aliviar ese problema. En lugar de conectar eléctricamente la base de los dados con el sustrato, probaron un sistema de acoplamiento inductivo: sobre un lado del dado de memoria formaron bobinas de unos 80 por 240 micrómetros, con un juego correspondiente en el sustrato. La corriente en una bobina induce un campo magnético en la otra y transmite la señal, y como las bobinas no deben superponerse con exactitud, hay bastante margen en la posición.

MOSAIC, diseñado para adosarse sobre la GPU, reúne 98 dados por cubo y entrega 294 GB de memoria. Aunque no tiene refrigeración microfluídica, el hecho de que el calor pueda subir por las propias aletas de silicio debería mantener la estructura en unos 81,3 grados, cerca del límite típico de 80. Y adelgazar los dados de DRAM en dos tercios, hasta 100 micrómetros, permitiría integrar 294 dados en el mismo volumen y alcanzar 882 GB, según Yuki Mitarai, de la Universidad de Tokio.