Los datacenters de IA pronto podrían dejar de funcionar como colecciones de máquinas aisladas para comportarse como un único computador gigante.
Esa es la premisa detrás de una nueva arquitectura propuesta por la empresa de semiconductores Panmnesia y Meta. El diseño utiliza Compute Express Link (CXL) para interconectar CPUs, aceleradores de IA y memoria entre diferentes racks, manteniendo una operación estrictamente coordinada.
El desafío técnico se intensifica a medida que los modelos de IA escalan. El entrenamiento de modelos con billones de parámetros puede requerir cientos o miles de aceleradores intercambiando terabytes de datos. Incluso si la mayoría de estos componentes completan sus tareas rápidamente, un solo elemento lento puede retrasar toda la operación.
Esto hace que la predictibilidad de la latencia sea cada vez más crucial. Dentro de un mismo rack, los aceleradores ya pueden comunicarse mediante conexiones dedicadas de alta velocidad. Sin embargo, al cruzar racks, los datos suelen viajar a través de equipos de red convencionales y capas de software, introduciendo variaciones significativas en los tiempos de respuesta.
¿Cómo logra reemplazar los límites de los racks?
El enfoque de Panmnesia y Meta extiende el dominio CXL más allá de los racks individuales hacia todo el datacenter. En lugar de tratar cada rack como una isla de computación independiente, la arquitectura busca que los recursos de toda la instalación operen como un sistema unificado.
Tres componentes de hardware son fundamentales para este diseño: un switch CXL de alto fan-out y sin bloqueo, una unidad de aceleración de enlace y un controlador de fabric. En conjunto, están diseñados para reducir las demoras impredecibles en el movimiento de datos entre dispositivos.
La arquitectura también emplea conexiones ópticas para superar las limitaciones de distancia física de la señalización eléctrica. Por lo tanto, el uso de CXL-over-optics podría extender el fabric a través de porciones más grandes de un datacenter sin abandonar el modelo CXL subyacente.
El sistema propuesto cambia la escala en la que los recursos computacionales pueden colaborar. En una configuración de referencia estándar, una CPU se conecta a dos aceleradores. Bajo esta nueva arquitectura, esa cifra aumenta a 16, mientras que un solo dominio de coherencia podría abarcar hasta 960 aceleradores.
¿Por qué la latencia es el nuevo campo de batalla?
Los investigadores señalan que los accesos que normalmente abandonarían un rack para viajar por una red convencional podrían seguir un camino más predecible. La latencia de ida y vuelta podría reducirse desde el rango de los microsegundos a varios cientos de nanosegundos, lo que representa una mejora de hasta un orden de magnitud.
Esta predictibilidad podría ser tan importante como la potencia bruta de cómputo. Las cargas de trabajo de IA a gran escala operan colectivamente, lo que significa que el participante más lento determina el ritmo de toda la operación. Reducir estos retrasos permitiría que más aceleradores funcionen como un único entorno de ejecución.
La arquitectura también podría hacer que los fallos sean menos disruptivos. En lugar de reemplazar o aislar un servidor completo ante un problema, el sistema propuesto limita la unidad de reemplazo a un dispositivo individual.
“A medida que los sistemas de IA siguen escalando, la capacidad de conectar grandes números de aceleradores y dispositivos de memoria de forma rápida y eficiente es tan importante como el rendimiento de los aceleradores individuales. Esta investigación perfila una dirección para la infraestructura de IA de próxima generación, donde CXL permite que todo el datacenter opere como un sistema de computación único”, afirmó Myoungsoo Jung, CEO de Panmnesia.
Panmnesia asegura que ya ha implementado los componentes principales en silicio, completado la validación y se encuentra preparándolos para su suministro comercial.
El trabajo fue publicado en [Nature Reviews Electrical Engineering](https://cts.businesswire.com/ct/CT?id=smartlink&url=https%3A%2F%2Fwww.nature.com%2Farticles%2Fs44287-026-00315-5&esheet=54600071&newsitemid=20260908078808&lan=en-US&anchor=https%3A%2F%2Fwww.nature.com%2Farticles%2Fs44287-026-00315-5&index=1&md5=851aad6f8673d3fee46ba59fa745ad4f&_gl=11q7zwb3_gcl_auNzY1NTg1NDkyLjE3ODg4ODY3MDQ._gaODYxNzQwNTIxLjE3ODEwMzg3Mzc._ga_ZQWF70T3FKczE3ODg4OTgzODYkbzE0NSRnMCR0MTc4ODg5ODM4NyRqNTkkbDAkaDA.)*.
Vía Interesting Engineering.
