El preentrenamiento de modelos de frontera convergio en la arquitectura de mezcla de expertos, conocida como mixture of experts (MoE), y eso esta cambiando de raiz que es lo que limita el entrenamiento de IA a gran escala. A medida que el computo por token baja, la comunicacion determina cada vez mas cuan eficientemente escalan los modelos a traves de miles de GPU. El NVIDIA GB300 NVL72 marco un record mundial al preentrenar DeepSeek-V3 671B a 1.648 TFLOPs por GPU, mostrando como los avances en toda la plataforma de IA, del silicio a las redes y al software, siguen empujando el rendimiento del entrenamiento.
¿Por que MoE cambia las reglas?
El giro veloz de la industria hacia estas arquitecturas MoE se explica por su enorme eficiencia de computo. A diferencia de los modelos densos, donde cada token activa cada parametro y el computo por token sube con el total de parametros, los modelos MoE activan solo un subconjunto de parametros por token. Por ejemplo, DeepSeek-V3 tiene 671.000 millones de parametros, pero activa solo unos 37.000 millones por token, alcanzando escala de frontera al costo por token de un modelo mucho mas chico.
El costo de eso es la comunicacion. Esos expertos viven en otras GPU, asi que cada capa MoE debe despachar cada token a sus expertos y reunir los resultados mediante un patron de comunicacion all-to-all, tanto en la pasada hacia adelante como en la de retroceso. Esa operacion colectiva esta en la ruta critica, lo que vuelve al rendimiento tan dependiente de la comunicacion como del computo. Como ocurre en cada capa de cada paso de entrenamiento, los pequeños retrasos se acumulan hasta que el all-to-all ya no puede ocultarse detras del computo, y sumar GPU deja de aumentar el rendimiento.
Por eso el preentrenamiento necesita un dominio scale-up fuertemente acoplado, donde cada GPU pueda comunicarse con cualquier otra sobre un tejido sin bloqueo que ofrezca ancho de banda alto y uniforme, baja latencia y ancho de banda de biseccion completo a medida que el dominio crece. Entrenar un modelo de este tamaño requiere mas GPU de las que cabe un solo dominio, asi que muchos dominios deben enlazarse. Ese trafico scale-out es mas liviano y menos frecuente, pero igual debe completarse dentro de la ventana de computo y mantenerse predecible, para que ningun enlace lento gobierne el paso. El reto es de dos niveles, y el exito se mide en FLOPs entregados, no en FLOPs pico.
GB300 NVL72: diseñado para el preentrenamiento acoplado
Un reto de comunicacion de dos niveles pide un sistema diseñado en torno a el, no solo un chip mas rapido. Computo, interconexion scale-up, redes scale-out, procesamiento de infraestructura y software cargan cada uno con una parte. Un deficit en cualquiera limita al conjunto. El GB300 NVL72 aborda estos desafios en conjunto: es un sistema a escala de rack construido con codiseño extremo, donde silicio, interconexion, redes y software se ingenian como una sola plataforma en vez de ensamblarse por piezas.
En su nucleo esta NVIDIA NVLink, el tejido scale-up que hace que 72 GPU NVIDIA Blackwell Ultra funcionen como una sola. El NVLink de quinta generacion da a cada GPU 1,8 TB/s de ancho de banda y 130 TB/s de ancho de banda all-to-all sin bloqueo en todo el rack, de modo que cada GPU alcanza a cualquier otra en un solo salto.
El ancho es solo la mitad; el camino es el resto. NVLink es de semantica de memoria: una GPU lee y escribe directamente la HBM de otra, como operaciones nativas de carga y almacenamiento, sobre un tejido sin perdidas y con control de flujo. La transferencia es una operacion de memoria por hardware y no un envio por software, asi que nada en la ruta de datos suma latencia, y las reducciones pueden correr dentro del switch mientras los datos fluyen.
Esto es lo que exige el trafico por capa: el all-reduce del paralelismo de tensores y el all-to-all de MoE se quedan dentro del rack, a ancho de banda pleno y baja latencia. Mas alla del rack, la plataforma escala sobre las SuperNIC NVIDIA ConnectX-8 a 800 Gbps por GPU, con InfiniBand NVIDIA Quantum-X800 o Ethernet NVIDIA Spectrum-X, para mantener el trafico de gradientes oculto detras del computo.
El codiseño se extiende mas alla del tejido de entrenamiento hacia los servicios de infraestructura y el software. En las fabricas de IA de produccion, las unidades de procesamiento de datos NVIDIA BlueField (DPU) aportan un dominio aislado de procesamiento de infraestructura para red virtual, acceso a almacenamiento, seguridad, telemetria y gestion del ciclo de vida, reduciendo la carga sobre la CPU anfitriona en trabajos de entrenamiento a gran escala.
Rendimiento con Megatron Core
Sobre el modelo DeepSeek-V3 671B, usando 256 GPU, Megatron Core alcanza 1.648 TFLOPs por GPU en el GB300 NVL72, frente a los 606 TFLOPs por GPU de resultados previos en GB200 NVL72, es decir unas 3 veces mas rendimiento entregado por GPU en una sola generacion.
NVIDIA sigue optimizando su software para exprimir mas de la plataforma. En una carga de preentrenamiento del tamaño de DeepSeek-V3 671B, esas ganancias se acumulan: sobre el mismo sistema GB300 NVL72, el rendimiento subio 1,5 veces en seis meses solo por mejoras de software. Esto muestra que el rendimiento y el throughput de entrenamiento siguen mejorando bastante despues de que el silicio sale a la calle.
Los frameworks abiertos aceleran igual
Los ingenieros de NVIDIA contribuyen directo a los frameworks abiertos en los que se apoya la comunidad de IA, sumando optimizaciones que los vuelven mas rapidos en GPU NVIDIA. Desarrolladas junto a las comunidades de PyTorch y JAX, estas contribuciones llegan de forma continua y mejoran el rendimiento con el tiempo.
TorchTitan es el stack de entrenamiento nativo de PyTorch, y las contribuciones de NVIDIA mejoran continuamente su rendimiento en GB300 NVL72. Sobre DeepSeek-V3 671B, estas optimizaciones se acumulan hasta entregar cerca de 6 veces mas rendimiento sobre la misma infraestructura.
JAX sigue el mismo arco. En seis meses, las optimizaciones de NVIDIA en JAX elevaron el rendimiento casi 10 veces sobre DeepSeek-V3 671B a escala de 256 GPU, todo por software. La ultima version alcanza un throughput excepcional de 1.025 TFLOPs por GPU, y las optimizaciones siguen evolucionando.
Al escalar el preentrenamiento de DeepSeek-V3 671B de 256 a 1.024 GPU, Megatron Core conserva el 98,5% de su rendimiento por GPU, mientras que TorchTitan y JAX conservan cada uno un 97%, de modo que casi toda la infraestructura añadida se traduce en mas tokens por segundo a nivel de sistema. Esa eficiencia es el tejido scale-out haciendo su trabajo con redes de 800 Gbps por GPU: el trafico de gradientes se mantiene oculto detras del computo y sumar mas GPU incrementa el rendimiento total en vez de saturar la red.
Un record mundial
Preentrenar DeepSeek-V3 671B con 256 GPU logra un record mundial de 1.648 TFLOPs por GPU en el GB300 NVL72, lo que permite alcanzar el mismo rendimiento con una fraccion del hardware respecto de la generacion anterior.
Los frameworks abiertos cuentan la misma historia: el rendimiento sigue mejorando sobre la misma plataforma a medida que el software evoluciona. Estos resultados no son el techo, salen de una plataforma cuyo hardware, interconexion y software se diseñan juntos y se optimizan de forma continua. El rendimiento record de hoy es apenas la base para uno aun mayor mañana.
