El entrenamiento de modelos de lenguaje a gran escala enfrenta un problema estructural: cuanto más largas y masivas son las corridas, mayor es la probabilidad de que una GPU falle en medio del trabajo. Basta con que una tarjeta caiga dentro de un grupo tightly coupled para que el pipeline completo entre en un estado degradado, con réplicas de datos esperando a la más lenta y horas de cómputo tiradas al canasto.
Frente a ese escenario, NVIDIA acaba de detallar una técnica experimental llamada Nonuniform Tensor Parallelism (NTP), publicada en el paper de arXiv 2504.06095 y hoy integrada al branch de desarrollo de Megatron Core. La idea central es que cuando una GPU cae dentro de un grupo de tensor parallelism (TP), el resto del grupo no queda atascado esperando: el sistema reconfigura automáticamente el grado de paralelismo tensorial y sigue produciendo trabajo útil.
¿Qué mide realmente el Goodput?
NVIDIA insiste en distinguir throughput de Goodput. El throughput es cómputo bruto por segundo. El Goodput mide qué proporción de ese cómputo contribuye efectivamente a la convergencia del modelo. Un cluster puede tener throughput alto y Goodput bajo si buena parte del cómputo se pierde en re-sincronizaciones, checkpoints repetidos o réplicas frenadas por una GPU caída.
Las técnicas clásicas para adaptarse a fallos, como descartar una réplica de datos, hacer checkpoint-restart rápido o rotar a un hot spare, todas incurren en throughput perdido durante la ventana de recuperación. NTP intenta reducir ese costo prácticamente a cero.
¿Cómo reconfigura NTP el paralelismo tensorial?
Un caso típico: un rack conectado por NVLink forma un scale-up domain. Sobre Blackwell y Blackwell Ultra, ese dominio conecta hasta 72 GPUs a 1.800 GB/s en topología all-to-all de un solo hop. Ese rack aloja un grupo TP, y varios racks replican el modelo en Data Parallelism (DP).
Cuando una GPU cae dentro de un grupo TP de, por ejemplo, 8 tarjetas, NTP identifica la falla y reconfigura el grupo para operar con TP=7. El shard del modelo sigue procesando, pero repartido sobre las 7 GPUs restantes, que asumen carga adicional.
Power boosting para no frenar al resto
Bajar el grado de TP no basta: una réplica DP con menos GPUs corre más lento y arrastra al resto del sistema, que queda esperándola. Para compensar, el paper propone un diseño de rack con margen eléctrico y térmico adicional que permita power boosting: subir temporalmente la potencia entregada a las GPUs activas del dominio degradado.
Con esa capacidad extra, las tarjetas suben frecuencia y throughput por sobre su punto nominal, y la réplica reducida logra emparejar el ritmo de las réplicas completas. Así se evita el cuello de botella de sincronización global entre réplicas DP.
Overhead bajo 1% gracias al resharding solapado
El ajuste dinámico del grado de TP obliga a redistribuir los tensor shards del modelo entre las GPUs sobrevivientes. NTP hace ese resharding solapado con la computación backward y la sincronización de parámetros, ocultando su costo dentro de fases que igual iban a ocurrir.
Ese scheduling cuidadoso mantiene la sobrecarga de la adaptación sobre las réplicas sanas por debajo del 1%, según reporta NVIDIA en el paper.
Próximo paso: Nonuniform Expert Parallelism para modelos MoE
NVIDIA marca dos siguientes puntos. Primero, NTP ya está disponible en el branch dev de Megatron-LM, junto con la documentación específica, y las capacidades de tolerancia a fallos productivas viven en el paquete NVIDIA Resiliency Extension (NVRx).
Segundo, la misma idea se está extendiendo a Nonuniform Expert Parallelism (NEP) para modelos Mixture-of-Experts, donde el paralelismo tensorial estándar es menos eficiente y donde el churn de disponibilidad de GPUs tiende a ser aún más costoso.
¿Qué implica para clusters latinoamericanos?
En Chile y la región, los operadores de cómputo IA aún no manejan dominios de 72 GPUs sobre NVLink, pero sí operan clusters HGX o DGX con 8-16 GPUs típicas. NTP no está limitado al hardware Blackwell: la idea de reconfigurar TP en caliente se aplica a cualquier grupo, siempre que el orquestador (Megatron-LM, en este caso) lo soporte. Para entrenamiento sostenido de modelos medianos, la técnica reduce la penalidad de una GPU muerta o inestable, un problema real cuando el hardware se compra usado o se hospeda en co-location sin garantía de reemplazo inmediato.
