#megatron lm

NVIDIA NTP mantiene el entrenamiento LLM si caen GPUs

Nonuniform Tensor Parallelism reconfigura el paralelismo tensorial en caliente cuando una GPU falla dentro de un dominio NVLink, con overhead bajo 1%.