Saltar al contenido
Etiqueta

#deepspeed ulysses

1 nota publicada

TensorRT 11.0 escala inferencia IA multi-GPU con NCCL nativo
IA

TensorRT 11.0 escala inferencia IA multi-GPU con NCCL nativo

El nuevo soporte multi-device del runtime habilita paralelismo de tensor y de contexto, y los benchmarks colocan a DeepSpeed Ulysses como la mejor estrategia para diffusion con secuencias largas.

NVIDIA Developer

Etiquetas relacionadas

Otros temas que aparecen junto a #deepspeed ulysses en nuestra cobertura editorial.