Etiqueta

#entrenamiento ia

3 notas publicadas

GB300 NVL72: record de 1.648 TFLOPs por GPU entrenando MoE

El sistema rack-scale de NVIDIA triplica el rendimiento por GPU frente a la generacion anterior al preentrenar DeepSeek-V3 671B, con NVLink de quinta generacion y 1,8 TB/s de ancho de banda por GPU.

NVIDIA Developer22 jul

PyTorch: normalización casi gratis fusionando kernels

Ingenieros de Meta muestran cómo fundir operaciones de normalización como LayerNorm y RMSNorm dentro de los kernels GEMM y de atención para ocultar hasta el 90% de su latencia en GPU B200.

PyTorch Blog11 jul

NVIDIA acelera el entrenamiento MoE hasta 93% con kernels CuTe DSL

Los kernels fusionados eliminan cuellos de botella de memoria y sincronización CPU-GPU, entregan speedup de 1,3× a 2× por kernel y mejoran 93% el pre-entrenamiento de GPT-OSS.

NVIDIA Developer16 jun

Etiquetas relacionadas

Otros temas que aparecen junto a #entrenamiento ia en nuestra cobertura editorial.

#Nvidia2 #moe2 #Deepseek2 #cuda1 #cute-dsl1 #pytorch1 #Meta1 #kernels-gpu1