
NVIDIA cifra la inferencia y conserva el 96% del rendimiento
La medición corrió sobre DeepSeek-R1 en ocho GPU B200, con el cifrado encendido y apagado, y dejó el sobrecosto de latencia por token bajo el 5%.
6 notas publicadas

El equipo de NVIDIA reduce el checkpoint del modelo de 550B desde 1.121 GB en BF16 a 352 GB en NVFP4, con la técnica four-over-six que recupera 98,5% de la precisión sobre Blackwell.

El método de speculative decoding por bloques desplaza a EAGLE-3 y libera 20 checkpoints abiertos en Hugging Face para Hopper y Blackwell.

Fue la única plataforma en presentar resultados sobre cada test, incluyendo DeepSeek-V3 (671B parámetros) y GPT-OSS-20B, y escaló a 8.192 GPUs Blackwell Ultra en datacenters de producción.

El benchmark STAC-AI LANG6 con Llama 3.1 8B y 70B muestra hasta 2,8x más rendimiento por GPU frente a Hopper en cargas de inferencia con documentos EDGAR.

La nueva GPU Server Edition acelera Parabricks, Minimap2, fq2bam y DeepVariant; con cuEquivariance y Openfold3 también gana 2,3x sobre la L4 al inferir estructuras de proteínas.
Otros temas que aparecen junto a #blackwell en nuestra cobertura editorial.