IA
NVIDIA cifra la inferencia y conserva el 96% del rendimiento
La medición corrió sobre DeepSeek-R1 en ocho GPU B200, con el cifrado encendido y apagado, y dejó el sobrecosto de latencia por token bajo el 5%.
NVIDIA Developer
Etiqueta
#tensorrt llm
1 nota publicada