IA
Helion entra al backend lineal de vLLM y supera a CUTLASS en Hopper
Un solo kernel GEMM escrito en Helion cubre las variantes estándar, Split-K y Swap-AB, y el autoajuste elige la mejor para cada forma de entrada.
PyTorch Blog
Etiqueta
#vllm
9 notas publicadas
IA
vLLM agrega capas portables a 3,4% del rendimiento nativo
El motor de inferencia rompió la compatibilidad con torch.compile para correr más rápido en las GPU nuevas, y ahora construye un camino aparte para las viejas.
PyTorch Blog
IA
Shopify recorta en 96% el costo de su agente GraphQL
El circuito convierte a diario las conversaciones que fallan en producción en datos de entrenamiento, y el modelo especializado terminó superando al de frontera.
PyTorch Blog
IA
AIPerf reemplaza a GenAI-Perf para medir inferencia de LLM
NVIDIA reescribió su cliente de carga desde cero, con procesos de trabajo separados y coordinación por ZMQ, para que el propio medidor deje de ser el cuello de botella.
NVIDIA Developer
IA
TRL v1.14 sincroniza solo el adaptador LoRA hacia vLLM
Un adaptador de rango 1 pesa unos megabytes, así que viaja por un bucket montado en cada Job en vez de NCCL, y el entrenador queda en otra máquina que las réplicas de inferencia.
Hugging Face
IA
NVIDIA Jetson ya corre modelos de razonamiento sin conexión
La cuantización NVFP4 combinada con decodificación especulativa multiplica por 6,28 el rendimiento frente a BF16, según las pruebas que NVIDIA publicó para sus placas AGX Thor y AGX Orin.
NVIDIA Developer
Open Source
AMD salta de ROCm 7.14 a ROCm 10.0 y estrena ROCm.AI
El salto de versión ordena un esquema de numeración que se había vuelto confuso y llega con la primera entrega bajo el nuevo ciclo de lanzamientos cada seis semanas.
Phoronix Tests
Open Source
Intel LLM-Scaler ya corre Muse Glimmer 30B en las Arc Pro
Las nuevas versiones del stack en Docker de Intel suman soporte el mismo día del lanzamiento para el modelo de 30B de Meta, más generación de video local y mejoras de latencia en Gemma 4.
Phoronix Tests
IA
PyTorch 2.11 arregla pip install torch para GB200 y GH200
El nuevo wheel CUDA para aarch64 ya viaja en el índice por defecto de PyPI, cerrando dos años de --index-url y reinstalaciones silenciosas que rompían vLLM en Grace Hopper.
PyTorch Blog
Etiquetas relacionadas
Otros temas que aparecen junto a #vllm en nuestra cobertura editorial.