Las unidades de procesamiento tensorial (TPU) de Google, sus chips propios para IA, ya atienden inferencia en producción dentro de Meta. Lo hacen a través de una nueva versión del motor de inferencia SGLang escrita para PyTorch nativo, según el anuncio que Google publicó en su blog para desarrolladores y recogió Tom's Hardware. Meta es la creadora de PyTorch, el framework de IA más usado. Google también liberó como código abierto una versión equivalente de vLLM, el otro motor de inferencia de uso masivo.
Hasta ahora los dos motores necesitaban JAX, el framework propio de Google, para correr sobre TPU. Con las versiones nuevas el chip pasa a ser una opción nativa para PyTorch, en la mayoría de los casos sin reescribir código.
Qué dijo Meta
"SGLang-TorchTPU está corriendo hoy en producción en Meta", afirmó Zongwei Zhou, líder de PyTorch-TPU en Meta. Según Zhou, el resultado salió de "una colaboración estrecha a tres bandas entre Meta, Google y el equipo de SGLang". Ese equipo trabaja en RadixArk, la empresa emergente que fundaron los creadores de SGLang y que construyó el motor junto a Google y Meta. Para Zhou, el motor le entrega a Meta "una pila de inferencia nativa de PyTorch notablemente madura".
Jana van Greunen, directora de ingeniería de PyTorch en Meta, agregó en la publicación de Google sobre TorchTPU que Meta "no puede quedar restringida a una sola arquitectura de hardware" y que TorchTPU "nos permite desplegar nuestras cargas de trabajo de PyTorch en las TPU de Google". Google dijo que desarrolló TorchTPU en conjunto con el equipo de PyTorch de Meta.
¿Es la primera vez que Meta prueba las TPU?
No. Google describe a PyTorch/XLA, el puente anterior entre PyTorch y las TPU, como el "predecesor" de TorchTPU. SemiAnalysis informó el año pasado que equipos de investigación de Meta usaron TPU mediante ese puente entre 2020 y 2023, hasta que Meta canceló esos contratos. El impulso de Google por correr PyTorch en TPU apuntaba sobre todo a Meta, que no quería migrar a JAX.
No está claro dónde están instaladas las TPU que Meta usa en producción. Las conversaciones del año pasado incluían, según se informó, arriendo de TPU en Google Cloud en 2026 y compras directas en 2027. Más tarde se reportó que Meta firmó un acuerdo de arriendo por varios años.
El anuncio llegó un día después de que Amazon liberara como código abierto TorchNeuron, su propio backend nativo de PyTorch para los chips Trainium2 y Trainium3, en la misma PyTorch Conference. Ambos movimientos apuntan a soltar el amarre de software que mantiene a los desarrolladores atados a Nvidia.
¿Cuánto rinde vLLM sobre TPU Ironwood?
Una configuración afinada de vLLM que sirve Kimi K3, el modelo de pesos abiertos de Moonshot AI con 2,8 billones de parámetros, supera los 700 tokens por segundo para un solo usuario sobre Ironwood, la séptima generación de TPU. La cifra viene de Inferact, la empresa fundada por los creadores de vLLM que ayudó a Google a construir vLLM-TorchTPU.
La prueba usó 16 chips Ironwood con decodificación especulativa, una técnica que acelera la inferencia de un modelo de lenguaje grande apoyándose en un modelo borrador más pequeño. La comparó con la configuración publicada por vLLM sobre 16 Nvidia GB200, que llegó a 452 tokens por segundo.
| Configuración | Chips | Tokens por segundo (un usuario) |
|---|---|---|
| vLLM-TorchTPU con Kimi K3 | 16 TPU Ironwood | más de 700 |
| vLLM publicado con Kimi K3 | 16 Nvidia GB200 | 452 |
Sin decodificación especulativa, los kernels de Inferact para Kimi K3 y Qwen 3.8 27B entregan entre 1,4 y 2 veces el rendimiento de la referencia en GB200 con lotes pequeños.
Lo que viene
SGLang-TorchTPU seguirá sumando modelos, partiendo por DeepSeek V4.1 Flash y Reflection Beam. Según RadixArk, también trabaja para dar soporte en TPU desde el día de lanzamiento de los nuevos modelos abiertos hacia el primer trimestre de 2027. Google, Meta y RadixArk planean entregar más detalles en la SGLang Summit 2026, que se hará el 12 y 13 de noviembre en San Francisco.
