Los sistemas agénticos convierten el razonamiento de los modelos en acción a través de flujos de varios pasos que combinan inferencia, uso de herramientas, ejecución de código, recuperación de datos, orquestación y manejo de resultados. A medida que estos sistemas escalan dentro de la fábrica de inteligencia artificial, el rendimiento ya no depende solo de la aceleración por GPU, sino también del trabajo que la CPU realiza entre cada paso del modelo.
La CPU está en la ruta crítica del razonamiento, del tiempo de respuesta y del aprendizaje, porque ejecuta lo que ocurre entre pasos: evaluaciones en entornos aislados (sandboxes), llamadas a herramientas, ejecución de código, procesamiento de datos, coordinación de la caché KV y manejo de resultados.
Para la IA agéntica, una de las métricas más importantes es el rendimiento sostenido por núcleo con el socket a plena carga. Más núcleos aumentan el paralelismo entre flujos; núcleos más rápidos determinan qué tan rápido avanza cada flujo. Si la ejecución del lado de la CPU se frena, la flota de GPU sufre en tres frentes: el aprendizaje por refuerzo recibe menos evaluaciones útiles por ciclo, la flota tarda más en atender a cada usuario y la caché KV se desaloja, con lo que se pierde el ahorro de cómputo del contexto ya cacheado.
Agentes más inteligentes y eficientes
El aprendizaje por refuerzo introduce un bucle continuo e interactivo entre la GPU y la CPU. A diferencia del entrenamiento clásico, donde los datos simplemente se transmiten a los aceleradores, aquí se genera activamente la experiencia mediante simulaciones que dependen de un procesamiento secuencial y lógico.
Cuando el procesador se estanca en estas fases, todo el flujo de entrenamiento se resiente: se completan menos pasos por segundo y baja la calidad de las actualizaciones de la política del modelo, conocidas como gradientes. Una CPU de referencia podría completar apenas el 45% de sus evaluaciones dentro de la ventana de entrenamiento, dejando a la GPU esperando.
Con núcleos 1,8 veces más rápidos, Vera completa hasta el 85% de esas evaluaciones en la misma ventana. Esto entrega una señal de entrenamiento más rica y de mejor calidad, que permite a la GPU calcular gradientes más precisos y acelerar la convergencia. La mejora se logra con el núcleo Olympus, diseñado para el trabajo secuencial y con muchas ramificaciones que domina el aprendizaje por refuerzo y la ejecución de agentes.
Más usuarios por hora de GPU
Al pasar del entrenamiento a los despliegues interactivos, la métrica clave deja de ser el rendimiento puro y se vuelve la latencia estricta y predecible. Cada paso de un agente exige lanzar una llamada a herramienta, ejecutar código, compilar una prueba o consultar datos antes de que el modelo continúe.
Vera evita los desplomes de rendimiento comunes en los diseños de múltiples chiplets, donde las cargas pueden dispersarse entre dominios, gracias a un dado de cómputo monolítico para sus 88 núcleos Olympus. Sumado a una gran caché unificada y a la NVIDIA Scalable Coherency Fabric (SCF), los datos se mueven de forma más uniforme por el sistema, lo que le permite alcanzar un 40% menos de latencia máxima bajo carga frente a un x86.
Más allá de la latencia, los agentes necesitan un enorme ancho de banda de memoria. Vera usa LPDDR5x de bajo consumo que entrega hasta 1,2 TB/s de ancho de banda total y hasta 14 GB/s por núcleo. Eso es más del triple de ancho de banda por núcleo, a menos de la mitad del consumo de las CPU tradicionales de centro de datos.
Más cómputo de GPU por sesión
En la inferencia agéntica la GPU no trabaja de un tirón: una sesión puede incluir muchos pasos separados por llamadas a herramientas, ejecución de código o consultas del lado de la CPU. Una CPU lenta agranda el hueco entre pasos y hace más probable que el sistema deba desalojar la caché KV de la memoria de la GPU para atender a otros usuarios. Cuando la herramienta responde, la GPU puede verse obligada a reconstruir ese contexto reprocesando la secuencia previa como un gran prompt de entrada, en lugar de retomar desde el estado cacheado.
Al comprimir la parte del proceso que corre en la CPU, Vera acorta la ventana en que la caché KV queda expuesta al desalojo, mantiene más contexto activo residente en la memoria HBM y reduce la necesidad de recálculos costosos. El resultado es que una mayor parte del tiempo de la GPU se dedica a generar tokens útiles en vez de reconstruir contexto, lo que convierte al rendimiento de la CPU en un factor directo de la eficiencia del sistema. Vera forma parte de la plataforma Vera Rubin NVL72 de NVIDIA.
