La creciente demanda de la inteligencia artificial está impulsando la necesidad de conjuntos de datos masivos y ventanas de contexto que superan los límites de la memoria del sistema.
Sin embargo, estas crecientes necesidades no se resuelven simplemente añadiendo capacidad de almacenamiento. Lo que se requiere son conocimientos útiles y fundamentados provenientes de las fábricas de IA, junto con arquitecturas de almacenamiento eficientes y seguras que permitan extraer dichos conocimientos.
En la conferencia Future of Memory and Storage (FMS) de esta semana, NVIDIA está presentando nuevos avances en almacenamiento y demostrando cómo el próximo salto en la IA depende tanto de la infraestructura de almacenamiento que alimenta la computación acelerada como de la potencia de cálculo misma.
¿Cómo impacta el almacenamiento en el rendimiento de la IA?
La presión sobre dicha infraestructura se está intensificando a medida que los agentes de IA consumen cantidades masivas de datos, y las GPU ahora pueden iniciar solicitudes de almacenamiento directamente, generando miles de operaciones concurrentes.
Para atender estas solicitudes, los sistemas de almacenamiento deben cifrar, comprimir, verificar y reconstruir datos de forma continua. Estos servicios críticos de datos pueden convertirse en cuellos de botella cuando miles de agentes acceden al almacenamiento simultáneamente.
Los benchmarks destacados en este blog técnico de NVIDIA muestran que la CPU NVIDIA Vera, parte del NVIDIA Vera BlueField-4 STX, entrega hasta 3.21 veces más rendimiento que una CPU x86 en un pipeline de compresión y cifrado de dos etapas. Esto significa que con Vera, las plataformas de almacenamiento pueden absorber el flujo de datos de IA de manera más eficiente, entregando un mayor rendimiento con mucha menos infraestructura de cómputo.
Con la computación acelerada, el almacenamiento deja de ser un lugar pasivo para guardar datos y se convierte en una parte activa de la ruta de datos.
Esto altera la vieja economía que determinaba cuándo los datos pertenecen a la memoria (donde las aplicaciones pueden obtenerlos más rápido) frente a una unidad de almacenamiento (donde pueden guardarse en un espacio barato y abundante). El equilibrio se definió hace 40 años, cuando la respuesta se medía en minutos para acceder a esos datos. En las GPU actuales, junto con las soluciones de almacenamiento para IA de NVIDIA y sus socios, el mismo equilibrio ahora se resuelve en microsegundos.
Cerrar la brecha entre las necesidades de la IA y la escasez de memoria depende de un diseño extremo conjunto en todo el ecosistema, desde los fabricantes de memoria y almacenamiento hasta el software construido sobre ellos.
¿Qué permiten las APIs cuFile de código abierto?
En FMS, NVIDIA anunció que está liberando el código fuente de sus interfaces de programación de aplicaciones (APIs) cuFile, junto con el stack de software de almacenamiento vertical subyacente, lo que permite que las GPU, y no solo las CPU, lean y escriban directamente en el almacenamiento. cuFile es un componente de código abierto de NVIDIA GPUDirect Storage.
Utilizando cientos de miles de hilos de GPU, memoria de alto ancho de banda y otras metodologías, cuFile permite acceder de forma segura a los datos desde el almacenamiento en solo microsegundos.
Esto representa cómo la industria está unificando un stack de almacenamiento centrado en la seguridad basado en las mejores prácticas de Linux, proporcionando interoperabilidad entre las GPU y los datos.
Además, el acceso rápido y seguro a los datos es un elemento fundamental para potenciar medidas de ciberseguridad preventivas y detectivescas. Hacer que cuFile esté disponible abiertamente ayudará a que el contexto de seguridad, los datos y el almacenamiento sean accesibles a la velocidad que requieren las defensas impulsadas por IA. Estas tecnologías abiertas respaldan iniciativas como la nueva Open Secure AI Alliance.
Este sitio es el nuevo hogar para las APIs abiertas a contribuciones, con Google, Intel, NVIDIA y Meta como mantenedores inaugurales, y pueden optimizarse para su uso en diversas plataformas de software y hardware, impulsando la innovación y la eficiencia para desarrolladores y empresas.
¿Quiénes lideran la nueva frontera del almacenamiento para IA?
Además, NVIDIA y los líderes de la industria del almacenamiento están optimizando las soluciones de memoria y almacenamiento a través de una iniciativa llamada Storage-Next. Esta iniciativa liderada por NVIDIA reúne a fabricantes de almacenamiento, proveedores de controladores, especialistas en diseño térmico y refrigeración, operadores de orquestación y organismos de normalización para alinear cómo debería comportarse el almacenamiento impulsado por GPU, convirtiendo luego estos avances en estándares industriales abiertos e interoperables.
Storage-Next incluye a más de 40 proveedores líderes de almacenamiento y flash, incluidos DDN, KIOXIA y Micron, cada uno contribuyendo a la próxima generación de tecnologías de almacenamiento para IA junto con NVIDIA.
La iniciativa se basa en el acceso acelerado a datos para grandes conjuntos de datos de IA. Para respaldar esto, NVIDIA ofrece SCADA, un acrónimo de acceso a datos acelerado y escalado, un framework que permite a las GPU masivamente paralelas extraer solo los datos necesarios para la aplicación directamente desde el almacenamiento hacia su propia memoria de alta velocidad.
Por ejemplo, DDN está integrando SCADA con Infinia, su plataforma de inteligencia de datos nativa de IA definida por software, construida para eliminar los cuellos de botella de almacenamiento a escala.
“El éxito de la IA no se definirá por cuánta infraestructura poseen las organizaciones, sino por la productividad con la que la utilizan”, afirmó Sven Oehme, director de tecnología de DDN. “Nuestra colaboración con NVIDIA está ayudando a crear una conexión más directa y eficiente entre las GPU y los datos, manteniendo los recursos de computación acelerada productivos, acelerando el tiempo de obtención de información y permitiendo a los clientes lograr mayores retornos comerciales y financieros de sus inversiones en IA”.
Storage-Next y SCADA extienden el trabajo de larga data de NVIDIA en la infraestructura de almacenamiento para IA, incluido el NVIDIA Vera BlueField-4 STX, una base modular a escala de rack impulsada por la plataforma NVIDIA Vera Rubin, los procesadores de almacenamiento NVIDIA Vera BlueField-4 y la red NVIDIA Spectrum-X Ethernet.
El procesador Vera BlueField-4 STX es un componente clave para la nueva infraestructura de almacenamiento.
Definiendo una nueva clase de plataformas de datos nativas de IA, NVIDIA STX utiliza el stack de seguridad unificado NVIDIA DOCA para permitir que las empresas implementen políticas continuas en la ruta de datos de la IA.
Además, NVIDIA CMX Context Memory Storage proporciona un nivel de contexto nativo de IA para inferencia de agentes con contexto largo y múltiples turnos, construido sobre NVIDIA STX.
¿Cómo logra SCADA un almacenamiento seguro y rápido?
La velocidad en la capa de almacenamiento tiene un inconveniente. Permitir que una aplicación hable directamente con una unidad es rápido, pero si se hace sin cuidado, puede sobrescribir la memoria de otros procesos, lo cual representa un agujero de seguridad en lugar de una funcionalidad.
NVIDIA SCADA utiliza un método robusto y seguro para lograr un acceso directo escalado al dividir el trabajo en dos partes:
- Las partes de usuario de una aplicación que necesitan velocidad bruta permanecen fuera de la base de computación confiable.
- Un componente privilegiado separado configura el acceso protegido entre la aplicación de usuario y su almacenamiento aprobado durante la configuración, adhiriéndose a los protocolos estándar de Linux para la aplicación de seguridad mientras salvaguarda eficientemente los datos.
Todo es parte de cómo los avances en una infraestructura de almacenamiento de IA rápida, masivamente paralela, eficiente y segura pueden proporcionar mejores datos a las aplicaciones y fábricas de IA, permitiéndoles producir una inteligencia más útil, precisa y fundamentada a gran escala.
Únase a las sesiones de NVIDIA en FMS, que se llevan a cabo del 4 al 6 de agosto en Santa Clara, California, y conozca más sobre el almacenamiento de IA de NVIDIA.
Vía NVIDIA Blog.
