NVIDIA liberó como software de código abierto la plataforma completa NVIDIA Run:ai, con lo que clientes, desarrolladores y socios del ecosistema acceden a capacidades de orquestación de cargas de IA y de GPU de nivel productivo. El anuncio se publicó el 13 de octubre en el blog para desarrolladores de la compañía. El lanzamiento amplía la plataforma NVIDIA DSX AI Factory y deja a Run:ai como base abierta para que el ecosistema lleve soluciones propias al mercado más rápido.

En los últimos años, Run:ai ha servido a organizaciones para correr cargas de IA sobre Kubernetes a gran escala. Asigna recursos de GPU de forma dinámica y gestiona las cargas durante todo su ciclo de vida, desde el procesamiento de datos y el entrenamiento hasta la inferencia.

Con la apertura del código como parte de DSX AI Factory, cualquier socio del ecosistema DSX y cualquier nube de IA puede aumentar el rendimiento de sus cargas, mejorar el uso de las GPU y operar infraestructura de IA compartida con más eficiencia.

El lanzamiento incluye la plataforma Run:ai completa y cuatro componentes que también se pueden adoptar por separado, KAI Scheduler, GPU Fractioning Operator, KAI Resource Management y Workload Map. Junto con código adicional de la plataforma, estos componentes forman Run:ai integrado. Los equipos de plataforma y los socios pueden adoptarlo completo, construir productos y servicios encima o integrar componentes sueltos según lo que necesiten.

¿Cómo se adopta Run:ai abierto?

Run:ai se puede adoptar directamente como software de código abierto o a través de las ofertas de los socios del ecosistema DSX.

Desplegar la plataforma abierta directamente

El código fuente completo está en el repositorio de NVIDIA Run:ai, dentro de la organización NVIDIA DSX AI Factory en GitHub. Los equipos pueden revisar el código, contribuir a su desarrollo, construir sobre la plataforma o adoptar sus componentes modulares por separado.

La plataforma abierta completa también está disponible en NVIDIA NGC como Community Product, con un chart de Helm para instalar todo el conjunto.

El código fuente de Run:ai se rige por sus licencias de código abierto. Descargar el Community Product desde NGC exige aceptar el Acuerdo de Licencia de Software de NVIDIA y los términos específicos de producto para NVIDIA AI. El Community Product no requiere suscripción pagada de Run:ai ni contrato de soporte, y no incluye el soporte empresarial de NVIDIA.

Adoptarlo a través de los socios del ecosistema DSX

La versión abierta da a los socios del ecosistema DSX acceso directo a las novedades de orquestación de cargas y de GPU para usarlas en sus propias soluciones de fábrica de IA. Al adoptar la plataforma completa o integrar componentes sueltos, pueden llevar esas mejoras al mercado más rápido y responder antes a lo que piden sus clientes y su operación.

  • Crusoe integra Run:ai con Crusoe Managed Kubernetes y combina la orquestación de cargas de GPU con Kubernetes gestionado e infraestructura de GPU.
  • Mirantis suma Run:ai a k0rdent AI para entregar una pila de fábrica de IA "Metal-to-Model" con ciclo de vida gestionado, que automatiza el aprovisionamiento de infraestructura y maximiza el uso de las GPU.
  • Nebius ofrece Run:ai como aplicación que se despliega con un clic en Nebius AI Cloud, sobre su servicio de Kubernetes gestionado.
  • OpenNebula Systems integra Run:ai con OpenNebula AI Cloud Platform a través de OneKS, y combina la orquestación de cargas de GPU con el aprovisionamiento y la gestión del ciclo de vida de la infraestructura para nubes de IA abiertas y soberanas.
  • Rafay amplía su integración para entregar Run:ai como servicio totalmente gestionado. Automatiza desde la infraestructura de GPU y los clústeres hasta el plano de control de Run:ai y sus inquilinos, para que proveedores de nube de IA y empresas lo ofrezcan en sus propios catálogos de autoservicio.
  • Saturn Cloud integra Run:ai para que los operadores de nubes de IA lancen servicios de inferencia de marca blanca mediante su plataforma Token Factory, con orquestación de GPU, servicio de modelos dedicado y multiinquilino, medición por token y facturación automática.
  • Spectro Cloud incorpora Run:ai a PaletteAI, desde donde los clientes lo despliegan con PaletteAI Studio y lo administran con la misma automatización de ciclo de vida que usan en el resto de su infraestructura de IA.
  • vCluster entrega Run:ai mediante plantillas de despliegue prevalidadas que levantan un entorno completo por inquilino, con lo que los operadores refuerzan el aislamiento entre inquilinos mientras Run:ai sigue programando sobre una sola flota de GPU.

Para los despliegues de NVIDIA Enterprise AI Factory, Run:ai sigue disponible en ofertas comerciales con soporte de NVIDIA, como producto independiente, a través de NVIDIA Mission Control y NVIDIA AI Enterprise, y en algunos marketplaces de nube. La disponibilidad, las licencias y los términos de soporte cambian según la oferta.

Los componentes modulares de Run:ai

El lanzamiento abierto incluye cuatro componentes, KAI Scheduler, GPU Fractioning Operator, KAI Resource Management y Workload Map. Con el código adicional de la plataforma forman Run:ai integrado, y se pueden adoptar en bloque o por separado según cada caso. Para equipos que ya tienen una plataforma y necesitan cubrir una capacidad puntual, estas son las piezas.

KAI Scheduler, el motor de programación de Run:ai

KAI Scheduler es el programador nativo de Kubernetes que mueve a la plataforma Run:ai. NVIDIA lo liberó como código abierto bajo licencia Apache 2.0 y lo aportó a la CNCF como proyecto Sandbox. KAI sigue siendo el motor de origen de Run:ai, y todo el desarrollo del programador ocurre en el repositorio comunitario, así que cada mejora pasa por el mismo código. NVIDIA sigue apoyando a los mantenedores del proyecto y trabajando con el ecosistema para mejorar la programación de cargas de IA a gran escala.

KAI Scheduler está pensado para cargas de GPU a gran escala y coordina lo siguiente.

  • Programación en grupo con simulación previa en memoria, para que los trabajos de varios pods se ubiquen todos o ninguno y no se desalojen sin necesidad.
  • Reparto equitativo (incluido el reparto equitativo por tiempo) y asignación por cuotas, que mantiene equilibrados los recursos entre equipos.
  • Conciencia de topología y empaquetado a nivel de decisión de programación.
  • GPU compartidas, que permiten que varias cargas usen una o varias GPU (MIG, MPS, tiempo compartido, HaMi, fraccionamiento MPS de CUDA 13.4).
  • Soporte para Dynamic Resource Allocation (DRA).

Las funciones principales están detalladas en el repositorio kai-scheduler/KAI-Scheduler en GitHub.

KAI Scheduler sirve para cargas de IA variadas que requieren acceso equitativo a los recursos del clúster y ubicación según la topología. Se puede desplegar en un clúster existente junto al software actual, sin la plataforma Run:ai completa.

El proyecto tiene un canal #kai-scheduler en el Slack de la CNCF para preguntas, y recibe contribuciones en el repositorio de GitHub.

GPU Fractioning, un operador para fracciones de GPU en Kubernetes

Run:ai admite desde hace tiempo la asignación fraccionada de GPU, que permite que varias cargas compartan una GPU con aislamiento estricto de memoria. Las fracciones se piden bajo demanda y se configuran al vuelo, sin que un administrador prepare cada nodo por adelantado. Es una de las capacidades más usadas por los equipos de aprendizaje automático con cargas que no necesitan toda la memoria de una GPU, como notebooks interactivos o la inferencia de modelos pequeños. Run:ai fue pionero en esa experiencia con una implementación propietaria.

GPU Fractioning Operator lleva a Kubernetes el fraccionamiento nativo de GPU de CUDA, y la implementación propietaria se retiró en favor de la capacidad nativa disponible en CUDA 13.4. El driver de CUDA impone un límite estricto de memoria de GPU a cada carga, y cada carga ve solo la memoria asignada a su fracción. Faltaba una forma limpia de consumir eso en Kubernetes. Eso es lo que entrega GPU Fractioning Operator, un operador que habilita las fracciones de GPU de CUDA en un clúster, junto a un exportador de métricas que muestra por pod las fracciones en uso. Es una capa de integración con Kubernetes que permite a las cargas usar el fraccionamiento nativo de CUDA, y no depende de un programador en particular.

El operador sirve para cargas que pueden compartir capacidad de GPU subutilizada, como notebooks, sesiones de desarrollo y modelos pequeños. Se integra con KAI Scheduler para convertir la capacidad de GPU disponible en una decisión de ubicación concreta, y sigue siendo compatible con otros programadores. Los pasos para empezar están en la documentación de GPU Fractioning Operator.

KAI Resource Management, la capa organizacional

Mientras el programador decide cómo se ubica el trabajo, KAI Resource Management define quién recibe qué.

  • Proyectos y departamentos. La estructura organizacional, o "capa org", que asigna los recursos a los equipos e iniciativas que los consumen.
  • Gestión de recursos con jerarquía organizacional. La capacidad de asignar, garantizar y compartir capacidad de GPU a lo largo de esa estructura, con semántica de reparto equitativo y de cuotas.
  • Grupos de nodos. La agrupación y selección de hardware heterogéneo para que cada carga caiga en los recursos correctos.