NVIDIA amplió la plataforma Cosmos con herramientas nuevas de entrenamiento, puntos de control (checkpoints) para simulación y blueprints de Cosmos Data Factory. El objetivo, según la empresa, es acelerar la construcción de modelos de mundo, los modelos que ayudan a los sistemas de IA física a entender y simular el mundo real.
NVIDIA afirma que Cosmos figura entre los cinco primeros de seis tablas de clasificación de modelos abiertos. La plataforma entrega modelos abiertos junto con datos, herramientas y recetas de entrenamiento y optimización para escalar los datos de entrenamiento, adaptar modelos, probar su comportamiento y optimizar el rendimiento antes de llevarlos a producción.
Datos de entrenamiento
Un modelo de mundo parte de datos multimodales y de varios sensores.
NVIDIA Cosmos Data Factory reúne herramientas y habilidades para etiquetar, curar, aumentar y evaluar datos a escala. Cosmos Curator, la herramienta acelerada por GPU para curar conjuntos de video, ahora acepta entradas multimodales y de varios sensores, con bloques de procesamiento nuevos.
Cosmos Data Factory ofrece cinco blueprints nativos de nube, disponibles en GitHub, Microsoft Azure, Nebius y CoreWeave.
- Generación de datos para vehículos autónomos. Cura y etiqueta datos de conducción y agrega ejemplos sintéticos de escenarios difíciles de capturar.
- Aumento de atributos de imagen. Varía la apariencia de los objetos para mejorar la búsqueda de imágenes.
- Generación de video de eventos. Convierte imágenes fijas en videos sintéticos de eventos raros o peligrosos.
- Generación de imágenes de defectos. Produce imágenes de fallas en placas de circuito impreso, metal y vidrio para modelos de inspección.
- Aumento de datos de video. Cambia el clima y la iluminación de grabaciones existentes sin alterar la estructura de la escena.
Porsche lidera el desarrollo de un ciclo compartido de datos de conducción autónoma entre las marcas del grupo Volkswagen, con Cosmos Data Factory a través de Voxel51 sobre Microsoft Azure. Según NVIDIA, eso reduciría hasta en 90% las pruebas de manejo físicas repetidas y hasta en 85% los ciclos de desarrollo.
ANYbotics generó más de 1.500 clips de video sintéticos con los blueprints, curó datos del mundo real y validó los resultados con la plataforma de Encord. Con eso entrenó a sus robots de inspección industrial para reconocer derrames de líquido y otros cambios entre una visita y la siguiente a una planta.
Ultralytics, empresa de visión por computador, reentrenó su modelo YOLO con imágenes reales y defectos sintéticos generados con Cosmos Data Factory. Mejoró la localización de defectos y la sensibilidad (recall) del modelo.
¿Qué se puede entrenar y ajustar con Cosmos Framework?
Con los datos listos, el desarrollador puede entrenar su propia arquitectura o partir de un modelo preentrenado.
En GTC Berlín, NVIDIA extendió las herramientas y recetas de entrenamiento, optimización y despliegue de Cosmos Framework a más modelos abiertos, en forma de habilidades para agentes, junto con Cosmos 3.
Desarrolladores y agentes pueden adaptar modelos abiertos como GR00T, Alpamayo, Qwen, Pi0.5 y otros modelos compatibles de Hugging Face mediante ajuste fino y aprendizaje por refuerzo. Luego pueden optimizarlos con destilación y cuantización, y desplegarlos con inferencia de alto rendimiento.
El laboratorio de robótica MicroAGI postentrenó Cosmos 3 con videos de personas manipulando objetos para especializarlo en manipulación en primera persona. Después destiló su razonador de 32.000 millones de parámetros a un modelo Nano de 8.000 millones, sin pérdida de precisión.
En Roboflow se pueden etiquetar datos y postentrenar Cosmos 3 para un entorno y una tarea específicos. Esos modelos se despliegan en el alojamiento de Roboflow o en GPU de NVIDIA propias, para llevar el razonamiento sobre video a fábricas y bodegas.
Pruebas de políticas e inferencia más rápida
Las variantes Nano nuevas de Cosmos 3 para simulación permiten probar políticas autónomas en escenarios repetibles, con varias vistas y varios sensores, que son difíciles de capturar en la realidad. El código que las acompaña sirve para adaptarlas y entrenar y evaluar políticas propias para vehículos autónomos y robots de dos brazos en simulaciones interactivas, antes de las pruebas en terreno.
Los modelos base de Cosmos se despliegan con los microservicios NVIDIA Cosmos 3 NIM actualizados. Según NVIDIA, entregan hasta el doble de velocidad de inferencia sin pérdida de calidad en configuraciones validadas, y el análisis continuo de video permite alertas en menos de un segundo.
Para quienes desarrollan visión por computador, el nuevo NVIDIA Metropolis Blueprint para búsqueda y resumen de video (VSS) 3.3, construido sobre los NIM de Cosmos, convierte una sola instrucción en una aplicación de IA de video. NVIDIA dice que permite monitorear 40% más transmisiones de video con la misma GPU.
ADNOC usa MistIQ, la plataforma agéntica de Fogsphere construida con Cosmos y el blueprint Metropolis VSS, para detectar riesgos de seguridad en tiempo real en 65 instalaciones. Para eventos poco frecuentes, Fogsphere usa además Cosmos Data Factory para generar datos sintéticos de entrenamiento, sin tener que montar situaciones peligrosas en la realidad.
La plataforma Cosmos es modular y abierta. Cosmos Data Factory genera los conjuntos de entrenamiento, Cosmos Framework entrena y adapta los modelos de mundo, y los modelos de Cosmos compatibles se despliegan con microservicios NIM.
