NVIDIA está ofreciendo herramientas de agentes de IA a desarrolladores de robótica y vehículos autónomos.

En GTC Taipei y Computex, NVIDIA Corp. presentó varios skills y herramientas open source de IA física para asistir a desarrolladores de robótica, vehículos autónomos, IA visual y digital twins industriales. Según la compañía, pueden reducir costos, tiempos y complejidad al construir flujos de IA física a escala.

Disponibles como parte del NVIDIA Agent Toolkit, los nuevos skills permitirán a los agentes de IA acelerar los pipelines de generación de datos, simulación, entrenamiento, evaluación y despliegue detrás de robots, vehículos autónomos (AVs), fábricas y laboratorios, dijo la empresa.

"Los agentes de IA están revolucionando el desarrollo de software, y ese cambio ahora llega a la IA física, extendiéndose a los sistemas que transformarán transporte, manufactura, salud y robótica", afirmó Jensen Huang, fundador y CEO de NVIDIA, en GTC Taipei. "Cuando los agentes pueden usar directamente las librerías, modelos y frameworks de NVIDIA, el desarrollo de IA física avanzará más rápido, permitiendo que los desarrolladores construyan los robots, vehículos autónomos y sistemas industriales del futuro a un ritmo increíble."

"La IA física requiere cantidades enormes de datos de entrenamiento en ambientes diversos", anotó Rev Lebaredian, vicepresidente de simulación de IA física en NVIDIA. "Teleoperación, simulación y datos a escala de internet llevan a modelos foundation del mundo para una diversidad infinita de casos de uso."

NVIDIA hace su stack físico agent-ready

NVIDIA dijo que está optimizando su stack completo de IA física para agentes, convirtiendo librerías, modelos y frameworks en herramientas invocables por agentes. Esto incluye:

"Cosmos 3 es el modelo foundation frontera para IA física", dijo Lebaredian. "Entiende videos y texto y puede destacar lo que importa. Cosmos es una simulación físicamente precisa y puede predecir qué pasa después y generar acciones."

Para aplicar estas herramientas, NVIDIA está lanzando nuevos skills que convierten los procesos de desarrollo de IA física en instrucciones repetibles que los agentes de código pueden seguir. Esto incluye qué herramientas invocar, qué outputs producir y cómo los desarrolladores pueden validar resultados.

Los desarrolladores también pueden construir y desplegar agentes autónomos con estas skills usando el blueprint NVIDIA NemoClaw y el runtime NVIDIA OpenShell, que entrega gobernanza de seguridad y privacidad basada en políticas tanto en hardware local como en la nube. Los agentes correrán en el edge sobre Jetson y ya mostraron mejoras de uptime, según Lebaredian.

NVIDIA dijo que sus skills y herramientas de IA física aceleran el desarrollo agéntico en:

  • Robótica y edge AI: los desarrolladores de robots pueden usar skills para acelerar el pipeline completo, desde generar datos de entrenamiento de percepción y movilidad hasta simulación, automatización del entrenamiento de navegación, robot learning y tuning de sistemas edge basados en Jetson para deploy.
  • Vehículos autónomos: para desarrolladores de AVs, los skills pueden dirigir agentes a reconstruir datos capturados por flotas en ambientes de simulación, generar escenarios de manejo fotorrealistas a escala y correr reinforcement learning de loop cerrado para ampliar la cobertura de entrenamiento y evaluación.
  • Agentes de IA visual en tiempo real: para inspección automatizada e inteligencia de video, los skills agénticos ayudan a equipos a generar datos sintéticos de entrenamiento, fine-tunear modelos, automatizar etiquetado y construir agentes de video AI que buscan, resumen y analizan video en vivo o grabado.
  • IA industrial: los desarrolladores de software industrial pueden usar estos skills para convertir datos de ingeniería en assets CAD para simulación de digital twins, optimizando escenas OpenUSD grandes con menos setup manual.
  • Salud: antes de desplegar automatización en ambientes clínicos, los equipos de salud pueden guiar agentes a través de la creación de digital twins de hospitales, generación de datos sim-to-real y testing de políticas software-in-the-loop.

Los skills se pueden combinar e integrar en sistemas agénticos más grandes, según NVIDIA. Esto permite a los desarrolladores orquestar y automatizar flujos complejos como generación de datos, simulación, optimización, tuning de inferencia, evaluación continua y más.

¿Quiénes adoptan el stack agéntico de IA física?

1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI y Universal Robots están entre las empresas de robótica que ya usan el stack agent-ready de IA física de NVIDIA.

"Con las actualizaciones de stack en NVIDIA Isaac GR00T, los nuevos workflows end-to-end se pueden montar en horas en lugar de semanas", dijo Lebaredian. "Omni-modal significa que funciona con distintos modos: video, sensores, texto y sonido para inputs y outputs de acción."

Adicionalmente, Foxconn y Compal están usando NVIDIA Isaac for Healthcare para acelerar la robótica hospitalaria. Compal avanza el proceso de desarrollo de su robot PolyMedX hacia una plataforma de orquestación a nivel hospital, integrando simulación, IA y operaciones en el mundo real.

Foxconn está escalando Nurabot en varios hospitales y centros de cuidados de larga estadía, llevando robótica con IA al cuidado de pacientes, además de introducir su nuevo robot colaborativo de enfermería quirúrgica para optimizar los flujos de pabellón.

Líderes industriales construyen con NVIDIA

Socios y clientes de NVIDIA en manufactura, transporte, salud y software industrial usan sus librerías de IA física para avanzar el desarrollo de sistemas autónomos e IA industrial.

A medida que estas librerías pasan a ser agent-ready, los desarrolladores pueden usar los skills de NVIDIA para que los agentes automaticen setup, ejecución e iteración en flujos complejos de IA física.

En manufactura electrónica, TSMC y Pegatron están fine-tuneando modelos de inspección visual. Pegatron redujo el tiempo de entrenamiento y despliegue de modelos en 67% usando datos sintéticos generados con el skill Defect Image Generation.

Delta Electronics generó datos sintéticos de defectos y usó el skill para detectar exceso de soldadura en busbars de metal, mejorando la tasa de detección en 17%. Inventec desarrolló su pipeline de inspección visual Observation Agent integrando el skill Defect Image Generation, reduciendo el esfuerzo de recolección de datos de defectos para manufactura de chasis de laptops en 30%.

Foxconn, trabajando con DeepHow, usó el skill para mejorar la eficiencia de manufactura detectando errores temprano, subiendo el rendimiento de primera pasada en cerca de 3%.

En IA industrial, Cadence, Dassault Systèmes, Siemens y Synopsys usan librerías y skills de NVIDIA Omniverse para inspección de datos de ingeniería, simulación y digital twins interactivos. PTC, MetAI y Lightwheel están aprovechando el framework NVIDIA Isaac Sim y flujos basados en OpenUSD para transformar datos CAD en assets y ambientes listos para simulación.

Como parte de su roadmap "Autonomous Fab 2030", SK hynix implementa digital twins de fab de semiconductores usando NVIDIA Omniverse. La fabricante de chips también colabora con NVIDIA y SK Telecom para validar el NVIDIA Agent Toolkit en IA física específica de manufactura.

Los desarrolladores de conducción autónoma Li Auto, Afari y DeepRoute.ai usan los modelos NVIDIA Omniverse NuRec para reconstrucción y rendering de escenas neuronales. Ya generan más de 1.000 reconstrucciones y más de 300.000 renders y simulaciones por día.

Además, las empresas de AVs usan el nuevo repositorio de skills agénticos para acelerar y mejorar su desarrollo de sistemas de conducción autónoma más seguros y capaces. Foxconn, VinFast, Uber y HUMAIN se sumaron al ecosistema NVIDIA DRIVE Hyperion para desarrollar y desplegar robotaxis SAE Nivel 4.

Alpamayo 2 Super ya fue descargado más de 500.000 veces y fue nombrado "Mejor Tecnología" en Computex, dijo Spencer Huang, director de producto para robótica en NVIDIA.

¿Dónde se descargan estas herramientas?

NVIDIA dijo que sus herramientas y skills agénticos de IA física están disponibles vía GitHub y skills.sh para usar con cualquier agente de código.

Los skills y herramientas para generación de datos sintéticos (Neural Reconstruction, Video Augmentation y Defect Image Generation) también están disponibles en NVIDIA Brev como Physical AI Launchables, ambientes preconfigurados que empaquetan skills y herramientas para acelerar la generación y evaluación de datos sintéticos.

Microsoft, CoreWeave y Nebius están integrando estos skills y herramientas con sus servicios cloud para que los desarrolladores agilicen y escalen la generación y despliegue de datos sintéticos.

El humanoide de referencia de Isaac GR00T

NVIDIA también anunció el NVIDIA Isaac GR00T Reference Humanoid Robot, un diseño de referencia abierto de robot humanoide construido sobre NVIDIA Jetson Thor y la plataforma de desarrollo NVIDIA Isaac GR00T. Según la empresa, esto democratizará el acceso a hardware y software avanzados sin requerir plataformas propietarias caras, mientras crece el interés por humanoides de propósito general.

NVIDIA combinó un cuerpo de robot tamaño completo con manipulación destra, sensado, control y cómputo de IA a bordo.