Los flujos de trabajo con IA agéntica sirven para preparar y validar gemelos digitales destinados a sistemas de IA física. Los agentes pueden inspeccionar escenas 3D, escribir datos relevantes para simulación en OpenUSD, agregar propiedades físicas, renderizar vistas previas y validar el resultado contra los requisitos SimReady. El flujo que publicó NVIDIA en su blog para desarrolladores recorre ese proceso desde una escena en Blender hasta la entrega de un OpenUSD listo para simular en NVIDIA Isaac Sim o NVIDIA Isaac Lab.

En la práctica, sin embargo, quien construye agentes para robótica suele quedarse atascado. La tentación es culpar a la política de control, al modelo o al bucle de entrenamiento, pero el cuello de botella aparece antes. El robot no tiene un mundo listo para simular donde entrenar, y el trabajo extra para dejar una escena 3D en ese estado es laborioso, lento y muchas veces queda fuera del alcance del ingeniero de simulación robótica.

El flujo usa las bibliotecas NVIDIA Omniverse. Codex, que corre sobre GPT-6 Astra de OpenAI, coordina la tarea completa, interpreta los resultados y guía las iteraciones. Los subagentes especializados se construyen con el armazón de agentes Hermes y se despliegan a través de NVIDIA NemoClaw, y son los que inspeccionan la escena, escriben los metadatos de simulación, configuran la física y renderizan las vistas previas.

Entre los tres componentes se conectan el razonamiento, la ejecución de herramientas y la validación en un proceso repetible.

¿Por qué cuesta preparar la escena?

La escena existe, los objetos están ahí, creados por un artista 3D en Blender. La pregunta es si sirve para simular, y eso depende de un trabajo previo que casi nunca está hecho.

  • ¿Los objetos están etiquetados?
  • ¿Las mallas de colisión son correctas?
  • ¿Los materiales tienen sentido para la simulación?
  • ¿Los sensores están puestos y configurados?
  • ¿La escena exporta limpia a USD?
  • ¿El robot puede percibir los objetos objetivo?
  • ¿La escena va a pasar la validación antes de que se quemen horas depurándola en Isaac Sim o Isaac Lab?

Esta preparación es tediosa, repetitiva y fácil de equivocar. También es justo el tipo de trabajo donde los sistemas agénticos deberían ayudar, siempre que tengan las herramientas correctas. El sentido de usar las bibliotecas Omniverse en un flujo con agentes es integrar esas herramientas para construir mundos SimReady.

¿Qué puede hacer un agente acá?

Un agente de propósito general como Codex de ChatGPT o Claude Cowork de Anthropic puede mirar una escena de Blender y reconocer que le falta trabajo para simular. Reconocerlo sirve, y no alcanza. Para ayudar a un desarrollador de robótica, el agente tiene que poder actuar sobre la escena.

  • Inspeccionar la escena de Blender
  • Identificar los metadatos de simulación que faltan
  • Agregar etiquetas semánticas
  • Configurar sensores
  • Escribir formas de colisión y propiedades físicas
  • Renderizar vistas previas
  • Correr la validación SimReady
  • Reparar de forma automática los problemas seguros
  • Escalar a una persona las decisiones ambiguas

Un pedido amplio como dejar una escena 3D lista para simular se convierte así en un flujo de ingeniería con varios agentes. Codex o Claude actúa como agente principal y coordina la tarea. NVIDIA NemoClaw aporta una arquitectura de referencia para construir los subagentes especializados que hacen cada trabajo. Esos subagentes pueden apoyarse en armazones de código abierto como Hermes, OpenClaw o LangChain, configurados con distintos modelos NVIDIA Nemotron para visión, razonamiento y uso de herramientas.

En una configuración con Astra y Hermes, Codex usa Astra para traducir el objetivo del desarrollador en tareas, identificar dependencias y revisar los resultados que devuelven los subagentes Hermes desplegados con NemoClaw. Un ejemplo concreto, hacer que un objeto sea agarrable exige actualizaciones coordinadas en su etiqueta semántica, en su configuración de cuerpo rígido y en su geometría de colisión. Astra conecta esos requisitos entre subagentes y determina qué verificaciones hacen falta antes de que el flujo avance.

Las herramientas que tocan la escena

Las bibliotecas Omniverse son las herramientas que los subagentes llaman para actuar. Las operaciones OpenUSD establecen la estructura compartida de la escena, ovphysx escribe y revisa las propiedades físicas, ovrtx renderiza las vistas previas y la validación SimReady evalúa los objetos resultantes contra un perfil de simulación objetivo.

Cada subagente es dueño de un trabajo específico y de sus criterios de aceptación. Los problemas mecánicos y seguros se arreglan solos. Las decisiones que dependen de la intención del desarrollador, como una etiqueta semántica dudosa o un comportamiento físico, se escalan a una persona con el contexto relevante y una propuesta de paso siguiente.

  • Codex o Claude coordina
  • Los agentes NemoClaw razonan
  • Las bibliotecas Omniverse actúan

Esas tres capas convierten la instrucción "dejá esta escena lista para simular" en un flujo con herramientas, trabajos especializados, un estado persistente de la escena, compuertas de validación y revisión humana donde el criterio importa.

Figura 1. Flujo de referencia que muestra cómo usar las bibliotecas Omniverse para activar una escena de Blender con agentes

Cómo se arma el flujo

Lo primero es especificar el objetivo principal para el agente orquestador, con la entrada, la salida deseada, el destino y los criterios de validación. Eso le da a Codex o a Claude la estructura suficiente para coordinar la tarea, repartir el trabajo entre los subagentes NemoClaw y decidir cuándo el trabajo está realmente terminado.

Código
Entrada: escena de Blender
Objetivo: prepararla para simulación robótica
Salida: mundo listo para simular, basado en USD
Destino: Isaac Sim o Isaac Lab
Validación: vista previa visual + validación SimReady

Al especificar el objetivo principal, la tarea deja de ser "mejorá esta escena" y pasa a ser un flujo coordinado. Codex o Claude administra el pedido completo, los subagentes NemoClaw razonan sobre trabajos especializados y las bibliotecas Omniverse aportan las herramientas que modifican, renderizan, validan y preparan el mundo.

Paso 1. Inspeccionar la escena con Blender MCP

El primer subagente se conecta a Blender mediante un servidor Model Context Protocol (MCP) y lo usa para inventariar la escena. MCP le da al agente una interfaz controlada de herramientas hacia Blender. En lugar de adivinar a partir de capturas de pantalla o depender de exportaciones manuales, el agente puede llamar herramientas para inspeccionar objetos, colecciones, transformaciones, materiales, cámaras, luces y metadatos de la escena. Ese inventario se vuelve el contexto compartido que usan los demás subagentes.

Este subagente debería responder qué objetos existen, qué colecciones y jerarquía hay, qué materiales están asignados, qué cámaras y luces están presentes, qué parece un objetivo del robot o un obstáculo, un piso, una repisa o un contenedor, y qué datos de simulación faltan.

La salida se estructura de esta forma.

Código
{
  "objects": 142,
  "materials": 37,
  "missing": [
    "semantic_labels",
    "collision_meshes",
    "camera_sensors",
    "physics_materials"
  ]
}

El subagente de inspección Hermes devuelve sus hallazgos estructurados a Codex. Astra usa ese inventario y el objetivo robótico del desarrollador para identificar la información que falta y planificar las tareas siguientes. Identificar los objetos objetivo del robot, por ejemplo, ayuda a determinar qué elementos necesitan propiedades de cuerpo móvil y qué puntos de vista de sensor requieren revisión. Codex delega después esas tareas a los subagentes Hermes que correspondan, con criterios de aceptación claros y con los supuestos sin resolver marcados para que los defina el desarrollador.

La demostración usa The Junk Shop, de Alex Trevino, sobre un concepto original de Anais Maamar. Codex coordina a NemoClaw para orquestar qué subagente hace falta en cada pedido, y NemoClaw trabaja a través de Blender MCP para recorrer la escena e inventariar objetos, materiales y estructura.

Figura 2. El complemento de Blender conecta los datos de la escena con las bibliotecas Omniverse a través de gRPC, y lleva el renderizado y la física de vuelta al visor de Blender

Paso 2. Llevar la escena a USD

Blender es el entorno de autoría. USD es la entrega hacia la simulación, porque les da a los agentes y a las herramientas de aguas abajo una representación compartida y estructurada del mundo. Una vez que la escena está escrita en USD, los subagentes pueden inspeccionar prims, agregar metadatos, validar requisitos y pasar el mismo mundo hacia Isaac Sim o Isaac Lab sin depender de exportaciones frágiles hechas una sola vez.

El agente de autoría USD usa las bibliotecas Omniverse para preservar la jerarquía, las transformaciones, los materiales, las etiquetas, los metadatos de física y las definiciones de sensores.

Hay una regla útil para quien construye agentes. Si otro agente o un simulador va a necesitar apoyarse en ese dato más adelante, hay que escribirlo en USD.

USD está pensado para composición de escena por capas y no destructiva, así que los agentes pueden agregar etiquetas, metadatos de física, definiciones de sensores, materiales y datos de validación sin aplastar el trabajo creativo original. Eso evita que el flujo se convierta en un montón de ediciones temporales atrapadas dentro de una sola herramienta, y le da a cada paso posterior una fuente de verdad compartida e inspeccionable.

Figura 3. USD compone la escena final a partir de subcapas discretas, objetos, iluminación y materiales, cada una editable por separado antes de combinarse

Paso 3. Agregar etiquetas semánticas

Los robots no se conforman con geometría, necesitan significado. El agente de etiquetado semántico convierte mallas anónimas en objetos conscientes de la tarea, repisas, contenedores, pisos, obstáculos, elementos agarrables y objetivos del robot. Al escribir esas etiquetas en USD, el flujo les entrega a los agentes y a las herramientas de robótica que vienen después un vocabulario común para percepción, validación, datos sintéticos y preparación del entrenamiento.

El agente etiqueta los prims con clases relevantes para la tarea, entre ellas grabbable_object, robot_target y no_go_zone. Puede inferir las etiquetas a partir de los nombres de objeto, la jerarquía, la forma y el contexto, y también debe marcar su propia incertidumbre.

Código
Se etiquetaron 118 prims.
9 etiquetas necesitan revisión.

En esa última etapa el agente ovrtx inspecciona la escena de Blender a través del flujo y aplica la segmentación semántica y las etiquetas que la escena necesita para quedar lista para simulación robótica.