Quienes desarrollan aplicaciones de diseño 3D, simulacion, robotica y gemelos digitales industriales necesitan formas de llevar capacidades de IA fisica a las herramientas que ya usan. Muchos de esos flujos dependen de escenas OpenUSD, activos listos para simulacion (SimReady), pipelines basados en Blender o cadenas de CAD. El desafio es entregar a esas aplicaciones y a los agentes de IA herramientas invocables para inspeccionar escenas, generar salidas de sensores y devolver evidencia confiable.

Las librerias de NVIDIA Omniverse, ahora parte del NVIDIA Agent Toolkit, aportan bloques modulares para sumar esas capacidades sin reescribir la aplicacion. ovrtx es la libreria de simulacion de sensores RTX de esa pila, disponible como software preliminar en GitHub. Ofrece un SDK ligero en C y Python para generar salidas de camara, lidar, radar y sensores relacionados desde contenido OpenUSD, manteniendo el control dentro de la aplicacion anfitriona.

¿Que hacen las librerias Omniverse por el desarrollador?

La simulacion y el renderizado se estan volviendo parte de la capa de aplicacion en diseño, robotica, vehiculos autonomos, gemelos digitales industriales e IA fisica. Los equipos necesitan visualizar escenas OpenUSD, generar datos con base fisica, probar sistemas de percepcion y ver resultados dentro de las herramientas que ya usan: sistemas CAD, flujos con Blender, procesos PLM o PDM y pipelines de activos OpenUSD.

Presentadas en SIGGRAPH 2026, las librerias Omniverse ahora forman parte del Agent Toolkit, con ovrtx como capa de simulacion de sensores RTX. Ayuda a aplicaciones y agentes a generar salidas de camara, lidar, radar, segmentacion semantica y verificacion visual previa desde escenas OpenUSD.

Flujo de una aplicacion que usa datos de escena OpenUSD con ovrtx para generar salidas de camara y sensores renderizadas con RTX
Flujo de una aplicacion que usa datos de escena OpenUSD con ovrtx para generar salidas de camara y sensores renderizadas con RTX

¿Como se integra ovrtx en flujos existentes?

El principio central es directo: como desarrollador, puedes llevar la simulacion de sensores RTX de NVIDIA Omniverse a tus propias aplicaciones mientras mantienes el control de la arquitectura, la interfaz, el modelo de datos y el flujo de trabajo. El SDK esta pensado para proyectos que necesitan un visor 3D en tiempo real, renderizado RTX o simulacion de sensores, incluidos camara, lidar, radar y ultrasonido.

Una integracion tipica sigue cinco pasos:

  • Crear y configurar un renderizador de ovrtx.
  • Cargar o referenciar contenido OpenUSD desde el pipeline existente de la aplicacion.
  • Definir los RenderProducts y RenderVars para camara, lidar, radar, segmentacion semantica u otras salidas.
  • Ejecutar el renderizado o la simulacion de sensores desde el bucle de la aplicacion.
  • Mapear los resultados de vuelta a memoria de CPU o GPU para mostrarlos, guardarlos, analizarlos o pasarlos a otro proceso.

El siguiente pseudocodigo ilustra el patron: la aplicacion anfitriona es dueña del flujo.

Código
renderer = ovrtx.Renderer()
renderer.open_usd(app_scene_or_usd_layer)

render_products = {"/Render/Camera"}  # Agrega lidar, radar u otras salidas.

while app.is_running():
    app.update_scene_state()

    products = renderer.step(
        render_products=render_products,
        delta_time=app.frame_delta_seconds,
    )

    for product in products.values():
        for frame in product.frames:
            color = frame.render_vars["LdrColor"].map(device=ovrtx.Device.CPU)
            app.use_render_output(color)

El control permanece en la aplicacion anfitriona: la app es dueña del bucle, ovrtx produce las salidas de renderizado o sensores pedidas y los resultados vuelven al flujo para mostrarse, almacenarse o procesarse.

Parte de una pila mas amplia

ovrtx no trabaja solo. Se combina con otras librerias Omniverse: ovphysx para simulacion fisica, ovstream para streaming, ovstorage para gestion de datos y ovstage, que provee un escenario compartido en tiempo de ejecucion para los datos de escena OpenUSD y permite que librerias como ovphysx y ovrtx intercambien estado de simulacion e identidades de objetos a traves de un sustrato de datos comun.

Juntas habilitan tuberias de simulacion y visualizacion multimodales orientadas a produccion, claves para la generacion de datos sinteticos (SDG), los gemelos digitales y la validacion de IA fisica en dominios 3D e industriales avanzados. Los ejemplos incluyen un flujo con PTC Onshape Render Studio nativo en la nube y una muestra SimReady basada en Blender.