Los desarrolladores que construyen aplicaciones de analitica de video en espacios grandes enfrentan un problema comun: seguir el mismo objeto a medida que se mueve entre distintas camaras. El seguimiento 2D con una sola camara carece de informacion de profundidad confiable y suele perder el objeto cuando sale del cuadro, lo que limita usos como la seguridad en bodegas, la analitica en retail o el monitoreo de edificios inteligentes. Los metodos actuales de tracking 3D, ademas, exigen calibracion manual de camaras y calculos complejos.
NVIDIA DeepStream 9.1 aborda ese desafio con dos habilidades nuevas: AutoMagicCalib (AMC) y Multi-View 3D Tracking (MV3DT). Juntas fusionan las detecciones de multiples camaras autocalibradas en un sistema de coordenadas 3D compartido y mantienen un ID de objeto consistente entre todas las vistas.
¿Que trae de nuevo DeepStream 9.1?
- Acceso a 13 habilidades para agentes disenadas para acelerar el desarrollo de vision con IA
- La habilidad de tracking 3D multicamara (MV3DT) para seguimiento de objetos de extremo a extremo entre varias camaras
- La habilidad AutoMagicCalib (AMC), que automatiza la calibracion de camaras y reduce el esfuerzo manual y los errores
- Soporte para NVIDIA JetPack 7.2, que habilita rendimiento acelerado de vision con IA en placas de borde Jetson como Orin y Thor
- Disponibilidad de codigo abierto a traves de un repositorio unificado en GitHub
DeepStream 9.1 ya esta disponible en el repositorio de GitHub de NVIDIA DeepStream, con codigo fuente completo y aplicaciones de referencia.
¿Como sigue MV3DT un objeto entre camaras?
MV3DT proyecta las detecciones de multiples camaras calibradas hacia un sistema de coordenadas 3D compartido. Luego asocia las observaciones de un mismo objeto entre las distintas vistas y le asigna un unico ID global consistente. Cada camara proyecta los objetos a 3D de forma independiente y el sistema fusiona esas entradas para garantizar un seguimiento coherente en todo el entorno. Los algoritmos de asociacion multivista y las tecnicas de fusion 3D estan detallados en el paper de investigacion Fully Distributed Multi-View 3D Tracking in Real-Time.
El flujo de datos funciona asi:
- Deteccion: el pipeline de DeepStream procesa todos los flujos de camara y el rastreador MV3DT detecta y sigue objetos en cada vista. Soporta tres modelos detectores de fabrica: PeopleNetTransformer (detector de personas basado en transformers, por defecto en escenas peatonales), PeopleNet v2.6.3 (detector de alta eficiencia sobre la arquitectura DetectNet_v2) y RT-DETR 2D (detector multiclase para entornos industriales, capaz de reconocer peatones, transportadores y montacargas).
- Percepcion 3D monocular: cada camara usa una matriz de proyeccion de 3x4 (guardada en un archivo de calibracion YAML) para retroproyectar las detecciones 2D a coordenadas del mundo en 3D, asumiendo un plano de suelo.
- Asociacion multivista: el rastreador usa MQTT, un protocolo liviano de mensajeria de publicacion y suscripcion, para compartir los tracklets entre camaras. Cuando dos camaras observan a la misma persona, el algoritmo cruza sus tracklets por proximidad en el espacio 3D y asigna un unico ID global.
- Salida: los resultados se entregan en tres formatos: una vista en pantalla (OSD) con las cajas delimitadoras superpuestas, una vista cenital (BEV) que muestra las trayectorias en coordenadas del mundo, y mensajeria Kafka con metadatos estructurados por cuadro para aplicaciones posteriores.
¿Como automatiza AMC la calibracion?
MV3DT necesita camaras calibradas que mapeen con precision los pixeles de la imagen a coordenadas del mundo mediante esa matriz de 3x4. Los enfoques tradicionales son manuales y lentos: suelen requerir colocar patrones de calibracion (como tableros de ajedrez) frente a las camaras, lo que obliga a interrumpir las operaciones.
AMC simplifica y automatiza ese proceso analizando con DeepStream los objetos que se mueven en archivos de video o flujos ya existentes. Estima de forma automatica los parametros intrinsecos (distancia focal, punto principal, distorsion de lente) y extrinsecos (rotacion, traslacion, posicion en el mundo) de cada camara para producir los archivos de calibracion. De manera opcional puede apoyarse en VGGT, un modelo que aporta mayor precision cuando el movimiento de los objetos es limitado. El usuario solo debe entregar una imagen de plano y definir unos pocos puntos de alineacion. AMC se ofrece como microservicio con API REST e interfaz web.
Un giro hacia el desarrollo con agentes
La novedad conceptual de DeepStream 9.1 es que sus habilidades estan pensadas para que las usen agentes de codigo como Claude Code, Codex u otros. En lugar de ejecutar scripts a mano y editar archivos de configuracion, el desarrollador describe en lenguaje natural lo que quiere y el agente se encarga del montaje, la configuracion y la ejecucion del pipeline de tracking multicamara. Todo el codigo y las aplicaciones de referencia estan disponibles en el repositorio de DeepStream en GitHub.
