NVIDIA JetPack 7.2.1: Video Agéntico y Emulación T3000
La reciente actualización JetPack 7.2.1 introduce habilidades de video agénticas y un jetson-videosdk unificado, permitiendo flujos de trabajo de video programables y conscientes del dispositivo sobre el Video Codec SDK y PyNvVideoCodec. Esto conecta la intención del desarrollador con el descubrimiento de dispositivos en tiempo real, configuraciones soportadas, ejecución reproducible y verificación de rendimiento.
El soporte para PyNvVideoCodec 2.2 en Jetson proporciona codificación y decodificación de video acelerada por hardware basada en Python. Aprovecha buffers de dispositivo CUDA y DLPack para una integración fluida en pipelines de IA, incluyendo funciones como muestreo de cuadros multimodo y ThreadedDecoder para optimizar la eficiencia y desacoplar la latencia de decodificación de la inferencia.
Además, JetPack 7.2.1 habilitó la emulación del rendimiento del Jetson T3000 en dispositivos Jetson T5000 usando el kit de desarrollo Jetson Thor AGX. Esto permite el desarrollo rápido de pipelines de video de IA de alto rendimiento y eficiencia energética, con una capa de habilidades fundamentales que se expandirá en futuras versiones para soportar aplicaciones integrales más amplias.
El video es una ruta de datos fundamental en las aplicaciones de NVIDIA Jetson, abarcando desde robótica y analítica de video inteligente hasta automatización industrial, salud, procesamiento de medios y operaciones remotas. Un sistema típico puede capturar múltiples cámaras, decodificar flujos de red, ejecutar inferencia de IA o procesamiento de visión convencional, dibujar resultados y codificar video para almacenamiento o transmisión.
Las llamadas individuales son sencillas; el trabajo de ingeniería reside en elegir la interfaz, el códec, el formato de píxel, la ruta de memoria, el control de tasa y el almacenamiento en búfer adecuados para el dispositivo Jetson, garantizando que la ruta completa cumpla con los objetivos de latencia, rendimiento y calidad.
NVIDIA JetPack 7.1 introdujo el soporte de NVIDIA Video Codec SDK en Jetson Thor, brindando a los desarrolladores de C y C++ acceso directo y detallado a NVIDIA Video Encoder (NVENC) y NVIDIA Video Decoder (NVDEC).
Por primera vez en Jetson, JetPack 7.2.1 añade soporte para PyNvVideoCodec 2.2, la biblioteca de NVIDIA Python para codificación y decodificación acelerada por hardware en GPUs NVIDIA. PyNvVideoCodec produce y consume cuadros de video como memoria de dispositivo residente en GPU, expuesta a través del protocolo DLPack y buffers de CUDA. Incluye características amigables con pipelines de IA como muestreo de cuadros multimodo y ThreadedDecoder, que fortalece la eficiencia del pipeline al pre-decodificar cuadros en un hilo de fondo, desacoplando la latencia de decodificación de la latencia de inferencia.
JetPack 7.2.1 también aporta habilidades de video agénticas fundamentales sobre estos SDKs. Los SDKs suministran las primitivas de video programables; las habilidades conectan el objetivo de un desarrollador con el descubrimiento de dispositivos en vivo, configuraciones soportadas, recetas de trabajo, ejecución, medición y evidencia reproducible. Juntos, aceleran el desarrollo de modelos abiertos y agentes en Jetson, poniendo el rendimiento de IA de clase frontera en manos de cada desarrollador.
Del prompt al pipeline verificado
Un prompt como “¿Cuántos flujos H.264 1080p30 puede ejecutar este Jetson para un caso de uso de baja latencia?” no puede responderse solo con generación de código o una hoja de datos. Depende del software instalado, las capacidades de códec operativas del objetivo, la ruta de memoria y una ejecución controlada que demuestre la latencia y el rendimiento.
Las habilidades de video de Jetson convierten esa intención en un flujo de trabajo de códec repetible: inspeccionar el objetivo, elegir una ruta de Video Codec SDK o PyNvVideoCodec soportada, generar una configuración probada, ejecutarla y devolver resultados medidos con advertencias y evidencia.
Las habilidades de video de Jetson proporcionan una capa de flujo de trabajo agéntico sobre Video Codec SDK y PyNvVideoCodec, que utilizan los motores de hardware NVENC y NVDEC.
Habilidades fundamentales para flujos de trabajo de video en Jetson
JetPack 7.2.1 introduce flujos de trabajo de video fundamentales a través de la habilidad unificada jetson-videosdk. Los desarrolladores pueden invocar cada flujo de trabajo de forma independiente o combinarlos para configurar y verificar etapas de códec dentro de un pipeline más amplio. Las futuras versiones ampliarán esta base con habilidades adicionales en los flujos de trabajo de desarrollo de Jetson.
- Descubrir, configurar e informar capacidades: Identificar la plataforma Jetson y el software instalado, guiar la configuración soportada y consultar códecs de codificación y decodificación, formatos, rutas de memoria y capacidades de sesión en el objetivo en tiempo real.
- Generar recetas de codificador: Traducir objetivos como baja latencia, calidad constante, tasa de bits restringida, resolución, tasa de cuadros y elección de códec en configuraciones explícitas y rutas ejecutables de Video Codec SDK o PyNvVideoCodec.
- Evaluar rendimiento y calidad: Ejecutar mediciones repetibles de rendimiento (throughput), latencia, utilización, tasa de bits y calidad de salida.
- Validar el flujo de trabajo del códec: Conectar la configuración, selección de receta, codificación o decodificación, medición y entrega de artefactos; luego devolver la configuración, resultados, advertencias y evidencia necesaria para reproducir el resultado.
¿Qué añaden las habilidades sobre el SDK?
Los SDKs proporcionan primitivas de video aceleradas; las habilidades añaden configuración y verificación conscientes del dispositivo. Distinguen las capacidades anunciadas de las operaciones que tienen éxito en el objetivo y preservan las recetas, entradas, salidas y mediciones para la reproducibilidad.
Construir un pipeline de video con IA usando PyNvVideoCodec y habilidades de Jetson
Considere el prompt: “Decodifica este video, aplica mi procesamiento de IA o visión computacional, y verifica que la etapa de códec cumpla con mi objetivo de rendimiento”. Un asistente de codificación utiliza la habilidad de video de Jetson para configurar y validar PyNvVideoCodec, mientras que las aplicaciones de ejemplo proporcionadas con PyNvVideoCodec suministran un andamiaje de aplicación de referencia.
Paso 1: Inspeccionar y configurar. El asistente de codificación invoca la habilidad para verificar la plataforma Jetson, el software y las capacidades de códec, luego selecciona el decodificador, formato de salida, ruta de memoria y almacenamiento en búfer.
Paso 2: Decodificar en datos de framework. Una muestra de PyNvVideoCodec puede preparar cuadros en un hilo de fondo y entregar cada cuadro a un tensor de framework sin código de búfer de códec específico de la aplicación.
Paso 3: Completar el flujo de la aplicación. Con la etapa de códec configurada, el asistente de codificación puede extender la aplicación de ejemplo con las etapas requeridas por el prompt, por ejemplo, preprocesamiento, detección o clasificación, filtrado de privacidad como desenfoque, visualización y manejo de salida. El modelo exacto de IA o visión computacional y la lógica de la aplicación siguen siendo elecciones del desarrollador.
Paso 4: Medir y verificar. La habilidad registra la configuración del códec y verifica el estado de ejecución, rendimiento, latencia, utilización, advertencias y evidencia.
Nota de alcance: Las habilidades de video de JetPack 7.2.1 cubren Video Codec SDK y PyNvVideoCodec. No añaden habilidades de GStreamer, V4L2, modelos de IA o construcción de pipelines a nivel de aplicación en esta versión. Complementan a un asistente de codificación en las etapas de códec. Las habilidades adicionales de Jetson en futuras versiones podrán componerse con estas para soportar aplicaciones integrales más amplias.
Elegir la interfaz de video de Jetson para cada etapa del pipeline
Jetson expone video a través de capas de software complementarias. GStreamer proporciona composición de pipeline de alto nivel, V4L2 proporciona controles de dispositivo de video y buffer de Linux, Video Codec SDK proporciona acceso de bajo nivel en C/C++ a NVENC y NVDEC, y PyNvVideoCodec se construye sobre las APIs centrales de Video Codec SDK con interfaces de Python más simples. Estas capas pueden combinarse cuando un flujo de trabajo cruza la captura.
(Vía NVIDIA Developer Blog.)
