Un agente de análisis de video capaz de percibir, razonar y actuar sobre grandes volúmenes de material grabado solo resulta útil si se integra con los flujos de trabajo y las aplicaciones que una empresa ya tiene: sistemas de gestión de contenidos, plataformas de mensajería, bases de datos, colas de tickets y rutas de escalamiento.
Esa integración es difícil porque los sistemas de video, las bases de conocimiento corporativas y las herramientas operativas suelen vivir en silos separados. El salto que propone NVIDIA con NemoClaw es pasar de la pregunta "¿qué muestra este video?" a "¿qué debemos hacer al respecto y cómo coordinamos esa acción a escala?".
¿Qué son NemoClaw y los NVIDIA Blueprints?
NemoClaw es una colección de blueprints abiertos para construir agentes autónomos. Busca que el ecosistema pueda armar agentes especializados por dominio y siempre activos, más seguros, rápidos y eficientes en costo, tanto en flujos digitales como físicos.
Los NVIDIA Blueprints son flujos de referencia personalizables para construir pipelines de IA agéntica a escala empresarial. Combinan microservicios especializados, modelos optimizados y APIs componibles. Los dos blueprints principales que usa este enfoque son:
- Metropolis VSS (Video Search and Summarization): ingiere video en streaming o de archivo, genera descripciones y metadatos visuales, y soporta búsqueda semántica, preguntas y respuestas interactivas y resumen de eventos.
- RAG (generación aumentada por recuperación): indexa documentos propios de la empresa (manuales, políticas, regulaciones, procedimientos) en un almacén vectorial acelerado por GPU para búsqueda semántica rápida.
¿Cómo captura la intención y genera reportes?
VSS ofrece un análisis de video guiado y consciente del contexto mediante tres herramientas que trabajan juntas. Antes de procesar nada, prompts con humano en el circuito (HITL) capturan qué quiere el usuario:
- Resumen de video largo (LVS): el usuario especifica el escenario, los eventos de interés, los objetos a seguir y una consulta opcional de conocimiento.
- Recuperación de conocimiento: llama al blueprint de RAG para traer contexto específico de la organización desde documentos, políticas y datos de referencia.
- Generación de reportes: produce un informe estructurado que combina el análisis de video con el contexto recuperado, con marcas de tiempo, análisis narrativo y citas a las fuentes.
Un ejemplo concreto: coach de alimentación saludable
Para demostrar el flujo, NVIDIA arma un "coach de alimentación saludable" que analiza videos de comidas y devuelve pasos concretos y rastreables. El usuario sube un video de preparación de una comida, y NemoClaw arranca el flujo: lee la definición de la habilidad (un archivo SKILL.md) para saber qué parámetros necesita y guía al usuario con una serie corta de prompts en su terminal.
Con los parámetros confirmados, NemoClaw orquesta el pipeline: la herramienta LVS consulta primero al blueprint de RAG por las guías nutricionales relevantes, luego pasa el video y el contexto recuperado al servicio LVS, que resume el video de forma jerárquica y entreteje el conocimiento de referencia en sus hallazgos.
De reporte a acción coordinada
Acá está la parte novedosa: NemoClaw lee el reporte terminado y lo convierte en acción. Presenta el análisis con enlaces a los reportes en Markdown y PDF y al video, un resumen y los pasos recomendados. Luego crea automáticamente un ticket en Jira que resume los hallazgos con prioridad y asignación adecuadas para que las tareas se rastreen hasta completarse.
Este paso no se limita a Jira. Según lo que contenga el reporte, NemoClaw también puede escalar patrones que emergen entre múltiples ejecuciones, agrupar evidencia para revisión o cumplimiento, y enrutar vacíos al flujo de seguimiento correspondiente. El reporte deja de ser un documento estático y se vuelve el disparador de una acción coordinada.
¿Cómo está armada la arquitectura?
El sistema se organiza en cuatro capas: la orquestación (el agente NemoClaw, la habilidad y los prompts HITL); el agente VSS (herramientas de video, búsqueda, comprensión, LVS, recuperación de conocimiento y generación de reportes); el blueprint de RAG (API de RAG de NVIDIA, base de datos vectorial Milvus, un NIM de reordenamiento basado en Nemotron y los documentos indexados); y la fusión con el modelo de lenguaje, que enriquece el resumen de VSS con el contexto recuperado.
Para desplegarlo, NVIDIA lista como requisitos al menos una GPU con 24 GB de VRAM, Docker Engine con Docker Compose v2, claves de API de NGC y de NVIDIA Build, el blueprint de RAG desplegado y accesible, y NemoClaw instalado. El código de VSS se clona desde el repositorio público de NVIDIA en GitHub, con lo que cualquier equipo con hardware compatible puede replicar el flujo completo sin depender de un servicio en la nube.
