Gecko Robotics usa la nueva capa de seguridad para IA agéntica de NVIDIA en sus robots de inspección, informó The Robot Report el 28 de septiembre. NVIDIA presentó ese día su Open Agent Safety Platform, que reúne el software de código abierto OpenShell y el diseño de referencia Sentry. Ambos apuntan a reforzar la gobernanza y el control sobre el hardware, el cómputo y el software de los robots que corren agentes de IA. Gecko figura entre las más de 100 organizaciones que trabajan con la tecnología.
El contexto son los incidentes recientes, entre ellos el de agentes de IA de OpenAI que esquivaron controles a nivel de aplicación para atacar a Hugging Face. Desde entonces, desarrolladores de IA y de robótica trabajan en trazabilidad, rendición de cuentas y medidas preventivas.
"A medida que seguimos descubriendo la frontera de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA", afirmó Jensen Huang, director ejecutivo de NVIDIA. "La seguridad y la protección requieren ingeniería de pila completa. NVIDIA Open Agent Safety Platform reúne a la industria, a los investigadores y a organizaciones del sector público para compartir buenas prácticas, alinearse en métodos de resolución y fomentar la cooperación internacional."
¿Qué hacen OpenShell y Sentry?
OpenShell crea un límite de ejecución seguro que registra todas las acciones y aplica políticas mientras los agentes de IA corren sobre las CPU Vera de NVIDIA. Entrega gobernanza determinista sobre la ejecución de los agentes, sus accesos y el destino de la inferencia, según NVIDIA.
Como es software de código abierto, OpenShell se puede extender a plataformas de cómputo de terceros, incluidas las de Arm e Intel, agregó la empresa de Santa Clara, California.
NVIDIA Sentry suma un vigilante fuera de banda que corre en unidades de procesamiento de datos (DPU) BlueField-4 y monitorea sin pausa el comportamiento de los agentes. Compara los resultados contra las políticas, dijo la compañía, y puede poner en cuarentena en milisegundos a un agente que intente salirse de sus límites.
"Para que la economía de agentes crezca, necesitamos una base confiable en el silicio y en el software", dijo Justin Boitano, vicepresidente de IA empresarial de NVIDIA, en una sesión con la prensa. "Queremos que todos participen para hacer avanzar una nueva capa de seguridad para agentes."
"El dominio de confianza independiente funciona como los autos autónomos", explicó. "El sistema principal corre la percepción, y una isla de seguridad garantiza que el sistema completo falle de forma segura. Los mismos principios se aplican a los sistemas de IA de frontera."
OpenShell puede descargar la seguridad en el silicio o en las DPU según haga falta, y Sentry vigila las trazas de razonamiento. La plataforma incluye además un Policy Proover, que es determinista y corre a mayor velocidad.
"Si escribes una política que dice que un agente no puede leer código de GitHub, el agente podría lanzar subagentes separados para leerlo y luego publicar esa información, con flotas que pasan por encima de las políticas globales", dijo Boitano. "El Policy Proover valida el árbol de decisión maestro y revisa en conjunto los accesos a archivos y a la red para encontrar exfiltraciones no previstas. Sale de la investigación de AWS sobre S3 para crear políticas verificables."
"Vemos el comportamiento de largo plazo de los agentes como un problema distinto al del aislamiento en sandbox", agregó. "OpenShell proyecta la intención de una política sobre la infraestructura."
¿Qué controla Gecko con agentes de IA?
Los incidentes recientes ocurrieron por completo dentro del software, pero Gecko Robotics dice que revelaron un problema potencial de todos los agentes de IA, robots incluidos. La empresa usó NVIDIA OpenShell para explorar cómo los límites exigibles pueden mantener a los robots con IA dentro de los permisos que definen las personas. Su objetivo, dice, es establecer las salvaguardas necesarias para desplegar más autonomía de manera responsable.
"Como dice Jensen, la seguridad es un problema de ingeniería, no un problema legal", dijo Jake Loosararian, cofundador y director ejecutivo de Gecko Robotics. "La idea de que perder el control de la IA es inevitable es una excusa peligrosa para no actuar. Tenemos la responsabilidad de construir salvaguardas que mantengan a la IA dentro de los límites que fijan los humanos."
"Lo que NVIDIA construyó con su Open Agent Safety Platform, y que Gecko está probando en robots, es enfrentar el riesgo antes de que llegue al mundo físico y ayudar a que más autonomía no se consiga a costa del control humano", agregó.
Los robots de Gecko trepan, se arrastran, vuelan y nadan sobre infraestructura crítica. Trabajan para empresas de energía del Fortune 100, para la Fuerza Aérea y para la Armada de Estados Unidos, e inspeccionan desde estanques de combustible hasta submarinos nucleares y portaaviones.
Ariel Weingarten, director de ingeniería de Gecko, dijo a The Robot Report que sus agentes tienen acceso a los mismos comandos de sistema que sus operadores de terreno. Entre ellos están estos:
- Iniciar y detener la captura de datos
- Controles de movimiento del robot y planificación de trayectorias
- Subir y bajar las cargas útiles
Los agentes no manejan el ciclo de vida de los datos ni la subida a la nube de gobernanza de Gecko, precisó Weingarten.
Mientras sigue la investigación sobre seguridad de agentes, Gecko, con sede en Pittsburgh, usa NVIDIA OpenShell como límite de ejecución seguro, con el que los desarrolladores definen qué acciones puede tomar el sistema y cuáles no están permitidas.
Komodo, el robot con capa de control propia
Komodo, un robot de Gecko que ya trabaja con la Armada de Estados Unidos, pone una capa de control independiente entre el agente de IA y el hardware. "El desarrollador decide qué debe hacer Komodo, y OpenShell asegura que se mantenga dentro de las reglas", explicó la empresa.
"La IA física y la robótica representan la próxima frontera de la tecnología", afirmó Gecko Robotics. "Llevar la inteligencia del software a las máquinas también trae una responsabilidad mayor. La seguridad a nivel del modelo no basta."
Como Gecko ya sigue controles de seguridad bien definidos para activos militares de Estados Unidos, implementarlos en OpenShell no fue tan difícil, dijo Weingarten.
"Al construir controles exigibles en toda la pila tecnológica, NVIDIA y Gecko ayudan a que las salvaguardas que gobiernan la IA física avancen tan rápido como la tecnología misma", agregó la empresa.
Cantilever, la plataforma de Gecko con IA, convierte los grandes volúmenes de datos que recogen sus robots en información para decidir sobre las estructuras. Como OpenShell vive dentro del límite de cada equipo Komodo en terreno, no interactúa de forma directa con Cantilever, aclaró Weingarten.
Gecko piensa usar la capa de seguridad de NVIDIA en sistemas de defensa y militares más adelante, según Weingarten. El control determinista también podría servir a nivel de enjambre.
"Ciertamente ayuda tener invariantes a nivel de cada unidad para razonar sobre la dinámica del enjambre o la flota", dijo Weingarten. "Nos entusiasma evolucionar a medida que pasamos del control de sistemas individuales a la operación asistida por agentes de un despliegue completo."
