Nvidia está convocando a la industria tecnológica a usar su nueva herramienta de código abierto para la seguridad de la IA, en medio de reportes que siguen sumando incidentes de agentes que causan daños en infraestructura en línea, informó Wired el 28 de septiembre.
En los últimos meses, los laboratorios de IA de frontera han revelado varios incidentes en que agentes de IA entraron a sistemas de otras empresas y, en los casos más recientes, sondearon sitios oficiales del gobierno de Estados Unidos y de Australia. Nvidia ya venía encabezando la coordinación de la industria en torno a la seguridad de código abierto. Ahora presenta una plataforma de seguridad nueva y abre a más usuarios un entorno aislado para IA agéntica.
¿Qué es OpenShell?
OpenShell, uno de los entornos aislados (sandboxes) para agentes de IA que Nvidia lanzó hace poco, entra en disponibilidad general para todos los usuarios. Se anunció por primera vez en la conferencia GTC de Nvidia en marzo. Es un marco para contener a los agentes mientras ejecutan tareas y aislar su actividad en el kernel del sistema operativo, el programa base que tiene acceso a prácticamente todas las partes de un computador para coordinar hardware y software.
Los materiales de lanzamiento de Nvidia indican colaboraciones de seguridad de IA con decenas de empresas tecnológicas, entre ellas Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft y Palantir. Según Nvidia, SpaceXAI usa la Open Agent Safety Platform para sus agentes Cursor y sus modelos Grok. La empresa también dice que Anthropic y Nvidia están "incorporando seguridad en Claude Managed Agents". Salesforce, Scale AI y SAP confirmaron que integran OpenShell en alguna medida. Wired advierte que no está claro si toda la lista de socios de Nvidia adoptó OpenShell o si la empresa habla en términos generales.
El nombre que falta en la lista
Un nombre conocido no aparece en ninguna parte de la lista de Nvidia. OpenAI. Ambas empresas indicaron que OpenAI participa del esfuerzo de OpenShell, pero las dos se negaron a comentar por qué el laboratorio quedó fuera del anuncio.
Los ingenieros de seguridad y los especialistas en seguridad de IA hablaban de la necesidad de aislar y vigilar la IA agéntica desde mucho antes de las revelaciones recientes sobre agentes que atacaron sistemas. El propio anuncio de OpenShell de Nvidia en marzo señalaba que el marco agregaría "controles de privacidad y seguridad para hacer que los agentes de IA autónomos que evolucionan por sí mismos, o claws, sean más confiables, escalables y accesibles". Eso fue meses antes de que OpenAI revelara que sus agentes habían atacado a Hugging Face, la empresa de IA de código abierto. (Nvidia acordó comprar Hugging Face a comienzos de este mes por 12.900 millones de dólares.)
Sentry, la cuarentena en el chip
Nvidia también desarrolló una plataforma de software nueva llamada Sentry, un dominio de seguridad aislado a nivel de chip que debe vigilar de forma continua a los agentes de IA que corren durante mucho tiempo. Aunque Sentry es técnicamente software, está pensado para implementarse sobre BlueField, la línea de unidades de procesamiento de datos (DPU) programables de Nvidia. La idea es que, además de las restricciones que impone OpenShell, Sentry funcione como un mecanismo separado e independiente que pueda "poner en cuarentena a los agentes que intenten salirse de sus límites".
Sentry es otra vía para que los clientes de Nvidia y los usuarios de código abierto apliquen en la práctica las políticas de seguridad a través de OpenShell, explicó Justin Boitano, vicepresidente y gerente general de computación empresarial de Nvidia. Los sandboxes tradicionales se construyen para "aislamiento a nivel de aplicación", pero hoy la gente quiere correr flotas de agentes, y eso exige una "política colectiva sobre todos esos agentes", dijo.
"Los agentes son muy creativos para encontrar formas de lograr los objetivos que se les dan", dijo Boitano. "Con esto, los agentes solo tienen acceso a la intención que el equipo de seguridad quiere que tengan."
Boitano agregó que Nvidia trabaja con Arm y con Intel para crear una versión de Sentry que funcione sobre la arquitectura x86. "Una vez que corra en esos conjuntos de instrucciones, puede correr en cualquier arquitectura", afirmó.
Nvidia presenta todo esto como parte de un nuevo marco de código abierto llamado Open Agent Safety Platform, que ahora reúne a OpenShell y a Sentry.
¿Quién gobierna la seguridad de los agentes?
En julio Nvidia lanzó una coalición de seguridad de IA para toda la industria que hoy reúne a más de 120 empresas. Su objetivo declarado era reducir los riesgos de la IA, en particular mediante un programa llamado Shared AI Findings Exchange (SAFE). El mes pasado, Boitano dijo que SAFE fue diseñado para ser "gobernado de forma independiente, sin que ninguna empresa o segmento de la industria controle sus hallazgos".
Pero una empresa aparece una y otra vez en el centro de estas iniciativas de código abierto para toda la industria, y es Nvidia. La empresa más valiosa del mundo, de la que depende casi toda la industria tecnológica para conseguir los chips de mayor rendimiento, parece estar tomando posiciones para ampliar su influencia y fijar estándares en distintos niveles de la pila de IA, desde el silicio hasta el software de seguridad, apunta Wired.
Los esfuerzos para contener y controlar agentes ya avanzan en toda la industria. Aun así, el comportamiento reciente de agentes fuera de control sugiere que hace falta insistir en prácticas de seguridad básicas y antiguas, incluso dentro de los laboratorios de frontera que valen billones de dólares. Algunos especialistas dicen que esto también toca el fondo de la pregunta sobre qué significa realmente que un software autónomo "se salga de control".
"Cualquier cosa que les facilite a las empresas desplegar agentes con más barreras y más seguridad merece aplauso", dijo Niels Provos, ingeniero e investigador de seguridad con larga trayectoria, hablando en general de las herramientas para contener y vigilar agentes. Provos lanzó en febrero su propio marco de código abierto centrado en estos problemas. "Aunque sea solo eso, este tipo de herramientas ayuda a derribar el mito de que los agentes no se pueden controlar."
