Los miembros de la Open Secure AI Alliance —que ya cuenta con más de 120 organizaciones— están desarrollando nuevas directrices para fortalecer la ciberseguridad de la IA agente, coincidiendo con el inicio de la conferencia anual Black Hat en Las Vegas.

The Linux Foundation compartió hoy una Solicitud de Comentarios sobre el Intercambio de Hallazgos de IA Compartidos (SAFE, por sus siglas en inglés), una propuesta de guías diseñada para transformar los incidentes de ciberseguridad en agentes en protección compartida para todo el ecosistema.

Las guías SAFE están siendo redactadas por un grupo de trabajo de la Open Secure AI Alliance. NVIDIA, Cisco, CrowdStrike, Hugging Face y Red Hat se encuentran entre los miembros que colaboran con la Linux Foundation para contribuir a la propuesta inicial.

Las directrices SAFE incluyen propuestas para recopilar y analizar de forma confidencial los incidentes y cuasi-incidentes de IA, informar a los afectados, identificar fallas de control recurrentes y publicar recomendaciones operativas basadas en evidencia que reduzcan el riesgo sistémico.

La ciberseguridad es una carrera sin línea de meta. Cada cambio tecnológico importante ha creado nuevas superficies de ataque potenciales. Los defensores deben moverse ahora a la velocidad de los agentes para responder rápidamente y proteger la infraestructura y la propiedad intelectual; y la mejor forma de hacerlo es juntos. Cuando los ecosistemas de confianza comparten inteligencia sobre amenazas abiertamente, la defensa colectiva se convierte en un multiplicador de fuerza.

Open Secure AI Alliance entrega más herramientas para ciberseguridad en IA

El marco SAFE se suma a las contribuciones tecnológicas que los miembros de la Open Secure AI Alliance están realizando como parte de un compromiso compartido para crear y compartir herramientas abiertas e inspeccionables en toda la pila de seguridad de la IA.

Un agente de IA no es solo un modelo. Es un sistema —controles de identidad, arneses, guardrails, registros y evaluación— y asegurarlo requiere más que un escaneo de vulnerabilidades.

La seguridad siempre ha sido más fuerte en las capas y en la disposición de la comunidad a compartir lo que sabe. Los problemas más difíciles se resuelven cuando los defensores aprenden unos de otros, de forma abierta y rápida.

Pila completa de software y modelos de ciberseguridad de NVIDIA

Las contribuciones de NVIDIA recorren toda la pila, comenzando con el arnés de investigación NVIDIA Labs Object-Oriented Agent (NOOA), disponible en GitHub, el cual hace que el comportamiento de los agentes sea más fácil de probar, rastrear, auditar y gobernar.

El runtime NVIDIA OpenShell restringe lo que un agente puede ver, tocar y hacer, aplicando controles de seguridad y privacidad a nivel de agente, para que este no pueda acceder a lo que no debería.

Las familias de modelos abiertos de NVIDIA —NVIDIA Nemotron para IA agente, NVIDIA Cosmos para IA física, NVIDIA Isaac GR00T para robótica, NVIDIA BioNeMo para salud y ciencias biológicas, y NVIDIA Alpamayo, el modelo más grande del mundo para vehículos autónomos con licencia comercial— se distribuyen con pesos, conjuntos de datos y técnicas de entrenamiento abiertos.

Las habilidades de agente verificadas de código abierto de NVIDIA extienden esa confianza a la capa de capacidad.

Cada habilidad proporciona conjuntos de instrucciones portátiles: catalogados, escaneados en busca de riesgos como inyección de prompts y envenenamiento de herramientas, firmados criptográficamente y documentados con una tarjeta de habilidad. Los defensores saben exactamente qué hace una habilidad de agente, de dónde vino y si fue modificada tras su publicación.

NeMo Guardrails, NeMo Anonymizer y NeMo Safe Synthesizer ayudan a aplicar políticas de seguridad, proteger datos sensibles y generar datos sintéticos seguros para la privacidad.

Y Garak, el escáner de vulnerabilidades de LLM de código abierto de NVIDIA, permite a los equipos de seguridad verificar modelos en busca de fugas de datos, inyecciones de prompts y escenarios de jailbreak antes de su despliegue.

Miembros de la alianza expanden herramientas para el desarrollo de ecosistemas abiertos

Otros miembros de la Open Secure AI Alliance también han estado construyendo en toda la pila defensiva, abarcando identidad y permisos, arneses, guardrails de ejecución, modelos de seguridad de IA, observabilidad y evaluación, seguridad y privacidad de datos, disponibilidad y resiliencia, entre otros.

Algunas de las contribuciones más recientes en diferentes capas de la pila se destacan a continuación, con más llegando continuamente.

Identidad y permisos: ¿Quién tiene permitido actuar?

No se puede asegurar lo que no se puede identificar.

Okta está desarrollando implementaciones de referencia para la identidad y el acceso de agentes, mostrando cómo Cross App Access (XAA), un protocolo abierto, permite que los agentes de IA que operan en entornos sandbox de OpenShell se conecten de forma segura a aplicaciones empresariales.

Palo Alto Networks ha contribuido con herramientas de código abierto de Idira, su plataforma de seguridad de identidad de próxima generación, incluyendo Agent Guard y Agent Watch. Estas herramientas ayudan a los desarrolladores y creadores de agentes a aplicar las mejores prácticas de seguridad de identidad y salvaguardas, como la recuperación segura de secretos para flujos de trabajo de agentes.

Un nuevo proyecto de código abierto fundado por Red Hat, asago, toma los requisitos de gobernanza personalizados de una organización —como los referenciados en NIST, OWASP y la Ley de IA de la UE— y los mapea directamente a lo que los agentes tienen permitido hacer en tiempo de ejecución, con una pista de auditoría única desde la cláusula de política hasta el control en vivo.

Arneses y herramientas: ¿Cómo se orquesta el trabajo de seguridad?

Los agentes de IA son más que un modelo: aprovechan sistemas de modelos abiertos y cerrados, arneses, herramientas y runtimes para realizar el trabajo.

Si un modelo es el cerebro del agente, el arnés es el cuerpo que toma acción mediante el uso de herramientas. El arnés que rodea al modelo actúa como un orquestador que determina cómo se despliegan, coordinan y limitan los agentes.

Los miembros de la alianza están contribuyendo con herramientas, arneses y tecnologías de soporte en esta capa emergente de la pila de seguridad de IA.

Amazon, que hoy se convirtió en uno de los miembros más nuevos de la Open Secure AI Alliance, contribuye con Strands Agents, un kit de herramientas de código abierto para construir agentes de IA que es abierto en cada capa, dando a los desarrolladores visibilidad total del comportamiento del agente y la capacidad de evaluar sistemas agenticos en producción. Amazon también aporta Cedar, un lenguaje de autorización de código abierto que impone límites deterministas y verificables sobre lo que los agentes de IA tienen permitido hacer, brindando a los clientes controles de acceso granulares y analizables para ayudar a asegurar que solo las acciones autorizadas lleguen a los recursos empresariales.

Capital One liberó VulnHunter para la seguridad del código de agentes de IA.

Cloudflare ofrece su Vulnerability Discovery Harness como una habilidad de código abierto para añadir seguridad a los sistemas de agentes.

El equipo de Microsoft AI Red Team ha liberado varias herramientas y arneses. PyRIT – Python Risk Identification toolkit permite a los equipos de red teaming de IA ejecutar pruebas automatizadas, con memoria integrada, soportando objetivos comunes así como endpoints personalizados.

Vía NVIDIA Blog.