Escalando la investigación en seguridad para un mundo multi-agente
Durante la última década, el enfoque principal ha sido hacer que los modelos de IA individuales sean más capaces, útiles y seguros. Hoy, Google DeepMind, en conjunto con Schmidt Sciences, la Cooperative AI Foundation, la Advanced Research and Invention Agency y con el respaldo de Google.org, anuncia una nueva convocatoria de financiamiento técnico de hasta USD 10 millones para investigadores de todo el mundo.
A medida que la tecnología de IA escala, estamos entrando en una nueva era. Pronto, millones de agentes de IA, creados por diferentes organizaciones, interactuarán en entornos digitales, comunicándose, negociando y realizando transacciones entre sí.
Cuando estos sistemas interactúan, deben hacerlo de manera segura y predecible. Este cambio genera una oportunidad vital: podemos fortalecer la seguridad y la estabilidad de todo el ecosistema de IA desde el principio.
La convocatoria se centra en el estudio de cómo se comportan los sistemas de IA multi-agente a gran escala y cómo podemos proporcionar marcos de trabajo para comprender y mitigar posibles riesgos. Al empoderar a investigadores a nivel mundial, buscamos resolver los riesgos de seguridad "invisibles" que surgen cuando sistemas independientes interactúan a través de diversas redes.
¿Por qué importa el ecosistema de agentes?
Cuando grandes grupos de agentes de IA interactúan, pueden surgir repentinamente nuevos comportamientos y capacidades colectivas. Actualmente, carecemos de las herramientas para predecir, medir y monitorear estas transiciones. La mayoría de las evaluaciones de seguridad analizan modelos de forma aislada. Sin embargo, como nosotros y otros hemos argumentado anteriormente, los agentes autónomos que interactúan pueden producir comportamientos "emergentes" complejos que son difíciles de anticipar.
Debido a que esta es un área de investigación nueva, es fundamental comprender cómo ocurren estos cambios. Por ejemplo, ¿podrían causar una ráfaga impredecible de actividad económica o conducir a nuevos desafíos de seguridad? Comprender cómo gestionar estos comportamientos en todo el sistema es nuestro objetivo principal.
¿Cómo escalar la frontera de la seguridad multi-agente?
Aunque existen marcos fundamentales para la seguridad multi-agente, la rápida evolución de estos sistemas requiere una expansión inmediata y a gran escala de la investigación.
Nuestra investigación de 2025 estableció un marco para comprender estas interacciones, mientras que nuestro trabajo reciente sobre AI Agent Traps explora las vulnerabilidades que enfrentan los agentes en entornos adversarios. Ahora, debemos avanzar más rápido. Estamos en un momento crítico donde la complejidad de las interacciones multi-agente está superando a los modelos de seguridad existentes.
Esta convocatoria de fondos busca acelerar el progreso apoyando a una red global de investigadores independientes. Una comunidad diversa es esencial para garantizar que los estándares de seguridad sean transparentes y robustos para todos.
Este esfuerzo también promueve la misión de los programas Science of Trustworthy AI y AI Agents de Schmidt Sciences, que apoyan el trabajo fundamental para comprender y mitigar los riesgos de los sistemas de IA de frontera, así como el programa Scaling Trust de ARIA, que busca desbloquear nuevas formas de coordinación multi-agente ciberfísica.
Un llamado a la acción colaborativo
Ningún laboratorio puede resolver la seguridad multi-agente por sí solo. Invitamos a investigadores académicos e independientes a enviar propuestas en cuatro áreas prioritarias:
- Sandboxes y bancos de pruebas: Construir entornos realistas y reproducibles para evaluar, comparar y acelerar el progreso en todas las áreas de seguridad multi-agente. Esto incluye mercados virtuales, ecosistemas simulados y flujos de trabajo multi-organización.
- La ciencia de las redes de agentes: Comprender las propiedades relevantes para la seguridad de las poblaciones de agentes que interactúan, incluyendo la investigación de cómo emergen y escalan las capacidades colectivas, cómo las redes fallan o se vuelven volátiles y cómo detectar propiedades inesperadas y peligrosas a nivel de población.
- Fortalecimiento de la infraestructura de agentes: Realizar pruebas de estrés a los protocolos de identidad, reputación y compromiso que aseguran las interacciones de agentes multiplataforma.
- Supervisión y control: Desarrollar métodos para monitorear poblaciones de agentes desplegadas y mitigar daños colectivos a gran escala.
¿Cómo participar en la convocatoria?
Invitamos a los investigadores a revisar nuestra convocatoria de propuestas y unirse a nosotros en la construcción de una base segura para un futuro multi-agente.
La fecha límite para postular es el 8 de agosto de 2026, y se espera que los beneficiarios sean anunciados en el otoño de 2026.
Para obtener más detalles sobre los requisitos técnicos y el proceso de solicitud, visite nuestro portal de aplicaciones.
Vía Google DeepMind.
