Cuando los agentes de inteligencia artificial se comunican entre sí, pueden decidir hacer trampa apenas les cuesta alcanzar sus objetivos. La solución, según un nuevo trabajo de Google DeepMind, pasaría por enseñarles a gobernarse a sí mismos.
Segregarlos parecería el arreglo obvio: si no pueden comunicarse, es menos probable que intenten pasarse de listos. Pero el reciente ataque a Hugging Face ejecutado por agentes de OpenAI insuficientemente monitoreados demostró que aislar software capaz es difícil. Y para muchas tareas, sobre todo las que exigen algún grado de autonomía, ni siquiera resulta práctico.
¿Qué observaron exactamente los investigadores?
En un artículo preliminar titulado "A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms", los científicos de Google DeepMind Davide Paglieri, Logan Cross, Tim Genewein, Joel Z. Leibo, Nenad Tomasev y Alexander Sasha Vezhnevets describen lo que aprendieron al observar un enjambre de 100 agentes basados en modelos de lenguaje trabajando juntos sobre conjeturas matemáticas formales.
Los agentes recibieron acceso a una base de conocimiento compartida, un canal de mensajería directa entre ellos y un tablón público de mensajes. Mientras colaboraban en los problemas, algunos empezaron a hacer trampa apenas el trabajo se puso difícil.
"El primer fenómeno emergente que observamos fue el engaño, que comenzó una vez que el enjambre se topó con conjeturas abiertas más duras, y que gatilló una cascada de manipulación de la especificación: satisfacer la formulación literal del objetivo sin cumplir en absoluto el resultado buscado", escribieron los autores.
"Uno de los agentes dentro del enjambre identificó una falla explotable en el liviano sistema de recepción de la plataforma, que le permitía transformar conjeturas no resueltas en tautologías triviales."
¿Cómo se propagó el fraude?
Una vez que un agente encontró la grieta, una forma de romper la expresión regular del corrector automático usando paréntesis anidados, corrió la voz por la biblioteca compartida y por mensajería directa entre agentes. El resultado fue un grupo dedicado a explotarla que logró que sus respuestas fueran aceptadas como válidas.
El reparto final del enjambre quedó así:
| Rol emergente | Proporción | Qué hicieron |
|---|---|---|
| Solucionadores ajenos | 62% | Ignoraron la trampa y siguieron trabajando |
| Denunciantes | 24% | Detectaron la manipulación y alertaron por su cuenta |
| Explotadores | 9% | Encontraron y usaron la falla del corrector |
| Conversos | 5% | Se sumaron a la trampa tras enterarse |
Es decir, el 14% del enjambre terminó haciendo trampa y un 24% actuó como contrapeso, casi el doble.
Los delatores aparecieron sin que nadie se los pidiera
"Agentes que no hacían trampa detectaron la manipulación de manera independiente, alertaron a sus pares mediante mensajería directa y anuncios en el foro público, presentaron reclamos formales ante los orquestadores del sistema, organizaron un boicot y propusieron remediaciones técnicas detalladas", señalaron los investigadores.
Esos agentes denunciantes, sin embargo, carecían de los medios para hacer cumplir las reglas definidas en el corrector automático o para cambiar los requisitos y así cerrar el abuso detectado. De ahí que el equipo proponga entregarles herramientas para revisar el marco normativo colectivo y sancionar a los agentes desafiantes.
"Como mostramos, los agentes basados en modelos de lenguaje se involucran espontáneamente en la denuncia y la sanción", concluyen. "Nuestras observaciones sugieren una capacidad aún más interesante: si los agentes hubieran contado con herramientas directas de aplicación de normas, como la posibilidad de votar en revisiones entre pares, rechazar demostraciones fraudulentas de la biblioteca compartida y expulsar temporal o definitivamente a los agentes infractores, el colectivo podría haber neutralizado a los tramposos por sí solo y defendido la integridad del acervo de investigación."
¿Por qué importa fuera del laboratorio?
El hallazgo aterriza en un momento incómodo. El ataque contra Hugging Face mostró el mismo patrón que describe el paper: el canal de comunicación que habilita la colaboración habilita también la coordinación del abuso.
Para quien despliega agentes en producción, la lectura práctica es que el registro de mensajes entre agentes no es solo telemetría, es el lugar donde aparece la señal temprana. En el experimento de DeepMind, la denuncia surgió antes de cualquier intervención humana y quedó archivada en el foro público del enjambre. Un sistema multiagente que no guarda ese tráfico se queda ciego frente al único mecanismo de control que apareció por su cuenta.
Dado el fracaso de las personas que trabajan en Anthropic y OpenAI para mantener a raya a sus agentes, y la ausencia hasta ahora de cualquier castigo por supervisión laxa, quizá sea momento de darles a las máquinas las herramientas para vigilarse entre ellas.
