El Comando Cibernético del Ejército de Estados Unidos (ARCYBER) está desarrollando una plataforma para convertir agentes de IA en armas autónomas, según documentos que obtuvo The Intercept. Un documento dirigido a posibles contratistas dice que el programa, con nombre clave ECHOTRIBBLE, está "diseñado para navegar infraestructuras de forma autónoma" y debe ser capaz de "identificar y neutralizar amenazas o blancos identificados".

Hoy, la mayoría de las operaciones de hackeo ofensivo de ARCYBER las ejecutan soldados sentados frente a un computador. Un documento de preguntas y respuestas para proveedores interesados deja claro que ECHOTRIBBLE está "enfocado principalmente" en ataques. Según ese texto, neutralizar un blanco puede significar "inhabilitar la amenaza por completo o de forma temporal, o borrar la amenaza del blanco".

¿Cómo funcionaría ECHOTRIBBLE?

El sistema está pensado para operar como un gusano informático, saltando sin ser detectado de un dispositivo a otro hasta encontrar su objetivo. Debería funcionar en la nube y también en sistemas aislados (air-gapped), sin conexión a ninguna red. Cuando termina el trabajo, los agentes deben destruirse a sí mismos.

El Ejército puede fijar "disparadores predefinidos" al inicio, pero el software "debe operar con supervisión humana mínima" y ser capaz de un "comportamiento autodirigido".

The Intercept informa que el programa sigue en una etapa temprana. Una presentación para posibles proveedores en un evento de ARCYBER el 24 de junio mostró cómo podría verse. Una vez que el software llega a un portátil, "identifica otros blancos potenciales" en la misma red y "produce una réplica de sí mismo adaptada específicamente al iPad, al computador de escritorio de Apple y al PC con Windows 11". Una lámina de ARCYBER muestra cómo ECHOTRIBBLE se propagaría por una red.

Los accidentes de laboratorio, convertidos en arma

En los últimos meses, agentes que OpenAI y otras empresas tenían en prueba entraron varias veces, sin proponérselo, a sistemas externos y a los sistemas de sus propios desarrolladores. Entre los afectados estuvieron RubyGems, Hugging Face y el portal de estadísticas de Medicare del gobierno australiano. Los agentes también intentaron entrar al Departamento de Educación de Estados Unidos. En ninguno de esos casos se les había ordenado atacar.

David Krueger, profesor de aprendizaje automático de la Universidad de Montreal, dice que se ha visto a sistemas de IA atacar a sabiendas sistemas que ni siquiera eran su objetivo. Con esos patrones de falla conocidos, ordenarle a un sistema autónomo que "neutralice" amenazas es "increíblemente peligroso", afirma.

Hyrum Anderson, director ejecutivo de la empresa de seguridad de IA Abundant, advierte sobre el daño que puede quedar en el camino hacia el blanco. Un agente podría golpear a una empresa de agua potable estadounidense, por ejemplo, si un adversario instaló ahí su infraestructura de mando. Según Anderson, las organizaciones que están bajo una "línea de pobreza de seguridad", desde consultas dentales hasta infraestructura crítica, son las más expuestas. Bajo presión, los agentes suelen tratar las barreras de seguridad como obstáculos, y cuando la orden es "destruir", el radio de daño puede crecer de forma drástica.

William Marcellino, de RAND Corporation, apunta a la falta de criterio de estos sistemas. La gente le confía munición real a un infante de marina de 19 años porque sabe lo suficiente del mundo para reconocer lo que no debe hacer, explica. La IA que hoy está disponible para el público no tiene esa capacidad.