Google dice que delincuentes ya tienen a la IA cocinando zero-days, y asegura que uno casi se escapa a producción antes de que la compañía lo detuviera.
En un reporte compartido con The Register antes de su publicación, el Threat Intelligence Group de Google (GTIG) dijo haber identificado lo que cree es el primer caso real de cibercriminales usando IA para descubrir y convertir en arma una vulnerabilidad zero-day dentro de una campaña de explotación masiva planificada.
El bug, un bypass de autenticación de dos factores (2FA) en una popular plataforma open source de administración web, habría sido desarrollado por delincuentes trabajando coordinadamente en una operación de intrusión a gran escala.
GTIG indicó que los atacantes parecen haber usado un modelo de IA tanto para identificar la falla como para ayudar a convertirla en un exploit funcional. Google trabajó con el proveedor (cuyo nombre no se reveló) para parchear silenciosamente el problema antes de que la campaña tomara vuelo, lo que la compañía cree pudo haber descarrilado la operación antes de que ganara tracción.
¿Cómo se detectó la firma del LLM en el exploit?
La compañía insiste en que ni Gemini ni el Mythos de Anthropic estuvieron involucrados, pero asegura que el exploit en sí lucía sospechosamente fabricado por máquina. Según el reporte, el script en Python incluía lo que Google describió como "docstrings educativos", un puntaje CVSS alucinado y una estructura de código prolija como libro de texto, todo lo que parecía influenciado por datos de entrenamiento de LLMs.
Google detalló que el problema venía de desarrolladores que harcodearon una excepción de confianza en el flujo de autenticación, creando un agujero por el que los atacantes podían saltarse los chequeos de 2FA. Según la firma, esa clase de errores de lógica de alto nivel son justamente el tipo de cosa que los modelos de IA modernos están empezando a encontrar sorprendentemente bien.
"Mientras que los fuzzers y las herramientas de análisis estático están optimizados para detectar sinks y crashes, los LLMs frontera son excelentes identificando este tipo de fallas de alto nivel y anomalías estáticas hardcodeadas", indicó el reporte.
John Hultquist, jefe analista del Google Threat Intelligence Group, dijo que quien siga tratando la búsqueda de vulnerabilidades asistida por IA como un problema del futuro ya está atrasado.
"Hay un malentendido sobre que la carrera de vulnerabilidades por IA es inminente. La realidad es que ya empezó. Por cada zero-day que podemos trazar de vuelta a la IA, probablemente haya muchos más allá afuera", dijo Hultquist.
"Los actores de amenaza están usando IA para impulsar la velocidad, escala y sofisticación de sus ataques. Les permite testear sus operaciones, persistir contra blancos, construir mejor malware y mejorar muchas otras cosas. Los actores estatales están aprovechando esta tecnología, pero la amenaza criminal no se puede subestimar, especialmente considerando su historial de ataques amplios y agresivos."
¿Qué otros usos de IA detectó Google?
El reporte de Google sugiere que el caso del zero-day es parte de algo mucho más grande. GTIG dijo que el grupo norcoreano APT45 estuvo usando IA para procesar miles de chequeos de exploits y ampliar su arsenal, mientras que operadores chinos vinculados al Estado experimentaban con sistemas de IA para caza de vulnerabilidades y sondeo automatizado de blancos.
Google también describió:
- Familias de malware rellenadas con código basura generado por IA, diseñado para confundir a los analistas.
- Backdoors en Android que usan APIs de Gemini para navegar autónomamente por los dispositivos infectados.
- Operaciones de influencia rusas que cosen audio fabricado con IA dentro de imágenes legítimas de noticias.
¿Cuánto durará la fase torpe?
La parte incómoda para todos los demás es que esto todavía parece ser la fase temprana y torpe. Google señaló que errores en la implementación del exploit probablemente interfirieron esta vez con los planes de los criminales, pero eso podría no seguir siendo cierto por mucho tiempo.
