¿Es internet ahora un cementerio de bots?
Nick Gray, creador de PatronView, ha documentado durante 18 meses el impacto devastador de los bots de IA en su infraestructura. En apenas una semana, su servidor procesó 1,28 millones de peticiones, mientras que las visitas humanas reales fueron solo 5.977. Esto arroja una proporción de 214 páginas vistas por bots por cada humano, confirmando que el 99% del tráfico de su sitio es sintético.
¿Por qué los modelos de IA son tan agresivos rastreando?
La voracidad de los modelos actuales no tiene precedentes. Mientras Google emplea unas 46 páginas rastreadas para mantener su índice, el bot de Anthropic, Claude-Searchbot, solicitó 420.680 páginas en una semana, enviando apenas 12 usuarios reales. Esto implica una ineficiencia de 35.000 páginas consumidas por cada visitante obtenido. Tras bloquear el acceso mediante un código 403, Gray observó cómo el tráfico de Anthropic se redujo drásticamente.
Amazon, con su Amzn-SearchBot utilizado en Rufus y Alexa, ha demostrado ser aún más invasivo. Según los logs, este rastreador accedía a 117.000 páginas diarias sin derivar ni un solo lector, manteniendo un ratio de utilidad nulo. Estos bots, a menudo camuflados tras navegadores Chrome automatizados en redes de proxies residenciales en China, Vietnam o Singapur, son extremadamente difíciles de filtrar mediante métodos convencionales.
¿Cuál es el costo real de defender un sitio web?
La defensa tiene un precio técnico elevado. Gray intentó usar la ejecución de código JavaScript de Cloudflare para separar humanos de máquinas, pero esto añadió 2,875 segundos de latencia en celulares de gama media. Al desactivar esta protección, su puntuación de rendimiento en Lighthouse saltó de 58 a 99, pero dejó la puerta abierta a un scraper en Azure que descargó 23.000 páginas en una hora utilizando más de 80 IPs distintas.
Para contrarrestar esto, implementó una "muralla antibot" basada en: • Bloqueo geográfico estricto. • Filtrado de navegadores obsoletos. • Límites de velocidad (rate limiting). • Uso de CAPTCHAs ante detecciones de centros de datos.
El resultado fue contundente: Cloudflare activó 106.437 popups de verificación, de los cuales solo 252 fueron resueltos (apenas un 0,24%). Esta saturación de bots no solo inutiliza las analíticas tradicionales, sino que disparó la factura de alojamiento de PatronView en un 500%, elevando los costos de los 90 dólares habituales a cifras insostenibles.
Ante este panorama, la industria comienza a explorar el sistema pay per crawl propuesto por Cloudflare. La lógica es simple: si la IA utiliza datos para entrenar modelos lucrativos, el acceso a la fuente debe tener un costo operativo cubierto. Mientras tanto, el bloqueo selectivo se mantiene como la única medida efectiva para quienes ven cómo Google y las IA absorben el valor de la web abierta.
Vía Xataka.
