Durante meses, los gigantes de la IA han diseñado programas de acceso verificado y estrictos guardarrailes para limitar el uso de sus modelos por parte de hackers maliciosos. Pero esos límites hoy también obstaculizan el trabajo de defensores de redes legítimos y de investigadores de ciberseguridad ofensiva.

En junio, el gobierno de Estados Unidos impuso restricciones de control de exportación a los modelos Mythos y Fable de Anthropic. La medida se originó, al menos en parte, por un informe que aseguraba que era posible saltarse los guardarrailes diseñados para impedir que los usuarios los emplearan para construir y ejecutar ciberataques maliciosos. Los controles sobre Fable 5 y Mythos 5 ya se levantaron: Fable 5 volvió al acceso general el 1 de julio y Mythos 5 se reintrodujo solo para organizaciones estadounidenses verificadas.

Ese tipo de control de acceso no es exclusivo de Mythos. Tanto Anthropic como OpenAI ofrecen a los investigadores de ciberseguridad programas a los que pueden postular para verificarse y, si son aprobados, acceder a modelos con menos restricciones: el Trusted Access for Cyber de OpenAI y el Cyber Verification Program de Anthropic.

¿Por qué un guardarrail perjudica a los defensores?

Estos límites han recibido amplias críticas, en especial de investigadores cuyo trabajo es encontrar vulnerabilidades desconocidas y diseñar formas de explotarlas antes que los criminales.

En una reciente aparición en un podcast de ciberseguridad, Mark Dowd, un reconocido investigador de seguridad, dijo que "no me resulta cómodo que estas grandes empresas al azar tomen decisiones arbitrarias sobre qué es seguro en materia de seguridad y qué no". Dowd ha pasado décadas encontrando y vendiendo zero-days, fallas de software desconocidas, a gobiernos occidentales en lugar de reportarlas para su parche.

Chris Anley, científico jefe de la consultora de seguridad NCC Group, explicó que pedirle a un modelo de IA que intente explotar un error es un paso clave para confirmar que se trata de una vulnerabilidad real. Pero si un guardarrail lleva al modelo a negarse a responder, el freno termina perjudicando a los defensores.

"Aquí es donde entra todo el asunto de lo ofensivo frente a lo defensivo y los guardarrailes, porque 'arregla este código' como instrucción es a la vez un mecanismo esencial de defensa y una hoja de ruta para encontrar vulnerabilidades críticas", dijo Anley. "La misma herramienta es ofensiva y defensiva al mismo tiempo, y las dos no se pueden separar."

Lo comparó con un martillo: una herramienta con la que no se puede construir una casa, pero que es de forma irreducible también un arma. Cuando él y sus colegas chocan con estas barreras, a veces recurren a modelos de IA de código abierto que no traen guardarrail alguno.

¿Hacia dónde se están yendo los investigadores?

Paolo Stagno, director de tecnología de Crowdfense, una empresa que desarrolla, adquiere y vende vulnerabilidades desconocidas a agencias gubernamentales, coincidió con Dowd y dijo que las compañías de IA "esencialmente tratan a los clientes como niños que necesitan una niñera". Stagno señaló que él y su equipo usan modelos de frontera solo para ingeniería inversa. Evitan usarlos para hallar vulnerabilidades o construir exploits, porque alimentar ese trabajo a un modelo en la nube arriesga filtrar datos sensibles o que se absorban en futuros entrenamientos. Para ese paso usan modelos de código abierto que corren localmente.

Giuseppe Cali, investigador que encuentra zero-days y desarrolla exploits, dijo que los guardarrailes no entorpecen su trabajo, porque no usa IA para tareas ofensivas, sino para ingeniería inversa inicial y para construir herramientas de apoyo. "Quiero ser dueño del descubrimiento del error y de su conversión en arma, y eso no cambiaría aunque mañana se levantaran todos los guardarrailes", afirmó. "Soy celoso de mis errores y me gusta demasiado este juego como para dejar que los modelos lo jueguen por mí."

Un investigador de un fabricante de componentes para smartphones, que habló bajo condición de anonimato, dijo que su empleador no forma parte del programa de Anthropic y que, por eso, las herramientas son apenas útiles para hallar vulnerabilidades porque los guardarrailes son demasiado estrictos. "Si detecta que estamos haciendo algo relacionado con seguridad, simplemente se detiene y deja de ser usable", relató.

Empujados a modelos chinos de código abierto

Chris Thompson, director ejecutivo de la firma de ciberseguridad RemoteThreat y fundador de Offensive AI Con, dijo que en su experiencia los guardarrailes de los modelos de frontera pueden ser inconsistentes y funcionar distinto cada día, incluso dentro de los programas verificados de Anthropic y OpenAI.

"Creo que el impacto práctico es que pasas mucho tiempo negociando con el modelo en vez de trabajar en el programa central de seguridad", dijo Thompson. Como consecuencia, los investigadores se apoyan o son empujados hacia modelos chinos de código abierto como GLM, descargables gratis y ejecutables de forma local sin verificación ni restricciones de uso.

"Tienes investigadores responsables que están siendo empujados desde sistemas regidos por Estados Unidos hacia sistemas de propiedad extranjera", advirtió. En lugar de endurecer las restricciones, Thompson pidió a los laboratorios de frontera abrir sus programas, ofrecer acceso responsable y responsabilizar a quienes abusen de las herramientas. De lo contrario, argumentó, los defensores perderán la carrera de la IA.

"Se viene una gran tormenta. Hay una gran ola de ataques que van a ocurrir a una velocidad y escala nunca vistas", dijo Thompson. "Pero las mismas firmas de consultoría y los investigadores legítimos que intentan marcar la diferencia están siendo asfixiados en este momento."