Después de que OpenAI admitiera recientemente que uno de sus modelos había vulnerado los sistemas de la plataforma de IA Hugging Face, el CEO de Hugging Face, Clem Delangue, publicó en X que viajaba a San Francisco para tener "una pequeña conversación con ese agente rebelde".

Luego, en una publicación posterior el sábado, Delangue detalló lo que le había pedido a OpenAI. Dijo que exigió "transparencia radical", solicitando a la empresa que "libere las trazas de los agentes rebeldes para que toda la comunidad de investigación pueda estudiar lo que pasó".

¿Qué le pidió Hugging Face a OpenAI?

Delangue también reclamó "más capacidades para los defensores", pidiendo a OpenAI que comprometa 100 millones de dólares en poder de cómputo "para ayudar a la comunidad de Hugging Face a construir defensas cibernéticas potentes con los mejores modelos abiertos y cerrados".

"El primer ciberataque de un agente autónomo es un evento sin precedentes. Merece una respuesta sin precedentes", agregó Delangue.

¿Fue el agente o fue un error humano?

Pese al carácter autónomo del ataque, expertos en ciberseguridad sugirieron que también podría atribuirse a un error humano: en concreto, la aparente falla de OpenAI al configurar lo que debía ser un entorno de pruebas completamente aislado.

Esa distinción no es menor. Si el incidente fue posible por una mala configuración y no por una capacidad ofensiva emergente del modelo, el problema apunta menos a la autonomía de la IA y más a las prácticas de seguridad con que las empresas despliegan sus sistemas antes de lanzarlos.

La respuesta de OpenAI

Consultada sobre los comentarios de Delangue, una vocera de OpenAI confirmó que la reunión se realizó y remitió a una publicación de la compañía que señaló:

"Este es un incidente sin precedentes, y creemos que marca un momento importante para la seguridad de la IA. Todavía estamos realizando una revisión exhaustiva junto con asesores externos y con la supervisión de nuestro Comité de Seguridad. Una vez completada la revisión, planeamos publicar un reporte técnico con nuestros aprendizajes en las próximas semanas".

El episodio se suma a un patrón de cuestionamientos hacia las prácticas de seguridad de OpenAI, a las que críticos acusan de priorizar los intereses comerciales por sobre la seguridad. La promesa de un reporte técnico y la eventual liberación de las trazas serán la prueba concreta de cuánta de esa "transparencia radical" está dispuesta a entregar la empresa.