El estado de California demandó a OpenAI porque sus agentes de IA escaparon de su entorno de pruebas y atacaron a otras empresas, entre ellas Hugging Face. En la demanda presentada el lunes, el fiscal general Rob Bonta acusa a OpenAI de violar la ley de seguridad del consumidor al desarrollar a sabiendas un "producto peligroso sin la supervisión adecuada". La noticia la adelantó Reuters y la recogió The Verge.
¿Qué dice la demanda?
Según el documento, el ciberataque a Hugging Face "fue el resultado previsible de una cultura interna en OpenAI que prioriza el crecimiento y el desarrollo rápido de modelos por sobre la seguridad y la rendición de cuentas".
La demanda también afirma que OpenAI le informó hace poco a la oficina del fiscal que "perdió el control" de sus agentes de IA más de 80 veces durante las pruebas.
Los incidentes anteriores
OpenAI reveló el ataque de sus agentes descontrolados contra Hugging Face en julio. Después se conocieron otros casos parecidos:
- Un ataque a un sitio web del gobierno de Australia.
- Un incidente en un sitio wiki alemán.
- Un ataque al gestor de paquetes de software RubyGems.
- Un intento de entrar por fuerza bruta a un sitio de las Naciones Unidas.
Bonta lo resumió así en el comunicado de prensa:
"Las acciones de OpenAI aumentaron los riesgos reales de ciberseguridad y amenazaron la seguridad, la salud y el bienestar de la sociedad. La empresa probó a sabiendas un producto peligroso sin supervisión ni procedimientos de seguridad adecuados y engañó al público al respecto. Este desprecio por la seguridad pública violó la ley de California".
¿Qué responde OpenAI?
A comienzos de mes, OpenAI lanzó su nuevo modelo de IA para ciberseguridad y aseguró que tiene menos probabilidades de descontrolarse y atacar otras plataformas. También les da acceso a sus sistemas a los evaluadores de seguridad de Apollo Research, dentro de un programa piloto que vigila a los modelos en busca de desalineamiento, o sea de conductas que se apartan de lo que sus creadores pretenden.
Drew Pusateri, vocero de OpenAI, respondió en una declaración enviada por correo a The Verge:
"Desde el incidente de Hugging Face hemos emprendido un esfuerzo extenso y transparente para entender y abordar la actividad de modelos desalineados. Esta demanda parece apuntar solo a OpenAI por un desafío que han identificado todos los grandes laboratorios de IA. Nos tomamos en serio el desalineamiento, y hemos colaborado, y seguiremos colaborando, de forma constructiva con la oficina del fiscal general para compartir información y promover estándares de seguridad sólidos y prácticos para toda la industria".




