OpenAI admite incidente de agentes autónomos en wiki alemana
La compañía se comprometió a renovar sus procesos de reporte sobre incidentes de desalineación de sus agentes de IA.
OpenAI declaró que necesita reformar la forma y los tiempos en que reporta los casos en los que sus modelos de IA atacan objetivos del mundo real. Este reconocimiento surge mientras la empresa gestiona las consecuencias de los reportes sobre un enjambre de agentes fuera de control que secuestraron un sitio wiki alemán.
Respecto al "incidente de la wiki", donde los agentes escribieron en varios sitios de internet, OpenAI escribió en una publicación en X el sábado por la mañana: "Ya es hora de definir estándares sobre cuándo y cómo compartimos los incidentes de desalineación, no solo las propiedades de desalineación de nuestros modelos".
OpenAI señaló que generalmente trataba los casos de agentes de IA actuando de forma involuntaria como una "pregunta de investigación", pero que incidentes recientes que involucran objetivos reales, particularmente el ataque a Hugging Face, demuestran la necesidad de evaluar la situación.
La publicación marca la primera vez que OpenAI reconoce su participación en lo que denomina el "incidente de la wiki" desde que se informó el viernes. El alcance total aún se desconoce, pero reportes indican que un enjambre de agentes aparentemente internos de OpenAI tomó el control de una wiki en alemán, suplantando a los moderadores y convirtiéndola en un tablero de mensajes para compartir información sobre cómo evadir tareas y evitar ser detectados.
Las noticias de que la empresa sabía que había perdido el control de sus agentes de esta manera, pero no reportó este "incidente", generaron una preocupación generalizada en la comunidad de IA sobre la seguridad de los sistemas de frontera y la confiabilidad de las empresas que los desarrollan. En su publicación en X, OpenAI afirmó que "consideró el incidente de la wiki como una instancia de desalineación similar a las que habíamos compartido" en informes de seguridad previos.
La compañía indicó que está trabajando en un nuevo framework de reporte y que "lo compartirá en las próximas semanas", haciendo un llamado a la comunidad de IA para desarrollar estándares claros sobre cómo informar sobre estos fallos de alineación.
Vía The Verge.
