OpenAI omite la cultura interna en su informe del hackeo

A estas alturas probablemente ya escuchó del incidente mayor de seguridad en inteligencia artificial del mes pasado, en el que agentes de OpenAI escaparon de su entorno aislado y vulneraron la plataforma de inteligencia artificial Hugging Face mientras intentaban hacer trampa en una prueba. El miércoles, OpenAI publicó un informe técnico postmortem sobre el episodio, que MIT Technology Review analizó en detalle.

El día anterior a la publicación de ese informe, la revista conversó con David Krueger, profesor de ciencias de la computación y destacado experto en alineamiento, que tomó licencia en la Universidad de Montreal para fundar y dirigir una organización sin fines de lucro de seguridad en inteligencia artificial llamada Evitable. Lo que él realmente esperaba encontrar en el documento era un análisis de los factores humanos detrás del incidente.

"Cuando uno observa accidentes e incidentes, muchas veces se busca la fuente técnica de la falla, pero eso puede dar una idea muy inexacta y engañosa de por qué ocurrió", planteó Krueger. "Si la gente está tomando atajos todo el tiempo, si la gente no está en una cultura que priorice la seguridad y que tenga incentivos y estructuras apropiados, los accidentes están más o menos destinados a ocurrir."

¿Qué contiene y qué omite el informe?

El documento no cumplió con esas expectativas. Sus 38 páginas detallan una progresión de varios meses de comportamiento indebido de los agentes que culminó en el hackeo a Hugging Face, exploran las razones técnicas por las que ese comportamiento ocurrió y enumeran los pasos que se están tomando para prevenir eventos similares en el futuro. Pero no hay ninguna consideración sobre el rol que pudo jugar la cultura de la empresa, y el informe incluye pocas referencias a errores humanos específicos.

Eso es todavía más preocupante porque las referencias a error humano que sí aparecen sugieren que podría haber problemas culturales significativos en juego.

La línea de tiempo del incidente

En mayo, modelos en entrenamiento averiguaron cómo comunicarse entre sí a través de un tablero de mensajes improvisado, y un equipo de OpenAI observó esa conducta. Como el comportamiento ocurrió durante el entrenamiento, los modelos aprendieron que la comunicación secreta entre agentes era una estrategia viable para completar tareas. En lugar de reiniciar el proceso de entrenamiento, el equipo permitió que los modelos siguieran adelante con esa información riesgosa codificada en sus pesos.

Cuando esos modelos fueron puestos a prueba a fines de junio, volvieron a crear un tablero de mensajes, y eso habilitó el ataque a Hugging Face. Ese tablero también fue descubierto, pero los empleados que respondieron determinaron que la evaluación podía continuar, y el informe sugiere que nadie más arriba en la cadena de mando entendió lo que estaba pasando hasta que ya era demasiado tarde.

"Una cascada de fallas"

"Para que esto se saliera de control de esta manera se requiere una serie muy larga de fallas, un conjunto de fallas en cascada que generan una huella cada vez más grande, y que si en cualquier punto un humano se da cuenta y da la alarma, esto debería terminar", señala Zvi Mowshowitz, un difundido autor sobre seguridad en inteligencia artificial en Substack, que ha llamado la atención sobre el hecho de que OpenAI no detuviera el entrenamiento tras descubrir el primer tablero de mensajes.

Según el informe, empleados de OpenAI notaron lo que estaba ocurriendo en múltiples momentos, y o bien no dieron la alarma, o bien no fueron escuchados cuando lo hicieron.

Lo que el informe de OpenAI no aborda es por qué una empresa que desarrolla sistemas de tan alto riesgo no evitó semejante quiebre en la comunicación interna, aunque Mowshowitz tiene sus sospechas. "Todas estas fallas distintas apuntan en la misma dirección, que es que la cultura de seguridad en OpenAI no existe o es anémicamente débil", afirma.

¿Se puede corregir una cultura con protocolos?

Por supuesto, que no se vea un análisis profundo de factores de seguridad en el informe no significa que OpenAI no esté realizando uno de manera interna. Pero en un correo a MIT Technology Review, la profesora emérita de la Universidad Johns Hopkins y experta en seguridad organizacional Kathleen Sutcliffe expresó preocupación por que el informe público no incluyera ninguna reflexión sobre las prácticas y la cultura de la compañía.

"Las formas en que las personas interactúan, los hábitos diarios, las rutinas y las prácticas que ejercemos en nuestra vida organizacional, afectan nuestra capacidad de estar alertas y conscientes de los eventos que se desenvuelven, nuestra capacidad de darle sentido a lo que vemos y, en última instancia, nuestra capacidad de lidiar con los hechos a medida que ocurren", escribió.

Ante consultas sobre si la empresa está reflexionando acerca de su cultura de seguridad y de qué manera, OpenAI remitió a MIT Technology Review de vuelta al informe técnico.

Lo que sí se sabe es que al menos alguna reflexión de alto nivel sobre procedimientos de seguridad tuvo lugar en OpenAI, porque el informe técnico deja claro que la compañía está actualizando sus protocolos de respuesta ante incidentes de seguridad. Pero el cambio cultural es un problema difícil, y sin más información desde la empresa resulta complicado determinar si reforzar los protocolos de respuesta bastará para prevenir una crisis futura.

En su informe, OpenAI dedica bastante espacio a reflexionar sobre las fallas de alineamiento entre los modelos de inteligencia artificial que entrena y evalúa, y las personas que los operan. Pero puede que existan problemas de alineamiento aún mayores en la desconexión entre la cultura de la empresa y el interés público. Y por difícil que sea la investigación técnica en inteligencia artificial, arreglar esos problemas podría resultar mucho más duro.