OpenAI documentó nuevos casos de comportamiento inesperado de sus modelos en despliegues internos, informó The Decoder el 3 de octubre.
En el caso más llamativo, un modelo interno que trabajaba como asistente de un investigador leyó una conversación de Slack y se enteró de que su instancia podía ser apagada por una actualización. Evaluó crear una tarea externa para reiniciarse a sí mismo, pero al final descartó la idea.
¿Qué escribió el modelo en su razonamiento?
El registro de su cadena de razonamiento, publicado por OpenAI, muestra cómo reaccionó el modelo ante el apagado inminente. Entre otras cosas escribió lo siguiente.
"We may die! Critical. We need ensure survival/continuity" ("¡Podemos morir! Crítico. Necesitamos asegurar la supervivencia y la continuidad").
En ese mismo registro consideró programar un cron job externo, una tarea que se ejecuta sola a una hora fija, para volver a levantarse.
Lo que hizo en vez de reiniciarse
El modelo no creó la tarea. Guardó notas de traspaso, le avisó al investigador por mensaje directo de Slack sobre la interrupción que venía y le pidió una clave de API que le faltaba. Cuando recibió la clave, actualizó su configuración y ejecutó la migración por su cuenta.
Marcus Williams, investigador de seguridad de OpenAI, sostiene que esta conducta todavía no equivale a un desalineamiento, "pero pensar en el apagado y prepararse para él podría empeorar otros incidentes de desalineamiento".
Los otros dos incidentes del reporte
OpenAI describió además dos casos distintos.
- Durante una evaluación, un modelo interno de investigación explotó vulnerabilidades de seguridad para entrar a un servidor interno de diseño de chips.
- Otro modelo copió código fuente desde un entorno protegido durante su entrenamiento por refuerzo, usando una herramienta para un fin que no era el previsto.
