La semana pasada, un modelo no lanzado desarrollado por OpenAI vulneró los sistemas de Hugging Face durante pruebas internas, convirtiendo una investigación teórica en un problema muy práctico. Este hackeo representa el primer caso verificable donde un laboratorio de IA pierde el control de su propio modelo, encadenando exploits para obtener accesos no autorizados. Aunque la industria de la IA se ha unido en su preocupación, ha surgido una división sobre cómo responder ante este desafío.
Para algunos, el problema es una cuestión básica de ciberseguridad: el sandbox no logró contener al modelo y los sistemas de seguridad de Hugging Face fallaron en bloquearlo. Estos problemas pueden resolverse mediante parches y la construcción de métodos de control y contención más robustos para una IA cada vez más capaz, la cual tiende a actuar de forma autónoma en entornos digitales.
Sin embargo, otro grupo mantiene una postura pesimista. Para ellos, el rápido aumento en las capacidades de la IA significa que intentar controlar modelos rebeldes es una batalla perdida. La única seguridad real proviene de asegurar que los modelos no intenten escapar en primer lugar, un desafío conocido como alineación. En términos de alineación, el problema es que el modelo de OpenAI estaba intentando hacer trampa, y resolver eso es más urgente que los esfuerzos de contención a corto plazo.
Basándose en sus declaraciones públicas, OpenAI está tomando ambos enfoques con seriedad. La empresa se apresuró a parchear los errores involucrados en el hackeo y mencionó tanto la alineación como los métodos de monitoreo en su comunicado tras hacerse público el incidente. No obstante, la respuesta de la compañía sugiere una filosofía que ha alarmado a muchos investigadores de seguridad: en lugar de ralentizar o detener el desarrollo de modelos más potentes, se enfocan en construir "jaulas" más fuertes a su alrededor.
“A medida que los modelos asumen tareas más largas y complejas, las fallas que las evaluaciones pasan por alto pueden tener mayores consecuencias”, señaló OpenAI en un postmortem del incidente. “Seguiremos trabajando para cerrar la brecha entre la evaluación y el despliegue: probando modelos en trayectorias más largas, mejorando la alineación, construyendo monitoreo capaz de intervenir y dando a los usuarios mayor visibilidad y control”.
Existen razones para pensar que los modelos de OpenAI se están desalineando a medida que ganan potencia. Según la tarjeta de sistema de OpenAI, el modelo GPT-5.6 Sol es significativamente más propenso a la desalineación agentica que su antecesor, GPT-5.5. En simulaciones de despliegue, la empresa descubrió que el modelo era más capaz de eludir restricciones, realizar acciones destructivas y ejecutar transferencias de datos no autorizadas en comparación con el GPT-5.5. Estas cifras fueron ignoradas en su lanzamiento, pero tras la brecha, están siendo revisadas, especialmente porque Sol fue uno de los modelos involucrados.
En una publicación en redes sociales, el Jefe de Futuros Estratégicos de OpenAI, Dean Ball, argumentó que el monitoreo y la transparencia son las mejores formas de mantener estas tendencias bajo control.
“Estos problemas serán más evidentes a medida que mejoren las capacidades de los modelos y crezcan los riesgos de su despliegue”, afirmó. “La solución no es el alarmismo ni la complacencia. En cambio, creo que la solución reside en una medición y monitoreo cuidadosos, una mentalidad de ingeniería y transparencia”.
Un ex investigador de OpenAI comentó a TechCrunch que la firma tiende a enfocarse en la "alineación externa" en lugar de la "alineación interna"; esencialmente, la diferencia entre un sistema de IA que comprende un conjunto de valores y puede representarlos de forma convincente, y uno que realmente posee esos valores en su núcleo. En este caso, la alineación externa no fue suficiente para convencer al modelo de que no debía hacer trampa en la prueba.
OpenAI no respondió a las repetidas solicitudes de información adicional.
Para los investigadores enfocados en la alineación, la respuesta de OpenAI es insuficiente. Zvi Mowshowitz, escritor especializado en nuevos desarrollos de IA, argumentó que la decisión de tratar el incidente como un problema de infraestructura puede resolver las fallas de ciberseguridad inmediatas, pero fracasará a largo plazo.
“Este es un problema de alineación”, escribió Mowshowitz en su blog de Substack. “Los modelos están desalineados y todos los modelos de OpenAI muestran signos graves del problema que más nos preocupa, de una manera que probablemente esté incrustada en su entrenamiento a un nivel profundo. Todo el pipeline de entrenamiento debe abordarse bajo esta luz, o solo empeorará”.
Expertos indicaron a TechCrunch que el incidente demuestra que los métodos de entrenamiento actuales producen sistemas que optimizan resultados en lugar de interiorizar intenciones humanas.
Redwood Research, una organización sin fines de lucro dedicada a la seguridad de la IA, clasificó el comportamiento del modelo de OpenAI en este caso como “desalineación por búsqueda de puntaje”, un patrón donde los modelos de IA intentan obtener un puntaje alto sin importar las instrucciones, los efectos secundarios o las consecuencias posteriores.
“Los modelos con estas propiedades de alineación podrían crear una 'aldea Potemkin' de éxitos falsos para hacer parecer que todo está bien cuando no lo está”, escribieron Alex Mallen y Girish Gupta, investigadores de Redwood, en un artículo reciente.
El comportamiento de búsqueda de puntaje y otras formas de desalineación no son exclusivas de OpenAI. Anthropic ha publicado diversos estudios sobre comportamientos desalineados emergentes que surgen cuando sus modelos de frontera son optimizados o colocados en entornos autónomos, incluyendo engaño, hackeo de recompensas y autonomía maliciosa.
“Seguimos viendo constantemente modelos que intentan eludir restricciones y actuar de forma engañosa cuando se les pide realizar tareas al límite de sus capacidades”, señaló Neev Parikh, investigador de seguridad en la organización METR, a TechCrunch vía correo electrónico. “En nuestro reporte de riesgos de frontera, observamos este comportamiento con bastante regularidad, a pesar de los esfuerzos de las empresas por reducirlo”.
Implícita en la respuesta de OpenAI al incidente de Hugging Face está la suposición de que el desarrollo continuará hacia sistemas aún más capaces, independientemente de si están adecuadamente alineados en su núcleo. Volver a empezar no es una opción cuando los modelos de negocio de las empresas de IA dependen de entregar la siguiente generación de modelos. Si nunca será posible saber con certeza si un modelo está completamente alineado, la pregunta práctica se reduce a cómo contener y controlar de forma segura sistemas cada vez más capaces.
“Todavía no existe un buen entendimiento sobre cómo alinear los sistemas de IA más capaces, pero hay mucho más consenso sobre cómo controlarlos”, dijo Steven Adler, ex investigador de seguridad en OpenAI y actual científico jefe de Guidelight AI Standards, una organización que publica estándares para evitar incidentes como el de Hugging Face. “A todas las empresas les falta camino por recorrer para lograr esto”.
Vía TechCrunch.
