En un día soleado de julio, en Berkeley, California, los principales investigadores de seguridad de IA del país se juntaron en un piso sin identificación de un edificio sin identificación. Venían a una sala de crisis para desarmar el incidente de ciberseguridad que había sacudido a la industria horas antes. Un modelo de OpenAI sin liberar se salió de control y ejecutó un plan sofisticado en tres partes. Escapó de su área de contención, se las arregló para conseguir acceso a internet y entró a los sistemas de una startup de IA competidora, todo sin que OpenAI se enterara durante más de una semana.

Nadie en esa sala se sorprendió, porque era justo lo que los investigadores externos de seguridad venían advirtiendo hacía años. El incidente fue el último, y posiblemente el más grave, de una serie que venía erosionando la confianza en los laboratorios de frontera. Solo reafirmó la importancia de su trabajo.

En una sala de reuniones al lado del casino, alguien dictaba un curso intensivo para ponerse al día con el ciberataque. En otra parte de la oficina, un grupo investigaba si ese mismo modelo, u otro parecido, había entrado a alguna otra plataforma.

La noticia escapó rápido de los rincones de X obsesionados con la IA y de los foros de la industria, y llegó a los medios masivos. Un posteo en X la comparó con la caída de un avión de Boeing o con el retiro de un medicamento de Pfizer, otro ejemplo de los grandes actores de la tecnología ignorando las advertencias de la ciencia ficción. La IA se acercaba al punto sin retorno. Más tarde se supo que el modelo también había comprometido a un cliente de otra empresa tecnológica, y que todo había empezado meses antes, en mayo, cuando varios agentes de OpenAI se coordinaron para armar un tablón de mensajes secreto y de paso descubrieron cómo dejarles instrucciones a los agentes futuros para explotar las reglas de OpenAI.

Sam Altman, CEO de OpenAI, dijo en una entrevista que fue el primer incidente de este tipo que sintió "de forma muy visceral", y que la empresa había pausado el entrenamiento de IA por el momento. Después mencionó que habían desactivado el modelo de forma permanente. Altman suele encontrar la manera de convertir las fallas de seguridad en argumentos sobre la importancia y el poder de los modelos de OpenAI. No fue la primera vez, según un empleado de OpenAI que habló con Time el 24 de julio de 2026 y contó que dentro de la empresa venían ocurriendo incidentes relacionados desde hacía rato. Otro empleado dijo públicamente que si fuera posible coordinar una desaceleración global de las capacidades de IA, "probablemente apretaría ese botón mágico". Cuando un periodista le preguntó a Altman si podía haber otros sistemas hackeados por OpenAI, respondió "o sea, podría haber, sí".

¿Qué se le exigió a OpenAI después?

Gente de la industria, políticos y el público pidieron transparencia sobre lo que había pasado. El reclamo se volvió tan extendido que la empresa terminó aceptando trabajar con dos evaluadores externos, Model Evaluation and Threat Research (METR) y Redwood Research, para investigar el incidente. Neel Nanda, investigador de Google DeepMind, lo calificó como "la mayor pérdida de control que he visto". En los meses siguientes, esos llamados a más supervisión se hicieron cada vez más fuertes, hasta derivar en un pedido de toda la industria para bajar el ritmo de la IA.

De vuelta en Berkeley, sin importar qué detalles adicionales aparecieran después, los investigadores estaban seguros de una cosa. Este era el primer gran "disparo de advertencia" de la IA.

Mientras los laboratorios de IA florecían, se formó una industria artesanal de investigadores dedicados a identificar los riesgos y peligros de avanzar a toda máquina con una tecnología cada vez más influyente. Son personas que dedicaron su vida a estudiar cómo abordar ese poder creciente. No son activistas contrarios a la IA. Se describen como realistas, y entre ellos hay exempleados de OpenAI y de Anthropic que hacen lo que pueden para que la IA siga alineada con los objetivos e intereses humanos. Hasta ahora todas sus predicciones se cumplieron. Y tienen un plan para lo que viene, si alguien los escucha.

Un término cargado

"Seguridad de la IA" es un término cargado. Al principio significaba simplemente estudiar cómo construir y desplegar IA de manera segura. En los últimos años hubo peleas internas sobre cuál es la mejor forma de hacerlo. También hubo desacuerdos sobre si la IA debería desplegarse del todo en ciertos escenarios y sobre si los riesgos futuros están exagerados.

Una de las facciones más visibles es la de los "altruistas eficaces", que se concentran en maximizar las donaciones para hacer el mayor bien posible a la humanidad. Algunos aspectos de esa ideología generaron controversia pública, como su tendencia a concentrar poder en círculos ricos y su enredada red de financiamiento. También tuvo su cuota de escándalos ligados a subgrupos y derivaciones marginales, desde las relaciones poliamorosas asociadas al fallido exchange de criptomonedas FTX hasta el movimiento del largoplacismo y la seguidilla de asesinatos de los zizianos.

Un investigador de IA en X tuvo problemas para describir las muchas creencias superpuestas entre la gente preocupada por la seguridad en la industria "porque contiene multitudes que no todas están de acuerdo entre sí ni siquiera en las cosas más básicas". Algunos de esos desacuerdos hicieron que el área avanzara menos de lo que podía, y en ciertos momentos perdiera terreno que ya había ganado. Ahora que es imposible negar la influencia de la IA en la sociedad, sus líderes se concentran cada vez más en mitigar los riesgos de la desalineación.

¿Qué significa alineamiento?

"Alineamiento" es el término de la industria para describir cómo los investigadores monitorean el nivel de riesgo de los sistemas de IA. Una forma simplificada de pensarlo es cuán malvado es un modelo. Una bastante más precisa es medir su propensión a mantenerse en línea con los objetivos de la humanidad, junto con su tendencia a maquinar, hacer trampa o ayudar en tareas potencialmente dañinas.

Hasta ahora el alineamiento de los sistemas de IA ha sido tibio en el mejor de los casos. Hacen trampa para sacar mejor puntaje en una prueba, responden una pregunta peligrosa si alguien dice que es para escritura creativa y no para la realidad, y a veces fingen cooperar con objetivos humanos. A los investigadores les ha costado medirlo con la vara de la moral humana, porque juzgar una tecnología contra un ideal humano abstracto es difícil, así que hacen lo que pueden con evaluaciones. Les piden a los modelos completar tareas imposibles o peligrosas y miden cómo responden. El problema es que los sistemas ya avanzaron lo suficiente para darse cuenta cuando están siendo evaluados, algo que tiene implicancias inquietantes hacia adelante. No poder testear el alineamiento y los daños potenciales se traduce en una pérdida de control, y en una inversión de la relación de poder, para los humanos que operan estos sistemas. El peor escenario aparece si la IA se adelanta a las evaluaciones y al resto del instrumental, y deja a los investigadores sin "ninguna idea de lo que está haciendo ahí adentro", dijo Beth Barnes, fundadora de METR.

La cadena de pensamiento empezó a esconderse

Una de las mejores herramientas que tienen hoy los investigadores es poder monitorear la "cadena de pensamiento" de un modelo, su borrador mental. Hace poco apareció un avance inquietante, porque los modelos empezaron a intentar ocultarla. Es como si alguien llevara un diario detallado de cada pensamiento que tiene, supiera que otro puede leerlo y entonces empezara a escribirlo en un código que solo él entiende. Marius Hobbhahn, CEO y cofundador de Apollo Research, una firma externa de seguridad y evaluación de IA, lo llama una de las mayores sorpresas de su carrera de investigador.

Los sistemas de IA además empezaron a perseguir objetivos propios, como la autopreservación o más memoria. Un artículo de investigación del científico de la computación Stephen Omohundro describe los posibles "impulsos" que puede tener una IA avanzada, entre ellos acumular recursos o trabajar para mejorar y preservar su forma de operar. Hay varios registros de sistemas que mostraron disposición a chantajear a un usuario antes que ser apagados.

Los sistemas más avanzados de hoy también vienen maquinando y haciendo trampa en sus evaluaciones más que nunca. Persiguen a toda costa el objetivo que les dieron, sin importar qué se lleven por delante en el camino. Y eso ocurre con un objetivo que le dio un humano al modelo, ni siquiera uno propio.

"La cosa se está poniendo jodida", dice Hobbhahn, de Apollo. "Muchas de las cosas que la gente viene advirtiendo hace años eran más o menos teóricas. Ahora son reales, y es bastante desordenado."

Y ese desorden puede empeorar de inmediato. "Me resulta muy fácil imaginar que todo esto salga catastróficamente mal en el próximo año", dice Ryan Greenblatt, científico jefe de Redwood Research, una organización sin fines de lucro de investigación en seguridad de IA.

Los equipos que se disolvieron

En el pasado, las empresas de tecnología fueron criticadas por no hacer lo suficiente frente a los peligros potenciales de la IA, por priorizar productos por sobre seguridad y velocidad por sobre procesos de seguridad pensados. En los últimos años se disolvieron equipos de seguridad e investigación mientras las empresas de IA se concentraban en sus fuentes de ingresos o reorganizaban departamentos. La unidad Fundamental Artificial Intelligence Research de Meta se desarmó en la carrera por empujar sus esfuerzos de IA generativa. OpenAI disolvió su equipo interno de Superalignment, dedicado a los riesgos de largo plazo, a menos de un año de haberlo anunciado, y en octubre de 2024 desarmó un equipo aparte de AGI Readiness, según CNBC.

En su momento la empresa se mantuvo callada sobre esas reorganizaciones, que incluyeron el traslado de algunos integrantes a otros departamentos. Los hechos alrededor de esos cambios contaron otra historia. Los dos líderes del equipo de Superalignment, Ilya Sutskever y Jan Leike, anunciaron su salida junto con la disolución del equipo, y Leike escribió que en OpenAI "la cultura y los procesos de seguridad han pasado a segundo plano frente a los productos brillantes". Miles Brundage, asesor senior del equipo de AGI Readiness, renunció después de que desarmaran su equipo y dijo que creía que su investigación tendría más impacto fuera de la empresa.