El Allen Institute for AI (Ai2) presentó StateBench, un benchmark de seguimiento de estado en contextos largos. Mide qué tan bien siguen los modelos de lenguaje la información sobre entidades que cambian a lo largo de un documento extenso. El informe técnico, los datos y el código están publicados.

El seguimiento de estado está detrás de tareas que van desde leer código, donde las variables se asignan y se reasignan, hasta seguir una historia en la que los personajes se mueven y los objetos cambian de mano. Si una novela de misterio dice que "John le dio el cuchillo a Mary" justo antes de un asesinato, hay que saber que el estado de cada personaje cambió.

No todos los problemas de seguimiento de estado son iguales. Algunos solo piden encontrar la última actualización. Los más difíciles obligan a seguir una cadena de cambios en la que un paso perdido arruina la respuesta final. Una versión más difícil del misterio sería que John le diera a Mary lo que llevaba en su mochila, sabiendo de antes que Edward había puesto un cuchillo en la mochila de John.

Transformers contra arquitecturas recurrentes

Los transformers tienen límites teóricos bien documentados en las variantes difíciles del seguimiento de estado con cadenas de dependencia largas. Eso ayudó a impulsar arquitecturas recurrentes e híbridas, como Gated DeltaNet, que arrastran una memoria en curso.

Las pruebas de seguimiento de estado que existen tienden a concentrarse en los casos más difíciles. Con estos diseños cada vez más comunes, los investigadores necesitan saber qué tipos de seguimiento puede manejar cada arquitectura, también en los casos simples y quizás más frecuentes.

Ai2 desarrolló StateBench para cubrir problemas de distinta complejidad y comparar modelos con arquitecturas diferentes. Su conclusión es que los modelos recurrentes e híbridos generalizan mucho más lejos que los transformers cuando se entrenan directamente en estas tareas. Los modelos de frontera, entre ellos Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna, siguen fallando en las formas difíciles a medida que la entrada se alarga.

¿Cuáles son los cuatro niveles?

StateBench tiene cuatro niveles de dificultad con operaciones de actualización cada vez más complejas. Para un programador, cada nivel equivale a un tipo de asignación de variables.

  • Problemas R-triviales. Usan asignación inmutable. El valor de una variable nunca cambia y el modelo solo tiene que recuperar el primero. En código es let x = 4, y en la vida diaria es como una fecha de nacimiento.
  • Problemas aperiódicos. Permiten reasignar por valor. El modelo tiene que encontrar el valor más reciente y puede ignorar los anteriores. En código es x = 4 y después x = 2, y en la vida diaria es un termostato, donde la última configuración define la temperatura.
  • Problemas solubles. Suman actualizaciones autorreferidas. Cada cambio parte del valor actual, así que el modelo tiene que arrastrar los cambios en vez de buscar la última asignación. En código es x = x + 5, y en la vida diaria es el marcador de un partido.
  • Problemas finitos generales. Suman asignación por referencia. Una variable puede tomar el valor actual de otra y se crean dependencias entre actualizaciones. En código es x = y o el intercambio de dos variables. Es como un mago que esconde una pelota bajo uno de cinco vasos y los cambia de lugar una y otra vez. Encontrar la pelota exige seguir cómo cada intercambio mueve su posición. Es el problema de seguimiento de estado S5, del nivel más difícil, y está tratado en trabajos previos sobre los límites del seguimiento de estado.

Los niveles se entienden con asignaciones de variables, pero también responden a distinciones teóricas de la teoría de Krohn-Rhodes. Es una rama del álgebra que describe cómo los problemas de seguimiento de estado (vistos como problemas de palabras sobre monoides finitos) se descomponen en primitivas atómicas. Cada nivel de la jerarquía corresponde a una clase de problemas que se construye con un conjunto distinto de primitivas.

Para comparar los cuatro niveles en igualdad de condiciones, Ai2 parte de una secuencia finita general de asignaciones y deriva de ella tres versiones más fáciles. Las cuatro usan el mismo número de variables y de valores distintos, con las asignaciones en los mismos puntos de la secuencia. Solo cambia el tipo de asignación.

¿Cómo les fue a los modelos preentrenados?

Ai2 probó varios modelos abiertos preentrenados en los niveles R-trivial, aperiódico y finito general, para ver dónde falla su seguimiento de estado y si cada arquitectura falla donde predice la teoría. Bajo los supuestos teóricos estándar, los transformers manejan bien el nivel R-trivial (y en cierta medida el soluble y el aperiódico) pero deberían fallar en los problemas generales. Gated DeltaNet, con una actualización de memoria más flexible, en principio puede con los cuatro niveles.

Los modelos abiertos tienen documentados sus datos de entrenamiento y sus largos de contexto. Entre ellos había dos modelos de 7.000 millones de parámetros, Olmo 3 (un transformer) y Olmo Hybrid (que suma capas de Gated DeltaNet), además de modelos más pequeños de 275 millones y 2.700 millones de parámetros. Todos se preentrenaron con los mismos datos y ninguno vio contextos de más de 64.000 tokens durante el entrenamiento. La mayoría se probó con entradas bastante más largas.

Casi todos rindieron bien en los problemas R-triviales, perdieron precisión en los aperiódicos a medida que crecía la entrada y quedaron al nivel del azar en los finitos generales. El formato del problema pesó. Los modelos híbrido y Gated DeltaNet de 275 millones de parámetros rozaron el máximo en problemas R-triviales con formato tipo RULER, pero quedaron cerca del azar en los mismos problemas presentados como ediciones de una planilla. Esa diferencia es una de las razones por las que StateBench prueba el mismo problema en varios formatos.

¿Y los modelos de frontera?

Ai2 probó cuatro modelos de frontera, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna. Les pidió leer cada secuencia de asignaciones y entregar el valor final de cada variable.

Los cuatro rindieron bien en los problemas R-triviales y aperiódicos. En los solubles y los finitos generales la precisión cayó fuerte con entradas más largas, hasta 13% o menos en los problemas finitos generales más largos. Un factor probable es la sensibilidad. En los niveles difíciles hay muchos más pasos que afectan la respuesta final, y queda menos margen para que el modelo se salte una actualización sin equivocarse en el resultado.

Modelos entrenados directamente en la tarea

Después, Ai2 investigó si la dificultad con los niveles altos refleja límites de las arquitecturas o si el preentrenamiento simplemente no enseña a resolverlos. El entrenamiento directo es un escenario más favorable, y muestra cuánto del problema viene de la arquitectura y del optimizador y no de los datos de preentrenamiento.

El equipo entrenó desde cero varios modelos de 275 millones de parámetros en StateBench. Fueron dos variantes de transformer, dos híbridos y dos variantes de Gated DeltaNet con distintas restricciones de actualización de memoria. Se entrenaron con secuencias de hasta 256 asignaciones y se probaron con secuencias de hasta 64.000 asignaciones, 250 veces el largo máximo de entrenamiento.

Las arquitecturas se separaron a medida que crecían las secuencias. Los modelos Gated DeltaNet e híbridos generalizaron casi a la perfección en los problemas R-triviales, aperiódicos y solubles hasta las secuencias más largas, de decenas de miles de asignaciones. Los transformers aprendieron los niveles fáciles pero se degradaron con secuencias largas, y nunca aprendieron los problemas finitos generales. En el nivel más difícil, la variante de Gated DeltaNet con actualización de memoria más flexible fue la que más lejos generalizó, casi perfecta hasta unas 10 veces el largo de las secuencias más largas que vio en el entrenamiento.

En Gated DeltaNet y los híbridos, la brecha apunta al entrenamiento y no a la arquitectura. Entrenados directamente, aprendieron niveles que sus versiones preentrenadas no manejaban. Los transformers fueron distintos. Incluso con entrenamiento directo, nunca aprendieron el nivel más difícil.

Lo que sigue abierto

Quedan preguntas sin responder. Una nueva demostración de Ai2 muestra que Gated DeltaNet con una actualización de memoria más limitada (valores propios no negativos) resuelve todas las tareas aperiódicas y ciertas tareas periódicas, como saber si una entrada repetida apareció un número par o impar de veces, bajo la aritmética de precisión fija con redondeo del artículo. Su ubicación exacta en la jerarquía sigue abierta, incluso si resuelve todas las tareas solubles y cómo afectan sus capacidades la precisión numérica o la combinación con capas de atención.

StateBench además supone un número fijo de variables, mientras que las tareas reales suelen sumar entidades nuevas con el tiempo. En una conversación larga aparecen personas y objetos nuevos, y el modelo tiene que empezar a seguirlos también. El marco actual todavía no cubre ese caso.

Según Ai2, a medida que surjan nuevas variantes de arquitecturas recurrentes e híbridas, saber qué tipos de seguimiento de estado maneja cada una puede orientar cómo se desarrollan y entrenan los sistemas futuros. El instituto espera que StateBench les dé a los investigadores una forma más fina de encontrar dónde fallan los modelos y de construir datos de entrenamiento y evaluación para las capacidades que todavía no alcanzan.