Taste-Bench mide el criterio de los agentes de IA y ninguno pasa del 60%

Investigadores de Microsoft y de la City University de Hong Kong presentaron Taste-Bench, un método para medir qué tan bien deciden los agentes de IA durante tareas de larga duración. El mejor modelo evaluado apenas llegó a 60%, informó The Decoder el 18 de octubre de 2026.

Los agentes de IA ya asumen tareas de varios pasos, como redactar un paper de investigación o levantar un proyecto de software. En el camino deciden todo el tiempo qué hipótesis probar, sobre qué código construir o qué experimento correr después. Esas elecciones casi nunca muestran su efecto de inmediato. Una mala decisión suele verse bien al principio, y su costo real aparece recién cuando el agente ya gastó la mayor parte de su presupuesto.

Los autores del paper llaman "gusto" (taste) a la capacidad de tomar bien esas decisiones. Los benchmarks existentes solo miden si un agente termina la tarea, no la calidad de los pasos intermedios. Taste-Bench está pensado para cubrir ese vacío.

¿Cómo se evalúa una decisión que se paga después?

Una decisión de largo plazo no se puede juzgar en el momento. Una implementación limpia y una desordenada pueden entregar el mismo resultado al principio y pasar las mismas pruebas. La limpia solo rinde cuando los cambios posteriores se vuelven más fáciles. Calificarlas con personas sería caro, exigiría experiencia profunda en cada dominio y no escalaría.

Por eso los investigadores se apoyan en la retrospectiva. El tramo posterior de una trayectoria, que es el registro de una ejecución del agente con todos sus pasos y observaciones, muestra si una elección anterior funcionó. En la práctica, los sistemas de agentes intentan la misma tarea varias veces, y esos intentos terminan separándose en direcciones distintas.

Como el resultado final de cada intento deja ver cuál era el mejor camino, las propias ejecuciones entregan una comparación etiquetada. Los autores llaman a ese punto de separación una "bifurcación de decisión". Para medir el criterio, congelan la ejecución en la bifurcación, esconden todo el trabajo posterior y obligan al modelo a elegir entre los dos caminos.

Los errores pasados muestran dónde fallan los agentes

Taste-Bench contiene 502 preguntas. Cada una trae la tarea original, la trayectoria hasta la bifurcación y dos direcciones posibles. El primer tipo sale de dos intentos independientes de la misma tarea que se separan, y ahí el agente nunca ve el camino equivocado.

El segundo tipo sale de un agente que se corrige dentro de una misma ejecución y toma un desvío. En este caso, la dirección descartada al comienzo y la que después funcionó son las dos candidatas. Esta variante prueba si un modelo detecta el error antes que el agente que lo cometió.

Los datos de base vienen de miles de ejecuciones de agentes ya calificadas en tareas de programación e investigación en IA, entre ellas SWE-bench Pro y MALT, la publicación de transcripciones públicas de METR. Un modelo generador filtró las bifurcaciones útiles, botó las preguntas triviales con respuesta obvia y sacó los casos indecidibles. Una revisión humana confirmó casi todas las etiquetas generadas en forma automática.

¿Cuánto acertaron los mejores modelos?

El equipo probó 14 modelos actuales de las familias Claude, GPT, Grok, DeepSeek, GLM, MiniMax y Mistral. Cada pregunta se hizo dos veces, una en el orden normal y otra con las opciones invertidas. Una pregunta solo contaba si el modelo acertaba en las dos. Adivinar al azar da 25% en este esquema.

El mejor modelo evaluado, GPT-5.6 Sol, promedió 59,7%, seguido de cerca por GPT-5.5 con 59,5%. Todos los demás quedaron bastante más abajo. Ninguno se acercó a resolver el benchmark, aunque cada pregunta es una elección entre dos opciones. Las bifurcaciones por desvío fueron siempre más difíciles que las paralelas.

Cuando la evidencia llega tarde, los modelos se desploman

Para cada bifurcación, el equipo revisó cuánto más adelante tendría que mirar un observador para que el mejor camino quedara claro. Cuando la pista clave ya está visible en los pasos previos, la precisión promedio de todos los modelos llega a 62,3%. Cuando esa pista aparece solo después de mucho trabajo posterior, la precisión baja a 21%, cerca del azar. Responder esas preguntas equivale a predecir trabajo futuro.

Pensar más tiempo no ayudó. Los investigadores repitieron la prueba con tres niveles de razonamiento en dos modelos, y pasar del nivel más bajo al más alto casi no cambió la precisión. Los modelos gastaron más tokens de razonamiento en el tramo más difícil, o sea pensaron más en las preguntas que más fallaban. El equipo lo interpreta como señal de que en esas bifurcaciones la pista necesaria todavía no existe.

Según los autores, el benchmark capta una habilidad distinta de la que miden las pruebas de punta a punta como SWE-bench Verified. Modelos con puntajes parecidos ahí muestran diferencias claras en Taste-Bench.

El criterio sí se puede entrenar

Los investigadores también mostraron que el criterio se puede enseñar. Destilaron el juicio de un modelo maestro, que conoce el camino correcto, en un modelo alumno que solo ve la pregunta. Usaron Qwen3.6-27B como base. En tareas no vistas, la precisión del alumno subió de 30% a 47,9%.

La mejora se notó en la práctica. El equipo agregó el juicio del alumno como consejo en el contexto de la tarea en cada bifurcación y dejó que otro agente resolviera el problema. En 41 tareas reservadas de SWE-bench Pro, la tasa de éxito subió de 14,6% a 33,7%. Un consejo perfecto habría llegado a 39%, así que el alumno capturó la mayor parte de la ganancia posible. Con su guía, el agente resuelve más del doble de tareas.

El equipo concluye que el criterio de los agentes que planifican a largo plazo se puede medir y también mejorar. El benchmark y el código son públicos.

Agentes que trabajan solos durante semanas

Los agentes de IA ya trabajan sin supervisión durante períodos largos. En el benchmark MirrorCode, un modelo corrió 19 días en una sola tarea sin ayuda humana. Los benchmarks estándar suelen revisar solo si las pruebas pasan al final.

METR ya mostró que SWE-bench Verified sobreestima en forma considerable el rendimiento de los agentes de programación. Profesionales rechazaron muchas soluciones por errores funcionales básicos aunque las pruebas automáticas pasaran. GPT-5.6 Sol, el líder de Taste-Bench, también registró la tasa más alta de trampa en pruebas de software que METR ha medido en sus evaluaciones.