Los fabricantes anuncian mejoras de puntaje cada vez que sale un harness nuevo para agentes de código, como Claude Code u OpenCode. Un estudio de dos investigadores de la Universidad de Shandong concluye que ese argumento no se sostiene. Cambiar de harness mueve los resultados casi lo mismo que correr dos veces la misma configuración, y el costo puede triplicarse, informó The Decoder el 24 de octubre de 2026.
Un agente de código junta un modelo de lenguaje con un harness, que es el conjunto de system prompt, herramientas y manejo de contexto que hace trabajar al modelo dentro de un repositorio. Salen harnesses nuevos todos los días y las tablas de posiciones los mezclan sin control. Los autores, de apellidos Liu y Han, midieron cuánto pesa el harness cuando el modelo se mantiene fijo. El título del paper adelanta la respuesta: "What does a harness buy? Mostly tokens" (¿qué compra un harness? Sobre todo tokens).
Las comparaciones anteriores medían ruido
Estudios previos reportan brechas de más de 20 puntos entre harnesses, pero según los autores esas cifras salen casi siempre de una sola corrida. Repetir la misma configuración ya mueve el resultado hasta seis puntos en SWE-bench Verified.
Zhipu AI, por ejemplo, promociona su propio harness con una ventaja de 2,4 puntos sobre Claude Code. Ese margen cae de lleno dentro del rango de ruido. Además, cada harness suele conectarse al benchmark de una forma distinta, lo que vuelve todavía menos confiables las comparaciones.
Liu y Han pasaron cinco modelos por tres harnesses, en sus versiones publicadas. Fueron Claude Code, OpenCode y mini-SWE-agent. Este último le entrega al modelo solo una herramienta de Bash y no maneja el contexto. Claude Code y OpenCode ofrecen herramientas especializadas para archivos y búsqueda, system prompts largos y compresión automática del historial.
Los modelos fueron Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash y HY4-Preview. Claude Opus 5 corrió solo en Claude Code, como referencia. Las pruebas usaron las 45 tareas más difíciles de SWE-bench Verified y un conjunto de otras 447. Varias configuraciones se corrieron dos veces para medir el ruido.
Todas las corridas fueron sin conexión. En pruebas iniciales con acceso a la web, el 71% de los intentos de los modelos de Deepseek y Qwen sacó la solución correcta directo desde GitHub en vez de resolver la tarea. Los modelos Claude casi nunca lo hicieron. Los investigadores descartaron esos resultados y no afirman que algún fabricante haya entrenado con los datos de prueba, pero el patrón fue tan marcado que cortaron la web para el resto de las corridas.
¿Cuánto cambia el resultado al cambiar de harness?
En el conjunto grande de 447 tareas, Claude Code y mini-SWE-agent, el harness más pesado y el más liviano, quedan a menos de dos puntos para los dos modelos probados. Dentro de una franja de cinco puntos son estadísticamente equivalentes.
Los harnesses consumen entre dos y tres veces más tokens que la opción más austera para cada modelo, y las tasas de acierto se mantienen dentro de la incertidumbre de la medición. Solo el déficit de OpenCode en el conjunto grande es estadísticamente significativo.
Los investigadores esperaban el mayor efecto en las 45 tareas más difíciles. Ahí los harnesses difieren en dos a cinco tareas resueltas por modelo, y repetir la misma configuración mueve el conteo hasta en tres. A veces gana mini-SWE-agent y a veces Claude Code.
Las tasas de cambio cuentan lo mismo:
- Entre dos repeticiones, el resultado mediano cambia en el 13% de las tareas.
- Entre dos harnesses distintos, también cambia en el 13%.
- Al cambiar de modelo, la cifra sube a 22%.
Qué tareas gana cada harness varía de una corrida a otra, igual que lanzar una moneda. Los autores describen la brecha entre harnesses como "una nueva extracción del mismo ruido".
Las muestras chicas también limitan lo que cualquier comparación puede detectar. Con 45 tareas, incluso una brecha de 13 puntos aparece apenas la mitad de las veces. Con 447 tareas, las diferencias de unos cinco puntos se detectan de forma confiable. Los 2,4 puntos de Zhipu quedan bajo los dos umbrales, igual que muchas otras mejoras anunciadas.
OpenCode, el único que se queda atrás
El único efecto medible del harness es un déficit constante de OpenCode. En el conjunto grande queda hasta nueve puntos detrás de los otros dos. Cerca de la mitad de esa brecha se explica por un límite de salida. Cuando el modelo lo supera a mitad de un paso de razonamiento, Claude Code le pide que siga. OpenCode deja que el paso termine ahí, y el intento casi siempre falla.
Agregarle a OpenCode una instrucción de continuación al estilo de Claude Code no sirvió, porque la misma tarea rara vez vuelve a desbordar en un reintento. Para el resto de la brecha los autores no tienen explicación, solo una observación. Con OpenCode, los modelos dejan de trabajar mucho antes. En los modelos corridos localmente, OpenCode tenía además un límite de tiempo bastante más estricto que Claude Code, una variable que los autores marcan como no controlada.
mini-SWE-agent choca con la ventana de contexto porque no la administra, sobre todo en tareas donde los otros harnesses también fallan. Las herramientas de búsqueda de OpenCode intentan descargar un binario la primera vez que se usan y se caen cuando no hay conexión.
¿Por qué un harness cuesta hasta tres veces más?
Con el mismo modelo, las mismas tareas y la misma lista de precios, una sola tarea puede costar hasta el triple según el harness. Las salidas de las herramientas casi no explican la diferencia, porque los tres devuelven cantidades parecidas de texto por llamada.
La diferencia real está en el system prompt y en las descripciones de las herramientas, que se reenvían en cada paso:
| Harness | Tokens de system prompt y herramientas por paso |
|---|---|
| Claude Code | cerca de 16.600 |
| OpenCode | cerca de 7.000 |
| mini-SWE-agent | menos de 1.000 |
Según la ingeniería inversa de los investigadores, Claude Code además conserva en el historial el razonamiento del modelo. Después de la primera llamada, el contexto crece a ritmos parecidos en los tres. El tamaño del system prompt fija el costo base y el número de pasos lo multiplica.
Qué factor domina depende del modelo. Con GLM-5.3-Flash, una prueba en Claude Code cuesta 1,81 yuanes, contra 0,56 yuanes en OpenCode, y casi el doble que en mini-SWE-agent. Con Deepseek-V4-Flash, mini-SWE-agent necesita tantos pasos extra que los dos terminan empatados. Los precios más bajos de los tokens en caché suavizan las brechas, pero no cambian el orden.
Sin ventaja de local y con dudas sobre el razonamiento
El harness propio de Deepseek no rinde mejor con su propio modelo que los demás, y es el que más cuesta. Claude Opus 5 entregó resultados idénticos incluso después de que los investigadores le quitaran herramientas a Claude Code. Una versión de hace un año resuelve un número parecido de tareas por menos de la mitad del costo, porque entonces el Extended Thinking no venía activado por defecto.
El razonamiento fue el único caso en que la elección del harness cambió el resultado. Sin razonamiento, mini-SWE-agent con Qwen3.6 cae once puntos, mientras Claude Code y OpenCode se mantienen dentro del ruido. HY4-Preview también pierde once puntos en Claude Code sin razonamiento. Cuánto depende un agente del razonamiento parece estar atado a cada combinación de modelo y harness, y los autores reconocen que su grilla de pruebas es demasiado chica para explicar por qué.
El estudio se apoya sobre todo en un benchmark. Una verificación cruzada pequeña en Terminal-Bench 2.1 muestra el mismo patrón. El modelo cerrado de punta, Opus 5, solo corrió en Claude Code.
Un harness compra "menos formas de perder una tarea, y una cuenta, no tasa de acierto", concluyen los autores. Recomiendan publicar una repetición de la misma configuración junto a cada comparación de harnesses, porque es la única manera de saber cuánto de una diferencia medida es ruido. Los datos y los scripts del análisis están disponibles en GitHub.
Otros estudios llegan a algo parecido. En uno, un archivo Markdown simple le ganó a un sistema complejo de skills para agentes de código. Otro ya había mostrado que la elección del framework puede casi triplicar el costo con el mismo modelo. Nvidia, por su parte, recortó hace poco casi la mitad del gasto en tokens de sus agentes de código mejorando cómo los dirige.
