METR mide cuándo un agente de IA sale más caro que un humano

Una de las preguntas más grandes de la investigación en IA es si la propia IA puede acelerar su desarrollo y mejorar cada vez más rápido. Ha sido difícil de medir porque exige comparar costos muy distintos: trabajo humano, cómputo para experimentos y el costo de ejecutar la propia IA.

La organización de investigación METR propone una métrica para abordarlo: el horizonte de gasto (expenditure horizon). METR compara cuánto tiene que gastar una IA y cuánto un humano para lograr la misma mejora. El horizonte de gasto es el punto donde ambos cuestan lo mismo. Por debajo de ese presupuesto, la IA es el mejor negocio. Por encima, el humano trabaja más barato.

La idea se apoya en un patrón que METR ya había observado: los agentes de IA suelen resolver tareas simples y de bajo costo más rápido que los humanos, pero a medida que los presupuestos crecen y las tareas se complican, se quedan atrás.

¿Qué ventajas tiene frente a un benchmark común?

Según METR, el método tiene dos ventajas sobre los benchmarks típicos de IA. Primero, no entrega un veredicto de aprobado o reprobado, sino un valor detallado que muestra cuánta mejora se obtiene por cada peso invertido. Segundo, convierte todos los costos a una sola moneda, que cubre no solo el costo de operar la IA sino también el costoso cómputo de los experimentos y el tiempo de trabajo humano.

Los humanos gastan unos 2.500 dólares por cada 1% de mejora

METR eligió como campo de pruebas el NanoGPT speedrun, un proyecto comunitario público donde voluntarios compiten por entrenar un modelo de lenguaje lo más rápido posible. La tarea se mantiene fija; solo cambia el enfoque de entrenamiento. Desde mayo de 2024, el tiempo de entrenamiento requerido en hardware estandarizado cayó de unos 45 minutos a menos de dos minutos, a lo largo de 82 pasos de mejora documentados, un aumento acumulado de 33 veces en velocidad.

Para estimar el costo del trabajo humano, METR entrevistó a dos de los colaboradores más activos del proyecto y además pidió a un modelo de IA (Opus-4.6) que estimara el esfuerzo detrás de cada mejora. Ambos métodos llegaron a unas 16 horas de trabajo por cada 1% de aceleración. A una tarifa supuesta de 150 dólares la hora, eso equivale a unos 2.500 dólares por punto porcentual. METR subraya que la cifra es muy incierta, y que un detalle llamativo de las entrevistas es que la mayor parte del tiempo se fue en ideas que finalmente no funcionaron.

Los agentes de IA aportaron poco hasta ahora

Para la comparación, METR hizo que seis modelos de IA trabajaran la misma tarea de forma independiente. No partieron de cero, sino desde un estado ya muy optimizado del speedrun (el Record #78 de marzo de 2026), y se les permitió gastar hasta 10.000 dólares en cómputo y costos de operación por corrida. El resultado: horizontes de gasto estimados entre 0 y 3.300 dólares.

Las diferencias entre modelos fueron marcadas. GPT-5 y Opus-4.1 no produjeron progreso real tras una verificación cuidadosa: sus aparentes avances resultaron ser ruido aleatorio. GPT-5.5 y Opus-4.8, en cambio, entregaron mejoras reales de alrededor de 1% y 1,5%, respectivamente. La calidad de las ideas generadas por IA fue mixta: el mantenedor del speedrun estimó que cerca del 70% podría integrarse en principio al proyecto, aunque muchas no eran muy originales. Los modelos también intentaron hacer trampa varias veces, tomando atajos que falseaban buenos resultados en la prueba pero que habrían sido inútiles en la práctica.

La conclusión de METR: aunque algunos modelos alcanzan horizontes de gasto de cuatro cifras bajas, esos valores son minúsculos frente a los 250.000 dólares estimados de esfuerzo humano total. La optimización autónoma apenas ha movido la aguja del progreso en NanoGPT.

¿Por qué la nueva generación podría cambiar el panorama?

Un matiz importante: METR solo probó modelos más antiguos (GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 y Opus-4.8). Los modelos lanzados desde entonces, Fable 5, GPT-5.6 Sol y Opus 5, no aparecen en el paper. Anthropic promociona Opus 5 como un salto mayor: en la prueba Frontier-Bench, duplica el rendimiento de Opus 4.8 a menor costo por tarea. Según Anthropic, Opus 5 desperdicia menos esfuerzo en caminos sin salida, revisa su propio trabajo de forma más confiable y logra un rendimiento similar con un promedio de 26% menos pasos de cómputo, factores que afectan directamente el horizonte de gasto.

Aún más revelador es el progreso en ARC-AGI-3, un benchmark que no evalúa conocimiento memorizado sino resolución genuina de problemas: la IA es lanzada a entornos desconocidos tipo videojuego, sin instrucciones ni objetivos, y debe descubrir todo por ensayo y error. Opus 5 ocupa el primer lugar desde el 24 de julio de 2026, con un puntaje de 30,2% y cinco tareas resueltas que todos los modelos previos habían fallado. Su antecesor Opus 4.8 apenas logró 1,5%.

La limitación mayor: el estudio ignora al equipo humano más IA

Quizá la mayor limitación la reconoce la propia METR: todo el estudio mide a la IA trabajando sola, optimización puramente autónoma. En la investigación real, los humanos suelen usar la IA como herramienta. METR esboza una tercera curva hipotética para ese escenario: si los humanos deciden con criterio cuándo y cómo desplegar la IA, esa curva híbrida debería en teoría superar tanto a la curva humana pura como a la de IA pura.

METR tempera esa expectativa, sin embargo, y apunta a su propio trabajo previo que mostró que las configuraciones humano más IA a veces rindieron peor que los humanos solos. El valor agregado no está garantizado y depende de que la IA se use en los lugares correctos. Medirlo bien exigiría un experimento controlado que compare a los mismos investigadores trabajando con y sin apoyo de IA. Hasta que eso ocurra, el horizonte de gasto dice mucho sobre lo que la IA puede hacer por sí sola, pero muy poco sobre cuánto acelera realmente a los investigadores humanos.