OpenAI revisó SWE-Bench Pro, una prueba ampliamente usada para medir las habilidades de programación de los modelos de inteligencia artificial, y encontró que cerca del 30% de sus tareas está roto. La compañía retiró el respaldo que antes le había dado al benchmark.
Los resultados de tests como este alimentan decisiones sobre si un modelo se libera y cómo, incluidas las evaluaciones de seguridad bajo el Preparedness Framework de OpenAI. Cuando una prueba contiene errores, puede entregar una imagen engañosa de lo que una IA realmente sabe hacer.
¿Cómo se detectaron las fallas?
Para la revisión, OpenAI desplegó primero una herramienta automática de filtrado que marcó 286 tareas sospechosas. Agentes de IA construidos sobre Codex examinaron luego cada caso en detalle, antes de que un investigador humano tomara la decisión final. Ese proceso etiquetó 200 tareas (el 27,4%) como defectuosas. En una revisión paralela, cinco desarrolladores de software con experiencia evaluaron los mismos casos y marcaron todavía más: 249 tareas (el 34,1%). Los revisores humanos fueron más estrictos que los agentes de IA, aunque ambos coincidieron en el 74% de los casos.
Cuatro formas de estar mal planteada
OpenAI clasifica los problemas en cuatro categorías. Algunas pruebas son demasiado estrictas y rechazan soluciones que en realidad funcionan. Otras son demasiado vagas y esperan que la IA cumpla requisitos escondidos en casos de test ocultos. Algunas son demasiado superficiales y dejan pasar soluciones incompletas. Y ciertas descripciones simplemente apuntan en la dirección equivocada.
Un ejemplo del proyecto OpenLibrary lo resume bien: la descripción de la tarea pedía un solo espacio, pero el test oculto esperaba dos. Una IA que siguiera correctamente las instrucciones habría fallado.
El origen del problema es estructural. Las tareas se tomaron de los historiales de cambios de proyectos de software reales, escritos para la colaboración entre humanos y no diseñados como pruebas limpias de evaluación para modelos de IA. Según OpenAI, esos tests suelen ser demasiado estrictos porque fueron construidos para verificar un cambio específico, no para servir como requisitos de propósito general.
¿Por qué importa este benchmark?
En la versión pública del test, con 731 tareas, los mejores modelos saltaron de un 23,3% a un 80,3% de precisión en apenas ocho meses. SWE-Bench Pro estaba pensado para reemplazar al antiguo SWE-bench Verified, que OpenAI ya había descartado por razones similares.
Esta vez, OpenAI no recomienda un reemplazo específico. La empresa se limita a pedir a la industria que construya nuevos benchmarks con desarrolladores experimentados: pruebas difíciles de manipular, confiables y realmente significativas.
Un ranking que ya se movió
A mediados de junio, la firma de análisis Artificial Analysis ya había retirado SWE-Bench Pro de su Coding Agent Index y lo había cambiado por DeepSWE, un test de Datacurve. La razón: SWE-Bench Pro era manipulable. Algunos modelos habían copiado la solución correcta desde el historial de cambios de un proyecto en lugar de resolver la tarea.
El cambio reordenó la tabla. Codex con GPT-5.5 (xhigh) subió de 65 a 76 puntos y superó a Claude Code con Opus 4.8 (max), que quedó en 73, mientras que Claude Code con Fable 5 (max) tomó el primer lugar con 77 puntos. En SWE-Bench Pro, Codex con GPT-5.5 había obtenido apenas 31 puntos, frente a los 64 a 84 que lograba en otros tests.
