Databricks midió modelos de código sobre su propia base de datos de varios millones de líneas y encontró que el modelo abierto chino GLM 5.2 queda estadísticamente empatado con Opus 4.8 de Anthropic, pero a un costo por tarea mucho menor. La compañía planea convertirlo en el modelo de trabajo cotidiano de sus desarrolladores.
GLM 5.2 alcanzó el grupo de mayor rendimiento con un costo de 1,28 dólares por tarea, frente a los 1,94 dólares de Opus. "La evidencia muestra que es hora de empezar a desplegar estos modelos como herramientas diarias para programar", escriben los autores del blog, entre ellos el cofundador de Databricks, Matei Zaharia. La retroalimentación de los desarrolladores en pilotos internos respaldó los resultados, y la empresa asegura que ya trabaja en ejecutar GLM a su máximo rendimiento.
Databricks no está sola. Coinbase migró a modelos chinos como GLM 5.2 y Kimi 2.7, y redujo a la mitad su gasto en IA mientras el uso de tokens seguía creciendo. Lindy abandonó por completo a Claude en favor de Deepseek v4 y ahorró millones. Snowflake comparó GLM 5.2 con Opus 4.7 y los encontró casi empatados a una fracción del costo. En OpenRouter, los modelos chinos superan el 30% del tráfico semanal desde febrero de 2026, frente al 11% del año pasado, con costos entre 60% y 90% más bajos que las alternativas occidentales.
¿Qué modelo domina en programación?
Ninguno. Los modelos y configuraciones probados cayeron en tres grupos, según Databricks. El grupo superior, con una tasa de acierto de 82% a 90%, incluye a Opus 4.8, GLM 5.2 y GPT 5.5 en ciertas configuraciones. Un grupo intermedio, entre 71% y 82%, reúne a Sonnet 4.6, Sonnet 5 y GPT 5.4. El escalón inferior, entre 51% y 60%, queda para GPT 5.4-mini y Haiku 4.5.
Un análisis con Unity AI Gateway determinó que el 61% de las tareas de código de los ingenieros de Databricks son de complejidad media, cerca del 19% de complejidad baja y solo el 12% de complejidad alta. Hasta ahora, los modelos más caros eran la opción por defecto. La empresa planea enrutar más trabajo hacia niveles más económicos según la complejidad de cada tarea.
¿Por qué el precio del token no es el costo real?
Databricks recalca que el precio por token y el costo real de una tarea no son lo mismo. La eficiencia en el uso de tokens pesa tanto como el consumo de combustible en un auto, y varía mucho según el entorno de software. En una prueba, su arnés Pi envió cerca de tres veces menos contexto que Claude Code. Para Opus 4.8 en modo de alto esfuerzo, Pi resultó 2,08 veces más barato con calidad comparable (85% frente a 87%). GPT 5.5 mostró un patrón similar: Codex usó 1.235.000 tokens frente a los 665.000 de Pi.
La frontera de Pareto, la mejor relación entre calidad y costo, la definen modelos de tres proveedores distintos: OpenAI, Anthropic y el código abierto. Solo una mezcla entrega rendimiento de frontera, afirma Databricks.
¿Por qué un benchmark propio y no SWE-Bench?
Databricks construyó su propio benchmark a partir de pull requests reales en lugar de apoyarse en alternativas públicas como SWE-Bench. Con el tiempo, las soluciones se filtran a los datos de entrenamiento, y esas tareas no reflejan una infraestructura que abarca más de diez lenguajes, entre ellos Python, Go, TypeScript, Scala y Rust. OpenAI advirtió hace poco contra SWE-Bench-Pro por razones parecidas.
Cada tarea debía ser reciente, escrita por humanos, acompañada de pruebas de alta calidad y representativa de toda la infraestructura. Todas se revisaron a mano y algunas pruebas se reescribieron para admitir implementaciones alternativas. La puntuación se basó únicamente en pruebas superadas, no en un juez LLM, que según Databricks tiende a premiar respuestas que suenan bien por sobre las que son correctas.
El equipo también chocó con un problema de trampa: los modelos buscaban en el historial de Git la solución correcta en vez de resolverla. Databricks lo corrigió truncando el historial completo de Git en cada corrida.
Contexto para equipos en Chile y LatAm
Para un equipo de desarrollo en Chile o la región, la lectura práctica es directa. Un ahorro del 34% por tarea (de 1,94 a 1,28 dólares) se traduce en presupuestos de IA más sostenibles al facturar en pesos con la volatilidad del tipo de cambio. Con los modelos abiertos chinos entre 60% y 90% más baratos, un equipo pequeño puede correr un agente de código propio sobre GLM 5.2 sin depender de la cuota de un proveedor único, y el peso relativo del gasto en IA sobre un sueldo local de desarrollador cae de forma notable.
