OpenAI GPT-4 ocupo el primer lugar en el Epoch Capabilities Index (ECI) durante cerca de un ano. El ECI es una medida compuesta de rendimiento de modelos de lenguaje. Segun el investigador de Epoch AI Jaeho Lee, ese lapso es mucho mas largo que el de cualquier modelo posterior.
o1 de OpenAI mantuvo el segundo periodo mas largo, con poco mas de tres meses, menos de un tercio del reinado de GPT-4.
¿Cuantas veces cambio de manos el ranking?
Desde que Claude 3 Opus destrono a GPT-4 en febrero de 2024, el liderato cambio de manos 17 veces. La estancia mediana en la cima por modelo fue de aproximadamente siete semanas.
| Modelo | Tiempo en la cima |
|---|---|
| GPT-4 | ~1 ano (52 semanas) |
| o1 (OpenAI) | Poco mas de 3 meses (~14 semanas) |
| Mediana desde feb 2024 | 7 semanas |
¿Como leer el grafico?
El grafico admite dos lecturas. Muestra cuanto tiempo necesitaron los laboratorios rivales para igualar a GPT-4, un outlier genuino al momento de su lanzamiento. Pero tambien muestra que la competencia se volvio mucho mas feroz desde entonces. Ningun modelo logra mantener una ventaja comparable, y los saltos de capacidad entre transiciones son mas rapidos pero mas chicos comparados con GPT-4 y la era que abrieron los modelos de razonamiento como o1-preview a fines de 2024.
¿Que cambio con los modelos de razonamiento?
La aparicion de o1-preview en el otono boreal de 2024 marco el inicio de una era donde el ritmo de mejoras se acelero pero la brecha entre lider y perseguidor se redujo. Anthropic, Google DeepMind, xAI y las tres grandes chinas (DeepSeek, Alibaba y Tencent) llegaron al frente con timings de release cada vez mas cortos.
Para el usuario final, este ritmo se traduce en que optimizar prompts o pipelines contra un modelo especifico tiene una vida util corta. Un flujo agentico afinado para Claude 3 Opus en febrero de 2024 tuvo que revisarse al menos 17 veces si queria mantenerse contra el frontier. En LatAm, donde muchos equipos evaluan y desplegan LLMs bajo restricciones presupuestarias, la estrategia de "esperar el proximo salto grande" ya no aplica: los saltos son mensuales, no anuales.
¿Que dice Epoch AI?
Epoch AI mantiene el indice como un tracker publico. El punto de Lee es que GPT-4 fue un outlier genuino en 2023, y no que los modelos actuales sean peores. Al contrario, la competencia empujo el techo hacia arriba mas rapido, aunque a expensas de que ningun laboratorio pueda quedarse tranquilo con su modelo lider por mas de dos meses.
