Claude Code es el framework más rápido pero el más costoso
El software utilizado como envoltorio (wrapper) alrededor de un modelo de IA tiene un impacto determinante en los costos operativos. La empresa de herramientas de IA Composio realizó pruebas exhaustivas con el modelo DeepSeek V4 Flash utilizando cuatro frameworks de agentes distintos: Claude Code, Codex, OpenCode y Oh My Pi. El test consistió en la ejecución de 30 tareas complejas que requerían la interacción con herramientas del mundo real, tales como Gmail, GitHub, Slack y Notion.
La imagen superior ilustra cómo se comportaron los diferentes frameworks durante las pruebas realizadas por Composio, destacando que ningún sistema logró imponerse en todas las categorías evaluadas. El framework Oh My Pi registró la tasa de éxito más alta, completando 17 de las 30 tareas, aunque resultó ser el más lento con un promedio de 272 segundos por tarea.
En cuanto a la eficiencia, OpenCode se posicionó como la opción más económica, con un costo de USD 0,073 por tarea exitosa. Por el contrario, Claude Code demostró ser el framework más veloz, con un tiempo de ejecución de 122 segundos, pero también el más costoso, alcanzando los USD 0,195 por tarea. Este resultado es particularmente notable dado que Claude Code utilizó la menor cantidad de llamadas a herramientas y generó la menor cantidad de tokens de salida en comparación con sus competidores.
Aunque siete de las tareas tuvieron resultados similares independientemente del framework utilizado, las tasas de éxito globales se mantuvieron estrechas, con OpenCode quedando apenas por detrás con 14 de 30 tareas completadas. Las diferencias reales se concentraron en los costos y la velocidad, observándose una disparidad de casi 3 veces en el precio y una diferencia de rendimiento de 2,2 veces en la velocidad de procesamiento, dependiendo exclusivamente del framework elegido para la ejecución.
Vía The Decoder.
