Nathan Lambert, autor del boletín Interconnects, publicó el 4 de noviembre unas notas de investigación con una pregunta concreta. ¿De qué tamaño es el mercado de inferencia de modelos abiertos, está creciendo y pesa algo frente a OpenAI y Anthropic, o es un error de redondeo?
Su banco de pruebas más largo con agentes ha sido el Interconnects Dashboard, un agregador de los mejores datos públicos sobre adopción y rendimiento de modelos abiertos. El panel es gratuito y, según Lambert, cada vez más útil. Aun así, advierte que todas las mediciones de adopción de modelos abiertos son muy imprecisas. Hay métricas ruidosas de plataformas, cifras de startups que tienen algo de marketing y evaluaciones públicas imperfectas. Hace falta un ojo entrenado para ver hacia dónde van las cosas, y estas notas son su mejor aproximación actual.
Lambert dice que los datos del panel seguirán siendo gratuitos en el futuro previsible. Las notas serán más crudas que sus artículos habituales y en su mayoría de pago, un espacio para compartir lo que está pensando sin tener todavía la evidencia completa. A quienes trabajan en políticas de IA o en investigación orientada a políticas públicas les ofrece acceso con descuento o gratuito.
¿Cómo se mide el mercado de modelos abiertos?
Lambert usa como termómetro a tres startups de inferencia de modelos abiertos, Baseten, Fireworks y Together AI, además de la proporción de modelos abiertos en el volumen de tokens de OpenRouter, que esa plataforma informa en su API.
Los grandes proveedores de nube probablemente también tienen una presencia importante, por ejemplo Amazon Bedrock y el catálogo de modelos de Azure. Pero Lambert no ha visto que desglosen el uso por categoría de modelo. El destino de las startups, en cambio, está mucho más atado al éxito de la inferencia de modelos abiertos como categoría.
¿Qué muestran los números?
Para los datos más recientes, Lambert parte de una lámina de su charla sobre la economía de los modelos abiertos (la grabación está aquí). La lámina reúne lo que estas startups han revelado en público sobre su volumen de tokens a lo largo del tiempo, en escala logarítmica.
El gráfico muestra un crecimiento casi exponencial, y eso antes del salto que vendría tras el cambio de nivel de GLM 5.2 en agentes abiertos.
Un ejemplo es Fireworks, que anunció en su primera conferencia de empresa, esta semana, que está sirviendo más de 40 billones de tokens diarios a los modelos personalizados de sus clientes. Es solo una parte de su inferencia, un segmento que según la empresa creció más del doble desde el verano boreal. Por eso Lambert espera que el total de Fireworks este otoño quede muy por encima de los 100 billones de tokens diarios cuando llegue la próxima actualización.
La comparación con Google
El primer instinto de Lambert con estas cifras fue contrastarlas con cualquier empresa de modelos cerrados o de gran escala que tuviera datos, al menos en volumen de tokens. Google publica en sus informes de resultados el volumen de tokens de toda su plataforma y del uso de su API. Lambert superpone esas dos cifras sobre las de las plataformas de inferencia de modelos abiertos para comparar ambas curvas.
El resto del análisis, con esa comparación completa, quedó en la parte de pago del boletín.
