DeepSeek liberó como código abierto DeepInfer, su framework interno de inferencia, bajo la licencia Apache 2.0, informó The Decoder el 20 de octubre.

La inferencia es la forma en que un modelo de IA ya entrenado procesa las solicitudes y genera respuestas. DeepInfer es el software de servicio que le permite al modelo V4.1 Flash de DeepSeek entregar respuestas rápidas a gran escala.

¿Qué incluye DeepInfer?

El framework se construye sobre vLLM, con kernels de cómputo optimizados, procesamiento distribuido entre varios chips y técnicas para generar texto más rápido. DeepSeek dijo que el código de sus futuros modelos también se publicará como código abierto en el mismo repositorio.

La compañía también liberó deepseek-recipe, un componente que replica el procesamiento de tokens de la API oficial de DeepSeek, para que las instalaciones propias se comporten igual que el servicio de la empresa.

Según el resumen que publicó Latent Space el 21 de octubre, DeepInfer soporta inferencia distribuida, decodificación especulativa y salida estructurada en plataformas de NVIDIA y Huawei Ascend. Latent Space también advierte que el código liberado no alcanza para reproducir el servicio completo. Según el propio relato técnico de DeepSeek, la gestión de la caché KV y el balanceo de carga todavía no se publicaron enteros porque siguen atados a la infraestructura interna.

¿Cuánto procesa en producción?

El informe de ingeniería de DeepSeek, tal como lo citó Latent Space, reporta estas cifras de producción.

  • 155 billones de tokens al día desde un solo clúster.
  • 96% de aciertos en la caché de entrada.
  • 400 ms de tiempo promedio hasta el primer token.
  • 230 tokens por segundo de generación, que suben a 300 en tareas de programación.

Son cifras entregadas por la propia DeepSeek y no mediciones auditadas por terceros. El equipo de vLLM, por su parte, informó que con una configuración equivalente en GB200 logró un rendimiento de decodificación a menos de 6% de los resultados publicados por DeepInfer.

¿Qué cambia para los proveedores de Occidente?

Los modelos de DeepSeek ya son muy baratos, y DeepInfer cubre la última pieza que faltaba para correrlos a un costo todavía menor, según The Decoder. La empresa dijo en X que el objetivo es "ayudar a la comunidad a bajar los costos de cómputo, reducir el uso de energía y hacer la IA más asequible".

The Decoder agrega que el lanzamiento también presiona los precios de proveedores occidentales como OpenAI y Anthropic. En el contexto de la carrera de IA entre China y Estados Unidos, el medio plantea que la movida podría tener también una motivación política, y que si las empresas de IA occidentales no cumplen sus metas de crecimiento, eso sería un riesgo para la economía estadounidense y más allá.