Baidu publicó ERNIE-5.5-Flash-Base, un modelo fundacional abierto que sale a propósito sin ajuste fino ni post-entrenamiento, informó The Decoder el 5 de noviembre. La empresa china espera que los desarrolladores decidan por su cuenta hacia dónde llevarlo. Una versión con post-entrenamiento llegará más adelante.
Que sea un modelo base significa que todavía no fue entrenado para seguir instrucciones ni para conversar. Completa texto a partir de lo que aprendió en el preentrenamiento, y es el punto de partida sobre el que un equipo hace su propio ajuste fino para una tarea o un dominio.
¿Cómo está construido ERNIE 5.5 Flash Base?
El modelo usa una arquitectura de mezcla de expertos (MoE) con 280.000 millones de parámetros en total. De ellos, 14.000 millones se activan por cada entrada. En una MoE, cada entrada pasa solo por una parte de la red, así que el costo de cómputo por consulta depende de los parámetros activos y no del total.
Baidu lo preentrenó con 33,5 billones de tokens y un contexto de entrenamiento de hasta 128.000 tokens. Según la empresa, el modelo está diseñado para admitir un contexto de hasta un millón de tokens durante el ajuste fino y la inferencia.
¿Contra qué modelos se compara?
Baidu publicó resultados de benchmarks frente a DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base, todos medidos con la misma batería de evaluación. Las categorías son exámenes, STEM, razonamiento, conocimiento, código, tareas multilingües y contexto largo.
En razonamiento, código y contexto largo, ERNIE 5.5 Flash Base compite con modelos fundacionales abiertos de tamaño parecido, como DeepSeek V4 Flash o MiMo V2.5, según Baidu. La empresa no entregó en el anuncio una comparación con modelos cerrados.
¿Dónde se descarga?
Los pesos están disponibles en Hugging Face en dos formatos, FP8 y BF16. FP8 ocupa la mitad de memoria por parámetro que BF16, a cambio de menos precisión numérica.
The Decoder resumió el lanzamiento con una frase seca. El desarrollo de IA de Baidu sigue vivo, pero la mayor parte del trabajo queda del lado de quien use el modelo.
