Mistral lanza Timestral, modelos de series de tiempo que corren en CPU

Mistral AI lanzó Timestral, su primera familia de modelos fundacionales para series de tiempo. Su modelo más grande tiene apenas 209 millones de parámetros y, según la empresa, ocupa el primer lugar en los tres benchmarks públicos principales del área, GIFT-Eval, TIME y fev-bench. Supera al estado del arte anterior con dos tercios de sus parámetros.

Timestral entrega pronósticos probabilísticos y multivariados, y acepta covariables solo del pasado y covariables conocidas a futuro. Mistral afirma que cada tamaño de la familia queda en la frontera de Pareto entre precisión y tamaño del modelo. Los resultados ya se enviaron a los rankings de GIFT-Eval y TIME.

¿Qué es un modelo fundacional de series de tiempo?

Las series de tiempo son uno de los tipos de datos más comunes en las empresas, desde la telemetría de sensores hasta las métricas de observabilidad. Los pronósticos que salen de ellas guían decisiones de planificación de capacidad, energía, cadena de suministro, riesgo y mantenimiento.

Las plantas industriales pronostican sus sensores de proceso contra el calendario de producción, detectan la deriva de un equipo antes de que falle y planifican capacidad y repuestos para miles de activos. Los equipos de finanzas pronostican flujos, volúmenes y volatilidad para decidir posiciones, coberturas y tesorería en miles de cuentas.

Los modelos clásicos como ARIMA y la regresión lineal siguen siendo herramientas establecidas. Normalmente se ajustan a una sola serie y aprenden solo de su historia.

Los modelos de aprendizaje profundo como PatchTST suman la capacidad de aprender patrones no lineales entre muchas series relacionadas. Igual se entrenan desde cero en cada conjunto de datos, así que lo que aprenden no se traslada a dominios nuevos.

Los modelos fundacionales de series de tiempo llevan el preentrenamiento a este tipo de datos. Entrenado sobre un corpus grande y variado, el modelo aprende patrones que sirven entre series distintas y pronostica zero-shot sobre datos que nunca vio, incluso en dominios con pocos datos.

Resultados en los benchmarks

Mistral evaluó Timestral en GIFT-Eval, TIME y fev-bench. Entre los modelos preentrenados que se usan sin ajuste, ocupa el primer lugar en las cinco métricas. Los resultados salen de un solo checkpoint, sin combinar modelos.

GIFT-Eval, los diez primeros de 83 modelos preentrenados y zero-shot comparables. Menos es mejor.

TIME, los diez primeros de 35 entradas del ranking. Menos es mejor en ambas métricas.

fev-bench, los diez primeros de 37 entradas del ranking, por SQL skill score. Más es mejor.

Cuatro tamaños para cada necesidad

Timestral viene en cuatro modelos, de 5M, 28M, 123M y 209M parámetros. Los grandes pronostican mejor y los chicos son más rápidos y baratos. Los cuatro comparten arquitectura y receta de entrenamiento. Según Mistral, ningún modelo público del mismo tamaño pronostica mejor que el suyo.

La empresa da dos comparaciones. El modelo de 28M le gana a Chronos-2, que es unas cuatro veces más grande, en GIFT-Eval y TIME. El de 209M supera a TimesFM-3 y a Falcon-2.0 con menos parámetros.

Timestral no necesita GPU para la inferencia. En una CPU de servidor estándar con 8 hilos, pronosticar un día hacia adelante a partir de tres semanas de historia en intervalos de 15 minutos toma 10 ms con el modelo de 5M y 140 ms con el de 209M. El de 28M es cinco veces más rápido que el de 209M, y el de 123M queda a 0,2% del puntaje del mayor con tres cuartos de su latencia.

Un ejemplo industrial

Mistral propone el caso de una planta con miles de sensores repartidos en sus equipos.

Pronóstico multivariado. La vibración, la temperatura y la presión de una bomba no se mueven por separado. El alza de una suele explicar o provocar un cambio en otra. Timestral modela las series relacionadas en conjunto y aprovecha esas dependencias, en vez de pronosticar cada sensor aislado.

Pronóstico probabilístico. Un único valor predicho no muestra todo. Timestral predice un conjunto completo de cuantiles, así que el equipo ve el ancho de la incertidumbre, fija umbrales de alerta acordes y planifica el mantenimiento según el riesgo.

Covariables categóricas. Algunas covariables toman valores de un conjunto de categorías, como el día de la semana o el estado de una máquina (en marcha, detenida, en mantenimiento). Codificarlas como números les impondría un orden o una escala que no tienen. Timestral las recibe directamente como categorías.

Covariables conocidas a futuro. Algunos factores se saben de antemano, como el calendario de producción, las detenciones programadas o el pronóstico del clima. Timestral puede condicionarse con ellos, de modo que un aumento de carga programado se espera en vez de marcarse como sorpresa.

Del modelo al sistema

Timestral es un modelo numérico que puede correr dentro de los sistemas de monitoreo existentes o combinarse con los modelos de lenguaje de Mistral en flujos de agentes multimodales. En la planta, eso podría funcionar así.

• Timestral corre de forma continua sobre los flujos de los sensores y detecta anomalías apenas ocurren.
• Cuando marca una anomalía en una bomba, un agente convierte las señales en embeddings y las compara con datos de sensores pasados para encontrar fallas históricas parecidas.
• El agente lanza subagentes que hacen un análisis de causa raíz con el contexto de la planta, como registros de mantenimiento, bitácoras de turno, notas de operadores, manuales de equipos, órdenes de trabajo anteriores y lecturas de equipos relacionados.
• El agente redacta un diagnóstico sugerido con la evidencia y los pasos siguientes posibles.

El jefe de planta recibe un diagnóstico y un plan respaldados por los datos de los sensores, y no solo una alerta.

Las contribuciones técnicas

Mistral combinó varias ideas para llegar a estos resultados. Cada una se detallará en un informe técnico.

• Decoupled Horizon Forecasting (DHF). Los decodificadores causales entrenados con enmascaramiento de parches contiguos, como Toto 2.0 y TimesFM-3, ocultan los valores a pronosticar. Así parecen datos faltantes y además se pierden como contexto para pronósticos posteriores. DHF separa las dos cosas. La historia completa queda en la secuencia y unos tokens de pronóstico aprendidos leen la historia anterior. Cada valor observado sirve a la vez como objetivo y como contexto, los huecos reales siguen marcados como faltantes, y el largo del horizonte de entrenamiento y el aumento de datos faltantes se ajustan por separado.
• Atención consciente de covariables. Cada serie de entrada recibe un rol, que puede ser variable objetivo, covariable solo del pasado o covariable conocida a futuro. Las covariables conocidas a futuro son visibles en toda la ventana, los objetivos siguen siendo causales y la información solo fluye de las covariables a los objetivos. Por eso Timestral puede usar un calendario de feriados o un pronóstico del clima sin filtrar el futuro de un objetivo en su propio pronóstico.
• Datos sintéticos primero. La mayor parte de los datos de entrenamiento fue sintética. Primero se generaron procesos univariados con dinámicas temporales coherentes, incluidas tendencias, estacionalidad y patrones de ruido variados. Después un sintetizador multivariado armó series multivariadas introduciendo dependencias no lineales entre esos procesos.
• Entrenamiento en dos etapas. Timestral se preentrena a gran escala con datos puramente sintéticos y un contexto de 8.192, y luego se postentrena con una mezcla de datos reales y sintéticos con un contexto cuatro veces más largo. El objetivo es una pérdida pinball sobre 21 cuantiles, una aproximación discreta del CRPS.

Un modelo que se puede adaptar

Los benchmarks públicos miden el rendimiento general, pero los datos de producción pueden comportarse y estructurarse de forma muy distinta. También cambian con el tiempo, cuando los mercados cambian de régimen, los equipos se desgastan o la demanda se mueve. Para Mistral, el valor duradero está en adaptar el modelo a los datos del dominio y volver a entrenarlo a medida que la distribución cambia.

Timestral está disponible en Mistral Forge, el mismo sistema de entrenamiento que la empresa usa para sus modelos de lenguaje. Ofrece estas opciones.

• Inferencia zero-shot lista para usar.
• Extensiones de arquitectura, como covariables propias del dominio.
• Ajuste fino con datos propietarios, para especializar el modelo sin perder rendimiento general.
• Control sobre los datos de entrenamiento, que incluye ajustar la mezcla, repetir datos del preentrenamiento y generar muestras sintéticas que reflejen el dominio. Según Mistral, ese control asegura que nada de lo que se evalúe con datos históricos se haya visto en el preentrenamiento.

Todo el sistema se puede instalar en el hardware del cliente, incluso en entornos aislados de la red.

Código disponible

Mistral publicó un repositorio en GitHub para correr Timestral sobre datos propios. Un informe técnico con los resultados completos llegará después.