Présentation de Timestral

Nous publions aujourd’hui Timestral, notre première famille de modèles de fondation pour séries temporelles. Notre plus grand modèle, avec seulement 209M de paramètres, se classe premier sur les trois principaux benchmarks publics du domaine, GIFT-Eval, TIME et fev-bench, et dépasse l’état de l’art précédent avec seulement deux tiers des paramètres.

Timestral fournit des prévisions probabilistes et multivariées, avec la prise en charge des covariables passées uniquement et des covariables futures connues. Notre famille de modèles se situe sur le front de Pareto entre la précision de prévision et la taille du modèle, avec les meilleures performances pour chaque taille. Les résultats sont en ligne dès aujourd’hui sur les leaderboards GIFT-Eval et TIME.

Modèles de fondation pour séries temporelles (TSFM)

Les séries temporelles comptent parmi les types de données les plus courants en entreprise, qu’il s’agisse de la télémétrie des capteurs et des métriques d’observabilité. Les prévisions qui en découlent guident les décisions en planification de capacité, énergie, chaînes d’approvisionnement, risques et maintenance. En finance, la prévision et la génération de signaux sont au cœur de l’activité, et une grande partie des données sous-jacentes, des prix et des volumes aux taux et aux spreads, se présente sous forme de séries temporelles.

Les modèles classiques comme ARIMA et la régression linéaire restent des outils éprouvés pour la prévision de séries temporelles. Ces modèles sont ajustés sur une seule série et n’apprennent qu’à partir de l’historique de cette série.

Les modèles de deep learning comme PatchTST permettent d’apprendre des motifs non linéaires sur de nombreuses séries liées, mais ils restent généralement entraînés de zéro sur chaque ensemble de données, si bien que ce qu’ils apprennent ne se transfère pas à de nouveaux domaines.

Les modèles de fondation pour séries temporelles transposent l’approche du préentraînement aux séries temporelles. Entraîné sur un corpus vaste et diversifié, notre modèle apprend des motifs qui se transfèrent d’une série à l’autre et produit des prévisions zero-shot sur des données qu’il n’a jamais vues, y compris dans des domaines où les données sont rares.

Résultats des benchmarks

Nous avons évalué Timestral sur les trois principaux benchmarks publics de prévision : GIFT-Eval, TIME et fev-bench. Parmi les modèles préentraînés zero-shot, il se classe premier sur les cinq métriques. Ces résultats proviennent d’un seul checkpoint, sans ensembling.

GIFT-Eval, les dix premiers sur 80 entrées comparables préentraînées et zero-shot. Plus bas, c’est mieux.

TIME, les dix premiers sur les 31 entrées du leaderboard. Plus bas, c’est mieux sur les deux métriques.

FEV-bench, les dix premiers sur les 33 entrées du leaderboard, selon le score du skill SQL. Plus haut, c’est mieux.

Timestral excelle également à maintenir des prévisions cohérentes sur des horizons de prévision plus longs. Cela est obtenu par un entraînement à contexte long sur 32k pas de temps, durant la deuxième phase d’entraînement.

Une famille de modèles optimisée pour chaque besoin

Timestral a été optimisé sous forme d’une famille de quatre modèles : 4M, 20M, 108M et 209M de paramètres. Les modèles plus grands améliorent les performances de prévision, tandis que les plus petits sont plus rapides et moins coûteux. Les quatre partagent la même architecture et la même recette d’entraînement. Chaque taille se situe sur le front de Pareto entre précision et taille de modèle : pour chaque taille de modèle, aucun modèle public ne prévoit mieux.

Score en fonction de la taille du modèle sur GIFT-Eval, TIME et fev-bench. Plus bas, c’est mieux. Notre modèle 20M bat Chronos-2, six fois plus grand, sur GIFT-Eval et TIME. Notre modèle 209M bat TimesFM-3 et Falcon-2.0 avec moins de paramètres.

Timestral n’a pas besoin de GPU pour l’inférence. Sur un CPU standard, prévoir un jour à l’avance à partir de trois semaines d’historique au pas de 15 minutes prend 9 ms avec le modèle 4M et 140 ms avec le modèle 209M. Sur un seul cœur, le temps nécessaire va de 10 à 360 ms. À cette vitesse, prévoir 100 000 séries toutes les 15 minutes demande entre 1 et 32 cœurs CPU, selon la taille du modèle.

Ces chiffres sont obtenus avec PyTorch pur, sans optimisation d’inférence.

Un exemple industriel

Prenons un site industriel équipé de milliers de capteurs répartis sur ses équipements. Timestral peut améliorer les prévisions sur ces données de plusieurs manières.

Prévision multivariée. La vibration, la température et la pression d’une pompe ne varient pas de manière indépendante. La hausse de l’une explique ou provoque souvent une variation d’une autre. Timestral modélise conjointement les séries liées : il peut ainsi utiliser ces dépendances au lieu de prévoir chaque capteur isolément.

Prévision probabiliste. Une valeur prédite seule ne donne pas toute l’image. Timestral prédit un ensemble complet de quantiles : les équipes peuvent ainsi mesurer l’étendue de l’incertitude, définir des seuils d’alerte qui en tiennent compte et planifier la maintenance en fonction du risque plutôt que d’un seul chiffre.

Covariables catégorielles. Certaines covariables prennent leurs valeurs dans un ensemble de catégories plutôt que dans des nombres continus : le jour de la semaine ou l’état d’une machine (en marche, à l’arrêt, en maintenance), par exemple. Les encoder sous forme de nombres leur imposerait un ordre ou une échelle qu’elles n’ont pas. Timestral les utilise directement comme entrées catégorielles pour améliorer les prévisions.

Covariables futures connues. Certains facteurs qui influencent le comportement des capteurs sont connus à l’avance : plannings de production, arrêts planifiés, prévisions météorologiques. Timestral peut conditionner ses prévisions sur ces éléments pour améliorer leur qualité : une hausse de charge planifiée est ainsi attendue au lieu d’être signalée comme une surprise.

Du modèle au système

Timestral est un modèle numérique qui peut s’exécuter au sein de pipelines de monitoring existants, ou s’associer à nos modèles de langage dans des workflows agentiques multimodaux.

Sur le site, cela pourrait prendre cette forme :

1. Timestral s’exécute en continu sur les flux de capteurs du site et détecte les anomalies au moment où elles surviennent.

2. Lorsqu’il signale une anomalie sur une pompe, un agent transforme les signaux en embeddings et les compare aux embeddings des données de capteurs passées pour retrouver des pannes similaires dans l’historique.

3. L’agent lance ensuite des sous-agents pour mener une analyse des causes racines, en s’appuyant sur le contexte du site : registres de maintenance, journaux de poste et notes des opérateurs, manuels des équipements, anciens ordres de travail et relevés des équipements liés.

4. L’agent rédige une proposition de diagnostic à partir de ses conclusions, avec des preuves à l’appui et les prochaines étapes possibles.

Le responsable du site reçoit un diagnostic et un plan étayés par les données des capteurs, plutôt qu’une simple alerte.

Emplacement réservé pour la démonstration

Principales contributions techniques

Plusieurs idées ont été combinées pour produire ces résultats. Chacune est décrite en détail dans le rapport technique.

1. Prévision à horizon découplé. Les décodeurs causaux entraînés avec un masquage par patches contigus, comme dans Toto 2.0 et TimesFM-3, masquent les valeurs à prévoir : elles ressemblent alors à des valeurs manquantes et sont également perdues en tant que contexte pour les prévisions suivantes. Notre approche, DHF, sépare les deux : l’historique complet reste dans la séquence et des tokens de prévision appris lisent l’historique qui les précède. Chaque valeur observée sert ainsi à la fois de cible et de contexte, les vraies lacunes restent marquées comme manquantes, et les longueurs d’horizon d’entraînement et l’augmentation de données manquantes peuvent être ajustées indépendamment l’une de l’autre.

2. Attention sensible aux covariables. Chaque série d’entrée reçoit un rôle : variable cible, covariable passée uniquement ou covariable future connue. Les covariables futures connues sont visibles sur l’ensemble de la fenêtre tandis que les cibles restent causales, et l’information ne circule que des covariables vers les cibles. Timestral peut ainsi utiliser un calendrier de jours fériés ou une prévision météo sans faire fuiter le futur propre d’une cible dans sa prévision.

3. Données synthétiques avant tout. La majorité des données d’entraînement utilisées était synthétique. Un générateur univarié compositionnel échantillonne des composantes de tendance, de saisonnalité et de bruit diverses et évolutives dans le temps, puis les combine en une série univariée. Des générateurs univariés supplémentaires couvrent les changements de régime, les décalages de niveau, les données de comptage et les grappes de volatilité. Les séries multivariées sont ensuite construites en propageant des racines univariées à travers des modèles causaux structurels aléatoires dotés de mécanismes non linéaires.
   Souhaite-t-on ajouter plus (ou moins ?) de contenu sur les données synthétiques ici

4. Entraînement en deux étapes. Timestral est d’abord préentraîné à grande échelle sur des données purement synthétiques avec une taille de contexte de 8 192, puis post-entraîné sur un mélange de données réelles et synthétiques avec un contexte quatre fois plus long. L’objectif est une pinball loss sur 21 quantiles, une approximation discrète du CRPS.

Un modèle adaptable

Les benchmarks publics mesurent des performances générales, mais les données de production peuvent avoir des structures très différentes. Ces données peuvent aussi évoluer au fil du temps : les marchés changent de régime, les équipements se dégradent et les schémas de demande se déplacent. La valeur durable réside dans la capacité à adapter un modèle à des données du domaine et à continuer de le réentraîner à mesure que la distribution évolue.

Pour les organisations qui souhaitent aller plus loin, Timestral est disponible via Mistral Forge, le même pipeline d’entraînement que celui que nous utilisons pour nos modèles de langage. Il prend en charge :

• Inférence zero-shot prête à l’emploi.

• Fine-tuning sur des données propriétaires, pour se spécialiser sur un domaine tout en préservant les performances générales.

• Extensions architecturales, comme des covariables propres à un domaine.

• Contrôle des données de préentraînement, permettant d’obtenir des coupures d’entraînement propres pour le backtesting. Nous pouvons aussi utiliser des données synthétiques pour entraîner un modèle entièrement synthétique, sans aucune donnée réelle, dont les performances restent proches de celles de nos modèles SoTA.

Le pipeline complet peut être déployé sur le matériel de nos clients, y compris dans des environnements air-gapped.

Et après

Dans les semaines à venir, nous publierons un dépôt GitHub avec un outil de prévision et un notebook pour que vous puissiez exécuter Timestral sur vos propres données. Vous pouvez également consulter les résultats complets dans le rapport technique. Pour des problèmes de prévision plus spécialisés, ou pour collaborer sur la recherche, contactez-nous.