Mistral AI lance Timestral, une famille de modèles de prévision de 209M de paramètres qui surpasse TimesFM-3 de Google
Mistral AI a publié Timestral, sa première famille de modèles de fondation pour les séries temporelles, composée de quatre modèles de prévision zéro-shot de 5, 28, 123 et 209 millions de paramètres. Le plus grand se classe premier parmi les modèles pré-entraînés en zéro-shot sur trois bancs d'essai, GIFT-Eval, TIME et fev-bench, d'après les chiffres publiés par Mistral. Il obtient sur GIFT-Eval un MASE de 0,658 et un CRPS de 0,446, sur TIME un MASE de 0,626 et un CRPS de 0,522, et sur fev-bench un score de compétence SQL de 50,39 contre 48,99 pour TimesFM-3 de Google. La marge est la plus mince sur GIFT-Eval, où il devance t0-gamma de seulement 0,003 point de MASE (0,658 contre 0,661). Chaque modèle produit 21 quantiles par pas de temps, gère les cibles multivariées et accepte des covariables passées, futures connues ou catégorielles. Le contexte monte à 32 768 pas de temps. Sur un processeur de serveur standard à 8 threads, prévoir une journée à partir de trois semaines d'historique au pas de 15 minutes prend 10 ms avec le modèle de 5 millions de paramètres et 140 ms avec celui de 209 millions, dont les poids pèsent 837 Mo en fp32.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le point notable est qu'aucun GPU n'est nécessaire à l'inférence. Les développeurs peuvent donc obtenir des prévisions probabilistes sur une infrastructure ordinaire, avec des poids ouverts et le code d'inférence. Les gains d'échelle plafonnent vite : le modèle de 123 millions atteint 0,659 de MASE sur GIFT-Eval, à 0,2 % du 209 millions pour trois quarts de la latence, et le modèle de 28 millions, cinq fois plus rapide que le grand, dépasse Chronos-2 d'Amazon (environ quatre fois plus gros) sur GIFT-Eval et TIME. Pour les équipes qui prévoient la demande, la consommation énergétique ou des métriques d'infrastructure, le rapport précision/coût devient ainsi plus favorable. La licence des poids est un MIT modifié, plus permissive que la licence non commerciale de TimesFM-3, mais moins que l'Apache 2.0 de Chronos-2 et de Toto 2.0.
Timestral est un transformeur causal à patchs, de 24 couches et d'une dimension d'embedding de 768 pour la version de 209 millions, avec des patchs de 32 pas de temps. Une seule passe prévoit jusqu'à 1 024 pas, les horizons plus longs étant traités bloc par bloc en réinjectant la médiane comme contexte. Mistral revendique quatre contributions. La première est la prévision à horizon découplé : des jetons de prévision appris lisent tout l'historique, sans masquage de patchs contigus comme dans Toto 2.0 et TimesFM-3. La deuxième est une attention sensible aux covariables, où l'information circule uniquement des covariables vers les cibles pour éviter toute fuite du futur. La troisième est l'usage majoritaire de données synthétiques (tendances, saisonnalités, bruit, dépendances croisées non linéaires). La quatrième est un entraînement en deux temps : pré-entraînement synthétique à 8 192 pas de contexte, puis post-entraînement sur données mixtes avec un contexte quatre fois plus long, sous une perte pinball sur 21 quantiles.
Ce lancement place Mistral sur un terrain disputé par Google (TimesFM), Amazon (Chronos-2, 120 millions de paramètres, contexte de 8 192 pas) et Datadog (Toto 2.0, 2,5 milliards de paramètres). Ces modèles pré-entraînés prétendent remplacer, pour beaucoup d'usages, les méthodes classiques comme ARIMA, ajustées série par série, et les réseaux profonds comme PatchTST, entraînés de zéro sur chaque jeu de données. Les résultats restent déclarés par Mistral, et les écarts de classement sont parfois très faibles, ce qui appellera des évaluations indépendantes.
Mistral AI, entreprise française, publie des modèles de prévision de séries temporelles à poids ouverts exécutables sur CPU, utilisables par les équipes européennes sans GPU.