Mitra-v2 : un pré-entraînement sur données synthétiques à plus grande échelle pour les modèles de fondation tabulaires
Amazon présente Mitra-v2, la deuxième génération de son modèle de fondation pour données tabulaires, capable de traiter la classification comme la régression. Les poids affinés pour les deux tâches, ainsi que le code d'inférence et de fine-tuning, sont publiés sous licence Apache-2.0 sur Hugging Face, accompagnés d'un rapport technique. Le projet est piloté par Amazon Connect Customer, qui l'adopte pour prédire, à partir de l'historique d'interactions et du contexte opérationnel d'un client, la probabilité d'un événement métier. Sur TabArena, benchmark public de 51 jeux de données réels, Mitra-v2 domine les modèles uniques. Il fait mieux que Mitra-v1 sur 32 des 33 jeux où les deux modèles fonctionnent nativement, et il termine les 51 jeux dans l'heure impartie, là où Mitra-v1 échouait sur plus d'un tiers. Sur ScoringBench, qui évalue des modèles de régression prédisant une plage de résultats probables plutôt qu'une valeur unique, la version affinée prend la première place.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
Le principe reste celui de l'apprentissage en contexte, comparable à celui d'un grand modèle de langage auquel on donne quelques exemples dans un prompt. Le modèle est préentraîné sur des millions de problèmes de prédiction synthétiques, puis, au déploiement, les lignes étiquetées d'une table réelle servent d'exemples pour prédire les lignes restantes. Aucune donnée réelle, et en particulier aucune donnée client, n'entre dans le préentraînement : le modèle apprend des principes généraux sur les relations entre colonnes. L'enjeu est considérable pour les entreprises, car les méthodes classiques comme les arbres de décision à gradient boosté exigent pour chaque nouvelle table de choisir un algorithme, de concevoir des variables, de régler des hyperparamètres et de monter un pipeline. Un modèle unique, capable de s'adapter sans cycle d'entraînement complet, réduit ce travail, y compris sur les tables larges ou les problèmes à nombreuses classes où la première version atteignait ses limites.
Mitra-v2 prolonge la leçon de son prédécesseur : la qualité et la diversité des tables synthétiques déterminent la capacité de généralisation. L'architecture ne change pas, un Transformer qui porte son attention à la fois sur les lignes et sur les colonnes, mais les tables de préentraînement comptent dix fois plus de lignes et environ trois fois plus de colonnes. Une nouvelle famille de données, un a priori hybride de modèles causaux structurels, combine dans un même graphe causal des petits réseaux de neurones, des arbres de décision, des fonctions lisses issues de processus gaussiens et des processus autorégressifs, et un optimiseur hybride stabilise l'entraînement. Deux adaptations au déploiement dépassent les limites du préentraînement : une décomposition en valeurs singulières comprime les tables très larges en conservant l'essentiel de la variance, et, comme la couche de sortie ne compte que 10 nœuds, un arbre hiérarchique affine la classification au-delà de 10 classes. Par défaut, le modèle est brièvement affiné sur chaque nouvelle table, produisant huit copies dont les prédictions sont moyennées (bagging). Il n'est donc pas strictement « zero-shot », ce qui ajoute un coût de calcul mais améliore la précision et offre davantage d'options aux clients.
Les entreprises françaises et européennes peuvent tester gratuitement ce modèle tabulaire sous licence Apache-2.0 pour leurs prédictions sur données structurées.