Google's TabFM se passe d'entraînement par jeu de données et prédit quand même sur des tables jamais vues
Google Research a dévoilé TabFM, un modèle de fondation capable de faire des prédictions sur des données tabulaires sans jamais être entraîné sur le jeu de données concerné. Grâce à l'apprentissage en contexte, TabFM produit ses résultats en un seul passage avant, à partir d'un prompt unique combinant les exemples historiques et les nouvelles lignes à prédire. Selon Weihao Kong, chercheur chez Google Research, ce modèle épargne aux équipes data les pipelines classiques de nettoyage, d'imputation des valeurs manquantes et d'encodage des variables catégorielles, ainsi que les boucles répétitives d'optimisation d'hyperparamètres portant sur le taux d'apprentissage, la profondeur des arbres ou les ratios de sous-échantillonnage. TabFM s'appuie sur deux architectures antérieures : TabPFN, développée par la société Prior Labs, qui avait le première démontré la faisabilité d'une classification zéro-shot sur de petits tableaux, et TabICL, conçue par l'Institut national de recherche en sciences et technologies du numérique en France, qui a résolu les limites de passage à l'échelle grâce à une technique de compression des lignes.
Résumé et traduction réalisés par Le Fil IA à partir de VentureBeat AI. Lire l'article original →
Pour les développeurs et ingénieurs en entreprise, l'enjeu est concret : ce qui nécessitait auparavant des semaines de construction de pipelines peut désormais tenir en un simple appel API. Prenons l'exemple d'un analyste cherchant à prédire le désabonnement d'un client : au lieu d'entraîner un modèle XGBoost sur mesure, il lui suffit de transmettre à TabFM un échantillon de données de sessions passées accompagné de la session active à évaluer, pour obtenir instantanément une probabilité de churn. Cette approche supprime aussi la dette opérationnelle liée à la surveillance de la dérive des données et au réentraînement périodique des modèles, un fardeau récurrent pour les équipes qui maintiennent des systèmes de machine learning en production.
Cette avancée s'inscrit dans un mouvement plus large : alors que les modèles génératifs de texte et de vision sont depuis longtemps passés à l'inférence zéro-shot par simple prompt, les données tabulaires, qui représentent pourtant la majorité des données d'entreprise stockées dans les entrepôts, les CRM et les registres financiers, étaient restées à l'écart de cette évolution. La raison tient aux limites des grands modèles de langage face aux tableaux : leur fenêtre de contexte sature vite face à des tableaux de quelques milliers de lignes, leur tokenisation fragmente maladroitement les valeurs numériques, et la mise à plat d'une structure à deux dimensions en texte linéaire leur fait perdre la correspondance entre lignes et colonnes. TabFM contourne ce problème en traitant directement les données comme une grille, préservant leur intégrité structurelle plutôt que de les forcer dans une chaîne de texte.
L'architecture TabICL, sur laquelle s'appuie TabFM, a été développée par l'Institut national de recherche en sciences et technologies du numérique (Inria), une contribution française majeure à cette avancée.
Ça fait des années qu'on attend ça : le zero-shot qui débarque enfin sur les données tabulaires, alors que le texte et l'image l'ont depuis longtemps. Plus besoin de dresser un XGBoost sur mesure ni de courir après les hyperparamètres, tu balances ton échantillon et la ligne à prédire dans un prompt, et ça sort. Reste à voir comment ça encaisse un vrai CRM d'entreprise avec ses colonnes pourries et ses trous partout, mais si ça tient, ça change la donne pour toutes les équipes qui passent plus de temps sur le pipeline que sur le modèle.