Les données textuelles pour les LLM s'épuisent : Meta mise sur les vidéos non étiquetées comme prochain grand terrain d'entraînement

Google's TabFM se passe d'entraînement par jeu de données et prédit quand même sur des tables jamais vues

Google Research a dévoilé TabFM, un modèle de fondation capable de faire des prédictions sur des données tabulaires sans jamais être entraîné sur le jeu de données concerné. Grâce à l'apprentissage en contexte, TabFM produit ses résultats en un seul passage avant, à partir d'un prompt unique combinant les exemples historiques et les nouvelles lignes à prédire. Selon Weihao Kong, chercheur chez Google Research, ce modèle épargne aux équipes data les pipelines classiques de nettoyage, d'imputation des valeurs manquantes et d'encodage des variables catégorielles, ainsi que les boucles répétitives d'optimisation d'hyperparamètres portant sur le taux d'apprentissage, la profondeur des arbres ou les ratios de sous-échantillonnage. TabFM s'appuie sur deux architectures antérieures : TabPFN, développée par la société Prior Labs, qui avait le première démontré la faisabilité d'une classification zéro-shot sur de petits tableaux, et TabICL, conçue par l'Institut national de recherche en sciences et technologies du numérique en France, qui a résolu les limites de passage à l'échelle grâce à une technique de compression des lignes. Pour les développeurs et ingénieurs en entreprise, l'enjeu est concret : ce qui nécessitait auparavant des semaines de construction de pipelines peut désormais tenir en un simple appel API. Prenons l'exemple d'un analyste cherchant à prédire le désabonnement d'un client : au lieu d'entraîner un modèle XGBoost sur mesure, il lui suffit de transmettre à TabFM un échantillon de données de sessions passées accompagné de la session active à évaluer, pour obtenir instantanément une probabilité de churn. Cette approche supprime aussi la dette opérationnelle liée à la surveillance de la dérive des données et au réentraînement périodique des modèles, un fardeau récurrent pour les équipes qui maintiennent des systèmes de machine learning en production. Cette avancée s'inscrit dans un mouvement plus large : alors que les modèles génératifs de texte et de vision sont depuis longtemps passés à l'inférence zéro-shot par simple prompt, les données tabulaires, qui représentent pourtant la majorité des données d'entreprise stockées dans les entrepôts, les CRM et les registres financiers, étaient restées à l'écart de cette évolution. La raison tient aux limites des grands modèles de langage face aux tableaux : leur fenêtre de contexte sature vite face à des tableaux de quelques milliers de lignes, leur tokenisation fragmente maladroitement les valeurs numériques, et la mise à plat d'une structure à deux dimensions en texte linéaire leur fait perdre la correspondance entre lignes et colonnes. TabFM contourne ce problème en traitant directement les données comme une grille, préservant leur intégrité structurelle plutôt que de les forcer dans une chaîne de texte.

💬 Ça fait des années qu'on attend ça : le zero-shot qui débarque enfin sur les données tabulaires, alors que le texte et l'image l'ont depuis longtemps. Plus besoin de dresser un XGBoost sur mesure ni de courir après les hyperparamètres, tu balances ton échantillon et la ligne à prédire dans un prompt, et ça sort. Reste à voir comment ça encaisse un vrai CRM d'entreprise avec ses colonnes pourries et ses trous partout, mais si ça tient, ça change la donne pour toutes les équipes qui passent plus de temps sur le pipeline que sur le modèle.

Les propriétés de mise à l'échelle des métriques aval dans l'entraînement des grands modèles de langage

Une équipe de chercheurs remet en question une croyance bien ancrée dans le domaine des grands modèles de langage : la performance sur les tâches réelles serait imprévisible à partir du budget d'entraînement. Leur étude propose un cadre direct pour modéliser la progression des benchmarks en fonction des ressources investies, et les résultats sont convaincants. L'enjeu est considérable pour l'industrie. Jusqu'ici, les équipes s'appuyaient sur des métriques intermédiaires comme la perte de pré-entraînement (pretraining loss) pour estimer les capacités futures d'un modèle, sans pouvoir prédire directement ce que ce modèle ferait sur des tâches concrètes. Cette incertitude complique les décisions d'investissement : faut-il entraîner un modèle plus grand, ou sur plus de données ? La réponse restait floue. Les chercheurs démontrent que pour un ratio tokens/paramètres fixé, une simple loi de puissance (power law) suffit à décrire avec précision l'évolution du logarithme de l'accuracy sur plusieurs benchmarks populaires. Contrairement à la procédure en deux étapes proposée précédemment dans la littérature, qui consiste à prédire la loss, puis à convertir cette loss en performance, leur approche directe extrapole mieux et de façon plus fiable. Ces résultats pourraient changer la façon dont les laboratoires planifient leurs runs d'entraînement. Pouvoir anticiper directement la performance sur des tâches aval (downstream tasks), sans passer par une métrique proxy, permettrait d'allouer les budgets de calcul avec plus de précision, de réduire les expériences coûteuses à l'aveugle, et d'accélérer les cycles de développement des futurs LLMs.

Les consommateurs sont-ils condamnés à payer plus cher pour l'électricité en raison des dépenses d'agrandissement des centres de données?

Les consommateurs pourraient-ils être contraints de payer plus cher pour l'électricité en raison des développements des centres de données? Les grandes entreises technologiques, comme Amazon, Google, Meta, Microsoft, xAI, Oracle et OpenAI, s'engagent potentiellement à construire leurs propres centrales électriques pour les centres de données, conformément à une promesse soutenue par Donald Trump. Cependant, ces entreprises font face à des défis logistiques importants pour tenir cette promesse faite lors d'un événement au White House, assurant que "personne ne verra son prix augmenter" en raison de la demande énergétique des centres de données AI.

L'optimisation bayésienne : pourquoi la nouvelle méthode d'entraînement de Google AI est la clé du raisonnement des LLM

Des chercheurs de Google ont identifié une limite majeure des LLMs comme Llama-3-70B et Qwen-2.5-32B : leur incapacité à mettre à jour leurs "croyances" au fil des interactions, plafonnant dès le premier échange. Ils ont développé le Bayesian Teaching, une technique d'entraînement qui apprend aux modèles à raisonner comme un assistant bayésien, en maintenant et mettant à jour une distribution de probabilités sur les préférences utilisateur à chaque round. Contre-intuitivement, entraîner les modèles sur des "suppositions éclairées" (souvent fausses en début d'apprentissage) s'est révélé plus efficace que de les entraîner sur les bonnes réponses, permettant à des modèles comme Gemma-2-9B et Llama-3-8B d'approcher les performances du modèle bayésien de référence.