TabFM de Google AI : un modèle de fondation tabulaire à attention hybride pour la classification et la régression sans apprentissage préalable

Google Research présente SensorFM, un modèle de fondation santé portable entraîné sur mille milliards de minutes de données de capteurs

Google Research a dévoilé SensorFM, un modèle de fondation destiné aux données de capteurs portables, entraîné sur plus d'un trillion de minutes de données, soit plus de deux milliards d'heures, collectées auprès de cinq millions de participants consentants entre septembre 2024 et septembre 2025. Le corpus couvre plus de cent pays, les cinquante États américains et plus de vingt modèles de montres Fitbit et Pixel Watch. Le modèle ingère trente-quatre caractéristiques agrégées par minute, issues de cinq capteurs (photopléthysmographie, accéléromètre, activité électrodermale, température cutanée et altimètre), organisées en sept catégories sur une fenêtre de contexte de vingt-quatre heures. Son architecture repose sur un encodeur ViT-1D entraîné selon un objectif d'auto-encodeur masqué, avec quatre variantes allant de 138 740 à plus de 110 millions de paramètres, chacune associée à un volume de données proportionnel. L'évaluation s'appuie sur près de 14 000 sujets répartis dans trois études prospectives approuvées par un comité d'éthique, portant sur la santé métabolique, cardiaque et respiratoire, le sommeil et la santé mentale, pour un total de trente-cinq tâches prédictives. Cette approche change la donne pour un secteur où chaque nouvel indicateur de santé nécessitait jusqu'ici l'entraînement d'un modèle dédié, une méthode intenable dès qu'il faut couvrir plusieurs dizaines de pathologies ou de comportements à la fois, faute d'annotations rétrospectives disponibles. Les résultats montrent que la taille du modèle compte réellement : la version la plus grande, entraînée sur les cinq millions de sujets, réduit la perte de reconstruction de 31 % par rapport à la plus petite variante et remporte trente-trois des trente-cinq tâches évaluées, avec une aire sous la courbe ROC moyenne passant de 0,664 à 0,752 selon la taille du modèle. Autre apport clé, une technique de masquage adaptatif nommée AIM permet de gérer nativement les données manquantes, très fréquentes lors des périodes de charge ou de retrait du bracelet, sans recourir à l'imputation classique. Elle améliore de 74,8 % la reconstruction en cas d'imputation aléatoire et de 83,7 % en cas de signal de capteur manquant. Ce travail s'inscrit dans une course plus large des géants technologiques pour transformer les objets connectés grand public en outils de dépistage médical préventif, en misant sur l'échelle plutôt que sur des labels cliniques coûteux à produire. Google s'appuie ici sur son expérience acquise avec les modèles LSM, dont hérite la technique de masquage AIM, et sur sa base installée de montres Fitbit et Pixel Watch pour constituer un corpus d'entraînement difficile à égaler pour des concurrents sans écosystème matériel équivalent. Les auteurs notent toutefois que la courbe de performance ne montre encore aucun signe de saturation, laissant présager des versions futures entraînées sur des volumes plus importants encore.

💬 Google confirme ce que je pressentais depuis un moment : la santé connectée passe d'un modèle "un capteur, un algo" à un modèle de fondation unique, et ça change l'échelle du problème. Le vrai apport ici c'est le masquage adaptatif, parce que dans la vraie vie les gens enlèvent leur montre pour charger ou dormir, et gérer ça nativement plutôt qu'en imputant des données bidon, c'est ce qui manquait pour passer du gadget au vrai dépistage. Reste un point qui coince : Google est quasiment seul à avoir la base installée de montres pour nourrir ce genre de modèle, donc ça se transforme vite en avantage concurrentiel verrouillé plutôt qu'en avancée ouverte pour tout le secteur.

TabPFN : comment l'apprentissage en contexte surpasse Random Forest et CatBoost sur les données tabulaires

TabPFN-2.5, un modèle de fondation pour données tabulaires développé par Prior Labs, s'impose comme un concurrent sérieux face aux références historiques du machine learning structuré que sont Random Forest, XGBoost et CatBoost. Contrairement à ces modèles entraînés spécifiquement sur chaque jeu de données, TabPFN est pré-entraîné sur des millions de tâches synthétiques générées à partir de processus causaux. Lors des tests comparatifs sur un jeu de données de classification binaire contenant 5 000 échantillons et 20 variables (dont 10 informatives et 5 redondantes), TabPFN surpasse les modèles à base d'arbres de décision en termes de précision tout en éliminant la phase d'entraînement itératif classique. Il obtient ses prédictions directement, sans ajustement des hyperparamètres, en s'appuyant uniquement sur ce qu'il a déjà appris. Ce changement de paradigme est significatif pour les praticiens du machine learning. Pendant des années, les modèles à arbres ont dominé les données tabulaires, la forme la plus répandue en entreprise, de la santé à la finance, car les réseaux de neurones profonds n'arrivaient pas à les battre de manière cohérente sur ce format. TabPFN-2.5 renverse cette tendance en appliquant le principe d'apprentissage en contexte aux données structurées, à l'image de ce que font les grands modèles de langage pour le texte. Il se montre compétitif face à des systèmes d'ensemble puissants comme AutoGluon, tout en réduisant drastiquement le temps et l'effort de mise en oeuvre. Pour les équipes data qui passent des heures à optimiser des pipelines ML, c'est une promesse concrète de gain de productivité. Les données tabulaires représentent la grande majorité des cas d'usage réels en machine learning industriel, un domaine longtemps considéré comme l'apanage des modèles classiques. L'essor des modèles de fondation généralistes, d'abord dans le langage, puis dans l'image, laissait entrevoir cette évolution vers le tabular, mais les tentatives précédentes restaient limitées en taille et en performance. TabPFN-2.5 franchit un cap en prenant en charge des jeux de données plus larges et plus complexes que ses versions antérieures. Prior Labs propose également une approche de distillation permettant de convertir les prédictions de TabPFN en modèles plus légers (réseaux de neurones ou ensembles d'arbres), préservant l'essentiel de la précision tout en accélérant l'inférence pour la production. La prochaine étape sera de valider ces résultats à grande échelle sur des benchmarks industriels diversifiés, mais la direction est claire : les modèles de fondation s'attaquent désormais au coeur du machine learning appliqué.

Apprentissage de représentations motrices à long terme pour la génération efficace de cinématiques

Des chercheurs ont développé une méthode permettant de prédire et générer des mouvements réalistes à long terme de façon bien plus efficace que les approches existantes. Leur système repose sur un espace de représentation de mouvement appris à partir de vastes collections de trajectoires extraites par des modèles de suivi d'objets. Plutôt que de synthétiser des vidéos complètes pour modéliser la dynamique d'une scène, le modèle opère directement sur ces embeddings compacts, ce qui réduit drastiquement le coût de calcul. Les séquences de mouvement générées peuvent être guidées par des instructions en langage naturel ou par des indications spatiales directement pointées sur l'image. Cette avancée s'attaque à un goulot d'étranglement central en vision artificielle : explorer plusieurs futurs possibles à partir d'une même scène est actuellement prohibitif si chaque hypothèse nécessite la génération d'une vidéo pixel par pixel. En travaillant directement sur des représentations condensées du mouvement, la méthode permet de simuler des dynamiques longues et cohérentes avec une fraction des ressources habituellement requises. Les bénéfices sont concrets pour la robotique, l'animation et la génération de données synthétiques pour l'entraînement d'autres modèles d'IA. La prédiction de mouvement est un enjeu fondamental de l'intelligence visuelle : comprendre comment les objets et les personnes vont se déplacer est indispensable pour qu'une machine interprète le monde physique. Si les grands modèles vidéo ont progressé dans la compréhension des scènes dynamiques, leur usage pour simuler des futurs alternatifs demeure trop lourd pour être pratique. Cette approche par embeddings de mouvement appris à grande échelle pourrait s'imposer comme un composant clé des futurs modèles du monde, ces systèmes qui cherchent à simuler la réalité physique de manière efficace et pilotable.

Aurora 1.5 : extension des modèles de fondation ouverts pour la météo et le système terrestre

Microsoft Research a dévoilé Aurora 1.5, une extension majeure de son modèle de fondation Aurora pour l'étude du système terrestre, développé initialement par Microsoft Research AI for Science et présenté pour la première fois en 2024, avant sa publication dans la revue Nature en 2025. Cette nouvelle version, portée par la division Microsoft Weather, ajoute 22 nouvelles variables météorologiques aux quatre variables d'origine, couvrant notamment les champs de surface, les niveaux de pression, le vent, la température, l'humidité, les précipitations et le rayonnement. Le modèle passe également à une résolution temporelle horaire, contre des intervalles plus larges auparavant, et intègre désormais la prévision d'ensemble probabiliste, une fonctionnalité très demandée par les utilisateurs. Cette technique consiste à exécuter plusieurs simulations simultanément pour évaluer l'éventail des résultats possibles et leur probabilité, plutôt que de produire une seule prévision déterministe. Le modèle est publié en open source sur GitHub, avec les poids disponibles sur Hugging Face, permettant à chercheurs et développeurs de l'évaluer, de l'adapter et de le déployer librement. Cette mise à jour élargit considérablement le champ d'application d'Aurora, qui dépassait déjà la simple météo pour couvrir les vagues océaniques, la chimie atmosphérique et certaines applications climatiques via un réglage fin. Avec ses nouvelles variables et sa granularité horaire, le modèle devient pertinent pour des secteurs entiers qui dépendent de signaux terrestres intégrés : énergie, agriculture, transport et gestion des risques climatiques et de résilience des infrastructures. La résolution horaire permet par exemple d'anticiper précisément le début d'un épisode de précipitations, d'éclairer des décisions commerciales sensibles au climat, ou de suivre la trajectoire d'un cyclone tropical au moment de son atterrissage. Pour les organisations exposées aux aléas climatiques, ce niveau de précision peut directement améliorer la préparation opérationnelle et la prise de décision, dans un contexte où les risques liés au climat pèsent de plus en plus sur les communautés, les infrastructures et les économies à l'échelle mondiale. Aurora 1.5 illustre une stratégie plus large de Microsoft consistant à faire passer la recherche de pointe vers un usage élargi : garder le modèle ouvert pour la communauté scientifique tout en construisant, autour de lui, une couche produit avec infrastructure cloud, accès géré et outils d'aide à la décision destinés aux entreprises. Cette architecture à deux niveaux, fondation ouverte d'un côté et services commerciaux Microsoft Weather de l'autre, vise à connecter les avancées de recherche aux données, à l'infrastructure et aux flux de travail opérationnels dont les organisations ont besoin. La démarche s'inscrit dans une tendance plus vaste de l'industrie vers des modèles de fondation ouverts pour l'observation de la Terre, où plusieurs acteurs technologiques cherchent désormais à concilier recherche académique publiable et exploitation commerciale à grande échelle des mêmes modèles.