Google SensorFM transforme les données brutes des capteurs portables en une couche d'intelligence santé polyvalente

Google Research présente SensorFM, un modèle de fondation santé portable entraîné sur mille milliards de minutes de données de capteurs

Google Research a dévoilé SensorFM, un modèle de fondation destiné aux données de capteurs portables, entraîné sur plus d'un trillion de minutes de données, soit plus de deux milliards d'heures, collectées auprès de cinq millions de participants consentants entre septembre 2024 et septembre 2025. Le corpus couvre plus de cent pays, les cinquante États américains et plus de vingt modèles de montres Fitbit et Pixel Watch. Le modèle ingère trente-quatre caractéristiques agrégées par minute, issues de cinq capteurs (photopléthysmographie, accéléromètre, activité électrodermale, température cutanée et altimètre), organisées en sept catégories sur une fenêtre de contexte de vingt-quatre heures. Son architecture repose sur un encodeur ViT-1D entraîné selon un objectif d'auto-encodeur masqué, avec quatre variantes allant de 138 740 à plus de 110 millions de paramètres, chacune associée à un volume de données proportionnel. L'évaluation s'appuie sur près de 14 000 sujets répartis dans trois études prospectives approuvées par un comité d'éthique, portant sur la santé métabolique, cardiaque et respiratoire, le sommeil et la santé mentale, pour un total de trente-cinq tâches prédictives. Cette approche change la donne pour un secteur où chaque nouvel indicateur de santé nécessitait jusqu'ici l'entraînement d'un modèle dédié, une méthode intenable dès qu'il faut couvrir plusieurs dizaines de pathologies ou de comportements à la fois, faute d'annotations rétrospectives disponibles. Les résultats montrent que la taille du modèle compte réellement : la version la plus grande, entraînée sur les cinq millions de sujets, réduit la perte de reconstruction de 31 % par rapport à la plus petite variante et remporte trente-trois des trente-cinq tâches évaluées, avec une aire sous la courbe ROC moyenne passant de 0,664 à 0,752 selon la taille du modèle. Autre apport clé, une technique de masquage adaptatif nommée AIM permet de gérer nativement les données manquantes, très fréquentes lors des périodes de charge ou de retrait du bracelet, sans recourir à l'imputation classique. Elle améliore de 74,8 % la reconstruction en cas d'imputation aléatoire et de 83,7 % en cas de signal de capteur manquant. Ce travail s'inscrit dans une course plus large des géants technologiques pour transformer les objets connectés grand public en outils de dépistage médical préventif, en misant sur l'échelle plutôt que sur des labels cliniques coûteux à produire. Google s'appuie ici sur son expérience acquise avec les modèles LSM, dont hérite la technique de masquage AIM, et sur sa base installée de montres Fitbit et Pixel Watch pour constituer un corpus d'entraînement difficile à égaler pour des concurrents sans écosystème matériel équivalent. Les auteurs notent toutefois que la courbe de performance ne montre encore aucun signe de saturation, laissant présager des versions futures entraînées sur des volumes plus importants encore.

💬 Google confirme ce que je pressentais depuis un moment : la santé connectée passe d'un modèle "un capteur, un algo" à un modèle de fondation unique, et ça change l'échelle du problème. Le vrai apport ici c'est le masquage adaptatif, parce que dans la vraie vie les gens enlèvent leur montre pour charger ou dormir, et gérer ça nativement plutôt qu'en imputant des données bidon, c'est ce qui manquait pour passer du gadget au vrai dépistage. Reste un point qui coince : Google est quasiment seul à avoir la base installée de montres pour nourrir ce genre de modèle, donc ça se transforme vite en avantage concurrentiel verrouillé plutôt qu'en avancée ouverte pour tout le secteur.

Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité

L'équipe RAM (Reasoning, Alignment and Memory) de Meta AI a présenté Autodata, un cadre de génération de données d'entraînement reposant sur des agents IA autonomes. Plutôt que de produire des données synthétiques en une seule passe, Autodata confie à un agent le rôle d'un data scientist humain : il crée des exemples, les analyse, en évalue la qualité, puis affine sa méthode de génération en boucle fermée. La première implémentation concrète du système, baptisée Agentic Self-Instruct, s'appuie sur un LLM orchestrateur qui coordonne quatre sous-agents spécialisés : un Challenger LLM qui génère des exemples d'entraînement, un Weak Solver (modèle plus faible censé échouer sur ces exemples), un Strong Solver (modèle plus capable censé réussir), et un Evaluator qui valide la pertinence et la difficulté des exemples produits. Testée sur des problèmes de raisonnement scientifique complexe, cette approche surpasse significativement les méthodes classiques de génération de données synthétiques comme Self-Instruct ou ses variantes Chain-of-Thought. L'enjeu est de taille : la qualité des données d'entraînement a toujours été un goulot d'étranglement dans le développement des grands modèles de langage, autant que la puissance de calcul. Autodata ouvre une voie pour convertir du calcul d'inférence supplémentaire en données de meilleure qualité, plus on alloue de ressources à l'agent, plus les données produites sont pertinentes. Pour les équipes qui développent des modèles IA, c'est une rupture méthodologique : il devient possible de piloter et d'améliorer la qualité des données en cours de génération, et non plus seulement de filtrer ou corriger après coup. Cela réduit également la dépendance à l'annotation humaine, coûteuse et difficile à scaler, tout en maintenant un contrôle itératif sur la distribution et la difficulté des exemples générés. Jusqu'ici, la génération de données synthétiques suivait des pipelines largement statiques : on promptait un LLM avec des exemples zéro-shot ou few-shot, parfois en s'appuyant sur des documents source pour limiter les hallucinations. Les méthodes dites "Self-Challenging" avaient commencé à introduire une dynamique agent-outil, mais sans boucle de feedback réelle sur la qualité globale du jeu de données. Autodata représente l'étape suivante en intégrant cette rétroaction directement dans le processus de création. Meta s'inscrit ici dans une tendance plus large du secteur : utiliser des agents IA pour automatiser des tâches d'ingénierie complexes, y compris la construction des données qui servent à entraîner ces mêmes agents. La publication est portée par l'équipe RAM de Meta AI Research, ce qui signale une ambition de long terme autour de l'autonomie des systèmes d'apprentissage.

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160. Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique. La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

💬 La distillation de connaissances, c'est pas nouveau, Hinton 2015, DistilBERT, tout ça. Ce qui est bien expliqué ici, c'est pourquoi les soft labels avec la mise à l'échelle par température font toute la différence par rapport à un entraînement classique : l'élève apprend les nuances de l'enseignant, pas juste ses réponses binaires. Facteur 160 de compression avec 53% de l'avantage récupéré, c'est le genre de ratio qui explique pourquoi chaque labo qui sort un gros modèle sort aussi une version distillée dans les semaines qui suivent.

Santé : comment l'IA pourrait transformer les remboursements en outils de prédiction médicale

La Direction de la recherche, des études, de l'évaluation et des statistiques (Drees) a publié une étude démontrant que des modèles d'intelligence artificielle peuvent anticiper avec précision l'apparition de pathologies lourdes en exploitant le Système national des données de santé (SNDS). Cette base de données, constituée de l'ensemble des remboursements de l'Assurance maladie française, représente l'un des gisements de données médicales les plus exhaustifs au monde, couvrant près de 70 millions d'assurés sur plusieurs décennies. L'approche clé consiste à traiter les parcours de soins, enchaînements de consultations, prescriptions, hospitalisations, comme des séquences textuelles, permettant aux algorithmes de type transformeur d'y détecter des motifs invisibles aux biostatistiques classiques. Les résultats montrent que ces modèles surpassent significativement les méthodes statistiques traditionnelles pour prédire des maladies chroniques ou des complications graves avant leur déclaration clinique. Pour les médecins et les organismes de santé publique, cela ouvre la voie à une médecine préventive ciblée : identifier les patients à risque élevé plusieurs mois à l'avance, prioriser les interventions et potentiellement réduire la charge sur les hôpitaux. Les économies potentielles pour le système de santé sont considérables, dans un contexte de déficit chronique de l'Assurance maladie. Ces avancées ne vont pas sans tensions. L'exploitation du SNDS, bien que réglementée par la CNIL et le Health Data Hub, soulève des questions persistantes sur la confidentialité des données et les risques de discrimination algorithmique, notamment envers les populations défavorisées, souvent moins bien représentées dans les parcours de soins tracés. Se pose également la question de la souveraineté industrielle : qui développe ces modèles, sur quelle infrastructure, et au bénéfice de qui ? La France dispose d'un actif stratégique rare ; encore faut-il qu'elle en garde la maîtrise.

💬 Le SNDS, c'est littéralement le meilleur dataset médical du monde occidental, et on commence enfin à en faire quelque chose d'utile. Traiter des parcours de soins comme des séquences textuelles pour les passer dans des transformeurs, c'est une idée simple en apparence, mais les résultats sur la prédiction de pathologies lourdes sont solides. La vraie question, c'est pas la technique, c'est qui va capter la valeur : un acteur français, européen, ou un géant américain qui lorgne dessus depuis des années.