Nous avons des modèles de fondation pour le langage, pas pour la physique », selon Anima Anandkumar (Caltech)
Anima Anandkumar, professeure titulaire de la chaire Bren Professor of Computing à Caltech, s'est lancée il y a quelques années dans la construction d'un des premiers modèles météorologiques open source fondés sur l'intelligence artificielle. En consultant des experts du secteur, elle s'est heurtée au scepticisme : la météo est un système chaotique, les simulations physiques existent depuis des décennies, nécessitent des supercalculateurs, et les données manquent. Malgré ces réserves, son équipe a mis au point en moins d'un an FourCastNet, un modèle prédictif désormais compétitif avec les meilleures simulations physiques disponibles. Sa version la plus récente, FourCastNet 3, s'appuie sur une variante sphérique des Neural Operators, une technique mathématique qu'Anandkumar a contribué à développer et qui apprend directement dans le domaine fréquentiel grâce aux harmoniques sphériques, la base mathématique naturelle pour modéliser une planète quasi sphérique. Résultat : contrairement aux modèles sur grille classique qui divergent rapidement, FourCastNet 3 reste stable sur plusieurs mois de projection au lieu de quelques jours, et peut tourner sur de simples GPU grand public plutôt que sur des supercalculateurs. Ces travaux ont été détaillés dans un entretien du podcast Latent.Space, qui a déjà consacré une quinzaine d'épisodes aux usages scientifiques de l'IA, de la chimie des matériaux à la biologie.
Résumé et traduction réalisés par Le Fil IA à partir de Latent Space. Lire l'article original →
Cette approche change la donne pour tous les champs scientifiques où la physique est continue, chaotique et multi-échelle : météorologie, fusion nucléaire, dynamique des fluides ou des flux thermiques. Dans le domaine de la fusion par exemple, quelques milliers d'échantillons suffisent aux modèles d'Anandkumar pour prédire les disruptions de plasma jusqu'à un million de fois plus vite qu'une simulation traditionnelle. Pour la recherche comme pour l'industrie, cela ouvre la voie à des prévisions et des simulations accessibles sans supercalculateur, avec des gains de temps considérables et de nouveaux outils potentiels pour la conception en ingénierie. C'est aussi un contre-exemple frappant à la "bitter lesson" qui domine le reste de l'IA, cette idée que plus de données et de calcul suffisent : dans ces domaines, les jeux de données open source restent limités à quelques dizaines ou centaines de milliers d'exemples, et la résolution qu'exige la physique pousserait la longueur de contexte nécessaire à plusieurs centaines de milliards, voire mille milliards de tokens, bien au-delà de ce que tout le calcul mondial pourrait absorber avec une architecture de type transformeur. Le progrès y passe donc non par l'accumulation de données, mais par l'intégration de structures et de biais inductifs issus des lois physiques elles-mêmes.
Ces avancées s'inscrivent dans un mouvement plus large de la recherche en IA vers la modélisation des systèmes physiques, un champ longtemps délaissé au profit du traitement du langage, comme le résume Anandkumar elle-même : "nous avons des modèles de fondation pour le langage, pas pour la physique". Latent.Space, le podcast qui a recueilli ces propos, prévoit de consacrer davantage d'épisodes à la modélisation des grands systèmes physiques dans les mois à venir, signe d'un intérêt grandissant pour ce créneau encore peu exploré par la communauté IA. L'objectif ultime d'Anandkumar reste de construire un véritable modèle de fondation pour la physique, capable de couvrir simultanément de multiples phénomènes et d'assurer à la fois la simulation et la conception de systèmes, une ambition comparable à ce que les grands modèles de langage ont accompli pour le texte. Reste à savoir quels acteurs, laboratoires académiques comme Caltech ou entreprises technologiques, mèneront cette convergence entre lois physiques et apprentissage automatique, et si cette voie fondée sur les biais inductifs finira par rejoindre les logiques de scaling qui dominent aujourd'hui le reste de l'intelligence artificielle.
Pas d'impact direct sur la France/UE