GPT-Rosalind : cette IA travaille gratuitement pour les chercheurs, mais il y a un hic

Des agents IA performants sur les benchmarks mais défaillants dans des conditions réelles, selon des chercheurs

Une étude portant sur 34 000 compétences réelles utilisées par des agents d'intelligence artificielle révèle que ces modules spécialisés, censés améliorer les performances des systèmes autonomes, n'apportent en pratique que des gains marginaux. Les chercheurs ont testé des "skills", ces instructions modulaires que les agents peuvent activer à la volée pour accéder à des connaissances spécifiques, dans des conditions proches du déploiement réel. Résultat : non seulement les améliorations sont négligeables dans des scénarios réalistes, mais les modèles les plus faibles voient leurs performances se dégrader lorsqu'ils y ont recours, comparé à une utilisation sans ces modules. Ce constat remet en question une hypothèse fondamentale du développement des agents IA : l'idée qu'enrichir un modèle avec des compétences externes suffit à le rendre plus capable. Pour les entreprises qui investissent dans des architectures agentiques complexes, notamment dans les secteurs de l'automatisation, du service client ou de la productivité, ce résultat soulève des doutes sur la valeur réelle de ces surcouches techniques. Les benchmarks standards, souvent utilisés pour vendre ces solutions, semblent masquer des lacunes significatives dès que les conditions expérimentales se rapprochent de la réalité. Cette étude s'inscrit dans un débat plus large sur la fiabilité des agents IA en production. Depuis l'essor des frameworks agentiques comme LangChain ou AutoGPT, la communauté cherche à comprendre pourquoi ces systèmes échouent là où les démonstrations semblent prometteuses. L'écart entre performance en laboratoire et comportement en conditions réelles reste l'un des obstacles majeurs à l'adoption industrielle des agents autonomes, et ces travaux pourraient pousser les développeurs à revoir leurs méthodes d'évaluation.

Des chercheurs automatisent la conception de stratégies de raisonnement pour LLM et réduisent l'utilisation de tokens de 69,5 %

Des chercheurs affiliés à Meta, Google et plusieurs universités ont publié AutoTTS, un cadre algorithmique capable de concevoir automatiquement des stratégies d'optimisation pour les grands modèles de langage au moment de l'inférence. Jusqu'ici, les ingénieurs devaient manuellement définir les règles régissant le raisonnement des modèles, quand explorer de nouvelles pistes, quand approfondir une réflexion existante, quand élaguer une branche peu prometteuse. AutoTTS remplace ce travail artisanal par un agent explorateur, typiquement un LLM comme Claude, qui teste et affine des politiques d'allocation de calcul de façon itérative. Dans les expérimentations menées par les chercheurs, cette approche a permis de réduire la consommation de tokens de 69,5 % sans perte de précision. L'enjeu est considérable pour les entreprises qui déploient des modèles de raisonnement en production. Le "test-time scaling" (TTS) consiste à accorder aux modèles des cycles de calcul supplémentaires à l'inférence, générer plusieurs chemins de raisonnement, voter par majorité sur la réponse, ou s'arrêter dès qu'un seuil de confiance est atteint. Ces stratégies sont coûteuses, et les réduire de 69,5 % sans sacrifier la qualité représente une économie opérationnelle directe et substantielle. Pour les organisations déployant ces modèles à grande échelle, c'est la différence entre une technologie économiquement viable et un budget calcul incontrôlable. Le TTS s'est imposé ces dernières années comme l'une des voies principales pour améliorer les performances des LLM sans passer par un réentraînement coûteux. Les méthodes existantes, self-consistency, adaptive-consistency, parallel-probe, partagent toutes le même défaut : elles sont conçues à la main, limitées par l'intuition humaine dans un espace de configurations potentielles immense. AutoTTS redéfinit le rôle de l'ingénieur : plutôt que de coder les règles elles-mêmes, il définit l'environnement de découverte (l'espace d'états, les objectifs d'optimisation, les mécanismes de feedback), et laisse le LLM explorateur trouver la politique optimale. Pour rendre cette recherche économiquement supportable, le cadre s'appuie sur un environnement de simulation hors ligne, évitant d'appeler le modèle cible à chaque itération. La publication ouvre la voie à une nouvelle catégorie d'outils où l'IA conçoit ses propres stratégies d'inférence, potentiellement adaptées dynamiquement selon le type de tâche ou le budget disponible.

MatterSim : vers une IA pour les matériaux plus rapide, multi-tâches et orientée synthèse expérimentale

Microsoft Research a annoncé plusieurs avancées majeures autour de MatterSim, son modèle d'intelligence artificielle dédié à la simulation des matériaux. L'équipe a d'abord validé expérimentalement une prédiction du modèle : le phosphure de tantale tétragonal (TaP) a été synthétisé en laboratoire et sa conductivité thermique mesurée à 152 W/m/K, une valeur proche de celle du silicium. Ce résultat confirme la fiabilité de MatterSim-v1, qui avait identifié ce matériau après avoir passé en revue plus de 240 000 candidats. Ces travaux ont été menés en collaboration avec l'Université du Texas à Dallas, l'Université de l'Illinois à Urbana-Champaign et l'Université de Californie à Davis. En parallèle, l'équipe a accéléré l'inférence du modèle de trois à cinq fois et l'a intégré au logiciel de simulation LAMMPS, autorisant des calculs à grande échelle sur plusieurs GPU simultanément. Microsoft lance également MatterSim-MT, un modèle de fondation multi-tâches capable de simuler des phénomènes impliquant plusieurs propriétés complexes que les approches classiques de surfaces d'énergie potentielle ne peuvent pas capturer seules. La conception de nouveaux matériaux sous-tend des pans entiers de l'innovation technologique, de la nanoélectronique au stockage d'énergie, mais les cycles de développement restent longs et onéreux. Les potentiels interatomiques par apprentissage automatique comme MatterSim visent à transformer ce paradigme : ils opèrent des ordres de grandeur plus vite que les simulations ab initio traditionnelles, ramenant des calculs autrefois prohibitifs à quelques heures de traitement. La validation du TaP illustre concrètement ce gain : au lieu de mois d'exploration empirique en laboratoire, MatterSim a permis de cibler un candidat à haute conductivité thermique parmi un quart de million de matériaux avant même toute synthèse. Les matériaux conducteurs de chaleur jouent un rôle critique dans la gestion thermique des processeurs, de l'électronique de puissance et des technologies aérospatiales. Disposer d'outils prédictifs fiables à cette échelle pourrait donc accélérer substantiellement le développement de composants de nouvelle génération. MatterSim-v1 avait été lancé par Microsoft Research et s'était rapidement imposé dans la communauté des sciences des matériaux grâce à sa capacité à simuler les matériaux dans des conditions réalistes, y compris à température et pression variables. Le nouveau modèle multi-tâches MatterSim-MT s'inscrit dans une tendance de fond : l'émergence de modèles de fondation couvrant un spectre de propriétés toujours plus large, au-delà de la simple stabilité structurelle. Microsoft n'est pas seul dans cette course : Google DeepMind avec GNoME et Meta avec ses outils FAIR-Chem développent des approches comparables. L'IA pour la découverte de matériaux attire des investissements croissants, portée par les besoins de l'industrie des semi-conducteurs, de la transition énergétique et de l'électronique avancée. Les prochaines étapes pour MatterSim passeront vraisemblablement par l'extension à de nouvelles propriétés simulables et une intégration plus étroite dans les workflows expérimentaux des laboratoires partenaires.

Les modèles d'IA sont mauvais pour parier sur le football, Grok en tête

Une étude publiée cette semaine par la startup londonnienne General Reasoning révèle que les grands modèles d'IA de Google, OpenAI, Anthropic et xAI ont tous perdu de l'argent en pariant virtuellement sur les matchs de Premier League de la saison 2023-2024. Le rapport, baptisé "KellyBench", a soumis huit systèmes d'IA à une reconstitution virtuelle complète de la saison, en leur fournissant des données historiques détaillées sur chaque équipe et chaque rencontre. Les modèles avaient pour mission de construire des stratégies maximisant les rendements tout en gérant le risque, une tâche à laquelle tous ont échoué, le modèle Grok d'xAI s'illustrant particulièrement mal. Ce résultat met en lumière une limite structurelle des IA actuelles : leur incapacité à raisonner de manière fiable sur des problèmes complexes du monde réel sur de longues périodes. Là où ces mêmes systèmes excellent dans des tâches bien délimitées comme l'écriture de code ou la génération de texte, la prévision sportive exige une intégration de facteurs dynamiques, d'incertitudes cumulées et d'un jugement probabiliste soutenu que les modèles peinent à maintenir sur une saison entière. L'étude KellyBench s'inscrit dans un débat plus large sur les véritables capacités de raisonnement des LLM. Alors que les benchmarks traditionnels sont régulièrement saturés par les nouveaux modèles, General Reasoning cherche à concevoir des épreuves qui résistent dans le temps et mesurent des compétences cognitives authentiques. Les paris sportifs, imprévisibles par nature et impossibles à mémoriser par entraînement, constituent un terrain de test particulièrement révélateur des lacunes réelles de ces systèmes.

💬 Ça paraît anecdotique, mais c'est en fait un des benchmarks les plus honnêtes qu'on ait vus depuis longtemps : tu enlèves la possibilité de mémoriser les réponses pendant l'entraînement, et là les modèles se plantent dans les grandes largeurs. Ce que ça révèle, c'est pas qu'ils sont "mauvais au foot", c'est qu'ils tiennent pas sur la durée dès que le problème est dynamique et bruité. Grok en lanterne rouge, c'est la cerise.