Le laboratoire autonome : Joseph Krause (Radical AI)

Le distillation autonome (auto-distillation) simple améliore la génération de code

Un article scientifique décrit une méthode baptisée "simple self-distillation" (SSD), qui permet à un grand modèle de langage d'améliorer ses capacités de génération de code en utilisant uniquement ses propres productions, sans verificateur externe, sans modèle enseignant et sans apprentissage par renforcement. Le principe consiste à échantillonner des solutions générées par le modèle lui-même, avec des réglages précis de température et de troncature, puis à affiner ce même modèle sur ces échantillons via un entraînement supervisé classique. Appliquée à Qwen3-30B-Instruct, cette technique fait grimper le score pass@1 sur le benchmark LiveCodeBench v6 de 42,4% à 55,3%. Les chercheurs précisent que la méthode se généralise à plusieurs familles de modèles, Qwen et Llama, à différentes tailles allant de 4 à 30 milliards de paramètres. L'intérêt de cette approche tient à sa simplicité et à son faible coût. Contrairement aux méthodes classiques d'amélioration des modèles de code, qui reposent sur des vérificateurs automatiques, des modèles enseignants plus puissants ou des boucles d'apprentissage par renforcement coûteuses en calcul, SSD n'exige aucune infrastructure supplémentaire. Les chercheurs notent surtout que les gains de performance se concentrent sur les problèmes les plus difficiles, ce qui suggère que la méthode pousse le modèle au-delà de ses limites habituelles plutôt que de simplement consolider des acquis déjà maîtrisés. Ce travail s'inscrit dans une tendance de recherche plus large autour de l'auto-amélioration des modèles de langage, qui cherche à réduire la dépendance envers des ressources externes coûteuses comme le RLHF ou la distillation depuis des modèles plus grands. En démontrant qu'un modèle peut progresser en apprenant de ses propres réponses filtrées, cette étude ouvre la voie à des pipelines d'entraînement plus légers et potentiellement plus accessibles pour les équipes travaillant sur la génération de code assistée par IA.

Un laboratoire robotisé mène 50 000 expériences et atteint 27 % d'efficacité pour les cellules solaires

Des chercheurs de la Hong Kong Polytechnic University ont mis au point un système robotique autonome capable de mener des recherches scientifiques en boucle fermée, sans intervention humaine, pour le développement de cellules solaires à base de pérovskite. Le dispositif repose sur une architecture d'intelligence artificielle à sept couches qui lit la littérature scientifique existante, génère de nouvelles formules chimiques et les traduit directement en instructions pour les machines. En l'espace d'une campagne expérimentale, le système a réalisé 50 764 expériences, contrôlé plus de 4 300 paramètres et généré 578 millions de tokens de données. Résultat: une efficacité de conversion énergétique record de 27,0%, avec une valeur certifiée indépendamment de 26,5%, plaçant ces cellules parmi les plus performantes jamais fabriquées de manière autonome. L'enjeu est considérable pour la filière photovoltaïque. La pérovskite est un matériau à fort potentiel, mais son développement bute depuis des années sur un processus d'essais et d'erreurs épuisant: plus de 100 000 recettes expérimentales ont déjà été testées dans le monde, avec des cycles de cristallisation extrêmement sensibles aux conditions environnementales et difficiles à reproduire. Les robots existants peuvent collecter des données rapidement, mais sont incapables d'interpréter les résultats ou d'ajuster les recettes en temps réel. Le nouveau système brise ce plafond en intégrant un modèle de langage spécialisé, le Recipe Language Model, qui traite en continu données de littérature et résultats expérimentaux pour affiner les formules chimiques, pendant que 11 modules robotiques interconnectés assurent la fabrication physique: stockage des produits chimiques, dépôt par centrifugation, traitement laser, caractérisation optique en temps réel. Ce travail s'inscrit dans une tendance de fond qui voit l'automatisation gagner les laboratoires de recherche en matériaux, domaine traditionnellement artisanal et fragmenté. La particularité de ce système réside dans sa capacité à transformer des opérations de boîtes à gants isolées en une chaîne de fabrication unifiée, pilotée par un jumeau numérique. Publié dans la revue Engineering, ce projet ouvre la voie à ce que ses auteurs appellent la "materials intelligence": une recherche scientifique pilotée par des agents autonomes capables d'apprendre, de raisonner et d'optimiser sans supervision humaine permanente. À plus long terme, une telle approche pourrait permettre de déployer des capacités de fabrication avancée dans des environnements extrêmes ou des zones isolées, là où la présence humaine est impraticable, de l'espace aux infrastructures offshore.

Sakana AI parie qu'une IA capable de s'améliorer elle-même peut mettre fin à la course au calcul des grands laboratoires

Sakana AI, une startup japonaise co-fondée par Llion Jones, l'un des huit co-auteurs du papier fondateur « Attention is All You Need » (2017), vient de lancer un laboratoire de recherche entièrement dédié à l'auto-amélioration récursive, connue sous le sigle RSI (Recursive Self-Improvement). Cette technologie consiste à concevoir des systèmes d'IA capables de s'optimiser eux-mêmes de façon itérative, sans dépendre d'une augmentation constante de la puissance de calcul disponible. Pour Sakana AI, le RSI constitue une alternative directe à la course aux datacenters et aux puces que se livrent les grands laboratoires américains comme OpenAI, Google DeepMind ou Meta, qui engloutissent des dizaines de milliards de dollars en infrastructure. L'idée centrale est d'obtenir des gains de performance en rendant les modèles capables de retravailler leur propre architecture ou leurs paramètres, plutôt qu'en empilant davantage de GPUs. Si cette piste aboutit, elle pourrait redistribuer les cartes entre acteurs bien dotés en capital et équipes plus agiles. Le RSI est aussi l'une des technologies les plus surveillées par les chercheurs en sécurité de l'IA. Anthropic, qui développe pourtant ses propres modèles frontier, met explicitement en garde contre les risques de contrôle associés à des systèmes capables de se redéfinir eux-mêmes. La tension est révélatrice : l'auto-amélioration récursive est à la fois perçue comme un levier de souveraineté technologique pour les acteurs hors Silicon Valley, et comme l'un des scénarios de risque les plus sérieux pour la sécurité à long terme de l'IA.

💬 Sakana mise sur l'auto-amélioration récursive pour contourner la course au calcul. C'est le seul angle vraiment crédible si tu n'as pas dix milliards à mettre dans des datacenters, et avec Llion Jones à bord (un des auteurs d'"Attention is All You Need"), l'équipe a le niveau pour que ça soit autre chose qu'un pitch deck. Le hic, c'est que le RSI est aussi ce qu'Anthropic cite en tête de liste quand on leur demande ce qui les empêche de dormir.

Une erreur de laboratoire qui pourrait révolutionner l'informatique

Un transistor ordinaire, du type qui équipe tous les processeurs modernes, pourrait se comporter à la fois comme un neurone artificiel et comme une synapse, ouvrant la voie à une informatique radicalement plus économe en énergie. Cette découverte, faite accidentellement l'année dernière par des chercheurs travaillant sur des circuits CMOS standards, remet en question des années d'hypothèses sur ce qu'il faudrait inventer pour rapprocher l'électronique du fonctionnement du cerveau humain. Le composant en question est un transistor MOSFET classique, et pas même un exemplaire de haute qualité : la clé réside dans l'utilisation de son terminal dit "bulk", une connexion à la masse du silicium qui est habituellement ignorée dans la conception des circuits numériques. L'enjeu énergétique est colossal. Chaque GPU utilisé dans les centres de données d'IA consomme jusqu'à 1 000 watts, autant qu'un lave-vaisselle ou une cuisinière, mais en fonctionnement continu, vingt-quatre heures sur vingt-quatre. Par comparaison, un smartphone récent consomme moins d'un watt. À l'échelle des milliers de GPU qui composent un datacenter, la facture électrique et l'empreinte carbone deviennent considérables. Le cerveau humain, lui, accomplit des tâches cognitives comparables avec une efficacité environ un million de fois supérieure à celle des systèmes d'IA actuels, car ses neurones biologiques intègrent des comportements de calcul d'une complexité que les transistors peinent à imiter sans multiplier les composants. C'est précisément ce fossé qui a donné naissance au champ de l'ingénierie neuromorphique, dont l'ambition est de construire des circuits électroniques qui se comportent comme des neurones et des synapses. Deux grandes approches ont jusqu'ici montré leurs limites : les dispositifs expérimentaux, trop peu fiables pour être intégrés dans des systèmes à grande échelle, et les architectures CMOS qui simulent un seul neurone en interconnectant des dizaines de transistors et de condensateurs, rendant la montée en puissance difficile face aux GPU actuels. La découverte accidentelle d'un neurone et d'une synapse fonctionnels, chacun réalisé par un unique transistor standard, contourne ces deux obstacles d'un coup. Si elle se confirme à l'échelle, cette approche pourrait permettre de construire des puces neuromorphiques denses et fiables, capables de concurrencer les GPU sur certaines tâches d'IA tout en consommant une fraction de leur énergie, transformant en profondeur l'infrastructure invisible qui alimente chaque requête, chaque recommandation, chaque prédiction du quotidien numérique.

💬 L'écart d'efficacité énergétique entre nos GPU et le cerveau humain, on le connaissait, on le citait, mais on s'y était un peu résignés en attendant des composants exotiques introuvables. Un transistor MOSFET standard, via son terminal bulk habituellement ignoré, se comporterait à la fois comme neurone et comme synapse, ce qui suffirait à rendre les puces neuromorphiques denses et fiables sans rien inventer de nouveau. Faut que ça tienne à l'échelle, mais si c'est le cas, ça change complètement où chercher.