Décodage de l'harnais Codex : comment nous avons construit le serveur d'application

L'IA au service de la compréhension du cerveau : explications et expériences

Des chercheurs de Microsoft Research, de l'Université de Californie à Berkeley, de l'UCSF et de Columbia University ont publié dans Nature Neuroscience un nouveau cadre méthodologique baptisé Generative Causal Testing (GCT), conçu pour rendre les modèles de prédiction cérébrale interprétables par des humains. Depuis une dizaine d'années, les grands modèles de langage sont devenus les outils les plus précis pour prédire comment le cerveau humain réagit au langage : en soumettant à un LLM le même texte qu'une personne écoute dans un scanner IRM fonctionnel, le modèle peut anticiper l'activité de zones corticales spécifiques avec une fidélité remarquable. Le problème : ces modèles ne disent pas pourquoi. Ils sont constitués de millions de paramètres opaques, incapables d'expliquer à quel concept précis une région cérébrale est sensible. GCT répond à ce vide en deux étapes. D'abord, il identifie les phrases qui activent le plus fortement le modèle prédictif d'une région donnée, puis un LLM synthétise ces signaux en une explication courte et lisible, comme "préparation culinaire" ou "noms de lieux". Ensuite, un autre LLM génère de nouvelles histoires spécifiquement conçues pour déclencher cette région, les participants les écoutent en scanner, et l'équipe vérifie si la zone ciblée s'active effectivement. Les expériences menées ont confirmé des sélectivités connues, distingué des régions voisines de traitement des lieux longtemps considérées comme interchangeables, et mis en évidence de minuscules "micro-régions" préfrontales sensibles à des concepts très précis comme les dialogues, les horaires ou les mesures. L'enjeu va bien au-delà de la neuroscience computationnelle : il s'agit de combler le fossé entre prédiction et compréhension. Un modèle qui prédit l'activité cérébrale sans l'expliquer ne produit pas de connaissance scientifique, il produit une performance. GCT transforme ces performances en hypothèses testables, c'est-à-dire en théories au sens strict du terme, des affirmations que l'on peut confirmer ou réfuter par une expérience. Pour les chercheurs en neurosciences du langage, cela change radicalement la valeur opérationnelle des LLMs : ils ne servent plus seulement à prédire, mais à formuler des questions précises sur l'organisation fonctionnelle du cortex. Pour l'industrie de l'IA, c'est une démonstration que l'interprétabilité des modèles peut être abordée de façon expérimentale, pas seulement théorique. Ce travail s'inscrit dans un mouvement plus large d'alignement entre neurosciences cognitives et intelligence artificielle, où les LLMs sont utilisés non plus comme des boîtes noires mais comme des instruments d'investigation scientifique. La crise de l'explicabilité est l'une des tensions centrales de la décennie en IA : à mesure que les modèles gagnent en précision, leur lisibilité diminue. GCT propose une réponse originale en utilisant les LLMs pour s'expliquer eux-mêmes, via une boucle de vérification empirique. Les prochaines étapes probables incluent l'extension de ce cadre à d'autres modalités sensorielles et à d'autres populations, ainsi que son application à des questions cliniques liées au traitement du langage dans des pathologies neurologiques.

💬 On savait déjà que les LLMs prédisent l'activité cérébrale mieux que n'importe quel autre outil. Ce que GCT fait, c'est utiliser ces mêmes modèles pour formuler des hypothèses qu'on va tester en scanner, transformer une prédiction opaque en théorie vérifiable. C'est le genre de travail qui devrait changer comment on pense l'interprétabilité en IA, pas juste en neurosciences.

AMI LABS lève 890 millions d’euros pour construire une nouvelle génération d’IA autour des “world models”

AMI Labs a levé 890 millions d'euros pour développer une nouvelle génération d'IA basée sur les "world models". Cette approche, défendue par Yann LeCun, repose sur l'idée que les modèles de langage actuels, fondés sur la prédiction statistique de texte, sont incapables de véritablement comprendre le monde. AMI Labs ambitionne ainsi de dépasser les limites de l'IA générative actuelle en construisant des modèles capables de raisonner sur la réalité physique et causale.

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160. Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique. La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

💬 La distillation de connaissances, c'est pas nouveau, Hinton 2015, DistilBERT, tout ça. Ce qui est bien expliqué ici, c'est pourquoi les soft labels avec la mise à l'échelle par température font toute la différence par rapport à un entraînement classique : l'élève apprend les nuances de l'enseignant, pas juste ses réponses binaires. Facteur 160 de compression avec 53% de l'avantage récupéré, c'est le genre de ratio qui explique pourquoi chaque labo qui sort un gros modèle sort aussi une version distillée dans les semaines qui suivent.

EAGLE 3.1 : l'algorithme de décodage spéculatif qui corrige la dérive d'attention dans l'inférence LLM

L'équipe EAGLE, en collaboration avec les équipes vLLM et TorchSpec, a publié le 26 mai 2026 EAGLE 3.1, une mise à jour ciblée de son algorithme de décodage spéculatif pour l'inférence de grands modèles de langage. Le décodage spéculatif consiste à utiliser un petit modèle rapide pour proposer plusieurs tokens en avance, que le grand modèle cible valide ensuite en parallèle, accélérant significativement le traitement. EAGLE 3.1 introduit deux corrections architecturales précises : une normalisation FC appliquée après chaque état caché du modèle cible, et une rétroaction des états cachés post-normalisation vers l'étape de décodage suivante. L'équipe a également entraîné et publié en open source un modèle draft EAGLE 3.1 pour Kimi K2.6, disponible sur HuggingFace, servant de référence de déploiement en conditions réelles. Ces corrections résolvent un problème de fiabilité concret baptisé "attention drift" : à mesure que la profondeur de spéculation augmente, le petit modèle draft commence à focaliser son attention sur ses propres sorties plutôt que sur le contexte original, dégradant la stabilité et le taux d'acceptation des tokens proposés. En pratique, cela se traduisait par des performances médiocres sur les entrées longues, les templates de chat non standards ou les prompts système hors distribution, précisément les conditions rencontrées en production. Avec EAGLE 3.1, le taux d'acceptation en contexte long est jusqu'à deux fois plus élevé qu'avec EAGLE 3, et la méthode se comporte désormais de manière cohérente quel que soit l'environnement de déploiement. L'intégration dans vLLM est rétrocompatible : les checkpoints EAGLE 3 existants fonctionnent sans modification. La famille EAGLE est devenue l'une des implémentations de décodage spéculatif les plus déployées, tant en recherche qu'en production. L'enjeu derrière cette mise à jour est stratégique : les équipes d'inférence cherchent à réduire la latence et le coût de servir des modèles toujours plus grands, et le décodage spéculatif est l'une des rares techniques permettant des gains mesurables sans changer le modèle cible. La plateforme TorchSpec, qui assure désormais le support d'entraînement pour EAGLE 3.1, vise à réduire le coût d'expérimentation pour les prochaines générations d'algorithmes spéculatifs. La publication simultanée d'un modèle draft pour Kimi K2.6 suggère une convergence entre les équipes de recherche et les fournisseurs de modèles pour standardiser ce type d'optimisation à l'échelle industrielle.

💬 Ce qu'ils appellent "attention drift", c'est exactement ce qui fait foirer le décodage spéculatif sur les prompts longs en prod, et personne n'avait vraiment réglé ça proprement jusqu'ici. EAGLE 3.1 corrige ça avec deux ajustements architecturaux chirurgicaux, et le résultat parle : taux d'acceptation doublé en contexte long. Que les checkpoints EAGLE 3 tournent sans modification, c'est le détail qui fait toute la différence pour les équipes qui ont déjà du déploiement en route.