Sakana AI présente KAME : une architecture vocale en tandem qui intègre les connaissances d'un LLM en temps réel

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160. Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique. La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

💬 La distillation de connaissances, c'est pas nouveau, Hinton 2015, DistilBERT, tout ça. Ce qui est bien expliqué ici, c'est pourquoi les soft labels avec la mise à l'échelle par température font toute la différence par rapport à un entraînement classique : l'élève apprend les nuances de l'enseignant, pas juste ses réponses binaires. Facteur 160 de compression avec 53% de l'avantage récupéré, c'est le genre de ratio qui explique pourquoi chaque labo qui sort un gros modèle sort aussi une version distillée dans les semaines qui suivent.

Les maths demandent du temps de réflexion, la connaissance du quotidien demande de la mémoire — une nouvelle architecture Transformer vise à combiner les deux

Une équipe de recherche allemande a développé une nouvelle architecture Transformer permettant aux modèles de décider eux-mêmes du temps de réflexion nécessaire selon le type de problème. Cette approche combine mémoire adaptative pour les connaissances générales et temps de calcul variable pour les raisonnements complexes comme les mathématiques. Résultat : le modèle surpasse des modèles plus grands sur des problèmes mathématiques.

Parcae : une architecture stable pour LLM en boucle aussi performante qu'un transformer deux fois plus grand

Des chercheurs de l'UC San Diego et de Together AI ont publié Parcae, une nouvelle architecture de modèle de langage dite "en boucle" capable de rivaliser avec des transformers deux fois plus grands, sans augmenter le nombre de paramètres. L'article de recherche, disponible sur arXiv depuis avril 2026, démontre que Parcae surpasse les modèles en boucle existants et bat les transformers classiques à chaque échelle testée, de 350 millions à plusieurs milliards de paramètres, avec le même budget d'entraînement et la même quantité de données. L'architecture repose sur un design en trois blocs : un prélude qui encode la séquence d'entrée, un bloc récurrent qui fait passer les activations T fois en boucle à travers les mêmes couches en réinjectant l'entrée à chaque itération, et un bloc final qui produit la sortie. À 350 millions de paramètres, Parcae réduit la perplexité de validation de 6,3 % par rapport aux modèles en boucle concurrents comme les Recurrent Depth Models (RDM). L'enjeu concret est considérable : dans les déploiements actuels, l'inférence représente une part croissante des coûts de calcul, et les modèles migrent de plus en plus vers des appareils embarqués où la mémoire est contrainte. Parcae répond directement à ce défi en découplant la qualité du modèle de son empreinte mémoire. Un modèle en boucle exécute les mêmes blocs de couches plusieurs fois lors d'un seul passage, multipliant la puissance de calcul sans multiplier les paramètres stockés. Cela ouvre la voie à des modèles plus performants sur smartphone ou en edge computing, sans avoir à embarquer des architectures plus lourdes. Pour l'industrie, cela signifie potentiellement des coûts d'inférence réduits à iso-qualité. Le problème central que Parcae résout est l'instabilité chronique des architectures en boucle précédentes. Les RDMs et modèles similaires souffraient d'une explosion du vecteur d'état caché au fil des itérations, provoquant des divergences d'entraînement et nécessitant un réglage fin très délicat des hyperparamètres. L'équipe a reformulé le passage avant comme un système dynamique et appliqué la théorie du contrôle classique : la stabilité est garantie si la norme spectrale de la matrice de transition reste strictement inférieure à 1. Les méthodes antérieures laissaient cette matrice soit à la limite de la stabilité (injection additive), soit totalement non contrainte (RDMs). Parcae impose cette contrainte par construction, en paramétrant la matrice continue comme une diagonale négative et en la discrétisant via un schéma emprunté aux modèles d'espace d'états comme Mamba et S4. Le résultat est un modèle qui s'entraîne de façon fiable, sans explosion de gradient, et dont la qualité progresse régulièrement avec le nombre de boucles, ouvrant la voie à une nouvelle génération de modèles efficaces en mémoire.

Google DeepMind présente Decoupled DiLoCo, une architecture asynchrone à 88 % de goodput malgré les pannes matérielles

Google DeepMind a présenté Decoupled DiLoCo (Distributed Low-Communication), une nouvelle architecture d'entraînement distribué conçue pour entraîner de grands modèles de langage sur plusieurs centres de données géographiquement éloignés, sans nécessiter la synchronisation permanente que demandent les approches classiques. L'architecture divise le calcul en groupes de puces indépendants, appelés "learner units", qui s'entraînent de manière semi-autonome avant de partager un signal de gradient compressé avec un optimiseur central. Le gain en bande passante est spectaculaire : là où l'entraînement distribué standard exige environ 198 Gbps de connectivité entre huit centres de données, Decoupled DiLoCo n'en requiert que 0,84 Gbps, soit une réduction de plusieurs ordres de grandeur compatible avec une infrastructure réseau ordinaire. Lors de simulations impliquant 1,2 million de puces soumises à des taux de pannes élevés, le système a maintenu un "goodput" (fraction du temps effectivement consacrée à l'entraînement utile) de 88%, contre seulement 27% pour les méthodes parallèles classiques. Ces chiffres révèlent un changement profond dans la manière dont on peut envisager l'entraînement à grande échelle. La principale fragilité des architectures actuelles tient à leur synchronisation bloquante : à chaque étape, toutes les puces doivent attendre la plus lente avant de passer à la suivante, ce qui rend un cluster de milliers d'accélérateurs extrêmement vulnérable aux défaillances matérielles. Decoupled DiLoCo rompt avec cette logique en rendant la synchronisation asynchrone : si un groupe de puces tombe en panne ou ralentit, les autres continuent à s'entraîner. L'équipe a poussé le test jusqu'à la "chaos engineering", une méthode qui consiste à introduire délibérément des pannes artificielles pendant un entraînement en cours. Le système a non seulement survécu à la perte de learner units entiers, mais les a réintégrés automatiquement à leur retour, un comportement qualifié d'"auto-réparation". Decoupled DiLoCo s'appuie sur deux travaux antérieurs de Google : Pathways, un système d'IA distribué fondé sur des flux de données asynchrones permettant à différentes ressources de calcul d'avancer à leur propre rythme, et DiLoCo, qui avait déjà démontré qu'il était possible de réduire drastiquement les communications inter-centres de données en multipliant les étapes locales avant chaque synchronisation. La combinaison des deux ouvre la voie à un entraînement véritablement planétaire, où des centres de données situés sur des continents différents peuvent contribuer à un même modèle sans infrastructure réseau dédiée. Dans un contexte où les modèles frontières mobilisent des centaines de milliards de paramètres et des dizaines de milliers de puces, cette résilience architecturale pourrait devenir une condition sine qua non pour qui veut maintenir des entraînements longs sans interruptions catastrophiques.