IndexCache accélère l'inférence des modèles IA sur longs contextes de 1,82x grâce à une attention clairsemée

Nous Research propose Lighthouse Attention : une attention hiérarchique par sélection qui accélère le pré-entraînement de 1,4 à 1,7× sur les longs contextes

Des chercheurs du laboratoire Nous Research ont publié le 12 mai 2026 une méthode baptisée Lighthouse Attention, conçue pour accélérer l'entraînement des grands modèles de langage sur de longues séquences de texte. Testée contre une base de référence cuDNN, elle atteint un gain de vitesse de 1,40 à 1,69 fois en temps réel d'horloge, tout en maintenant une perte d'entraînement finale équivalente ou inférieure. Le mécanisme repose sur un pipeline en quatre étapes : construction d'une pyramide multi-niveaux à partir des projections Q, K et V par pooling moyen, attribution de scores scalaires à chaque entrée via des normes ℓ₂ par tête d'attention, sélection des k entrées les plus pertinentes sur l'ensemble des niveaux de la pyramide, puis exécution du FlashAttention standard sur le sous-ensemble ainsi sélectionné. Toute la sélection s'opère en dehors du kernel d'attention, ce qui permet de réutiliser les implémentations optimisées existantes sans modification. L'enjeu central est économique et technique : l'attention standard scale quadratiquement en Θ(N²) avec la longueur de séquence N, ce qui rend l'entraînement sur de longs contextes extrêmement coûteux en calcul et en mémoire. FlashAttention avait résolu le problème mémoire via un découpage intelligent, mais le coût de calcul restait quadratique. Lighthouse s'attaque directement à ce calcul en réduisant le nombre de paires (Q, K) effectivement traitées, sans sacrifier la qualité du modèle produit. Contrairement aux méthodes d'attention sparse conçues pour l'inférence, Lighthouse s'évalue sur un critère plus exigeant : les poids issus de l'entraînement sparse doivent rester pleinement compatibles avec une inférence en attention dense classique. Ce critère est satisfait, ce qui en fait une méthode applicable directement au pré-entraînement de modèles de production. L'approche de Nous Research se distingue des travaux antérieurs comme NSA, HISA, DSA ou MoBA sur deux points structurels. D'abord, ces méthodes compressent asymétriquement : elles appliquent le pooling uniquement sur les clés et valeurs, laissant les requêtes à pleine résolution. Lighthouse applique le pooling de façon symétrique aux trois projections Q, K et V, produisant des triplets cohérents à chaque niveau de la pyramide. Ensuite, leurs logiques de sélection s'intègrent à l'intérieur même du kernel d'attention, ce qui empêche de réutiliser les kernels denses hautement optimisés pour les GPU modernes. Le top-K utilisé par Lighthouse est délibérément non différentiable, aucun estimateur straight-through, aucun Gumbel softmax, et les gradients ne traversent que les entrées Q, K, V sélectionnées, pas les indices de sélection. Un mécanisme de top-K stratifié par chunks évite en outre l'effondrement de l'attention sur un intervalle étroit, garantissant une couverture équilibrée sur toute la séquence. À mesure que la course aux contextes longs s'intensifie dans l'industrie, des méthodes comme Lighthouse pourraient devenir un composant standard du pré-entraînement.

💬 1,4× à 1,7× sur le pré-entraînement long contexte, c'est le genre de gain qu'on attendait depuis que l'attention quadratique commence vraiment à faire mal au budget. Ce que j'aime, c'est que tu entraînes sparse et tu sers en attention dense classique sans rien modifier à l'archi, donc c'est utilisable directement en prod. Nous Research n'est pas DeepMind, et pourtant ce papier est propre.

Comment la distillation de connaissances condense l'intelligence d'ensemble en un seul modèle IA

La distillation de connaissances est une technique de compression de modèles d'intelligence artificielle qui permet de transférer le savoir acquis par un grand modèle, ou un ensemble de modèles, vers un modèle plus petit et plus rapide. Dans l'expérience présentée, les chercheurs ont entraîné un ensemble de 12 modèles distincts jouant le rôle d'enseignant collectif, puis ont distillé leur intelligence combinée dans un seul modèle étudiant, plus léger. Le pipeline complet est construit en Python avec PyTorch sur un jeu de données synthétique de classification binaire (5 000 exemples, 20 variables), représentatif de problèmes concrets comme la prédiction de clics publicitaires. La clé du processus réside dans l'utilisation des sorties probabilistes "soft" de l'ensemble enseignant, avec une mise à l'échelle par température, plutôt que les simples étiquettes binaires du jeu de données. Résultat : le modèle étudiant récupère 53,8 % de l'avantage de précision de l'ensemble, avec une compression de facteur 160. Pour l'industrie, cette approche répond à un problème fondamental du déploiement en production : les ensembles de modèles sont précis mais trop lents et trop coûteux pour répondre à des contraintes de latence réelles. Un modèle seul, distillé depuis un ensemble de 12 réseaux, peut être servi en temps réel là où l'ensemble original serait inutilisable. La valeur ne vient pas seulement de la réduction de taille, mais de la qualité du signal transmis : les distributions de probabilité de l'enseignant portent une information bien plus riche que les étiquettes brutes, permettant à l'étudiant d'apprendre des nuances que l'entraînement standard ne capturerait pas. Cette technique est aujourd'hui centrale dans la mise en production des grands modèles de langage et des systèmes de vision par ordinateur, où des modèles comme DistilBERT ou les versions compressées de LLaMA sont directement issus de cette logique. La distillation de connaissances a émergé des travaux pionniers de Geoffrey Hinton et ses collègues chez Google en 2015, initialement pour compresser des ensembles en réseaux uniques. Depuis, elle est devenue un pilier de l'ingénierie ML à l'échelle : chaque fois qu'un modèle de recherche trop lourd doit être rendu opérationnel, la distillation est l'une des premières pistes explorées. L'enjeu est stratégique, les entreprises qui maîtrisent cette compression peuvent déployer des capacités de niveau "grand modèle" sur des infrastructures standard, réduisant drastiquement les coûts de calcul. Avec la prolifération des LLM de plusieurs centaines de milliards de paramètres, la distillation est devenue incontournable pour rendre l'IA générative accessible sur des appareils embarqués, des API à faible latence, ou des environnements edge où la puissance de calcul est limitée.

💬 La distillation de connaissances, c'est pas nouveau, Hinton 2015, DistilBERT, tout ça. Ce qui est bien expliqué ici, c'est pourquoi les soft labels avec la mise à l'échelle par température font toute la différence par rapport à un entraînement classique : l'élève apprend les nuances de l'enseignant, pas juste ses réponses binaires. Facteur 160 de compression avec 53% de l'avantage récupéré, c'est le genre de ratio qui explique pourquoi chaque labo qui sort un gros modèle sort aussi une version distillée dans les semaines qui suivent.

RecursiveMAS accélère l'inférence multi-agents de 2,4x et réduit l'usage des tokens de 75 %

Des chercheurs de l'Université de l'Illinois à Urbana-Champaign et de l'Université Stanford ont développé RecursiveMAS, un nouveau cadre pour systèmes multi-agents qui multiplie la vitesse d'inférence par 2,4 et réduit l'utilisation de tokens de 75 %. Le principe central est de remplacer la communication textuelle entre agents par des échanges dans l'espace des représentations latentes (embeddings). Concrètement, plutôt que chaque agent génère du texte que le suivant doit lire et interpréter, les agents se transmettent directement leurs représentations vectorielles internes, évitant toute génération de tokens intermédiaires. Le système s'inspire des modèles de langage récursifs, dans lesquels un ensemble de couches partagées traite les données en boucle pour approfondir le raisonnement sans ajouter de paramètres. Dans RecursiveMAS, chaque agent joue le rôle d'une couche : il reçoit une représentation latente, la traite, puis la passe au suivant. Après le dernier agent, les sorties sont renvoyées au premier, déclenchant un nouveau cycle de raisonnement. Seul l'agent final produit un texte à la dernière itération. Les expériences montrent des gains de précision sur des domaines exigeants comme la génération de code, le raisonnement médical et la recherche d'information. L'impact de cette architecture est direct et mesurable pour les équipes qui développent ou déploient des systèmes d'IA complexes. Une accélération de 2,4 fois de l'inférence et une réduction de 75 % des tokens utilisés signifient des coûts de calcul et d'API considérablement réduits à l'échelle. RecursiveMAS est également nettement moins coûteux à entraîner que les méthodes classiques de fine-tuning complet ou les approches LoRA, ce qui en fait une option viable pour des équipes aux ressources limitées. En permettant d'entraîner l'ensemble du système comme une unité cohérente plutôt que comme une collection d'agents isolés, le cadre ouvre la voie à des systèmes capables de s'adapter et de s'améliorer collectivement au fil du temps, sans les goulots d'étranglement typiques de la génération séquentielle de texte. Les systèmes multi-agents ont émergé comme une réponse aux limites des modèles de langage individuels face à des tâches complexes nécessitant coordination, vérification ou spécialisation. Mais leur passage à l'échelle bute sur un problème fondamental : la communication par texte impose une séquentialité coûteuse, chaque agent devant attendre que le précédent ait terminé de générer sa réponse avant de commencer sa propre analyse. Des approches comme le prompt engineering ou le fine-tuning individuel n'adressent qu'une partie du problème. RecursiveMAS propose une rupture architecturale en traitant le système entier comme un seul modèle récursif unifié. Si les résultats expérimentaux se confirment en conditions réelles, cette approche pourrait redéfinir la manière dont les architectures multi-agents sont conçues et optimisées, avec des implications importantes pour l'IA appliquée à la médecine, au droit, à la programmation et à la recherche scientifique.

💬 Passer les embeddings directement entre agents plutôt que de générer du texte à chaque étape, c'est une idée qui aurait dû arriver il y a deux ans. 75 % de tokens en moins et 2,4x plus vite sur du code et du raisonnement médical, c'est pas du flan. Bon, sur le papier c'est Illinois et Stanford, mais faut que LangGraph ou un équivalent s'en empare pour que ça compte vraiment en prod.

L'attention paginée dans les grands modèles de langage

La gestion de la mémoire GPU constitue aujourd'hui le principal goulot d'étranglement dans le déploiement des grands modèles de langage à grande échelle. L'attention paginée (Paged Attention) apporte une réponse concrète à ce problème en s'inspirant du mécanisme de mémoire virtuelle des systèmes d'exploitation, permettant de multiplier significativement le nombre de requêtes traitées simultanément sans augmenter le parc matériel. L'enjeu est considérable pour les opérateurs d'infrastructure IA. Avec l'approche classique, chaque requête se voit attribuer un bloc de mémoire fixe dimensionné au pire cas, la longueur maximale de séquence, même si la réponse générée est bien plus courte. Ce gaspillage structurel plafonne la concurrence bien avant que le GPU soit saturé computationnellement, forçant les équipes à surprovisioner le matériel ou à limiter arbitrairement le nombre d'utilisateurs simultanés. Les chiffres illustrent l'ampleur du problème : avec un modèle de type GPT à 32 couches, 32 têtes d'attention et une dimension de 128 par tête stockée en fp16, chaque token du cache KV représente 524 288 octets (512 Ko). Pour une séquence maximale de 2 048 tokens, chaque requête pré-alloue 1 024 Mo de VRAM, mais n'en utilise en moyenne que 250 Mo pour une réponse typique de 500 tokens, soit un taux d'utilisation de seulement 24,4 %. Sur 100 utilisateurs simultanés, ce sont 75 Go de mémoire GPU immobilisés inutilement. L'attention paginée résout cela en découpant le cache KV en blocs de 16 tokens alloués à la demande, et en permettant le partage de préfixes identiques entre requêtes via un mécanisme de Copy-on-Write. Cette approche, popularisée par le moteur d'inférence vLLM, représente aujourd'hui une brique fondamentale pour tout système de production sérieux. Les gains en débit sont substantiels dès les charges modérées, l'article mesure l'écart d'utilisation mémoire sur des batchs de 10 à 200 requêtes simultanées, et permettent de différer ou d'éviter des investissements matériels coûteux pour les équipes qui déploient des LLMs à l'échelle.