Stanford publie en open source Memorilla, un module de mémoire latente pour LLM figés
Des chercheurs de Stanford, au sein du groupe SNAP de Jure Leskovec et avec des co-auteurs de Toronto, Penn et MIT, ont publié en open source Memorilla, un module de mémoire pour grands modèles de langage figés. Le système lit une collection entière de documents et ne transmet au modèle que 16 jetons de mémoire, quelle que soit la taille du corpus. Sur le benchmark FactKG, un Qwen3-8B figé atteint 84,33 % de précision avec Memorilla, contre 80,43 % lorsque tous les documents sont placés dans le contexte, avec 108 fois moins de jetons de documents. Le module compte 194 millions de paramètres entraînables, tandis que l'encodeur (Qwen3-Embedding-4B) et le décodeur (Qwen3-8B) restent gelés. Sur huit benchmarks, Memorilla obtient la meilleure moyenne rapportée (49,68, contre 41,92 pour xRAG, 40,75 pour LLMLingua-2 et 38,02 pour Mem0) et arrive en tête sur cinq d'entre eux. Il atteint 44,60 % sur PersonaMem-v2 contre 27,92 % en contexte complet, et 57,00 d'exact match sur TriviaQA. Il perd toutefois sur PubMedQA (59,00 % contre 69,00 % pour LLMLingua-2), sur PersonalizationV4 (66,65 % contre 67,88 % pour MemoRAG) et sur NarrativeQA (20,51 ROUGE-L pour MemoRAG contre 19,31). Les scores sont publiés par l'équipe elle-même.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le gain tient autant à la vitesse qu'à la précision. Sur un GPU H100, Memorilla répond en 0,74 seconde pour 512 documents (environ 128 000 jetons), alors que le contexte complet passe de 0,75 à 19,9 secondes, soit 27 fois plus lent. Le module lui-même ne prend qu'environ 2 millisecondes. Avec un cache optionnel qui précalcule les clés et valeurs de l'attention croisée, une question prend 8,1 ms pour un million de documents et 33 ms pour 4 millions sur un B200, et 5,0 ms avec torch.compile dans le premier cas, au prix de 80 Gio de cache pour 4 millions de documents. La compression culmine sur NarrativeQA, où 16 jetons remplacent 67 385 jetons de documents, soit une réduction de 4 212 fois. Comme mémoire d'agent, 8 jetons font passer le taux de réussite moyen d'un agent Qwen3-4B sur TextWorld de 18,6 % à 24,2 %. Pour les équipes qui déploient des assistants personnalisés ou des agents à longue durée de vie, cela ouvre une voie où l'historique grandit sans alourdir le coût d'inférence.
Le projet répond aux limites des deux approches dominantes. Le contexte complet ralentit à mesure que l'historique s'allonge, et la recherche par similarité, qui colle dans le prompt les passages les plus proches de la question, peut manquer des indices plus faibles. Memorilla choisit une troisième voie : un encodeur gelé intègre chaque document une seule fois, 16 emplacements appris interrogent la question et l'ensemble du stock via deux couches d'attention croisée à 8 têtes, puis le résultat est projeté dans l'espace d'embedding de Qwen3-8B et placé devant la question. L'entraînement comporte trois étapes, de la reconstruction de paraphrases sur environ 1,98 million d'exemples Wikipédia à un réglage fin sur les huit benchmarks, pour environ 19 heures sur quatre H100. Le code, les recettes et les points de contrôle sont publiés sous licence Apache 2.0, avec un jeu de données synthétique, PersonalizationV4 (149 utilisateurs, 200 conversations chacun, CC BY 4.0). Chaque point de contrôle doit être utilisé avec le décodeur d'origine, et la mise en route demande un GPU de 80 Go sous Linux. Face à MemoRAG, Mem0 et xRAG, la suite dépendra de la capacité de la méthode à se généraliser à d'autres modèles que Qwen3.