Aller au contenu principal
Recherche · Paper ·

Meta FAIR présente une mémoire auto-améliorante qui obtient 56,0 sur un benchmark d'apprentissage continu

Meta FAIR a présenté Self-Improving Memory, une méthode qui apprend à un agent d'IA à gérer lui-même sa mémoire, avec des co-auteurs de l'Université de Washington et de Johns Hopkins. Le modèle de base est Kimi-K2.6, un MoE d'un billion de paramètres (32 milliards actifs, contexte de 256K). L'agent traite une série de sous-tâches, chacune démarrant avec un contexte vide ; seul un répertoire de mémoire persistant, édité par des outils de fichiers, subsiste. Deux prompts pilotent cette mémoire : OFFLOAD met à jour les notes après une sous-tâche, LOAD les récupère avant la suivante. Dans la première étape, un méta-agent réécrit ces prompts à partir de quatre modèles humains (Summary, Retrieval, Skill, Hypothesis). Chaque candidat exécute 5 fois le flux complet, les quatre meilleurs servent de parents, et la sélection s'appuie sur un jeu de validation invisible du méta-agent. Dans la seconde, les trajectoires obtenues avec les prompts optimisés sont réutilisées pour un fine-tuning LoRA (rang 64, couches de projection d'attention), après remplacement des prompts optimisés par des prompts génériques. Sur trois tâches du Continual Learning Bench (Database, Codebase, Spectrum), les prompts découverts atteignent 56,0 de moyenne contre 44,6 pour le meilleur harnais écrit à la main, et 64,3 sur Codebase, soit 20,6 points de plus.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →

L'intérêt est double. D'abord, aucune stratégie de mémoire écrite à la main ne l'emporte partout, ce qu'a confirmé une étude pilote : laisser un modèle chercher sa propre organisation donne de meilleurs résultats que les conventions humaines. Les prompts trouvés sont très concrets, par exemple lire GUARDRAILS.md puis SCHEMA.md avant de répondre sur la base de données, ou, pour le code, un fichier de démarrage rapide, un registre indexé de correctifs et des fichiers de correctifs séparés. Ensuite, la distillation fait passer ces gains dans les poids : le modèle distillé, utilisé avec le harnais générique, atteint 43,1 sur dix graines comparables, contre 37,6 pour un fine-tuning sur trajectoires génériques, soit +5,5 points (14,6 %). Cela évite de transporter de longs prompts spécialisés à chaque exécution. Les limites sont nettes : la distillation ne récupère qu'une partie du gain du harnais optimisé (43,1 contre 56,0), et sur Spectrum elle n'apporte que 2,9 points (46,5 contre 43,6). Sur Database, le résultat distillé (37,7) reste proche de la base générique (32,3).

Ce travail s'inscrit dans une série de méthodes récentes qui cherchent à automatiser la conception de la mémoire ou du harnais des agents, comme ALMA, MemEvolve ou Harness-Zero. Les benchmarks diffèrent, de sorte que les chiffres ne sont pas directement comparables. La particularité ici est de chercher des prompts de mémoire puis de les internaliser, avec un même modèle jouant les rôles de méta-agent et d'agent de tâche, donc entraîné sur des compétences qu'il a lui-même découvertes. La recherche reste bruitée : 37 des 44 révisions générées n'ont pas dépassé le meilleur candidat précédent, Database et Spectrum ont atteint leur pic dès la première génération, tandis que Codebase a progressé jusqu'à la quatrième. Le matériel d'entraînement n'est pas précisé ; servir Kimi-K2.6 exige un nœud multi-GPU, avec 8 H200 recommandés par Vast.ai, et des poids INT4 natifs existent. La prochaine étape logique serait de réduire l'écart entre modèle distillé et harnais optimisé, et de tester l'approche sur davantage de tâches.

À lire ensuite

01Skyfall AI lance MORPHEUS, un benchmark de simulation d'entreprise persistante qui rend l'apprentissage par renforcement continu nécessaireMarkTechPostRecherche 02Des chercheurs de NVIDIA présentent Physis-Lang, un langage physique auto-évolutif qui place Cosmos 3 devant Veo 3.1 sur les benchmarks de physiqueMarkTechPostRecherche 03Google Research publie RRSI en open source : des agents IA qui améliorent leur propre structure sans surapprentissageMarkTechPostRecherche 
Dossier · Meta IASuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.