RechercheMarkTechPost6sem

Meta AI et KAUST proposent des ordinateurs neuronaux réunissant calcul, mémoire et entrées-sorties dans un seul modèle

Résumé IASource uniqueImpact UE

Des chercheurs de Meta AI et de l'Université des sciences et technologies du roi Abdallah (KAUST) ont publié un article proposant un nouveau paradigme informatique qu'ils appellent les "Neural Computers" (NC). Contrairement à un agent IA classique qui s'appuie sur un système d'exploitation, des API et des terminaux existants, un Neural Computer est un réseau de neurones qui joue lui-même le rôle de l'ordinateur en cours d'exécution. L'équipe présente un cadre théorique formel ainsi que deux prototypes fonctionnels basés sur la génération vidéo : NC CLIGen, qui simule une interaction en ligne de commande, et NC GUIWorld, qui modélise des interfaces graphiques. Ces deux systèmes ont été construits sur Wan2.1, le modèle de génération vidéo de référence au moment des expériences. L'entraînement de NC CLIGen sur un jeu de données de près de 824 000 flux vidéo (environ 1 100 heures d'enregistrements de terminaux) a nécessité environ 15 000 heures de calcul sur GPU H100. Les résultats montrent une précision au niveau des caractères passant de 0,03 en début d'entraînement à 0,54 après 60 000 étapes, avec une qualité de reconstruction atteignant un PSNR moyen de 40,77 dB.

L'enjeu central de cette recherche est de savoir si une machine apprenante peut commencer à assumer le rôle de l'ordinateur lui-même, plutôt que de simplement s'exécuter par-dessus lui. Dans un Neural Computer, l'état latent du modèle porte ce que la pile logicielle classique gère habituellement en dehors du modèle : le contexte d'exécution, la mémoire de travail et l'état de l'interface. L'objectif à long terme, baptisé "Completely Neural Computer" (CNC), vise un système Turing-complet, universellement programmable, cohérent dans son comportement sauf reprogrammation explicite, et respectant des sémantiques proches des architectures machines traditionnelles. Une exigence clé est un contrat run/update : les entrées ordinaires doivent exécuter les capacités installées sans les modifier silencieusement, tandis que tout changement de comportement doit passer par une interface de programmation explicite, traçable et réversible.

Ce travail s'inscrit dans une trajectoire de recherche plus large qui cherche à repenser fondamentalement la frontière entre logiciel et modèle d'intelligence artificielle. Les chercheurs prennent soin de distinguer leur approche des Neural Turing Machines et des Differentiable Neural Computers des années 2010, qui visaient eux une mémoire externe différentiable plutôt qu'une fusion complète calcul-mémoire-interface. Meta AI, qui investit massivement dans la recherche fondamentale en IA depuis plusieurs années, s'associe ici à une institution académique du Golfe de plus en plus présente dans les publications de premier plan. Les prototypes actuels fonctionnent encore en mode ouvert, sans interaction en temps réel avec un environnement live, ce qui souligne le caractère exploratoire de la démarche. Si ce paradigme venait à mûrir, il pourrait remettre en question des décennies d'architecture logicielle en dissolvant la distinction entre programme et modèle.

Dans nos dossiers

Meta IA Agents IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1VentureBeat AI

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base

Des chercheurs de plusieurs universités ont publié Memento-Skills, un nouveau cadre technique qui permet à des agents IA d'améliorer leurs propres compétences de manière autonome, sans modifier ni réentraîner le modèle de langage sous-jacent. Contrairement aux approches classiques qui figent les capacités d'un agent après son déploiement, Memento-Skills fonctionne comme une mémoire externe évolutive : le système stocke des compétences sous forme de fichiers markdown structurés, chacun composé de trois éléments, une spécification déclarative, des instructions pour guider le raisonnement du modèle, et du code exécutable. Lorsqu'il rencontre une nouvelle tâche, l'agent interroge un routeur spécialisé pour récupérer la compétence la plus pertinente sur le plan comportemental, l'exécute, puis met à jour sa base de connaissances en fonction du résultat obtenu. Ce mécanisme, baptisé "Read-Write Reflective Learning", traite chaque exécution comme une itération active de politique plutôt qu'un simple journal de bord passif. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, adapter un agent à son environnement implique soit de fine-tuner les poids du modèle, une opération coûteuse en données et en temps, soit de concevoir manuellement de nouvelles compétences, ce qui exige un effort opérationnel permanent. Memento-Skills contourne ces deux obstacles. Le système corrige également un défaut majeur des architectures RAG classiques : la récupération par similarité sémantique. Un agent standard pourrait retrouver un script de "réinitialisation de mot de passe" pour résoudre une requête de "traitement de remboursement", simplement parce que les deux documents partagent du vocabulaire d'entreprise. Le routeur de Memento-Skills sélectionne au contraire la compétence la plus utile sur le plan comportemental, indépendamment de la proximité lexicale. Ce travail s'inscrit dans une réflexion plus large sur les limites des grands modèles de langage une fois déployés : leurs paramètres sont figés, et ils ne peuvent pas intégrer de nouvelles connaissances sans réentraînement. Plusieurs approches tentent d'y remédier, mémoire contextuelle, fine-tuning continu, bibliothèques de compétences manuelles, mais aucune ne combinait jusqu'ici apprentissage autonome, récupération comportementale et mise à jour réflexive en un seul système cohérent. Jun Wang, co-auteur du papier, positionne Memento-Skills comme un complément aux outils existants comme OpenClaw ou Claude Code. Si les résultats se confirment à plus grande échelle, ce type de cadre pourrait redéfinir la manière dont les agents IA évoluent en environnement réel, en déplaçant la charge d'adaptation des ingénieurs vers le système lui-même.

RecherchePaper

1 source

2MarkTechPost

Meta et Stanford présentent Fast Byte Latent Transformer : 50% de bande passante mémoire en moins, sans tokenisation

Des chercheurs de Meta, de Stanford University et de l'Université de Washington ont présenté trois nouvelles méthodes pour accélérer significativement le Byte Latent Transformer (BLT), une architecture de modèle de langage qui traite directement le texte en octets bruts plutôt qu'en tokens. La contribution principale s'appelle BLT Diffusion (BLT-D) et s'attaque à un problème central du BLT : son décodeur local génère les octets un à un, de manière autoregressive, ce qui implique plusieurs passes mémoire là où un modèle tokenisé n'en nécessite qu'une seule. Sur les serveurs modernes de LLM, le goulot d'étranglement n'est pas la puissance de calcul brute mais la bande passante mémoire, c'est-à-dire le coût répété de charger les poids du modèle et les caches KV depuis la mémoire. La solution proposée remplace ce décodage octet par octet par une diffusion discrète par blocs : au lieu de prédire un seul octet à la fois, le modèle génère simultanément des blocs de 4, 8 ou 16 octets en démasquant progressivement les positions les plus certaines à chaque étape, selon deux stratégies, l'une basée sur un seuil de confiance, l'autre sur une contrainte d'entropie cumulative. L'enjeu pratique est considérable. Selon les chercheurs, ces méthodes permettent de réduire la bande passante mémoire à l'inférence de plus de 50%, ce qui se traduit directement par une accélération de la génération de texte. Pour les entreprises qui déploient des LLM à grande échelle, où le coût d'inférence est un facteur économique déterminant, ce gain représente une réduction significative de la latence et des coûts opérationnels. Au-delà de la vitesse, les modèles octet-niveau comme BLT présentent des avantages intrinsèques que les architectures tokenisées peinent à égaler : meilleure gestion du texte multilingue, robustesse accrue face au bruit dans les entrées, et traitement naturel du code, des chiffres et des caractères spéciaux, sans les artefacts produits par les tokenizers comme le byte-pair encoding (BPE). Le BLT avait déjà constitué une avancée notable en démontrant qu'un modèle opérant sur des octets bruts pouvait atteindre les performances des modèles tokenisés à grande échelle, grâce à une segmentation dynamique en patches de longueur variable pilotée par l'entropie locale du texte. Les régions difficiles à prédire reçoivent des patches courts, les passages plus prévisibles des patches plus longs, avec une taille moyenne de 4 octets et un maximum de 8. La majeure partie du calcul s'effectue sur des représentations latentes compressées via trois composants : un encodeur local, un Transformer global, et un décodeur local. Le principal frein à l'adoption industrielle de cette approche restait sa lenteur à l'inférence, rendue pénalisante par le nombre élevé de passes décodeur nécessaires. Les trois techniques introduites dans ce nouveau travail visent directement ce verrou, ouvrant concrètement la voie au déploiement des modèles octet-niveau dans des environnements de production exigeants, où vitesse et coût ne sont pas négociables.

RecherchePaper

1 source

3MarkTechPost

MEMO : un framework modulaire pour entraîner un modèle de mémoire dédié sur de nouvelles connaissances sans modifier les paramètres du LLM

Une équipe de chercheurs de la National University of Singapore, du MIT CSAIL, d'A*STAR et de la Singapore-MIT Alliance for Research and Technology (SMART) a présenté MEMO (Memory as a Model), un cadre modulaire permettant d'intégrer de nouvelles connaissances dans un grand modèle de langage sans toucher à ses paramètres. L'approche repose sur deux composants distincts : un modèle mémoire dédié, Qwen2.5-14B-Instruct, entraîné spécifiquement sur un corpus cible, et un modèle exécutif figé, soit Qwen2.5-32B-Instruct soit Gemini-3-Flash, qui reste intact et n'est interrogé que via son interface standard. Le modèle mémoire est construit à partir d'un pipeline de synthèse de données en cinq étapes, piloté par un modèle générateur : extraction de faits explicites et inférés, consolidation de paires question-réponse, vérification de leur autonomie, révélation d'entités pour contourner la "malédiction de l'inversion" (où un modèle entraîné sur "A est B" échoue à déduire "B est A"), et enfin synthèse cross-documentaire reliant plusieurs sources. Cette dernière étape s'avère critique : la supprimer fait chuter la précision de 24,00 % à 6,37 % sur le benchmark NarrativeQA. MEMO s'attaque à un problème central : les grands modèles de langage sont figés après leur préentraînement et ne s'actualisent pas au fil des évolutions du monde. Les approches existantes peinent toutes sur un point ou un autre. La génération augmentée par récupération (RAG) est sensible au bruit dans les documents récupérés et échoue lorsque les réponses exigent un raisonnement à travers plusieurs sources. Le fine-tuning continu expose quant à lui au "catastrophic forgetting", où les nouvelles données dégradent les connaissances antérieures. MEMO contourne ces deux écueils en maintenant le modèle principal totalement intact et en traitant la connaissance comme une couche séparée. Les mises à jour de mémoire n'interfèrent jamais avec les capacités générales du modèle exécutif, et le même modèle mémoire peut théoriquement alimenter différents LLM, y compris propriétaires, sans accès à leurs poids ni à leurs logits. Ce travail s'inscrit dans un champ de recherche en pleine effervescence autour de la gestion du savoir dans les LLM. Depuis que des modèles comme GPT-4, Llama ou Mistral ont popularisé ces architectures à grande échelle, la question de leur mise à jour économique est devenue stratégique : réentraîner un LLM de plusieurs dizaines de milliards de paramètres coûte des millions de dollars. Les approches par mémoire latente existantes souffrent en outre d'un fort couplage à l'architecture qui les a générées, les rendant peu transférables d'un modèle à l'autre. MEMO propose une séparation nette entre mémoire et raisonnement, ouvrant la voie à des systèmes où la connaissance peut être mise à jour, remplacée ou spécialisée indépendamment du modèle central. Si les résultats se confirment à plus grande échelle et sur des corpus plus larges, ce type d'architecture modulaire pourrait redéfinir la façon dont les entreprises maintiennent leurs assistants IA à jour sans engager des coûts de réentraînement prohibitifs.

RecherchePaper

1 source

4The Decoder

Les hyperagents de Meta progressent dans leurs tâches et dans leur capacité à s'améliorer

Des chercheurs de Meta, en collaboration avec plusieurs universités, ont développé ce qu'ils appellent des « hyperagents » — des systèmes d'IA capables non seulement d'accomplir des tâches, mais aussi d'optimiser activement le mécanisme même par lequel ils s'améliorent. Cette architecture dépasse le cadre classique de l'apprentissage par renforcement ou du fine-tuning : l'agent agit sur deux niveaux simultanément, en résolvant des problèmes tout en affinant sa propre stratégie d'amélioration. Les résultats ont été présentés dans le cadre de travaux impliquant plusieurs équipes académiques aux côtés de Meta. Cette capacité à « s'améliorer en s'améliorant » représente un changement de paradigme potentiel dans la conception des systèmes d'IA agentiques. Là où les agents actuels nécessitent des cycles humains de rétroaction ou de supervision pour progresser, les hyperagents pourraient théoriquement accélérer leur propre développement de manière autonome. L'approche fonctionne sur plusieurs domaines de tâches différents, ce qui suggère une généralisation plutôt qu'une spécialisation étroite — un critère déterminant pour une adoption plus large dans des applications réelles. Ce travail s'inscrit dans une course intense entre les grands laboratoires pour développer des agents IA toujours plus autonomes. Meta, qui a misé massivement sur l'IA agentique avec ses modèles Llama et ses recherches en raisonnement, cherche à rattraper OpenAI et Google sur ce terrain. Le concept d'IA auto-accélératrice soulève également des questions profondes sur la sécurité et la contrôlabilité : si un système peut modifier sa propre dynamique d'apprentissage, la supervision humaine devient structurellement plus difficile à maintenir.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour