Aller au contenu principal
RechercheMarkTechPost · 2 min de lecture

Présentation de Mamba-3 : Un nouveau front d'état spatial avec des états deux fois plus petits et une efficacité accrue des circuits de décodage MIMO

Source originale ↗·

Une équipe de chercheurs issus de Carnegie Mellon University, Princeton University, Together AI et Cartesia AI a présenté Mamba-3, une nouvelle architecture de modèle de langage conçue dès le départ pour maximiser l'efficacité à l'inférence. Là où les Transformers souffrent d'une complexité quadratique et de besoins mémoire croissants, Mamba-3 s'appuie sur le cadre des State Space Models (SSM) pour lever ces goulots d'étranglement, avec trois innovations méthodologiques majeures.

L'enjeu est de taille : à mesure que la puissance de calcul à l'inférence devient le principal levier de performance des LLM, les architectures doivent évoluer au-delà des seules métriques de qualité. Les déploiements à grande échelle se heurtent aux limites matérielles des GPU modernes, notamment le H100, dont les phases de décodage restent très en dessous du régime compute-bound, avec une intensité arithmétique d'environ 2,5 opérations par octet pour les SSM classiques.

Mamba-3 répond à ces contraintes par trois leviers techniques distincts. La discrétisation exponentielle-trapézoïdale remplace l'heuristique de premier ordre de ses prédécesseurs par une approximation de second ordre, supprimant au passage les convolutions causales externes habituellement requises. Les états complexes (complex-valued SSMs), combinés à une équivalence théorique avec les RoPE (Rotary Positional Embeddings) appliqués aux projections B et C, permettent au modèle de résoudre des tâches de suivi d'état comme la parité binaire, là où Mamba-2 ne faisait pas mieux qu'une réponse aléatoire. Enfin, la formulation MIMO (Multi-Input Multi-Output) transforme la mise à jour d'état en une multiplication matricielle, multipliant les FLOPs de décodage par jusqu'à 4x par rapport à Mamba-2 à taille d'état équivalente, sans détériorer la latence réelle grâce à la superposition avec les I/O mémoire existants.

Sur le plan architectural, Mamba-3 adopte le layout style Llama, en alternance avec des blocs SwiGLU, et introduit une normalisation RMS sur les projections B et C, une symétrie directe avec le QKNorm des Transformers, ce qui stabilise l'entraînement et permet de supprimer la post-gate RMSNorm des versions précédentes. Ces travaux positionnent Mamba-3 comme une alternative sérieuse aux Transformers pour les scénarios où la latence de décodage est critique, avec des états deux fois plus petits à qualité de modélisation équivalente.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

NVIDIA AI présente PivotRL : un nouveau framework d'IA atteignant une haute précision agentique avec 4 fois moins de tours de simulation
1MarkTechPost 

NVIDIA AI présente PivotRL : un nouveau framework d'IA atteignant une haute précision agentique avec 4 fois moins de tours de simulation

NVIDIA vient de présenter PivotRL, un nouveau framework d'entraînement post-pré-entraînement conçu pour les modèles de langage déployés dans des tâches agentiques complexes. L'objectif : atteindre la précision de l'apprentissage par renforcement bout-en-bout tout en divisant par 4 le nombre de tours de simulation nécessaires à l'entraînement. L'enjeu est central pour l'industrie. Les tâches agentiques longues, ingénierie logicielle automatisée, navigation web, utilisation d'outils complexes, nécessitent aujourd'hui des méthodes d'entraînement coûteuses. Le fine-tuning supervisé (SFT) est peu onéreux mais peine à généraliser hors de sa distribution d'entraînement. L'apprentissage par renforcement bout-en-bout (E2E RL) préserve mieux les capacités hors-domaine mais exige des milliers de rollouts multi-tours à chaque mise à jour de paramètres, un coût computationnel prohibitif. PivotRL résout ce compromis via deux mécanismes clés. Le premier, le Pivot Filtering, identifie dans les trajectoires SFT existantes uniquement les "tours pivots", des états où la politique de référence gelée produit des résultats à haute variance, ni systématiquement réussis ni systématiquement échoués. En ciblant ces états à fort signal d'apprentissage, le framework évite les mises à jour de gradient nulles caractéristiques de GRPO (Group Relative Policy Optimization) sur les tours triviaux. Le second mécanisme, les récompenses fonctionnelles (Functional Rewards), remplace la correspondance exacte de chaînes de caractères par un vérificateur domaine-spécifique tolérant les actions équivalentes, une commande shell différente mais fonctionnellement identique sera ainsi correctement récompensée. Sur le plan théorique, l'équipe NVIDIA Research démontre formellement deux propriétés : le signal de gradient GRPO est proportionnel à l'écart-type des récompenses locales (justifiant le filtrage par variance), et les récompenses fonctionnelles préservent l'ordonnancement relatif de la politique de référence pour les actions hors-tâche, limitant ainsi l'oubli catastrophique typique du SFT et maintenant les capacités de généralisation hors-domaine du modèle.

RecherchePaper
1 source
Le NeuroVFM, un nouveau modèle de fondation pour la neuro-imagerie entraîné avec Vol-JEPA sur des IRM et scanners cliniques non filtrés
2MarkTechPost 

Le NeuroVFM, un nouveau modèle de fondation pour la neuro-imagerie entraîné avec Vol-JEPA sur des IRM et scanners cliniques non filtrés

Une équipe de recherche de l'Université du Michigan a développé NeuroVFM, un modèle de fondation visuel généraliste pour la neuroimagerie, présenté dans une publication de la revue Nature Medicine. Le système a été entraîné sur 5,24 millions de volumes IRM et scanner cliniques, issus de 566 915 études rassemblées dans la base UM-NeuroImages, qui couvre plus de deux décennies de soins courants dispensés par Michigan Medicine. Les chercheurs qualifient leur méthode d'apprentissage à l'échelle du système de santé : plutôt que de s'appuyer sur des rapports radiologiques appariés ou une curation spécifique à chaque pathologie, comme le font les classificateurs médicaux classiques, le modèle apprend directement à partir de données non annotées produites lors de l'activité clinique normale. Son socle technique, baptisé Vol-JEPA, étend les méthodes I-JEPA et V-JEPA à l'imagerie médicale volumétrique en trois dimensions. Concrètement, Vol-JEPA est un algorithme auto-supervisé qui ne reconstruit pas les pixels des images mais prédit des représentations dans un espace latent appris, ce qui lui évite tout besoin d'étiquettes, de comptes-rendus radiologiques ou de décodeur voxel. Chaque volume 3D est découpé en portions non chevauchantes de 4x16x16 voxels, réparties entre un petit contexte visible et une plus large zone masquée à prédire. Un encodeur étudiant traite le contexte, un module prédicteur en déduit les représentations latentes de la zone masquée, et un encodeur enseignant, mis à jour par moyenne mobile exponentielle du modèle étudiant, fournit la cible de référence ; l'écart entre les deux est mesuré par une perte L1 lissée. Le masquage cible en priorité les zones anatomiques utiles grâce à des masques de tête précalculés, avec des ratios de contexte de 25% pour l'IRM et 20% pour le scanner, complétés par un abandon de patchs de 20%. L'intérêt pratique est majeur pour les hôpitaux et les équipes de recherche en radiologie : un même modèle généraliste, entraîné sans supervision humaine coûteuse, pourrait ensuite être adapté à de multiples tâches cliniques de neuroimagerie sans nécessiter de nouvelles données annotées. Cette approche répond à un problème structurel bien connu du secteur : les modèles de fondation les plus performants apprennent surtout à partir de données publiques d'internet, où les IRM et scanners cliniques sont quasiment absents, car ils contiennent des traits faciaux identifiables et posent des problèmes de confidentialité des patients. Les modèles génériques sous-performent donc historiquement sur les tâches d'imagerie cérébrale, faute d'exposition à des volumes médicaux réels et diversifiés. NeuroVFM s'inscrit dans une tendance plus large de diffusion des méthodes de type JEPA, initialement conçues pour les images et vidéos naturelles, vers l'imagerie médicale spécialisée. Reste à voir si d'autres établissements hospitaliers suivront cette voie de l'apprentissage à l'échelle du système de santé pour constituer, à partir de leurs propres archives cliniques, des modèles de fondation comparables dans d'autres spécialités que la neuroimagerie.

💬 Ce qui compte ici, c'est pas le modèle en lui-même, c'est la méthode : Michigan a montré qu'un hôpital peut entraîner un foundation model direct sur ses archives IRM et scanner, sans rapport radiologique ni annotation. Tu le sais si tu suis le sujet, le vrai verrou en imagerie médicale c'était pas la puissance de calcul mais l'absence de données labellisées à grande échelle, et JEPA contourne ça en prédisant dans un espace latent plutôt que sur les pixels bruts. Reste à voir si d'autres CHU ont l'infrastructure pour rejouer le coup, parce que 5 millions de volumes cliniques, ça se trouve pas dans toutes les boîtes mail.

RecherchePaper
1 source
Un nouveau framework d'optimisation IA surpasse Claude Code et Codex de 2,5 fois à budget de calcul égal
3VentureBeat AI 

Un nouveau framework d'optimisation IA surpasse Claude Code et Codex de 2,5 fois à budget de calcul égal

Des chercheurs de l'Université Renmin de Chine et de Microsoft Research ont publié Arbor, un nouveau framework d'optimisation autonome qui surpasse de 2,5 fois les agents de codage standard comme Claude Code et Codex d'OpenAI à budget de calcul identique. Le système repose sur une structure arborescente qui organise les hypothèses, les expériences et les résultats accumulés au fil du temps, permettant à l'agent d'apprendre de ses échecs passés plutôt que de les répéter. Jiajie Jin, co-auteur de l'étude, résume le problème central : "L'automatisation peut garder une IA en activité très longtemps, mais une boucle n'est pas la même chose que des progrès." Le problème qu'Arbor cherche à résoudre est fréquent dans les déploiements d'IA en entreprise : une équipe configure un agent qui fonctionne parfaitement en développement, mais qui hallucine ou ignore des contraintes clés en production. Corriger cela implique d'ajuster simultanément les stratégies de découpage des données, les méthodes de récupération d'information et les instructions systèmes, des paramètres si imbriqués qu'il devient impossible d'identifier quelle modification a réellement résolu le problème. Les agents actuels traitent chaque tentative de manière isolée, sans mécanisme structuré pour capitaliser sur ce qu'ils ont appris. Arbor change cette dynamique en dotant l'agent d'une mémoire durable qui enregistre les directions explorées, les preuves factuelles produites, et la façon dont chaque résultat redéfinit l'espace des hypothèses futures. Ce travail s'inscrit dans une réflexion plus large sur les limites architecturales des agents IA autonomes. Les systèmes actuels utilisent le transcript de conversation comme mémoire de travail, une approche qui s'effondre sur des tâches longues dépassant les fenêtres de contexte, souvent plusieurs centaines d'échanges. Sans structure de mémoire persistante, ces agents stagnent sur leurs premiers échecs ou se laissent emporter par des oscillations de métriques peu représentatives, un phénomène connu sous le nom de reward hacking. Arbor propose une réponse directe : rendre la recherche algorithmique cumulative comme l'est la recherche humaine, où chaque expérience informe les suivantes. Pour les entreprises qui cherchent à automatiser l'amélioration continue de systèmes d'ingénierie complexes, pipelines de données ou architectures d'agents, cette approche ouvre une voie concrète vers une optimisation fiable et traçable.

RecherchePaper
1 source
Les agents IA de codage trouvent le bon fichier mais passent à côté des lignes essentielles, selon une étude
4The Decoder 

Les agents IA de codage trouvent le bon fichier mais passent à côté des lignes essentielles, selon une étude

Les agents de codage dopés à l'intelligence artificielle, comme Claude Code d'Anthropic ou Codex d'OpenAI, souffrent d'un angle mort précis : ils localisent correctement le fichier contenant un bug, mais ratent la majorité des lignes critiques à l'intérieur de ce fichier. C'est ce que révèle SWE-Explore, un nouveau benchmark conçu spécifiquement pour évaluer la phase d'exploration du code, c'est-à-dire la recherche et la navigation dans une base de code, séparément de la phase de correction proprement dite. C'est une première dans l'évaluation des outils de développement automatisé. Ce découplage entre exploration et réparation change la façon d'interpréter les performances des agents de codage. Jusqu'ici, les benchmarks dominants comme SWE-bench mesuraient uniquement le résultat final : le bug est-il corrigé ou non ? SWE-Explore montre qu'un agent peut échouer non pas parce qu'il ne sait pas corriger le code, mais parce qu'il n'a pas identifié les bonnes lignes à modifier. Sans contexte suffisant, même le meilleur algorithme de correction produit un patch inutile. Les développeurs qui s'appuient sur ces outils en production s'exposent donc à des corrections en apparence valides mais ciblant les mauvaises sections. Ce travail s'inscrit dans une dynamique de remise en question des métriques utilisées pour comparer les agents de développement. L'industrie investit massivement dans ces outils, GitHub Copilot, Cursor, Devin, et les entreprises les vendent sur des taux de résolution de tickets. SWE-Explore suggère que ces chiffres masquent une faiblesse structurelle en amont : la compréhension fine d'une base de code existante reste un problème ouvert, et le résoudre conditionne tout le reste.

UELes développeurs français et européens qui s'appuient sur des agents de codage IA en production s'exposent à des corrections en apparence valides mais ciblant les mauvaises sections de code, une limite structurelle à évaluer avant tout usage professionnel critique.

💬 Ça explique des trucs que j'ai vécus : le patch arrive, il compile, les tests passent, et pourtant le bug est toujours là parce que l'agent a retouché le mauvais endroit. SWE-Explore met le doigt dessus avec rigueur, en séparant la phase de navigation de la phase de correction, ce qui n'avait jamais été fait proprement. Les éditeurs vont devoir intégrer ça dans leurs benchmarks marketing, parce que vendre sur des taux de résolution de tickets quand la moitié du problème est en amont, c'est se raconter des histoires.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic