RechercheMarkTechPost6sem

Résultats critiques: Moonshot AI dévoile des résultats pour remplacer le mélange résiduel fixe par une attention depth-wise pour une meilleure évolutivité dans les transformateurs

Résumé IASource uniqueImpact UE

Moonshot AI remet en question l'un des fondements les plus établis de l'architecture Transformer : les connexions résiduelles. Baptisée Attention Residuals (AttnRes), la nouvelle approche proposée par les chercheurs de la startup chinoise remplace l'accumulation résiduelle classique par un mécanisme d'attention depth-wise — une attention portant non plus sur la séquence de tokens, mais sur la dimension de profondeur du réseau. L'idée : laisser chaque couche choisir dynamiquement quelles représentations des couches précédentes lui sont utiles, plutôt que de toutes les consommer avec un poids uniforme.

L'enjeu est significatif pour la scalabilité des grands modèles de langage. Dans les architectures PreNorm standard, la magnitude de l'état caché croît avec la profondeur du réseau, diluant progressivement la contribution de chaque couche individuelle. Ce phénomène constitue un frein à l'optimisation des modèles très profonds et rend l'accès sélectif à des représentations antérieures structurellement impossible — une fois l'information fusionnée dans le flux résiduel, elle ne peut être récupérée de façon ciblée.

Les chercheurs identifient trois problèmes concrets avec les résidus classiques : absence d'accès sélectif (toutes les couches reçoivent le même état agrégé), perte irréversible d'information, et croissance des sorties en profondeur pouvant déstabiliser l'entraînement. Deux variantes d'AttnRes sont proposées : Full AttnRes, qui calcule une attention sur toutes les couches précédentes avec un coût mémoire en O(Ld), et Block AttnRes, une version pratique pour les grands modèles qui partitionne les couches en blocs N, ramenant le coût à O(Nd). Cette dernière affiche moins de 4% de surcoût à l'entraînement sous pipeline parallèle et moins de 2% de latence supplémentaire à l'inférence.

Les expériences portent sur cinq tailles de modèles, comparant AttnRes aux résidus standards sur plusieurs variantes. Le code source est disponible publiquement sur GitHub (MoonshotAI/Attention-Residuals). Si les résultats de scalabilité se confirment à très grande échelle, AttnRes pourrait s'imposer comme une alternative sérieuse aux connexions résiduelles fixes — un composant que la communauté questionne rarement mais qui conditionne pourtant l'ensemble de la dynamique d'apprentissage des Transformers modernes.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1arXiv cs.RO

SPLIT : séparation des contacts physiques par arithmétique latente dans les capteurs tactiles visuels

Une équipe de chercheurs a publié sur arXiv (référence 2604.24449) une nouvelle méthode baptisée SPLIT, conçue pour simuler des capteurs tactiles à base d'images utilisés en robotique. Le travail se concentre principalement sur le capteur DIGIT, un capteur tactile optique répandu dans la communauté robotique. SPLIT repose sur une stratégie d'arithmétique dans l'espace latent qui dissocie explicitement la géométrie de contact des propriétés optiques propres au capteur. Concrètement, le système décompose ce qu'il "voit" en deux composantes indépendantes : la forme de l'objet qui appuie sur le capteur, et les caractéristiques visuelles intrinsèques du capteur lui-même. La méthode intègre également une simulation par éléments finis (FEM) calibrée avec résolution variable, offrant un compromis ajustable entre vitesse de calcul et fidélité physique. Cette capacité de dissociation change profondément la manière dont on peut entraîner des modèles d'apprentissage automatique pour la perception tactile. Jusqu'ici, chaque nouvelle unité physique d'un capteur nécessitait une recalibration coûteuse en temps et en données. SPLIT élimine cette contrainte : une fois entraîné, le modèle peut s'adapter à différentes variantes du capteur DIGIT, voire se transférer vers des capteurs d'une autre famille, comme le GelSight R1.5, sans réentraînement complet. La méthode supporte en outre une simulation bidirectionnelle : elle peut générer des images réalistes à partir de maillages de déformation, mais aussi reconstruire un maillage à partir d'une image tactile réelle. La vitesse d'inférence dépasse celle des approches concurrentes existantes. Le manque de données d'entraînement réalistes est l'un des principaux freins au développement de la robotique tactile. Collecter des interactions physiques variées est lent, coûteux et difficile à reproduire à grande échelle, ce qui pousse la communauté vers des simulateurs capables de générer des données synthétiques crédibles. SPLIT s'inscrit dans cette tendance en proposant une solution généraliste, là où les méthodes antérieures restaient souvent liées à un seul type de capteur. En permettant le transfert inter-capteurs et en réduisant le besoin en données réelles, cette approche pourrait accélérer significativement le développement de robots capables de manipuler des objets avec précision et dextérité.

RecherchePaper

1 source

2HuggingFace Blog

Règles critiquées : simplification des processus de tokenisation dans les Transformateurs v5, offrant une transparence accrue et une modularité améliorée

L'article discute des avancées dans la tokenisation utilisée dans les modèles Transformers version 5, qui apporte des simplifications, une clarté accrue et une meilleure modularité. Il met l'accent sur l'amélioration de l'architecture pour faciliter la compréhension et la manipulation des données textuelles.

UEL'avancée dans la tokenisation des Transformateurs v5 simplifie et clarifie le traitement des données textuelles, bénéficiant potentiellement aux entreprises européennes comme DeepMind Europe et Hugging Face, en améliorant leur capacité à respecter la réglementation RGPD en manipulant les données textuelles de manière plus transparente, tout en ouvrant des opportunités pour l'innovation dans les secteurs de l'IA et du traitement du langage naturel.

RechercheOutil

1 source

3Apple Machine Learning

Entraînement par anticipation latente pour les Transformers

Des chercheurs ont présenté une nouvelle méthode d'entraînement pour les modèles de langage appelée « Latent Lookahead Training », acceptée au workshop ICLR 2026 sur la réflexion latente et implicite. Cette approche s'attaque à une limitation fondamentale des modèles autorégressifs actuels : la prédiction token par token, qui oblige le modèle à se figer sur un choix à chaque étape sans pouvoir explorer plusieurs continuations possibles. De plus, le calcul est distribué de manière uniforme entre tous les tokens, même quand certains sont bien plus complexes que d'autres. Cette contrainte n'est pas anodine — elle bride directement la capacité des modèles à planifier ou à « réfléchir » avant de s'engager dans une direction. En permettant au modèle d'anticiper dans un espace latent avant de produire chaque token, le Latent Lookahead vise à allouer plus de calcul là où c'est nécessaire et à ouvrir la porte à une forme de délibération interne, sans passer par le Chain-of-Thought explicite. La recherche s'inscrit dans un mouvement plus large visant à dépasser les limites du raisonnement en chaîne visible, en explorant comment les modèles peuvent développer une forme de pensée implicite plus flexible et efficace.

RecherchePaper

1 source

4MarkTechPost

Google AI propose Vantage : un protocole basé sur les LLM pour mesurer la collaboration, la créativité et la pensée critique

Des chercheurs de Google Research ont publié un article présentant Vantage, un système d'évaluation basé sur des grands modèles de langage (LLM) conçu pour mesurer trois compétences humaines longtemps considérées comme impossibles à tester à grande échelle : la collaboration, la créativité et la pensée critique. L'étude, conduite auprès de 188 participants âgés de 18 à 25 ans recrutés via la plateforme Prolific, a généré 373 transcriptions de conversations entre humains et groupes d'agents IA. Chaque session durait 30 minutes et impliquait des tâches collaboratives structurées, comme la conception d'une expérience scientifique ou un débat argumenté. Les modèles utilisés sont Gemini 2.5 Pro pour les modules de collaboration et Gemini 3 pour la créativité et la pensée critique. L'apport technique central de Vantage est ce que les chercheurs appellent l'architecture "Executive LLM" : plutôt que de faire fonctionner un agent IA distinct pour chaque participant simulé, un seul LLM orchestre tous les personnages artificiels de la conversation. Ce modèle coordinateur a accès à la rubrique d'évaluation en temps réel et s'en sert activement pour piloter les échanges vers des situations révélatrices. Si la compétence ciblée est la résolution de conflits, l'Executive LLM peut faire exprimer un désaccord par l'un de ses personnages et le maintenir jusqu'à ce que le participant humain réagisse. Les tests ont montré que cette approche surpasse significativement une configuration où des agents indépendants interagissent sans coordination : sans pilotage, les conversations peuvent se dérouler sans jamais créer les conditions nécessaires à l'évaluation d'une compétence donnée. Les scores attribués automatiquement par le système ont atteint un niveau de fiabilité comparable à celui d'experts humains formés à la notation. Ce travail s'attaque à un problème de mesure vieux de plusieurs décennies. Les tests standardisés classiques, comme le PISA 2015 sur la résolution collaborative de problèmes, ont tenté de simuler le travail en groupe via des interfaces à choix multiples avec des coéquipiers scriptés, sacrifiant l'authenticité au profit du contrôle. Les évaluations humaines réelles font l'inverse, mais ne passent pas à l'échelle. Google positionne les LLM comme la première technologie capable de satisfaire simultanément ces deux exigences contradictoires : produire des interactions conversationnelles naturelles tout en maintenant des conditions reproductibles et comparables. Les implications dépassent largement le cadre académique : cette approche pourrait transformer les recrutements en entreprise, les certifications professionnelles ou les outils pédagogiques adaptatifs. Avec des entreprises comme Google, Microsoft et OpenAI qui investissent massivement dans les agents conversationnels, Vantage illustre une nouvelle frontière où les LLM ne servent plus seulement à produire du texte, mais à modéliser et évaluer le comportement humain lui-même.

UECe système d'évaluation automatisée pourrait influencer les pratiques de recrutement et les certifications professionnelles en Europe, ainsi que les outils pédagogiques utilisés dans les systèmes éducatifs européens.

RecherchePaper

1 source