RechercheMarkTechPost6sem

Meta AI publie EUPE : une famille de vision encodeurs compacts de moins de 100M de parametres, rivaux des modeles specialises

Résumé IASource uniqueImpact UE Take éditorial

Les équipes de recherche de Meta AI ont présenté EUPE (Efficient Universal Perception Encoder), une famille d'encodeurs visuels compacts de moins de 100 millions de paramètres capables de rivaliser avec des modèles spécialisés sur des tâches variées : classification d'images, segmentation dense, et questions-réponses visuelles. La publication, disponible sur arXiv sous la référence 2503.22387, expose une approche radicalement différente des méthodes existantes, notamment face à AM-RADIO et RADIOv2.5, les références actuelles en distillation multi-enseignants. Là où RADIOv2.5-B, sa variante à l'échelle ViT-B, accuse des écarts notables face aux experts de domaine sur les tâches denses, EUPE parvient à combler ces lacunes dans un format adapté aux appareils embarqués comme les smartphones ou les casques de réalité augmentée.

L'enjeu est concret : déployer plusieurs encodeurs spécialisés en parallèle sur un appareil mobile est trop coûteux en calcul, mais n'en déployer qu'un seul signifie accepter des performances dégradées sur la plupart des tâches. EUPE change cette équation. Un seul modèle léger peut désormais gérer simultanément la compréhension visuelle globale, la détection de structures spatiales précises au niveau du pixel, et l'interaction avec des systèmes de langage visuel. Pour les développeurs d'applications mobiles, les fabricants de dispositifs AR ou les ingénieurs travaillant sur des pipelines d'IA embarquée, cela représente un gain substantiel en ressources sans sacrifice de polyvalence.

La difficulté centrale que résout EUPE tient à un problème de capacité. Les modèles comme CLIP, SigLIP 2, DINOv2 ou SAM ont chacun été entraînés avec des objectifs distincts : paires texte-image pour les premiers, apprentissage auto-supervisé structurel pour le second, segmentation massive pour le troisième. Les tentatives précédentes de fusionner ces expertises par distillation agglomérative, où un modèle étudiant imite plusieurs enseignants spécialistes simultanément, donnaient de bons résultats sur de grands encodeurs dépassant 300 millions de paramètres, mais échouaient sur les architectures efficientes. La solution proposée par Meta suit un principe en deux temps : agrandir d'abord, puis réduire. Un modèle intermédiaire de grande taille absorbe les représentations des différents enseignants, avant d'être distillé à son tour dans l'encodeur compact final. Cette étape intermédiaire fournit au petit modèle une représentation unifiée et déjà réconciliée, plutôt qu'une collection brute de signaux contradictoires. La publication positionne EUPE comme une brique fondamentale pour la prochaine génération d'IA on-device, dans un contexte où Apple, Google et Qualcomm intensifient également leurs efforts pour faire tourner des modèles multimodaux directement sur le matériel utilisateur.

💬 Le point de vue du dev

Le problème des encodeurs visuels embarqués, c'est exactement ça : soit tu empiles plusieurs spécialistes et ça explose ton budget calcul, soit tu fais des compromis douloureux. L'approche "agrandir puis distiller" de Meta est maline, parce qu'elle donne au petit modèle une représentation déjà digérée plutôt que de lui coller des signaux contradictoires à réconcilier lui-même. Reste à voir ce que ça donne sur du vrai hardware, pas juste sur les benchmarks arXiv.

Dans nos dossiers

Meta IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

Nous Research publie une méthode d'entraînement par superposition de tokens qui accélère le pré-entraînement des LLM jusqu'à 2,5x pour des modèles de 270M à 10B paramètres

Nous Research vient de publier Token Superposition Training (TST), une méthode qui réduit significativement le temps de pré-entraînement des grands modèles de langage sans toucher à leur architecture, leur optimiseur, leur tokenizer ni leur stratégie de parallélisme. Les gains mesurés sont substantiels : à l'échelle d'un modèle MoE (mixture d'experts) de 10 milliards de paramètres avec 1 milliard actifs, TST atteint une perte d'entraînement finale inférieure à celle d'une baseline équivalente en FLOPs, tout en consommant 4 768 heures-GPU B200 contre 12 311 pour la baseline, soit une réduction d'environ 2,5x du temps total. La méthode a été validée à quatre échelles : 270 millions et 600 millions de paramètres denses, 3 milliards (architecture SmolLM3), et le MoE 10B-A1B de la famille Qwen3. Toutes les expériences ont été conduites sur 64 GPU NVIDIA B200 via TorchTitan, en utilisant les jeux de données DCLM et FineWeb-Edu. TST fonctionne en deux phases séquentielles. Durant la première phase dite de superposition, qui représente entre 20 % et 40 % du total des étapes d'entraînement, le modèle ne traite pas des tokens individuels mais des groupes de tokens contigus. Dans la couche d'embedding, chaque groupe de s tokens est fusionné en un unique vecteur latent par moyennage des embeddings, permettant au transformer de traiter une séquence s fois plus courte et d'ingérer ainsi s fois plus de texte par unité de calcul. Une fonction de perte spécifique, la multi-hot cross-entropy, remplace la cross-entropy standard pour prédire simultanément le groupe de tokens suivant, et peut s'implémenter avec les noyaux de calcul déjà présents dans les bibliothèques d'entraînement existantes, sans écrire de code CUDA personnalisé. Dans la seconde phase de récupération, l'entraînement reprend avec la prédiction classique token par token. Un pic de perte transitoire de 1 à 2 nats apparaît à la transition mais se résorbe en quelques milliers de pas. Le modèle produit est architecturalement identique à un modèle entraîné de façon conventionnelle. L'enjeu derrière cette publication est considérable : le pré-entraînement des LLMs représente l'un des postes de coût les plus lourds de l'industrie, et les régimes actuels poussent déjà bien au-delà des estimations compute-optimales. Réduire ce coût d'un facteur 2,5 sans dégrader la qualité finale du modèle ouvre des perspectives importantes, notamment pour les laboratoires aux ressources limitées. TST s'inscrit dans une tendance plus large visant à améliorer le débit de données par FLOP dépensé, dans la lignée des tokenizers sous-mots BPE qui compressent déjà les séquences. Nous Research, connu pour ses modèles Hermes et ses travaux sur l'alignement et le fine-tuning, signe ici une contribution orientée fondations, avec une implémentation conçue pour s'intégrer directement dans les pipelines de pré-entraînement existants. Le papier accompagnant la publication est disponible sur arXiv (2605.06546).

UELes laboratoires et startups européens qui réalisent du pré-entraînement LLM à grande échelle pourraient bénéficier de cette réduction de coût de 2,5x, mais aucun acteur français ou européen n'est impliqué dans ces travaux.

RecherchePaper

1 source

2MarkTechPost

Meta AI lance Sapiens2 : un modèle de vision haute résolution centré sur l'humain

Meta AI a publié Sapiens2, la deuxième génération de son modèle de vision centré sur les humains, entraîné sur un milliard d'images humaines baptisé Humans-1B. Le modèle existe en quatre tailles allant de 0,4 milliard à 5 milliards de paramètres, opère nativement en résolution 1K et dispose de variantes hiérarchiques capables de traiter des images en 4K. La version à 5 milliards de paramètres est, selon l'équipe de recherche, le transformeur de vision le plus lourd jamais publié avec 15,722 téraflops. Sapiens2 couvre simultanément plusieurs tâches : estimation de pose, segmentation, calcul des normales de surface, reconstruction de la géométrie (pointmap) et estimation de l'albédo, c'est-à-dire la couleur vraie d'une surface indépendamment de l'éclairage. Ces résultats sont décrits dans un article préimprimé mis en ligne fin avril 2026 sur arXiv. L'intérêt de Sapiens2 réside dans sa capacité à traiter la complexité du corps humain à grande échelle, là où les modèles généralistes échouent régulièrement. Distinguer les doigts d'une main, les dents des gencives, ou encore reconstituer la couleur de peau réelle sous un éclairage complexe sont des tâches que les approches classiques gèrent mal. En combinant deux objectifs d'entraînement complémentaires, un apprentissage par masquage (MAE) pour conserver la fidélité des détails fins, et un apprentissage contrastif basé sur une architecture étudiant-professeur dérivée de DINOv3 pour structurer les représentations sémantiques, Meta a résolu un problème que les chercheurs appellent la dérive de représentation : les méthodes contrastives seules effacent des indices d'apparence critiques comme le teint ou les conditions lumineuses, rendant certaines tâches photoréalistes impossibles. L'équipe a contourné ce problème en n'appliquant pas les augmentations de couleur sur les vues globales utilisées pour l'objectif MAE. Le premier Sapiens, sorti en 2024, reposait uniquement sur le préentraînement MAE, une approche efficace pour les détails de texture mais limitée sur le plan sémantique. Pour construire Humans-1B, Meta est parti d'un pool web d'environ 4 milliards d'images, puis a appliqué un pipeline de filtrage en plusieurs étapes incluant détection de boîtes englobantes, estimation de pose de la tête, scores d'esthétique et de réalisme, filtrage par CLIP et détection de texte superposé. La déduplication a été réalisée par hachage perceptuel et élagage par plus proche voisin en espace de features profondes, avant un rééchantillonnage par clusters pour équilibrer poses, occlusions, types de vêtements et conditions d'éclairage. Pour la résolution 4K, l'équipe a adopté une attention locale par fenêtres dans les premières couches du transformeur, permettant de capturer textures fines et contours sans exploser le coût de calcul quadratique de l'attention globale. Sapiens2 positionne Meta comme acteur sérieux dans la vision humaine haute résolution, un domaine stratégique pour la réalité augmentée, le gaming, et les interfaces corporelles.

RecherchePaper

1 source

3MarkTechPost

Qwen AI publie Qwen-Scope : une suite open source d'autoencodeurs épars pour exploiter les représentations internes des LLM

L'équipe Qwen, filiale IA d'Alibaba, vient de publier Qwen-Scope, une suite open-source d'autoencodeurs épars (SAE) entraînés sur les familles de modèles Qwen3 et Qwen3.5. La publication comprend 14 groupes de poids SAE répartis sur sept variantes de modèles : cinq modèles denses (Qwen3-1.7B, Qwen3-8B, Qwen3.5-2B, Qwen3.5-9B et Qwen3.5-27B) et deux modèles mixture-of-experts (Qwen3-30B-A3B et Qwen3.5-35B-A3B). Concrètement, un autoencodeur épars fonctionne comme une couche de traduction entre les activations brutes du réseau de neurones et des concepts compréhensibles par l'humain : pour chaque couche transformeur, Qwen-Scope entraîne un SAE séparé qui décompose les états internes en un large dictionnaire de caractéristiques latentes, chaque entrée n'en activant qu'un petit sous-ensemble. Chaque caractéristique tend à correspondre à un concept précis, qu'il s'agisse d'une langue, d'un style ou d'un comportement lié à la sécurité. La largeur de ces dictionnaires atteint jusqu'à 128 000 dimensions pour les modèles MoE, soit une expansion de 64 fois la taille cachée du modèle. Cet outil répond à l'un des problèmes les plus frustrants du développement de LLMs : leur opacité totale. Quand un modèle génère des réponses dans la mauvaise langue, se répète à l'infini ou refuse des requêtes inoffensives, les développeurs disposent de très peu de moyens pour en comprendre la cause à l'échelle des calculs internes. Qwen-Scope ouvre deux leviers concrets. Le premier est le pilotage à l'inférence : en ajoutant ou soustrayant une direction de caractéristique dans le flux résiduel selon la formule h' = h + αd, il devient possible d'orienter le comportement du modèle sans modifier aucun poids. L'équipe illustre cela sur Qwen3 : un modèle qui mêlait involontairement du chinois dans ses réponses en anglais a été corrigé en supprimant la caractéristique "langue chinoise" (id : 6159), identifiée en quelques secondes par son niveau d'activation élevé. Le second levier est l'analyse d'évaluation sans forward pass coûteux : les activations SAE servent de proxy pour cartographier quelles capacités sont réellement testées par un benchmark, et détecter si deux jeux d'évaluation sont redondants. Cette publication s'inscrit dans le courant de l'interprétabilité mécaniste, un champ de recherche en pleine expansion qui vise à rendre les LLMs auditables de l'intérieur. Des acteurs comme Anthropic et DeepMind ont déjà investi dans des SAEs pour leurs propres modèles, mais la mise à disposition open-source de tels outils sur une famille de modèles aussi large reste rare. Pour les équipes qui utilisent Qwen en production, Qwen-Scope représente une infrastructure de diagnostic inédite : détecter des biais encodés dans les représentations internes, affiner des comportements sans fine-tuning coûteux, ou auditer la couverture réelle de leurs protocoles d'évaluation. La prochaine étape logique serait l'extension de ces outils aux modèles de raisonnement et aux architectures multimodales, deux domaines où l'opacité interne reste particulièrement problématique.

UELes entreprises européennes déployant des modèles Qwen en production peuvent exploiter Qwen-Scope pour auditer les biais encodés dans les représentations internes et faciliter la conformité aux exigences d'explicabilité de l'AI Act.

RecherchePaper

1 source

4Numerama

15 millions de paramètres et 1 seul GPU : Yann LeCun fait un premier pas vers l’IA qui comprend le monde réel

Yann LeCun, directeur scientifique de Meta AI et figure centrale de l'intelligence artificielle moderne, publie avec un consortium de chercheurs LeWorldModel, un modèle de prédiction du monde capable de s'entraîner directement à partir de pixels bruts — sans prétraitement ni encodage intermédiaire — tout en maintenant une stabilité d'entraînement inédite à cette échelle. Le modèle repose sur 15 millions de paramètres et tourne sur un seul GPU, ce qui le rend accessible bien au-delà des grands laboratoires disposant de clusters massifs. L'enjeu est considérable pour la robotique et l'IA incarnée : pour qu'un robot puisse interagir de façon autonome avec son environnement physique, il doit d'abord modéliser le monde visuel tel qu'il est, image après image, sans dépendre d'annotations humaines. LeWorldModel ouvre cette voie en apprenant directement depuis la donnée visuelle brute, là où les approches précédentes échouaient souvent à converger ou nécessitaient des architectures beaucoup plus lourdes. C'est un pas concret vers une IA qui « comprend » le monde réel plutôt que de simplement le classifier. Cette publication intervient dans un contexte particulier : LeCun vient de cofonder AMI Labs, une startup basée en France dont les premiers travaux ne sont pas encore dévoilés. Depuis plusieurs années, il défend publiquement une vision alternative aux grands modèles de langage — il milite pour des systèmes d'IA basés sur la prédiction du monde physique plutôt que sur la génération de texte. LeWorldModel s'inscrit directement dans cette feuille de route, et pourrait constituer une brique fondamentale de l'architecture JEPA (Joint Embedding Predictive Architecture) qu'il développe chez Meta depuis 2022.

UELa cofondation par LeCun d'AMI Labs, startup basée en France, ancre directement ces travaux dans l'écosystème français de l'IA et pourrait constituer un pôle de recherche européen sur l'IA incarnée.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour