Le modèle de codage NousCoder-14B de Nous Research fait son entrée dans le moment des assistants Claude pour le code

Nous Research publie une méthode d'entraînement par superposition de tokens qui accélère le pré-entraînement des LLM jusqu'à 2,5x pour des modèles de 270M à 10B paramètres

Nous Research vient de publier Token Superposition Training (TST), une méthode qui réduit significativement le temps de pré-entraînement des grands modèles de langage sans toucher à leur architecture, leur optimiseur, leur tokenizer ni leur stratégie de parallélisme. Les gains mesurés sont substantiels : à l'échelle d'un modèle MoE (mixture d'experts) de 10 milliards de paramètres avec 1 milliard actifs, TST atteint une perte d'entraînement finale inférieure à celle d'une baseline équivalente en FLOPs, tout en consommant 4 768 heures-GPU B200 contre 12 311 pour la baseline, soit une réduction d'environ 2,5x du temps total. La méthode a été validée à quatre échelles : 270 millions et 600 millions de paramètres denses, 3 milliards (architecture SmolLM3), et le MoE 10B-A1B de la famille Qwen3. Toutes les expériences ont été conduites sur 64 GPU NVIDIA B200 via TorchTitan, en utilisant les jeux de données DCLM et FineWeb-Edu. TST fonctionne en deux phases séquentielles. Durant la première phase dite de superposition, qui représente entre 20 % et 40 % du total des étapes d'entraînement, le modèle ne traite pas des tokens individuels mais des groupes de tokens contigus. Dans la couche d'embedding, chaque groupe de s tokens est fusionné en un unique vecteur latent par moyennage des embeddings, permettant au transformer de traiter une séquence s fois plus courte et d'ingérer ainsi s fois plus de texte par unité de calcul. Une fonction de perte spécifique, la multi-hot cross-entropy, remplace la cross-entropy standard pour prédire simultanément le groupe de tokens suivant, et peut s'implémenter avec les noyaux de calcul déjà présents dans les bibliothèques d'entraînement existantes, sans écrire de code CUDA personnalisé. Dans la seconde phase de récupération, l'entraînement reprend avec la prédiction classique token par token. Un pic de perte transitoire de 1 à 2 nats apparaît à la transition mais se résorbe en quelques milliers de pas. Le modèle produit est architecturalement identique à un modèle entraîné de façon conventionnelle. L'enjeu derrière cette publication est considérable : le pré-entraînement des LLMs représente l'un des postes de coût les plus lourds de l'industrie, et les régimes actuels poussent déjà bien au-delà des estimations compute-optimales. Réduire ce coût d'un facteur 2,5 sans dégrader la qualité finale du modèle ouvre des perspectives importantes, notamment pour les laboratoires aux ressources limitées. TST s'inscrit dans une tendance plus large visant à améliorer le débit de données par FLOP dépensé, dans la lignée des tokenizers sous-mots BPE qui compressent déjà les séquences. Nous Research, connu pour ses modèles Hermes et ses travaux sur l'alignement et le fine-tuning, signe ici une contribution orientée fondations, avec une implémentation conçue pour s'intégrer directement dans les pipelines de pré-entraînement existants. Le papier accompagnant la publication est disponible sur arXiv (2605.06546).

Les sous-titres détaillés surpassent le volume brut pour entraîner des générateurs d'images efficaces, selon Lens de Microsoft Research

Microsoft Research a publié Lens, un modèle de génération d'images à partir de texte doté de seulement 3,8 milliards de paramètres, capable de rivaliser avec des modèles bien plus volumineux sur les benchmarks standard, à une fraction du coût d'entraînement habituel. La clé de cette performance réside dans les données : au lieu de s'appuyer sur les descriptions alternatives vagues issues du web, l'équipe a généré 800 millions de légendes d'images très détaillées à l'aide de GPT-4.1. Le code source et les poids du modèle ont été publiés sous licence open source. Ce résultat remet en question une hypothèse dominante dans l'industrie de l'IA : celle selon laquelle il faudrait toujours plus de paramètres et de données brutes pour obtenir de meilleures performances. Lens démontre qu'un modèle compact, nourri de données de haute qualité, peut égaler des modèles propriétaires bien plus lourds. Pour les équipes disposant de ressources limitées, cela ouvre la voie à des pipelines de génération d'images performants sans investissement massif en infrastructure. Cette publication s'inscrit dans une tendance qui valorise la qualité des données d'entraînement plutôt que leur quantité brute, une philosophie déjà portée par des modèles comme Phi chez Microsoft lui-même. L'utilisation de GPT-4.1 pour générer des descriptions riches et précises rappelle les approches de recaptioning adoptées par Stability AI ou Adobe Firefly. En rendant Lens accessible à tous, Microsoft Research contribue à démocratiser la recherche en génération visuelle, et pourrait accélérer l'émergence de modèles spécialisés plus efficaces dans des domaines comme le design, la médecine ou l'éducation.

Le SkillOpt de Microsoft montre que les artefacts de compétences optimisés pour agents se transfèrent entre échelles de modèles et entre Codex et Claude Code

Une équipe de chercheurs de Microsoft, de la Shanghai Jiao Tong University, de la Tongji University et de la Fudan University a présenté SkillOpt, un système d'optimisation qui entraîne un document de compétence en langage naturel pendant que le modèle cible reste figé. Un modèle optimiseur analyse des exécutions notées et propose des modifications bornées (ajout, suppression, remplacement), qu'un jeu de validation distinct n'accepte que si le score s'améliore strictement. Le résultat est un fichier unique, bestskill.md, que les chercheurs ont ensuite testé dans trois configurations de transfert. Sur le benchmark SpreadsheetBench, une compétence entraînée sur GPT-5.4 conserve 82% du gain obtenu en interne lorsqu'elle est déployée sur GPT-5.4-mini (le score passe de 36,1 à 45,5, contre 47,5 pour un entraînement direct), mais seulement 16% sur GPT-5.4-nano. Sur LiveMath, la compétence transférée sur GPT-5.4-nano atteint même 28,8 points, dépassant le résultat obtenu par un entraînement direct sur ce modèle (27,2). Le test le plus marquant concerne le passage entre environnements d'exécution: sur GPT-5.5, une compétence optimisée dans Codex, appliquée telle quelle à Claude Code, fait grimper le score SpreadsheetBench de 22,1 à 81,8, un résultat qui dépasse légèrement les 80,4 points obtenus par Claude Code en s'entraînant lui-même. Cette portabilité change la manière dont les compétences des agents IA pourraient être développées et diffusées. Au lieu de ré-entraîner un module distinct pour chaque modèle ou chaque interface, une organisation pourrait produire une seule compétence textuelle et la réutiliser sur des variantes plus petites, moins coûteuses à faire tourner, ou sur un environnement d'exécution différent, sans perte majeure de performance dans les cas favorables. Le point faible identifié est tout aussi instructif: les compétences purement procédurales (inspection d'un fichier, vérification de formules, mise en forme) voyagent bien d'un système à l'autre, alors que les compétences qui reposent sur un raisonnement mathématique complexe restent largement attachées à leur environnement d'entraînement, avec des taux de rétention qui chutent à 10% ou 30% selon le sens du transfert entre Codex et Claude Code. Le mécanisme qui rend ce transfert possible tient à un détail d'implémentation: les trois modes d'exécution testés, à savoir le dialogue direct, Codex et Claude Code, lisent tous le même format de fichier bestskill.md, ce qui crée un contrat commun entre des outils autrement très différents dans leur gestion des commandes et des fichiers. Les chercheurs ont aussi testé un transfert entre benchmarks mathématiques, d'OlympiadBench vers Omni-MATH, avec des gains plus modestes mais positifs sur toutes les tailles de modèles GPT-5.4 testées, jusqu'à +3,7 points sur la version complète. L'étude reste cependant circonscrite: aucun transfert entre familles de modèles différentes, comme de GPT vers Qwen, n'a été évalué, ce qui laisse ouverte la question de savoir si ces gains se généralisent au-delà de l'écosystème testé.

💬 Micro-audits qui s'améliorent tout seuls, tant qu'on reste dans la même famille de modèles : c'est déjà solide. Le détail qui compte, c'est que les trois modes lisent le même fichier best_skill.md, un contrat texte commun là où chaque outil gère ses commandes différemment, d'où le transfert qui marche. Mais la limite est nette : dès que ça touche du raisonnement mathématique complexe, la compétence reste collée à son environnement d'entraînement (rétention à 10-30% dans le pire sens), donc on est loin d'une compétence universelle, plutôt d'un bon plan pour les tâches procédurales répétitives.

VSAS-Bench : évaluation en temps réel des modèles d'assistants visuels en flux continu

Des chercheurs ont proposé VSAS-Bench, un nouveau cadre d'évaluation conçu spécifiquement pour les modèles de vision-langage (VLM) opérant en temps réel sur des flux vidéo continus. Contrairement aux benchmarks existants, qui évaluent les modèles dans des conditions hors ligne, c'est-à-dire sur des vidéos enregistrées et traitées après coup, VSAS-Bench cible un cas d'usage fondamentalement différent : celui des assistants visuels capables de percevoir et de répondre à un flux d'images en direct, de manière continue et sans interruption. Cette distinction est loin d'être anodine. Un modèle performant en mode hors ligne peut se révéler inutilisable en conditions réelles s'il répond avec retard ou si ses sorties manquent de cohérence d'une seconde à l'autre. VSAS-Bench introduit deux métriques inédites pour capturer ces dimensions : la proactivité, qui mesure la rapidité avec laquelle le modèle produit une réponse pertinente au bon moment, et la consistance, qui évalue la stabilité de ces réponses dans le temps. Ces critères sont essentiels pour des applications comme la surveillance automatique, l'assistance aux personnes ou les interfaces homme-machine en temps réel. Les VLM en streaming constituent un domaine en pleine émergence, porté par la montée en puissance des assistants embarqués et des robots dotés de perception visuelle. Jusqu'ici, l'absence de benchmarks adaptés freinait la comparaison objective entre systèmes. VSAS-Bench comble ce manque méthodologique et devrait accélérer la recherche sur les modèles capables de traiter des flux vidéo de façon proactive, ouvrant la voie à une nouvelle génération d'assistants visuels véritablement interactifs.