Dossier Qwen3 — page 2

Unsloth, Axolotl, TRL, LLaMA-Factory : comparaison des frameworks de fine-tuning sur vitesse, VRAM et multi-GPU

Quatre projets open source dominent aujourd'hui le fine-tuning des grands modèles de langage : Unsloth, Axolotl, TRL et LLaMA-Factory. Tous s'appuient sur la même base PyTorch et Hugging Face, mais chacun concentre ses efforts d'ingénierie différemment. TRL sert de couche de référence : il fournit les briques SFTTrainer, DPOTrainer, GRPOTrainer, KTOTrainer, RewardTrainer et RLOOTrainer, sur lesquelles s'appuient Axolotl et LLaMA-Factory, avec une version stable actuelle en v1.8.0. Unsloth réécrit une partie du code de modélisation avec des kernels Triton faits main et une rétropropagation dérivée manuellement plutôt que générée par autograd, sans dégradation de précision par rapport au QLoRA standard selon Hugging Face. Sur un GPU NVIDIA B200, Unsloth annonce des gains spectaculaires pour le modèle gpt-oss-20b-BF16 : 712,33 millisecondes par étape à 8 000 tokens de contexte contre 5 226,86 millisecondes pour Transformers v5, soit un facteur 7,3. Ce gain tombe à 4,82 fois à 4 000 tokens et à seulement 1,37 fois à 1 000 tokens. Sur Qwen3-30B-A3B, la tendance s'inverse : l'accélération chute de 1,7 fois à 1,1 fois entre 1 000 et 16 000 tokens, tandis que les économies de mémoire grimpent de 2 à 15 pour cent. Axolotl a intégré ses propres kernels Triton en février 2025, en citant explicitement Unsloth comme source d'inspiration, avec un support SonicMoE LoRA annoncé jusqu'à 1,45 fois plus rapide et 30 pour cent de mémoire économisée sur Qwen3.5-35B-A3B en LoRA 8 bits sur un seul H100 SXM. Ces écarts de performance ont un impact direct sur le coût et la faisabilité des projets de fine-tuning, en particulier pour les équipes disposant de ressources GPU limitées. Un facteur multiplicatif de 7 sur le temps d'entraînement change concrètement ce qu'une petite équipe peut se permettre d'entraîner localement plutôt que de sous-traiter à un cloud coûteux. À l'inverse, le fait que certains gains s'inversent selon la longueur de séquence ou le modèle montre qu'aucun framework n'est universellement supérieur : le choix dépend du matériel disponible, de la taille du modèle et de la longueur de contexte visée, ce qui complique la décision pour les praticiens. Ce paysage s'est construit par emprunts croisés plutôt que par concurrence fermée. LLaMA-Factory, présenté comme démonstration système à la conférence ACL 2024 et doté d'une interface Gradio baptisée LlamaBoard, ne développe pas ses propres kernels mais expose ceux des autres via de simples options de configuration : activer use_unsloth donnerait 170 pour cent de vitesse relative selon son changelog, et le support natif FlashAttention-2 ou Liger Kernel s'active de la même façon. TRL, de son côté, propose une intégration officielle avec Unsloth, ce qui montre que ces outils ne sont pas mutuellement exclusifs mais forment un écosystème où les innovations se propagent rapidement d'un projet à l'autre, au bénéfice final des équipes qui entraînent des modèles avec des budgets de calcul contraints.

NVIDIA lance Cosmos 3 Edge, un modèle de monde ouvert à 4 milliards de paramètres capable de raisonner et de générer des actions robotiques en local

NVIDIA a dévoilé Cosmos 3 Edge, un modèle du monde open source de 4 milliards de paramètres conçu pour fonctionner directement sur des appareils embarqués, sans connexion à un centre de données. Il permet aux robots et aux agents de vision par IA de comprendre leur environnement, de raisonner en temps réel et de générer des actions robotiques en local. Ce modèle complète la famille Cosmos 3, dont les deux premières déclinaisons, Cosmos 3 Nano (16 milliards de paramètres) et Cosmos 3 Super (64 milliards), avaient été lancées le 31 mai 2026 lors de la GTC Taipei. Edge en constitue le troisième et plus petit palier, environ seize fois plus compact que Super. L'objectif est précis : offrir des performances proches de celles d'un centre de données à des machines aux ressources mémoire limitées, comme celles utilisées dans les usines, les entrepôts ou les hôpitaux. Sur le plan technique, Cosmos 3 repose sur une architecture Mixture-of-Transformers à deux tours : une tour autorégressive dédiée au traitement du texte et de la vision pour la compréhension et le raisonnement, et une tour de diffusion qui gère vision, audio et tokens d'action pour la prédiction, la génération et la simulation. Les deux tours partagent des couches d'attention multimodale tout en conservant des couches de normalisation distinctes. Cosmos 3 Edge s'appuie sur un transformeur dense de 2 milliards de paramètres pour son module de raisonnement, compatible avec les conventions de messages de Qwen3-VL. Cette avancée répond à un besoin concret de l'industrie robotique : déployer une intelligence capable de raisonner sur le monde physique directement sur des systèmes contraints en mémoire et en calcul, sans dépendre du cloud. Pour un bras robotique, une simple reconnaissance visuelle d'un objet ne suffit pas : il faut aussi suivre sa position, anticiper le mouvement du préhenseur et prévoir ce qui se produit au contact. En unifiant ces capacités dans un modèle compact, NVIDIA facilite l'intégration de l'IA embarquée dans des secteurs où la latence, la confidentialité des données et l'autonomie énergétique sont critiques, comme la logistique, la santé ou la production industrielle. Le modèle introduit une représentation d'action commune à plusieurs types de systèmes physiques, sous forme de vecteurs géométriques compacts capturant translation, rotation et état de manipulation, avec des dimensions variant selon le cas d'usage, de 9 pour une caméra ou un véhicule autonome jusqu'à 29 pour un robot humanoïde. En mode politique, Cosmos 3 Edge peut prédire une action à partir d'un état donné ou, inversement, déduire l'action à l'origine d'un changement visuel observé. NVIDIA a également publié Cosmos 3 Edge Policy (DROID), une politique de manipulation robotique entraînée sur le jeu de données DROID pour des tâches de préhension et de dépôt, illustrant la volonté de l'entreprise de rapprocher modélisation du monde et contrôle robotique concret.

Washington envisage des restrictions sur les modèles IA open-weight chinois comme Kimi

Alibaba a dévoilé une nouvelle version en direct de Qwen3.8-Max-Preview entre le 18 et le 20 juillet 2026, avec des gains significatifs sur l'ensemble de ses capacités. Le groupe chinois a explicitement annoncé viser une version officielle plus performante et son ouverture complète des poids au public, un modèle estimé à 2 400 milliards de paramètres selon une synthèse communautaire relayée par le compte ZhihuFrontier, doté d'une forte multimodalité et d'une compréhension vidéo native, mais encore instable sur les tâches longues et la cohérence linguistique. Cette annonce, qui aurait normalement fait la une, a été éclipsée par la sortie de Kimi K3, un modèle ouvert de 2 800 milliards de paramètres dévoilé quatre jours plus tôt. Kimi K3 s'est imposé en tête du classement DesignArena Frontend Web App Arena avec un score Elo de 1326, devançant les modèles d'Anthropic, et s'est classé quatrième au classement général d'évaluation agentique de long terme, à égalité avec Claude Opus 4.8 et GPT-5.6 Sol, ce qui pourrait en faire le modèle ouvert numéro un dès la publication de ses poids. Par ailleurs, Zhipu aurait mis partiellement en service un centre de données d'un gigawatt reposant uniquement sur des puces fabriquées en Chine, destiné à l'entraînement de futurs modèles GLM. Ces développements interviennent alors que l'administration Trump étudierait des mesures pouvant constituer une interdiction de fait des modèles chinois de pointe comme Kimi, via des restrictions d'achats publics, des inscriptions sur l'Entity List, des alertes de sécurité et des exigences de responsabilité juridique. Cette perspective a suscité une réaction largement négative parmi les voix technologiques, dont Anthony Pompliano, Clément Delangue de Hugging Face, Margaret Mitchell et Bill Gurley, qui estiment que restreindre les modèles ouverts nuirait à la concurrence, à la souveraineté numérique et à la sécurité défensive plus qu'elle ne protégerait les acteurs en place. L'argument le plus concret est venu de Hugging Face lui-même : l'entreprise a révélé avoir utilisé le modèle ouvert GLM-5.2 hébergé en interne pour mener une analyse forensique lors d'un incident de cybersécurité, les API commerciales de pointe ayant bloqué l'analyse via leurs garde-fous et les données sensibles des attaquants devant impérativement rester sur site. Ce débat s'inscrit dans une bascule plus large où les modèles ouverts sont désormais perçus comme une nécessité sécuritaire autant qu'un levier de coûts, alors que la Chine ne se contente plus de publier des modèles compétitifs mais cherche à bâtir une chaîne de calcul souveraine pour l'entraînement de ses futurs systèmes d'intelligence artificielle, illustrant une nouvelle géopolitique de l'IA où infrastructure et politique commerciale deviennent indissociables des rapports de force technologiques entre Washington et Pékin.

Le distillation autonome (auto-distillation) simple améliore la génération de code

Un article scientifique décrit une méthode baptisée "simple self-distillation" (SSD), qui permet à un grand modèle de langage d'améliorer ses capacités de génération de code en utilisant uniquement ses propres productions, sans verificateur externe, sans modèle enseignant et sans apprentissage par renforcement. Le principe consiste à échantillonner des solutions générées par le modèle lui-même, avec des réglages précis de température et de troncature, puis à affiner ce même modèle sur ces échantillons via un entraînement supervisé classique. Appliquée à Qwen3-30B-Instruct, cette technique fait grimper le score pass@1 sur le benchmark LiveCodeBench v6 de 42,4% à 55,3%. Les chercheurs précisent que la méthode se généralise à plusieurs familles de modèles, Qwen et Llama, à différentes tailles allant de 4 à 30 milliards de paramètres. L'intérêt de cette approche tient à sa simplicité et à son faible coût. Contrairement aux méthodes classiques d'amélioration des modèles de code, qui reposent sur des vérificateurs automatiques, des modèles enseignants plus puissants ou des boucles d'apprentissage par renforcement coûteuses en calcul, SSD n'exige aucune infrastructure supplémentaire. Les chercheurs notent surtout que les gains de performance se concentrent sur les problèmes les plus difficiles, ce qui suggère que la méthode pousse le modèle au-delà de ses limites habituelles plutôt que de simplement consolider des acquis déjà maîtrisés. Ce travail s'inscrit dans une tendance de recherche plus large autour de l'auto-amélioration des modèles de langage, qui cherche à réduire la dépendance envers des ressources externes coûteuses comme le RLHF ou la distillation depuis des modèles plus grands. En démontrant qu'un modèle peut progresser en apprenant de ses propres réponses filtrées, cette étude ouvre la voie à des pipelines d'entraînement plus légers et potentiellement plus accessibles pour les équipes travaillant sur la génération de code assistée par IA.

Skyfall AI lance MORPHEUS, un benchmark de simulation d'entreprise persistante qui rend l'apprentissage par renforcement continu nécessaire

Skyfall AI vient de publier MORPHEUS, une plateforme de simulation d'entreprise persistante conçue pour l'apprentissage par renforcement continu (continual reinforcement learning, CRL). Le système s'appuie sur la Big World Hypothesis formulée par Javed et Sutton en 2024, selon laquelle la complexité du monde réel dépasse toujours la capacité de représentation d'un agent, rendant l'environnement non stationnaire même à dynamique fixe. Chaque environnement MORPHEUS est un module TypeScript autonome qui exporte des Operational Descriptors définissant le déroulé pas à pas d'une capacité, une planification de simulation, des données d'amorçage et une documentation. Deux moteurs génèrent la non-stationnarité: un moteur d'injection de pannes qui insère onze types de défaillances (données manquantes, échecs de dépendances, limitations de débit) à quatre niveaux d'intensité allant de 5% à 30%, et un contrôleur de changement de configuration asynchrone qui modifie les préréglages de pannes et la demande à des horaires fixes, indépendamment de la boucle d'entraînement. La récompense composite combine trois signaux, pondérés respectivement à 0,5 pour les événements de panne et 0,25 chacun pour le registre financier et le débit de ressources, avec un plafond théorique de 0,50 par configuration. L'initialisation des politiques repose sur un pipeline en deux étapes: le modèle Gemini 3.1 Pro collecte des trajectoires via le framework ReAct, qui servent ensuite à affiner Qwen3-14B par apprentissage supervisé, avant que tous les algorithmes ne poursuivent l'entraînement en ligne avec PPO à partir de ce même point de départ commun. Cette approche répond à un problème concret: la quasi-totalité des benchmarks d'apprentissage par renforcement réinitialisent le monde simulé après chaque épisode, alors que les opérations réelles en entreprise ne se réinitialisent jamais. Un agent chargé de la logistique, de la planification ou de l'allocation de ressources doit composer avec des décisions passées qui influencent durablement la suite, des pannes imprévisibles et des politiques optimales qui deviennent obsolètes avec le temps. En forçant la persistance, la non-stationnarité et l'absence de politique fixe optimale, MORPHEUS cherche à mesurer si un agent sait réellement s'adapter en continu plutôt que simplement mémoriser une stratégie figée. C'est une distinction cruciale pour les entreprises qui envisagent de déployer des agents autonomes dans des environnements opérationnels réels, où les conditions changent constamment et où l'échec d'adaptation coûte cher. Pour évaluer cette capacité d'adaptation, l'équipe de recherche a développé un protocole à six métriques allant au-delà de la simple récompense cumulée: récompense par configuration, vitesse d'adaptation, oubli, temps de récupération, stabilité et écart de performance, complété par deux diagnostics supplémentaires mesurant l'avantage d'adaptation relatif et la plasticité via le rang effectif. La vitesse d'adaptation, présentée comme la métrique phare, compte le nombre d'étapes nécessaires pour que la récompense moyenne glissante atteigne la moitié du plafond théorique. Les chercheurs ont testé quatre familles d'algorithmes à partir du même point de départ SFT sur deux tâches: l'allocation dynamique de ressources sous dérive structurée, et la planification sous dérive avec effets différés. Cette initiative s'inscrit dans un mouvement plus large de la recherche en IA vers des benchmarks plus réalistes, capables de capturer la complexité et l'imprévisibilité des environnements de production, plutôt que des tâches simplifiées et statiques qui surestiment les capacités réelles des agents autonomes.

💬 Skyfall AI a raison sur un point: presque tous les benchmarks RL réinitialisent le monde à chaque épisode, alors qu'en entreprise rien ne redémarre jamais. MORPHEUS teste si un agent s'adapte en continu ou s'il mémorise juste une politique figée qui s'effondre à la première dérive, et c'est exactement la question qu'on esquive depuis des années sur les agents autonomes en prod. Reste à voir si les métriques tiennent au-delà du papier, mais l'angle est le bon: un agent qui ne sait pas oublier proprement coûtera plus cher qu'il ne rapporte.

Stanford présente TRACE, un système d'entraînement d'agents ciblé sur les compétences qui transforme leurs échecs récurrents en environnement RL synthétique

Des chercheurs de Stanford ont développé TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), un système publié en open source sous licence MIT qui transforme les échecs récurrents des agents fondés sur des LLM en environnements d'entraînement ciblés. Le constat de départ est simple: un agent ne rate pas ses tâches au hasard, mais parce qu'il lui manque des capacités précises et réutilisables, comme retrouver la bonne information ou vérifier une condition préalable. Face à ce problème, les approches classiques, apprentissage par renforcement direct, réglage fin supervisé ou génération de données synthétiques non ciblée, gaspillent une grande partie du budget de calcul sur des compétences que le modèle maîtrise déjà, sans jamais signaler précisément quelle capacité fait défaut. TRACE fonctionne en quatre étapes automatisées, chacune pilotée par un agent LLM suivant un prompt structuré. D'abord, une analyse contrastive compare les trajectoires réussies et échouées pour identifier les capacités absentes, en ne retenant que celles dont l'écart entre succès et échec dépasse un seuil de 0,20 et dont la couverture dépasse 0,10. Ensuite, un agent générateur construit un environnement synthétique dédié à chaque capacité retenue, avec des instances de tâches produites automatiquement à partir de graines aléatoires, ce qui permet une vérification purement algorithmique sans recours à un juge humain ou à un LLM évaluateur. Chaque capacité reçoit alors son propre adaptateur LoRA, entraîné via l'algorithme GRPO (Group Relative Policy Optimization) pendant que le modèle de base reste figé. Enfin, ces adaptateurs sont combinés dans une architecture de mélange d'experts (Mixture-of-Experts), où seules de légères portes de routage sont entraînées, permettant au modèle d'orienter chaque token vers l'expert le plus pertinent en cours de raisonnement. Cette approche change la manière dont les équipes peuvent corriger les faiblesses d'un agent en production: plutôt que de réentraîner l'ensemble du modèle ou de multiplier les tentatives de prompt engineering, il devient possible de diagnostiquer précisément quelles compétences manquent et d'y répondre par un entraînement chirurgical, moins coûteux en calcul et plus facile à faire évoluer au fil du temps. Pour les entreprises qui déploient des agents autonomes dans des tâches complexes comme la gestion de réservations ou le support client, cela ouvre la voie à une amélioration continue ciblée, où chaque nouvel échec récurrent peut être transformé en module d'entraînement supplémentaire sans perturber les capacités déjà acquises. Sur le benchmark τ²-Bench, testé avec le modèle Qwen3-30B-A3B, TRACE a surpassé à la fois les méthodes d'optimisation de prompts et les approches à adaptateur unique en matière de taux de réussite global. Ce travail s'inscrit dans une tendance plus large de recherche sur les agents fondés sur des LLM, où la difficulté ne vient plus seulement de la puissance brute des modèles mais de leur capacité à combler des lacunes spécifiques de façon vérifiable. Les auteurs ont publié leur code et leur article, référencé sous l'identifiant arXiv:2604.05336, ce qui devrait permettre à d'autres équipes de reproduire et d'étendre cette méthode à d'autres environnements agentiques.

Robbyant lance LingBot-VLA 2.0, un modèle VLA open source de 6 milliards de paramètres pour la manipulation robotique multi-morphologies

Robbyant, filiale d'Ant Group, a publié LingBot-VLA 2.0, un modèle fondation de type Vision-Language-Action (VLA) destiné au contrôle de robots, accompagné d'un rapport technique, d'un code source sous licence Apache-2.0 et d'un checkpoint de 6 milliards de paramètres. Ce modèle, baptisé lingbot-vla-v2-6b, s'appuie sur Qwen3-VL-4B-Instruct comme backbone vision-langage et convertit des images de caméra ainsi qu'une instruction textuelle en commandes robotiques concrètes. Deux modèles enseignants, LingBot-Depth et DINO-Video, supervisent l'entraînement par distillation. Sur une carte graphique NVIDIA GeForce RTX 4090D, une inférence prend environ 130 millisecondes avec 10 étapes de débruitage. L'entraînement s'appuie sur environ 60 000 heures de données, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations différentes, du bras unique à l'humanoïde complet, et 10 000 heures de vidéos égocentriques humaines, issues d'un pool brut de 90 000 et 20 000 heures respectivement, filtré par un pipeline qui élimine les échantillons bruités via des scores de secousse, vitesse et accélération. L'annotation des sous-tâches repose sur le modèle Qwen3.6-27B, qui segmente chaque vidéo selon un vocabulaire fermé de 18 catégories d'actions. L'enjeu central visé par Robbyant est de combler l'écart persistant entre les performances des modèles VLA en laboratoire et leurs limites en déploiement réel, un problème récurrent qui freine l'adoption industrielle de la robotique généraliste. En unifiant la représentation des actions dans un vecteur canonique de 55 dimensions, couvrant bras, effecteurs, mains, poignets, tête et base mobile, LingBot-VLA 2.0 permet à un seul modèle de piloter des architectures robotiques très différentes sans réentraînement spécifique. Cette approche pourrait accélérer le déploiement de robots polyvalents dans l'industrie et la logistique, en réduisant les coûts de développement liés à la création d'un modèle par type de robot. L'ouverture du code sous licence permissive vise aussi à stimuler la recherche communautaire sur les modèles VLA multi-embodiment. Le choix d'une architecture Mixture-of-Experts pour l'expert d'action, inspirée des mécanismes de routage sans perte d'équilibrage introduits par DeepSeek-V3, s'inscrit dans une tendance plus large de la recherche en IA visant à augmenter la capacité des modèles sans alourdir le calcul actif. À paramètres actifs équivalents, cette architecture MoE surpasse un modèle dense de référence sur les tâches du benchmark GM-100. LingBot-VLA 2.0 introduit également une distillation à double requête, avec des jetons apprenants ciblant l'observation présente et une observation future, pour anticiper la dynamique du monde plutôt que réagir seulement à l'instant présent. Ces choix technique reflètent la compétition croissante entre laboratoires chinois et occidentaux sur la robotique générale fondée sur des modèles fondation, un terrain où Ant Group cherche désormais à s'imposer aux côtés d'acteurs comme Figure, Physical Intelligence ou Google DeepMind.

💬 C'est le pattern qu'on va voir se répéter partout en robotique cette année : un seul modèle qui pilote bras, mains et humanoïde sans réentraînement par machine. Un vecteur d'action unifié à 55 dimensions, ça règle enfin le vrai problème, celui de devoir refaire un modèle à chaque nouveau robot. Reste que 130ms d'inférence sur une RTX 4090D, c'est loin d'être garanti stable en usine, et Ant Group arrive tard face à Figure ou Physical Intelligence sur ce terrain.

NVIDIA lance Audex (Nemotron-Labs-Audex-30B-A3B) : un LLM audio-texte unifié qui préserve l'intelligence textuelle de son modèle de base

NVIDIA a publié Audex, officiellement Nemotron-Labs-Audex-30B-A3B, un grand modèle de langage unifié qui comprend et génère à la fois texte, parole et sons généraux. L'architecture est une Mixture-of-Experts de 30 milliards de paramètres, dont seulement 3 milliards activés par token, bâtie sur le socle textuel Nemotron-Cascade-2-30B-A3B, un hybride Mamba-Transformer de 52 couches avec 128 experts routables et 6 activés. Une version plus légère, Audex-2B, est publiée en parallèle, les deux sous licence non commerciale. L'audio entrant passe par l'encodeur AF-Whisper, issu d'Audio Flamingo 3 et basé sur Whisper Large-v3, projeté dans l'espace d'embedding textuel via des adaptateurs MLP. En sortie, le vocabulaire grimpe de 131 072 à 205 312 tokens pour loger deux codecs : X-Codec2 pour la parole, à 50 tokens par seconde, et X-Codec pour les sons complexes, à 200 tokens par seconde. Le modèle gère jusqu'à un million de tokens de contexte et tourne sur Megatron-LM et vLLM, avec mode instruction et mode raisonnement. L'objectif est d'éviter la "taxe du texte", cette perte de performance linguistique que subissent la plupart des modèles multimodaux quand ils apprennent l'audio. NVIDIA affirme que ce phénomène touche même des modèles qui se contentent de générer de la parole. Sur MMLU-Redux, Audex obtient 86,4 points contre 86,3 pour son socle texte seul, et le dépasse même sur IMO AnswerBench avec 81,1 contre 79,3, avec de légères baisses seulement sur MMLU-Pro et GPQA-Diamond. À titre de comparaison, Qwen3-Omni-30B-A3B-Thinking, de taille similaire, chute nettement face à son propre socle : sur HMMT Feb25, Audex atteint 92,2 points contre 89,0 pour Qwen3.5-35B-A3B et seulement 60,4 pour Qwen3-Omni-Thinking. Pour les entreprises voulant déployer des assistants vocaux sans sacrifier la qualité des réponses écrites, l'enjeu est direct, d'autant qu'Audex compte parmi les rares modèles ouverts à générer des sons au-delà de la simple parole. Cette robustesse vient d'un entraînement progressif plutôt que d'un pré-entraînement audio classique. Audex part d'un point de contrôle texte déjà ajusté, puis enchaîne réchauffement audio, génération audio et compréhension audio, dans cet ordre. Pendant le réchauffement, les embeddings textuels restent gelés, car les dégeler dégradait la qualité du texte. Une recette mélangeant toutes les données en une seule étape a aussi été testée, mais elle cassait la récupération d'information sur les longs contextes. Après l'ajustement supervisé, NVIDIA applique un apprentissage par renforcement limité au texte et une distillation multi-domaine, ce qui améliore encore les scores textuels. L'entraînement mobilise 157,4 milliards de tokens audio et 320,5 milliards de tokens texte, couvrant reconnaissance vocale, traduction, synthèse et compréhension audio, dans une course plus large entre laboratoires pour des modèles multimodaux sans compromis.

💬 Le vrai sujet, c'est pas l'audio, tu t'en doutes, c'est que NVIDIA démonte l'excuse classique du multimodal : ajouter du son dégraderait forcément le texte. Audex fait mieux que son propre socle texte sur MMLU-Redux, quand Qwen3-Omni s'écroule sur les mêmes benchmarks, la preuve que la "taxe du texte" est un problème d'entraînement, pas une fatalité d'architecture. Bonne nouvelle si tu veux déployer un assistant vocal sans sacrifier la qualité des réponses écrites, mais la licence non commerciale ferme la porte à un vrai déploiement en boîte pour l'instant.

Liquid AI publie Antidoom, une méthode FTPO qui réduit les boucles de blocage des modèles de raisonnement

Liquid AI a publié en open source Antidoom, une méthode qui s'attaque à un défaut récurrent des modèles de raisonnement appelé "doom loop", ou boucle de la mort : le modèle répète indéfiniment un même segment de texte jusqu'à saturer sa fenêtre de contexte. Sur une version préliminaire du modèle LFM2.5-2.6B, 10,2% des réponses générées sur des problèmes difficiles de mathématiques et de code tombaient dans ce piège. Après entraînement avec Antidoom, ce taux est tombé à 1,4%. Sur Qwen3.5-4B, la chute est encore plus nette : de 22,9% à 1%. La méthode repose sur un nouvel algorithme baptisé Final Token Preference Optimization (FTPO), proche du DPO, qui n'entraîne le modèle que sur le tout premier jeton déclenchant la boucle, en lui proposant jusqu'à 20 alternatives cohérentes plutôt qu'un simple remplacement. Liquid AI a publié le jeu de données utilisé, antidoom-mix-v1.0, ainsi que l'ensemble du pipeline. Cette avancée compte parce que les boucles de répétition gâchent des réponses que le modèle savait pourtant déjà produire correctement : Antidoom n'apprend rien de nouveau au modèle en mathématiques ou en programmation, il se contente de débloquer un mécanisme défaillant. Pour les modèles de raisonnement de petite taille, souvent déployés en local ou à faible coût sur des tâches complexes, cela représente un gain direct en fiabilité et en temps de calcul, puisque chaque boucle non détectée consomme inutilement toute la capacité de génération disponible. Comme la correction cible un seul point précis de la distribution de probabilité sans toucher au reste du comportement du modèle, les scores obtenus sur les évaluations progressent globalement, un gain entièrement attribuable à la réduction des boucles plutôt qu'à un progrès de raisonnement. L'ouverture du code et des données permet en outre à d'autres équipes d'appliquer la méthode à leurs propres modèles. Liquid AI identifie trois mécanismes à l'origine du phénomène. D'abord, certains jetons comme "the", "so", "alternatively" ou "wait" sont statistiquement surreprésentés dans les données d'entraînement et deviennent des solutions de repli quand le modèle hésite ou reste bloqué. Ensuite, chaque répétition renforce mécaniquement la probabilité du passage suivant, un effet que des chercheurs, dont Duan et ses coauteurs, ont documenté sous la forme d'un schéma d'attention en "V" où la répétition sémantique précède la répétition textuelle. Enfin, l'échantillonnage glouton utilisé pour stabiliser les traces de raisonnement aggrave le problème : à température nulle, le jeton le plus probable est toujours choisi, ce qui verrouille la boucle sans possibilité de sortie, un effet que Liquid AI observe même à une température de 0,67. Cette découverte s'inscrit dans les efforts plus larges de l'entreprise autour de sa famille de modèles LFM destinés à un déploiement efficace sur des ressources limitées.

💬 Un modèle qui répète "wait" en boucle jusqu'à saturer sa fenêtre de contexte, ça fait perdre des réponses qu'il savait pourtant déjà produire, pas un manque de raisonnement. Diviser le taux de blocage par 20 sur Qwen3.5-4B en ne touchant qu'un seul jeton, ça montre bien que le vrai goulot d'étranglement des petits modèles de raisonnement, c'est souvent la mécanique de génération et pas l'intelligence du modèle. Bonne nouvelle pour tous ceux qui font tourner du LFM ou équivalent en local, et le dataset est ouvert, donc chacun peut vérifier si ça tient chez lui.

Extraction PDF vers JSON structuré : guide des modèles open source en 2026

Les modèles ouverts pour transformer les PDF en JSON structuré se multiplient en ce début d'année, avec deux familles d'outils distinctes. Datalab, l'équipe derrière Marker et Surya, a lancé lift, un modèle de vision de 9 milliards de paramètres construit sur Qwen 3.5, capable de remplir un schéma JSON fourni par l'utilisateur grâce à un décodage contraint qui garantit une sortie valide. Sur un benchmark maison de 225 documents, lift atteint 90,2% de précision par champ avec une latence médiane de 9,5 secondes, devançant NuExtract3 (81,5%) et Qwen3.5-9B (76,3%), mais restant derrière Gemini Flash 3.5 (91,3%) et l'API hébergée de Datalab (95,9%). La précision sur un document entier reste toutefois faible, à 20,9% pour lift. De son côté, NuMind propose NuExtract 3, un modèle vision-langage de 4 milliards de paramètres qui combine extraction structurée et extraction de contenu (OCR vers Markdown) au sein d'un même outil, entraîné par renforcement pour ajouter un raisonnement spécifique à l'extraction, activable à la demande. Enfin, Docling, projet né chez IBM Research et désormais hébergé par la LF AI & Data Foundation, s'attaque à un autre problème : reconstruire la mise en page complète d'un document (PDF, DOCX, PPTX, XLSX, HTML, images) en JSON, Markdown, HTML ou DocTags, via sa représentation interne DoclingDocument. Cette distinction entre extraction guidée par schéma et analyse complète de document compte parce que la plupart des données d'entreprise restent aujourd'hui prisonnières de PDF, de scans et de présentations, inutilisables telles quelles par les modèles de langage et les agents. Choisir la mauvaise catégorie d'outil fait perdre un temps considérable : l'extraction par schéma convient aux factures, formulaires et contrats où les champs sont connus à l'avance, tandis que l'analyse de document sert à préparer des corpus propres pour la génération augmentée par récupération (RAG) et les agents. L'argument économique est tout aussi concret : les API propriétaires peuvent coûter plusieurs milliers de dollars par million de pages traitées et imposent d'envoyer les documents hors des infrastructures internes, alors que les modèles locaux suppriment ces deux contraintes de coût et de confidentialité. Cette vague d'outils s'inscrit dans une tendance plus large de rapprochement entre les performances des modèles ouverts et celles des API commerciales fermées, en particulier chez les acteurs spécialisés dans l'extraction de documents comme Datalab et NuMind. Les licences restent toutefois un point de vigilance : le code de lift est publié sous Apache-2.0, mais ses poids utilisent une licence OpenRAIL-M modifiée, gratuite pour la recherche, l'usage personnel et les startups générant moins de 5 millions de dollars de financement ou de revenus, mais soumise à licence payante pour un déploiement commercial en interne, sans possibilité de concurrencer l'API de Datalab elle-même. Pour les équipes techniques qui bâtissent des pipelines documentaires, la question n'est donc plus seulement technique mais aussi contractuelle, à mesure que ces modèles ouverts gagnent en maturité.

💬 Le chiffre qui compte, c'est le 20,9% de précision sur document entier pour lift, pas le 90% par champ qu'on met en avant partout. Ça veut dire qu'aucun de ces modèles n'est encore fiable sans un humain qui relit derrière, malgré des scores qui donnent l'impression que le problème est réglé. Et la licence de lift, gratuite en dessous de 5 millions de revenus mais payante au-delà, rappelle que l'open source des modèles de doc reste open source jusqu'à ce que ça marche vraiment.

L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents

Junyang Lin, qui dirigeait le projet Qwen chez Alibaba, a annoncé son départ le 3 mars 2026 et se présente désormais comme chercheur indépendant. Dans une conférence intitulée "Qwen : vers un modèle ou agent généraliste", il retrace toute la famille Qwen, de QwQ-32B à Qwen2.5-Max, en passant par Qwen3, Qwen2.5-VL et Qwen2.5-Omni, en comparant leurs performances à celles de DeepSeek-R1, Grok 3 Beta, Gemini 2.5 Pro et la série o d'OpenAI. Qwen3 occupe la place centrale de l'exposé : Lin y détaille les modes de raisonnement hybrides, avec un mode "réflexion" pour le raisonnement pas à pas et un mode "instruction" pour des réponses quasi instantanées, ainsi que des budgets de réflexion ajustables par l'utilisateur. La famille couvre désormais 119 langues et dialectes contre 29 auparavant, avec des tailles allant de 0,6 à 235 milliards de paramètres, disponibles en versions quantifiées GGUF, GPTQ, AWQ et MLX, toutes sous licence Apache 2.0. Les architectures présentées montrent que les petits modèles denses partagent leurs embeddings d'entrée et de sortie avec un contexte de 32 000 tokens, tandis que les modèles plus grands, denses ou à mélange d'experts, abandonnent ce partage et étendent le contexte à 128 000 tokens. Ce que Lin détaille surtout, c'est la difficulté technique derrière cette fusion des modes de réflexion, un enjeu qui dépasse largement Qwen. Un modèle optimisé pour l'instruction est récompensé pour sa rapidité et sa concision, tandis qu'un modèle de raisonnement est récompensé pour le temps qu'il consacre aux problèmes complexes. Fusionner les deux sans précaution dégrade les deux comportements à la fois. Qwen3 a d'abord tenté cette fusion via un pipeline de post-entraînement en quatre étapes, avant que la lignée 2507, plus tard en 2025, ne revienne à des variantes séparées, une pour l'instruction et une pour le raisonnement. Lin y voit avant tout un problème de données plutôt que d'architecture, et cite en contrepoint la trajectoire d'Anthropic, qui a conservé une approche hybride avec Claude 3.7 Sonnet et son budget de réflexion réglable, puis avec Claude 4 qui entrelace raisonnement et usage d'outils pour le code et les tâches longues. Cette réflexion s'inscrit dans un basculement plus large que Lin situe entre deux époques. La première, portée par o1 et DeepSeek-R1, a établi que l'apprentissage par renforcement exige des récompenses vérifiables, plaçant les mathématiques, le code et la logique au centre des efforts. La seconde, qu'il appelle la pensée agentique, consiste à raisonner pour agir : planifier, décider quand utiliser un outil, lire les retours de l'environnement et ajuster sa trajectoire. Ses pistes pour la suite incluent davantage de pré-entraînement, du renforcement fondé sur des retours d'environnement, des contextes plus longs et davantage de modalités, résumées dans sa formule finale : entraîner des agents plutôt que de simples modèles.

💬 L'aveu est rare : le mec qui a dirigé Qwen pendant deux ans dit texto que fusionner mode rapide et mode raisonnement, ça marche pas encore proprement, et qu'ils sont revenus en arrière avec la lignée 2507. Ce que ça révèle, c'est que le hybrid thinking vendu partout comme la norme (Claude, et bientôt tout le monde) reste un problème de données non résolu, pas une simple question d'architecture qu'on règle avec plus de compute. Et son pivot vers "entraîner des agents plutôt que des modèles" confirme un truc que je sens depuis des mois : la course au meilleur benchmark de raisonnement pur touche à sa fin.

Anthropic relance Claude Fable 5 avec des garde-fous de sécurité renforcés

Anthropic a relancé Claude Fable 5 le 1er juillet 2026, après une journée d'indisponibilité qui avait provoqué une forte demande contenue chez les utilisateurs. L'entreprise a précisé que certaines requêtes, notamment liées à la cybersécurité, pourraient désormais être redirigées vers Opus 4.8 en raison de nouveaux garde-fous, et que les classificateurs de sécurité biologie/chimie restent pour l'instant trop larges dans leur détection. Les limites de débit (rate limits) ont été réinitialisées pour tous les utilisateurs une fois le modèle de nouveau disponible. L'écosystème d'outils a immédiatement intégré ce retour : Cursor indique que Fable 5 domine ses évaluations internes mais reste le modèle le plus coûteux par tâche, Devin l'a déployé sur ses versions Cloud, Desktop et CLI, et Perplexity l'a rétabli comme modèle d'orchestration. Sur le plan des benchmarks, Fable 5 obtient 16,10% sur le Remote Labor Index selon les données relayées par kimmonismus, tandis qu'Artificial Analysis situe Sonnet 5 en deuxième position sur AA-Briefcase, avec toutefois davantage de tours d'échange et un rapport coût-performance moins favorable aux niveaux d'effort les plus bas. Le fait marquant n'est pas tant le retour du modèle que la manière dont les développeurs s'adaptent aux contraintes des modèles de pointe. Plusieurs d'entre eux, dont l'utilisateur Theo, décrivent désormais une architecture multi-modèles plutôt qu'une dépendance à un seul système : Fable 5 est réservé au raisonnement et à la planification de haut niveau, tandis que l'implémentation, la vérification et les tâches d'usage d'ordinateur sont déléguées à d'autres modèles, ce qui améliorerait sensiblement le taux de succès des pull requests de bout en bout. Omar Sar et Mikhail Parakhin partagent une analyse proche : plutôt que de construire un pré-classificateur de tâches simples pour router les requêtes, mieux vaut concevoir directement des stratégies combinant plusieurs modèles, car un routage fiable exige souvent d'avoir déjà résolu la tâche elle-même. Cette évolution reflète une maturation du marché des agents de code, où la robustesse prime désormais sur la dépendance à un fournisseur unique. En parallèle, le laboratoire chinois Z.ai a lancé ZCode, un environnement de développement officiel dédié à son modèle ouvert GLM-5.2, avec prise en charge du BYOK (bring your own key), disponibilité multiplateforme et un quota de requêtes renforcé pour les abonnés à son offre de codage. LangChain a publié des guides d'intégration de GLM-5.2 dans des flux de code, et son fondateur Harrison Chase note que des développeurs en font déjà leur modèle quotidien. Sur le benchmark APEX-SWE, GLM-5.2 devient le premier modèle ouvert à dominer une catégorie, avec 55,3% de réussite au premier essai sur les tâches d'intégration, Kimi K2.7 le suivant de près ; des voix comme scaling01 tempèrent néanmoins l'idée que les modèles ouverts auraient dépassé les modèles occidentaux, tout en reconnaissant un écart de performance en code qui se réduit rapidement. Côté infrastructure, vLLM a intégré le décodage spéculatif DSpark pour les modèles DeepSeek, atteignant environ 250 tokens par seconde sur huit GPU B300, et des accélérations comparables ont été rapportées pour GLM-5.2 et Qwen3-32B, signe que la course à l'inférence rapide s'intensifie autant que celle des capacités.

💬 Le retour de Fable 5, je m'en fiche un peu, ce qui compte c'est ce que la panne a révélé : plus personne de sérieux ne mise tout sur un seul modèle. Fable 5 pour réfléchir, un autre pour coder, un troisième pour vérifier, c'est déjà la norme chez les devs qui livrent en prod, et ça fait grimper le taux de succès des pull requests. Le fantasme du routage automatique intelligent, lui, en prend un coup : comme le dit Omar Sar, pour router une tâche il faut déjà l'avoir résolue soi-même.

Anthropic relance Claude Fable 5 dans le monde après la levée des restrictions américaines à l'export

Anthropic a restauré aujourd'hui l'accès mondial à Claude Fable 5, son modèle grand public le plus puissant, après que le département du Commerce américain a levé la veille les contrôles d'exportation d'urgence qu'il avait imposés au modèle. Cet ordre, émis le 12 juin 2026, avait contraint Anthropic à suspendre l'accès mondial à la fois à Fable 5 et à son pendant orienté cybersécurité, Claude Mythos 5, quelques jours seulement après leur lancement. Fable 5 est désormais de nouveau disponible pour les utilisateurs du monde entier sur l'ensemble de l'écosystème Anthropic, incluant la Claude Platform, Claude.ai, Claude Code et Claude Cowork. Le média VentureBeat, qui a tenté d'y accéder via Claude Code en ligne de commande juste avant la publication de son article, a toutefois constaté que l'accès restait désactivé. Pour les entreprises passant par les grands fournisseurs cloud, Anthropic affirme œuvrer à rétablir l'accès sur Amazon Web Services, Google Cloud et Microsoft Foundry « aussi vite que possible », sans que VentureBeat ait pu confirmer, à ce stade, un retour effectif sur ces plateformes. Le cas de Mythos 5 reste différent : une lettre attribuée au secrétaire au Commerce Howard Lutnick, adressée au dirigeant d'Anthropic Tom Brown et publiée sur X, indique qu'aucune licence n'est plus requise pour l'exportation, la réexportation ou le transfert national de Fable et Mythos. Mais Anthropic, dans son propre communiqué, précise que l'accès à Mythos 5 n'a été rétabli que pour « un ensemble d'organisations américaines », à la suite d'une approbation gouvernementale obtenue le 26 juin, l'entreprise disant continuer de coordonner avec les autorités l'élargissement de l'accès via son programme de test de cybersécurité sur invitation, Project Glasswing. Cette décision a un impact direct sur les directions informatiques qui évaluent le retour de ces modèles, car elle s'accompagne de conditions structurelles distinctes et d'un coût élevé : Anthropic facture Fable 5 et Mythos 5 à 10 dollars par million de tokens en entrée et 50 dollars par million en sortie, ce qui en fait les modèles de pointe les plus chers du marché mondial, très loin devant des concurrents comme DeepSeek, MiniMax, LongCat, Gemini, Qwen ou Grok, dont les tarifs varient de 0,40 à environ 4 dollars par million de tokens combinés. Mythos 5 se retrouve ainsi dans une situation intermédiaire : juridiquement dégagé du contrôle d'exportation d'urgence, mais toujours pas disponible en accès général, Anthropic ayant choisi de le maintenir derrière un modèle d'accès vérifié où le gouvernement américain continue de peser sur les approbations et les standards. Sur X, Lutnick a expliqué qu'Anthropic et l'administration avaient « travaillé en étroite collaboration » pour « analyser et approuver Fable 5 », tandis que la cheffe de cabinet de la Maison-Blanche Susie Wiles a de son côté présenté cette décision comme un enjeu de leadership américain en IA, affirmant que les États-Unis restent le « vainqueur incontesté de la course à l'IA » et que la priorité partagée est de « déployer les meilleures technologies aussi rapidement et sûrement que possible ». Ce revirement fait suite aux critiques de responsables de la cybersécurité et d'experts en politique de l'IA, qui estimaient que cet ordre risquait de fragiliser l'industrie américaine tout en ouvrant un boulevard aux laboratoires chinois. L'ancien responsable de la sécurité de Facebook, Alex Stamos, avait qualifié la restriction sur Fable 5 de « énorme erreur stratégique pour les États-Unis », avertissant que les entreprises de cybersécurité pourraient se tourner vers des modèles chinois faute d'accès fiable aux modèles américains. D'autres critiques ont pointé le caractère improvisé de cette intervention réglementaire, qui donnait l'impression que dépendre des plateformes d'IA américaines constituait désormais un risque stratégique en soi. L'épisode illustre les tensions persistantes entre les impératifs de sécurité nationale, la compétition technologique avec la Chine et la volonté de Washington de préserver l'avance commerciale de ses champions de l'IA, un équilibre que les autorités américaines devront continuer d'ajuster à mesure que ces modèles se diffusent auprès de nouveaux partenaires domestiques et internationaux.

💬 Le vrai frein pour Fable 5, c'est pas Washington, c'est la facture : à 10 dollars l'entrée et 50 la sortie par million de tokens, c'est le modèle de pointe le plus cher du marché, loin devant Gemini, Qwen ou Grok. Bon, sur le papier la levée des restrictions règle le problème de dispo, mais VentureBeat n'arrivait toujours pas à s'en servir via Claude Code au moment de publier, alors si tu comptais y rebasculer demain matin, attends encore un peu. Et Mythos 5, le modèle cybersécurité, reste coincé en accès restreint, Washington continuant de décider qui a le droit de s'en servir.

DeepSeek publie en open source DSpark, un framework qui accélère l'inférence des LLM jusqu'à 85%

DeepSeek a publié ce week-end DSpark, un nouveau système open source sous licence MIT conçu pour accélérer significativement l'inférence des grands modèles de langage. Le framework repose sur une technique appelée décodage spéculatif : un petit module "brouillon" anticipe plusieurs tokens à l'avance, tandis que le modèle principal valide ou invalide ces prédictions en une seule passe. Lorsque les prédictions sont bonnes, le modèle avance beaucoup plus vite ; lorsqu'elles sont mauvaises, DSpark évite de gaspiller des ressources à les vérifier. DeepSeek a rendu publics le code source sur GitHub et Hugging Face, un article technique détaillant la méthode, les checkpoints des modèles, ainsi que DeepSpec, une base de code dédiée à l'entraînement et à l'évaluation de systèmes de décodage spéculatif. Le framework a été testé en production sur DeepSeek-V4-Flash, un modèle mixture-of-experts de 284 milliards de paramètres avec 13 milliards de paramètres actifs, et sur DeepSeek-V4-Pro, le modèle phare de 1,6 billion de paramètres avec 49 milliards de paramètres actifs, les deux supportant des fenêtres de contexte allant jusqu'à un million de tokens. Les chiffres publiés par DeepSeek sont substantiels. En production, DSpark améliore le débit global de 51% pour V4-Flash et de 52% pour V4-Pro à des cibles de service réalistes (respectivement 80 et 35 tokens par seconde par utilisateur). À capacité système équivalente, la vitesse de génération perçue par chaque utilisateur individuel augmente de 60 à 85% pour V4-Flash et de 57 à 78% pour V4-Pro par rapport à la baseline MTP-1 précédente. Ces gains concernent directement l'expérience utilisateur dans les cas d'usage les plus exigeants : chatbots grand public, assistants de code, workflows agentiques et systèmes d'entreprise où la fluidité des réponses longues est critique pour l'adoption. Réduire la latence d'inférence sans modifier les sorties du modèle est l'un des problèmes les plus coûteux de l'industrie IA, car il conditionne directement l'économie du déploiement à grande échelle. DSpark n'est pas conçu comme une solution réservée aux modèles DeepSeek. Les checkpoints publiés couvrent d'autres familles de modèles open source, notamment Qwen d'Alibaba et Gemma de Google, ouvrant la porte à des adaptations par des équipes tierces qui contrôlent leurs propres poids et infrastructure de déploiement. Cette publication intervient dans un contexte géopolitique tendu, alors que le gouvernement américain cherche à limiter l'accès aux modèles d'Anthropic et OpenAI sur certains marchés. DeepSeek, qui avait déjà bouleversé les références de l'industrie début 2025 avec ses modèles R1 et V3, confirme avec DSpark une stratégie délibérée d'open source agressif qui redistribue les capacités technologiques à l'échelle mondiale, indépendamment des restrictions diplomatiques.

Utiliser des agents de code en local

Il est désormais possible de faire tourner un agent de programmation complet entièrement en local, sans dépendre d'OpenAI, Anthropic ou d'un autre service propriétaire. Le principe repose sur deux composants : un modèle de langage open-weight hébergé localement via un serveur d'inférence, et un "harness" de codage, c'est-à-dire une couche logicielle qui permet au modèle de lire des fichiers, effectuer des modifications, exécuter des commandes et vérifier les changements produits. Des outils populaires comme Codex CLI ou Claude Code peuvent ainsi être reconfigurés pour pointer vers un modèle local plutôt que vers les API cloud de leurs éditeurs respectifs. Des alternatives plus spécialisées existent également : Qwen-Code (optimisé pour Qwen3.6), OpenCode, Cline ou encore Noumena Code. L'auteur de ce tutoriel, qui utilise toujours Codex et Claude Code comme outils principaux au quotidien, documente en détail comment assembler cette pile locale de bout en bout. Les avantages d'une telle configuration sont multiples et concrets. Sur le plan économique, le coût est ramené aux seules dépenses matérielles et électriques, indépendamment des limites d'abonnement ou des fluctuations tarifaires des API. Sur le plan de la confidentialité, des données sensibles comme des factures ou des documents internes ne transitent jamais hors du poste de travail, ce qui est impossible à garantir avec les services cloud. La reproductibilité constitue un autre atout : un modèle local ne change pas sans que l'utilisateur en décide, alors que des mises à jour silencieuses chez OpenAI (GPT-5.4 vers 5.5, par exemple) peuvent altérer des workflows existants. Enfin, l'usage hors-ligne reste possible, que ce soit en avion ou dans un lieu sans connexion stable. La montée en puissance des solutions locales s'inscrit dans un contexte de tensions croissantes autour des services propriétaires. Anthropic a récemment été accusé de brider les performances de son modèle phare dans certains contextes de recherche sur les LLM, ce qui illustre que les grands fournisseurs peuvent restreindre l'accès à leurs outils pour des raisons qui leur sont propres. Parallèlement, la qualité des modèles open-weight ne cesse de progresser, avec des acteurs comme Qwen (Alibaba) ou Mistral qui publient régulièrement des versions capables de rivaliser avec les offres commerciales sur les tâches de codage. Pour les développeurs soucieux de leur autonomie ou disposant du matériel adéquat, mettre en place un agent local pleinement opérationnel n'est plus une curiosité technique mais une alternative crédible et pérenne aux solutions des grandes plateformes.

💬 L'argument qui m'a vraiment convaincu, c'est la reproductibilité : une mise à jour silencieuse chez OpenAI peut casser un workflow qu'on a passé des semaines à fiabiliser, et tu l'apprends en prod. Les modèles open-weight ont atteint le niveau où la question n'est plus "est-ce assez bon pour du code ?" mais "est-ce que j'ai le GPU qu'il faut ?". Pour ceux qui ont le matos, c'est une vraie alternative, pas un bricolage.

Dans la fonction publique, l’expérimentation de « L’Assistant » laisse sceptique

La Direction interministérielle du numérique (DINUM) a généralisé en juin 2026 l'accès à « L'Assistant », son chatbot d'IA générative développé en interne, à l'ensemble des agents de la fonction publique française, une annonce faite par le Premier ministre Sébastien Lecornu dans le cadre d'une série de mesures sur l'intelligence artificielle. Ce déploiement fait suite à dix mois d'expérimentation auprès de 10 000 licences déployées dans six ministères : Justice, Finances, Éducation nationale, Culture, Enseignement supérieur et Recherche, et Services du Premier ministre. L'évaluation, conduite par des chercheurs de l'INRIA, de l'INSA Rennes et du CNRS via questionnaires et entretiens qualitatifs, révèle cependant une participation réelle bien inférieure aux chiffres communiqués : 1 359 agents des ministères économiques avaient accepté de participer en décembre 2025, mais seuls 465 ont répondu au questionnaire final. Du côté de la Justice, seuls 700 retours ont été recueillis en janvier, sans aucun bilan de fin d'expérimentation. Les résultats sont mitigés. Si 75 % des répondants jugent l'outil utile pour leur métier et 65 % le recommanderaient à un collègue, 57 % estiment que les autres IA génératives, comprendre : ChatGPT, Claude ou Gemini, répondent mieux à leurs besoins. Le principal frein à l'usage est le manque de confiance dans la fiabilité des réponses. Ces chiffres posent une question centrale : si l'outil souverain est perçu comme moins performant que les alternatives commerciales, comment convaincre les agents publics de l'adopter massivement plutôt que de continuer à utiliser des outils tiers en dehors de tout cadre contractuel ? L'ambition de « L'Assistant » est précisément de réduire ce phénomène de « shadow AI », l'utilisation informelle d'outils d'IA commerciaux dans les administrations, sans contrat ni garantie de sécurité des données. Le gouvernement cherche aussi à éviter les impairs comme ceux du projet HéphAIstos, chatbot destiné aux hauts fonctionnaires de Bercy et fondé sur des modèles de l'entreprise chinoise Qwen AI, dont certains utilisateurs ont relevé des réponses « biaisées » sur des sujets sensibles liés à la Chine. Le CNRS avait de son côté choisi Mistral, dans un déploiement alors qualifié de « pas sérieux ». Face à ces précédents, la DINUM a choisi la voie d'un outil maison, avec une évaluation scientifique indépendante. Mais la généralisation à toute la fonction publique buttera sur un obstacle de fond : un outil souverain ne convaincra les agents que s'il rivalise réellement avec les solutions qu'il est censé remplacer.

IA générative : Anthropic accuse Alibaba de distiller ses modèles

Le 10 juin 2026, Anthropic a transmis une lettre confidentielle aux sénateurs républicain Tim Scott et démocrate Elizabeth Warren, révélant ce que l'entreprise décrit comme la plus vaste campagne d'exploitation illicite de son modèle Claude jamais observée. Entre le 22 avril et le 5 juin, des opérateurs liés à Alibaba et à son laboratoire d'IA Alibaba Qwen auraient généré plus de 28,8 millions d'échanges avec Claude via près de 25 000 comptes frauduleux. L'objectif présumé est la distillation : utiliser massivement les réponses d'un modèle concurrent pour entraîner le sien, acquérant ainsi des capacités avancées à moindre coût et en un temps record. Pour échapper à la détection, Alibaba aurait eu recours à des techniques d'obfuscation et à des réseaux de proxys, ce qui, selon Anthropic, signale l'existence d'une véritable économie souterraine du contournement en pleine expansion en Chine. L'enjeu est considérable pour l'industrie de l'IA : la distillation non autorisée permet à un acteur de copier les performances d'un modèle de pointe sans en supporter les coûts de recherche et développement, qui se chiffrent en centaines de millions de dollars. Si la technique est légalement utilisée par tous les grands laboratoires pour créer des versions allégées de leurs propres modèles, son usage à grande échelle contre un concurrent direct fragilise le modèle économique des entreprises qui investissent massivement dans la recherche fondamentale. Anthropic souligne qu'Alibaba est cotée à la Bourse de New York et doit donc répondre aux régulateurs américains, ce qui rend d'autant plus grave l'absence de réaction après la note de service de l'administration Trump de février dernier qualifiant ces pratiques d'inacceptables. Ce dossier s'inscrit dans une confrontation technologique et géopolitique plus large entre Washington et Pékin. En février déjà, Anthropic et OpenAI avaient visé DeepSeek, Moonshot et MiniMax pour des accusations similaires. Le 8 juin, l'administration Trump a inscrit Alibaba sur sa liste des entreprises liées à l'armée chinoise aux côtés de BYD, Baidu et NIO, bloquant leur accès au marché du département de la Défense. Alibaba a contesté cette décision en justice le 23 juin. Pendant ce temps, de nouveaux outils d'IA générative chinois émergent : 360 Digital Security Group, aussi connue sous le nom de Qihoo 360, a annoncé Tulongfeng et Yitianzhen, des assistants conçus pour rivaliser directement avec des plateformes occidentales comme Mythos. Les batailles juridiques et les listes noires dessinent ainsi les contours d'une guerre de l'IA qui se joue autant dans les tribunaux que dans les data centers.

💬 28,8 millions d'échanges via 25 000 faux comptes, c'est pas de la veille concurrentielle un peu agressive, c'est une opération industrielle planifiée. Ce que ça révèle surtout, c'est qu'on peut désormais copier des années de R&D pour le prix d'un réseau de proxys bien organisé, et aucun accord de licence n'était prévu pour ça. Reste à voir si Alibaba, cotée à Wall Street, va vraiment devoir en répondre, ou si on en restera aux lettres de sénateurs.

Le LFM2.5-230M de Liquid AI surpasse des modèles 4 fois plus grands en extraction de données et tourne partout

Liquid AI, une startup fondée par d'anciens chercheurs du MIT, a lancé le 26 juin 2026 son modèle de langage le plus compact à ce jour : LFM2.5-230M. Avec seulement 230 millions de paramètres, ce modèle de fondation est conçu pour fonctionner directement sur les appareils, smartphones, ordinateurs portables, systèmes robotiques, sans connexion permanente au cloud. Malgré sa taille réduite, il surpasse à la tâche d'extraction de données des modèles jusqu'à quatre fois plus grands, notamment le Qwen3.5-0.8B d'Alibaba (800 millions de paramètres) et le Gemma 3 1B de Google (1 milliard de paramètres). Sur un Samsung Galaxy S25 Ultra équipé d'un Snapdragon Gen4, il atteint 213 tokens par seconde en décodage ; sur un Raspberry Pi 5, il maintient 42 tokens par seconde. Sa fenêtre de contexte de 32 000 tokens lui permet d'ingérer de longs documents ou des flux continus de données de télémétrie robotique. Son empreinte mémoire reste inférieure à 400 Mo. Le modèle est entraîné sur 19 000 milliards de tokens et proposé sous licence duale : gratuit pour les entreprises générant moins de 10 millions de dollars de revenus annuels, payant au-delà. Pour les équipes data et les développeurs d'applications embarquées, l'enjeu est concret. Les entreprises s'appuient encore largement sur des pipelines ETL (Extract, Transform, Load) rigides et basés sur des règles fixes, des systèmes qui se brisent dès qu'un document change de format ou qu'un schéma évolue. LFM2.5-230M ouvre la voie à un « AI ETL » capable d'inférer automatiquement les correspondances de données, de détecter les dérives de schéma et de structurer des sources non structurées, PDF, e-mails, formulaires web, en JSON sans intervention humaine. Ce type de flux agentique léger peut désormais s'exécuter localement, sans dépendance au cloud, ce qui réduit la latence, les coûts d'infrastructure et les risques liés à la confidentialité des données. Cette sortie illustre une fracture croissante dans l'industrie de l'IA. D'un côté, Anthropic, OpenAI, Google, Microsoft et Meta poussent leurs modèles vers des centaines de milliards, voire des milliers de milliards de paramètres pour atteindre les performances dites frontier. De l'autre, une course parallèle s'intensifie autour de l'efficience architecturale pour l'inférence locale. Liquid AI mise sur son architecture LFM2, un système hybride combinant convolutions à courte portée et mécanismes d'attention groupée, qui contourne les coûts quadratiques en mémoire des transformers classiques. Cette approche permet d'obtenir des vitesses d'inférence élevées sur du matériel contraint, là où les transformers purs s'essoufflent. Le positionnement de Liquid AI, efficience plutôt que mise à l'échelle brutale, pourrait séduire un segment d'entreprises que les géants du cloud peinent à servir : celles qui ont besoin d'IA performante sans exposer leurs données ni investir dans une infrastructure coûteuse.

Anthropic réclame des sanctions contre Alibaba pour la plus grande attaque de clonage de Claude

Anthropic a accusé le géant technologique chinois Alibaba d'avoir orchestré la plus vaste campagne de clonage jamais menée contre son modèle d'IA Claude. Dans une lettre confidentielle datée du 10 juin 2026 et adressée aux sénateurs Tim Scott et Elizabeth Warren, la startup californienne affirme avoir détecté une opération d'extraction massive entre le 22 avril et le 5 juin. Selon Anthropic, des opérateurs liés à Alibaba et à son laboratoire d'IA Alibaba Qwen ont généré plus de 28,8 millions d'échanges avec Claude via près de 25 000 comptes frauduleux, violant délibérément les conditions d'utilisation et les restrictions d'accès imposées par l'entreprise. La campagne visait précisément les capacités les plus stratégiques de Claude : le raisonnement agentique, l'ingénierie logicielle et les tâches dites à long horizon, c'est-à-dire la capacité à planifier et exécuter des séquences complexes d'actions sur la durée. Ces fonctionnalités représentent le coeur compétitif du modèle Anthropic et constituent des avantages différenciants difficiles à reproduire sans accès aux données d'entraînement internes. En les ciblant massivement, Alibaba cherchait visiblement à accélérer le rattrapage de ses propres modèles par ingénierie inverse à grande échelle. Cette accusation s'inscrit dans un contexte de tension croissante entre les États-Unis et la Chine sur la maîtrise de l'IA de pointe. Anthropic a transmis cette lettre la veille d'une audition sénatoriale consacrée à « l'IA et le rêve américain », un timing délibéré destiné à alerter les législateurs sur les risques de vol de propriété intellectuelle. Le contexte immédiat est également celui de la restriction d'accès imposée aux marchés étrangers après la sortie de Mythos, le dernier modèle phare d'Anthropic, qui aurait renforcé la pression sur les acteurs chinois pour combler l'écart technologique par tous les moyens disponibles. L'entreprise réclame des sanctions contre Alibaba, une demande qui devrait alimenter les débats au Congrès sur l'encadrement de l'accès aux modèles d'IA américains.

Alibaba aurait exploité Claude pour entraîner son IA : voici comment

Anthropic a formellement accusé des acteurs liés au groupe chinois Alibaba d'avoir mené une campagne d'extraction massive de données contre son modèle Claude. Dans une lettre adressée aux sénateurs américains Tim Scott et Elizabeth Warren, datée du 10 juin 2026, la startup californienne affirme que ces opérateurs ont utilisé près de 25 000 comptes frauduleux pour générer environ 28,8 millions d'interactions avec son IA entre le 22 avril et le 5 juin 2026. Les requêtes ciblaient spécifiquement des capacités avancées de Claude, notamment en ingénierie logicielle et en raisonnement agentiel, deux domaines jugés stratégiques dans la compétition mondiale autour de l'intelligence artificielle. La technique mobilisée est connue sous le nom de « distillation » : elle consiste à nourrir un modèle moins performant avec les réponses générées par une IA de pointe, lui permettant d'en acquérir les compétences à moindre coût. Pour Alibaba, l'objectif présumé serait d'accélérer le développement de sa famille de modèles Qwen, en y intégrant des aptitudes proches de celles de Mythos, le modèle phare d'Anthropic. Cette approche permet de contourner des années d'investissement en recherche fondamentale et réduit drastiquement les coûts d'entraînement, ce qui représente un avantage compétitif considérable dans une course où les dépenses se comptent en milliards de dollars. Cette affaire s'inscrit dans un contexte de rivalité technologique de plus en plus tendue entre Washington et Pékin. Dès avril 2026, la Maison-Blanche dénonçait le pillage systématique de la propriété intellectuelle des laboratoires américains par des entités chinoises. Anthropic n'en est pas à sa première alerte : en février, la société avait déjà signalé des campagnes similaires impliquant DeepSeek (plus de 150 000 échanges), Moonshot AI (3,4 millions) et MiniMax (13 millions d'interactions avec Claude). La startup plaide depuis lors pour une réponse coordonnée entre industriels, décideurs politiques et acteurs de l'IA. Alibaba a par ailleurs été récemment ajoutée à la liste des entreprises militaires chinoises établie par le Pentagone, une désignation que le groupe conteste. Le département américain du Commerce a de son côté renoncé à placer DeepSeek sur sa liste noire commerciale, malgré les préoccupations exprimées par plusieurs agences gouvernementales américaines sur les risques pour la sécurité nationale.

💬 28,8 millions d'échanges en six semaines via des comptes jetables, ça n'a rien d'artisanal. Ce qui ressort de cette affaire, c'est que les réponses d'un modèle de pointe sont devenues une ressource stratégique aussi convoitée que les poids eux-mêmes, et qu'aucune condition d'utilisation ne peut contenir des acteurs qui opèrent à l'échelle d'un État. Anthropic va au Congrès parce que c'est le seul endroit où ça peut avoir un effet.

IA : qu’est-ce que l’« adversarial distillation » que ANTHROPIC reproche à ALIBABA ?

Anthropic a adressé en juin 2026 une lettre formelle à Alibaba, révélée par Bloomberg, accusant le géant chinois d'avoir orchestré entre avril et juin 2026 une campagne d'« adversarial distillation » contre son modèle Claude. Cette technique consiste à soumettre massivement des requêtes à un modèle cible afin de collecter ses réponses, puis d'utiliser ces paires question-réponse pour entraîner un modèle concurrent, en extrayant ainsi les capacités du modèle original sans licence ni accord. Concrètement, Alibaba aurait fait générer à Claude des milliers de sorties structurées pour alimenter l'entraînement de ses propres LLM. L'enjeu est considérable : les grands modèles de langage représentent des investissements de plusieurs centaines de millions de dollars. Si une entreprise peut en distiller les capacités à moindre coût, elle contourne des années de recherche et des milliards dépensés en calcul. Pour Anthropic, cette pratique constitue une violation directe de ses conditions d'utilisation et potentiellement une atteinte à la propriété intellectuelle. Elle fragilise aussi le modèle économique des labos occidentaux qui misent sur des API commerciales pour financer leur R&D de sécurité. Ce conflit s'inscrit dans une tension géopolitique plus large autour des modèles frontier : Alibaba a publié en 2025-2026 plusieurs versions de sa série Qwen qui talonnent ou dépassent Claude sur certains benchmarks. La question de savoir comment les tribunaux américains qualifieront l'adversarial distillation, vol de données d'entraînement, violation contractuelle ou concurrence déloyale, est désormais posée, sans précédent juridique clair à ce stade.

Le modèle d'Alibaba, non entraîné comme agent, améliore les performances sur sept benchmarks

L'équipe Qwen d'Alibaba a publié mardi Qwen-AgentWorld, une paire de modèles d'intelligence artificielle conçus non pas pour agir dans des environnements numériques, mais pour prédire ce que ces environnements vont retourner en réponse à une action. Les deux modèles, un 35 milliards de paramètres et un 397 milliards, couvrent sept domaines sous une architecture unifiée : MCP, recherche web, terminal, génie logiciel, Android, navigation web et système d'exploitation. Entraînés sur plus de 10 millions de trajectoires d'interactions réelles, ils passent par trois phases successives : apprentissage du comportement des environnements (systèmes de fichiers, états du terminal, réponses API), raisonnement anticipatif sur les états futurs, puis renforcement par des règles et une évaluation qualitative ouverte. Les deux modèles sont des architectures Mixture-of-Experts, n'activant qu'une fraction de leurs paramètres par token. Ils prennent en charge des fenêtres de contexte de 256 000 tokens. Les poids du modèle 35B et le benchmark AgentWorldBench sont publiés sous licence Apache 2.0 ; ceux du 397B restent propriétaires. Ce qui fait la valeur de Qwen-AgentWorld n'est pas tant ses scores sur les benchmarks de prédiction que ses effets concrets sur la performance des agents entraînés à l'intérieur de ses simulations. En injectant des perturbations ciblées que les environnements réels ne permettent pas de reproduire à la demande (réponses partielles, cas limites rares, conditions de disque bas), les chercheurs ont fait passer le score MCPMark de 24,6 à 33,8. Sur la tâche de recherche, un agent entraîné dans un monde entièrement fictif a transféré ses apprentissages vers des recherches réelles, portant le WideSearch F1 Item de 34,02 à 50,31 sur le modèle 35B. Un entraînement préalable au modèle monde, utilisé comme échauffement avant le fine-tuning agentique, a amélioré les performances sur sept benchmarks distincts, dont trois que le modèle n'avait jamais vus pendant l'entraînement. L'approche répond à une limite structurelle bien connue des équipes qui développent des agents à grande échelle : les environnements de production ne permettent pas de contrôler les conditions d'entraînement. Un moteur de recherche réel renvoie les résultats disponibles, pas les cas rares que l'agent devra pourtant gérer. Un terminal en production ne simule pas une panne sur commande. En renversant la question, en demandant au modèle non pas "que faire ?" mais "que va renvoyer l'environnement ?", Alibaba crée une infrastructure de simulation contrôlable. La publication arrive dans la continuité de Qwen3.7-Max, sorti en mai avec une capacité d'exécution autonome de 35 heures, et se distingue des travaux antérieurs comme WebWorld ou le modèle de Snowflake, qui restaient cantonnés à un seul domaine. C'est la première architecture à modéliser sept domaines dans un seul modèle dès la phase de préentraînement.

Xiaomi HarnessX réécrit sa propre infrastructure IA en cours de tâche, avec des gains plus marqués pour les petits modèles

Des chercheurs de Xiaomi ont publié HarnessX, un framework qui permet à des agents IA de réécrire automatiquement leur propre infrastructure logicielle en cours d'exécution. Dans le jargon des systèmes agentiques, le "harness" désigne l'ensemble du code qui entoure le modèle de langage : les prompts, les connecteurs d'outils, la gestion de la mémoire et les flux de contrôle qui dictent comment un agent observe son environnement, raisonne et agit. HarnessX traite ce harness comme un objet modulaire et autonome, capable de s'améliorer lui-même à partir des données d'exécution collectées. Sur 15 combinaisons modèle-benchmark testées en applications d'entreprise réelles (ingénierie logicielle, interaction web), le gain de performance moyen atteint +14,5 %. Pour le modèle open-weight Qwen3.5-9B de 9 milliards de paramètres, les progrès sur des tâches de planification incarnée culminent à +44 %. Ces résultats remettent en question une conviction centrale de l'industrie : que la performance d'un agent passe avant tout par la montée en puissance du modèle sous-jacent. HarnessX démontre que l'infrastructure logicielle qui entoure un modèle constitue un levier au moins aussi puissant, et que les modèles compacts peuvent bénéficier davantage d'une évolution de leur harness que d'un remplacement par un modèle plus grand. Pour les entreprises, cela ouvre une voie concrète vers des agents plus capables sans les coûts de calcul associés aux grands modèles, et sans les cycles de développement manuel qui rendent aujourd'hui l'ingénierie de harness si coûteuse en temps. Le problème que HarnessX cherche à résoudre est structurel. Les harnesses actuels sont écrits à la main et restent statiques : tout changement de modèle, d'outil ou de domaine métier exige une réécriture manuelle. Leurs composants sont souvent entremêlés de façon à ce que modifier l'un casse silencieusement un autre. Enfin, les traces d'exécution générées lors des tests sont généralement jetées plutôt qu'utilisées pour améliorer le système. HarnessX répond à ces trois points en décomposant le harness en "processeurs" indépendants branchés sur des points de cycle de vie précis, permettant de les échanger, ajouter ou retirer sans toucher au modèle. Cette approche de "fonderie de harness unifiée" positionne Xiaomi dans une compétition croissante autour de l'outillage agentique, où des acteurs comme LangChain, LlamaIndex ou les équipes internes de Google et Meta cherchent eux aussi à industrialiser la couche logicielle qui détermine, de plus en plus, ce qu'un agent IA est réellement capable d'accomplir.

Comment Shopify a construit un stack IA indifférent à la survie des modèles

Shopify a développé un proxy LLM maison qui connecte l'ensemble de ses ingénieurs à plusieurs fournisseurs d'IA en parallèle, avec basculement automatique en cas de panne ou de disparition d'un modèle. Quand Claude Fable 5 a été retiré du marché, aucun ingénieur de l'entreprise n'a été interrompu dans son travail : le système les a redirigés automatiquement vers Claude Opus ou GPT 5.5. Farhan Thawar, directeur de l'ingénierie chez Shopify, a détaillé cette architecture dans le podcast VentureBeat Beyond the Pilot. L'entreprise achète des tokens en volume auprès de plusieurs fournisseurs, et tous les utilisateurs passent par ce proxy unique qui centralise les rapports d'utilisation et gère la redondance. En cas d'indisponibilité d'un fournisseur, le transfert vers un autre est décrit comme "automatique et transparent". La plateforme interne Tangle permet à chacun de visualiser les pipelines d'IA en temps réel, et un tableau de bord de consommation suit les dépenses token par utilisateur, par discipline et par type de modèle. Ce choix architectural donne à Shopify une indépendance réelle vis-à-vis des fournisseurs, là où la plupart des entreprises restent exposées aux mises à jour non concertées ou aux arrêts de modèles. La stratégie de distillation pousse l'avantage plus loin encore : un modèle "enseignant" (par exemple Opus 4.8) transfère ses capacités vers un modèle "élève" plus petit et spécialisé (par exemple Qwen 3.5) en une journée de pipeline. Le résultat est évalué automatiquement sur la vitesse, le coût et la précision pour une tâche précise. Dans certains cas, les gains atteignent un facteur 2 en coût et en latence ; dans des cas extrêmes, jusqu'à 30 fois moins cher et plus rapide. Ces modèles distillés alimentent notamment Sidekick, l'assistant IA phare de Shopify destiné aux marchands, conçu pour automatiser les tâches répétitives du quotidien. Les ingénieurs peuvent déployer directement sans processus d'approbation, ce qui accélère considérablement les cycles d'itération. La démarche s'inscrit dans un contexte où le marché des modèles évolue à une vitesse difficile à anticiper : des modèles apparaissent, sont mis à jour silencieusement ou disparaissent en quelques mois. Shopify tire les conséquences pratiques de cette instabilité en construisant une infrastructure qui ne parie pas sur un seul acteur. Thawar évoque aussi une vision plus ambitieuse : à terme, le pipeline de distillation choisirait lui-même le meilleur modèle cible en fonction des données et des évaluations fournies, sans que l'ingénieur ait à le spécifier. "Peut-être que ça donnera un modèle si petit qu'il pourrait tourner sur un téléphone", dit-il. Des garde-fous existent également côté consommation : si un modèle tourne depuis plus de dix heures en accumulant des tokens, l'utilisateur reçoit une alerte lui demandant si la dépense est intentionnelle, une manière de concilier autonomie des équipes et maîtrise des coûts.

Qwen-AgentWorld : le simulateur d’Alibaba apprend aux agents IA à mieux réfléchir

Le laboratoire d'IA Qwen, filiale d'Alibaba, a dévoilé le 24 juin 2026 un système baptisé Qwen-AgentWorld : un simulateur capable de reproduire sept environnements numériques distincts au sein d'un seul modèle, couvrant le terminal, le moteur de recherche, le protocole MCP, le développement logiciel, le navigateur web, le système d'exploitation et Android. Contrairement aux approches classiques, la modélisation de l'environnement constitue l'objectif d'entraînement central du modèle, et non une couche ajoutée après coup. Le système a été entraîné sur plus de dix millions de trajectoires d'interactions réelles. Alibaba publie également AgentWorldBench, un benchmark interne couvrant les sept domaines simulés, sur lequel le modèle Qwen-AgentWorld-397B-A17B obtient les meilleurs scores globaux, devançant GPT-5.4, Claude Opus 4.8, Gemini 3.1 Pro, DeepSeek V4-Pro et Qwen3-6P Plus. L'intérêt de l'approche tient à ce qu'elle permet aux agents de s'exercer dans un environnement entièrement maîtrisé avant d'affronter des tâches réelles, à la manière d'un simulateur de vol. Les scénarios deviennent reproductibles, les erreurs sont peu coûteuses et les situations rares peuvent être générées à la demande. Les chercheurs d'Alibaba montrent également que l'apprentissage de la prédiction des états améliore les performances des agents même sans entraînement spécifique sur certaines tâches, et que cette capacité se transfère vers différents benchmarks sans ajustement supplémentaire. Pour les interfaces graphiques, le modèle adopte une représentation textuelle des écrans, sous forme de code HTML ou d'arbres XML plutôt que d'images brutes, ce qui simplifie l'entraînement et renforce le raisonnement sur des interfaces complexes. Pendant des années, les agents IA ont été entraînés comme de simples modèles de langage auxquels on greffait ensuite des capacités d'action sur des outils ou des logiciels, une méthode efficace mais limitée dès que l'environnement gagne en complexité. Alibaba mise ici sur un changement de paradigme : faire de la compréhension du monde numérique un prérequis à l'action, et non une compétence dérivée. Cette direction rejoint un débat plus large dans la recherche sur les agents autonomes, où les acteurs comme Google, Anthropic, OpenAI et des laboratoires chinois tels que DeepSeek se disputent la maîtrise des agents capables d'opérer des ordinateurs en autonomie. Les résultats présentés par Alibaba restent toutefois à interpréter avec prudence : un benchmark interne, aussi soigné soit-il, ne remplace pas des évaluations indépendantes sur des usages réels, et les prochains mois permettront de mesurer si cette approche tient ses promesses en conditions de production.

💬 L'idée est simple mais personne ne l'avait vraiment poussée jusqu'au bout : entraîner un agent à comprendre son environnement avant de lui demander d'agir dedans, plutôt que de greffer des capacités d'action sur un LLM qui ne "voit" pas vraiment le monde numérique dans lequel il opère. Alibaba a mis 10 millions de trajectoires réelles dans un simulateur qui couvre terminal, navigateur, Android, MCP, tout le bazar, et les scores sur leur benchmark dépassent GPT-5.4 et Claude Opus 4.8. Bon, c'est leur propre benchmark, donc à confirmer sur des évals indépendantes avant de crier victoire.

DFlash accélère le décodage spéculatif par blocs de tokens en parallèle, jusqu'à 15x plus de débit sur NVIDIA Blackwell

Une équipe de chercheurs de l'UC San Diego (z-lab) a publié DFlash, une nouvelle technique d'inférence qui accélère radicalement la génération de texte par les grands modèles de langage. Là où les approches classiques de décodage spéculatif, comme EAGLE-3, proposent encore les tokens futurs un par un, DFlash adopte une logique de diffusion par blocs : un modèle léger génère un bloc entier de tokens en une seule passe parallèle, puis le grand modèle cible vérifie ce bloc simultanément. Les gains mesurés dépassent 6x d'accélération sans perte de qualité sur une variété de modèles et de tâches. Sur Qwen3-8B avec décodage glouton, DFlash atteint une accélération moyenne de 4,86x, contre 2,02x pour EAGLE-3 dans sa meilleure configuration. Sur les architectures NVIDIA Blackwell, les équipes d'ingénierie de NVIDIA rapportent jusqu'à 15x de débit supplémentaire sur gpt-oss-120b, à cible d'interactivité utilisateur constante, soit environ 2,5x mieux qu'EAGLE-3. Cette progression est significative pour toute l'industrie de l'inférence LLM, notamment pour les modèles de raisonnement à longue chaîne de pensée (Chain-of-Thought), dont la lenteur de génération est devenue le principal goulot d'étranglement opérationnel. Le principal avantage de DFlash réside dans son architecture : son drafter ne comporte que cinq couches (huit pour Qwen3-Coder), là où des approches antérieures comme DiffuSpec ou SpecDiff-2 mobilisaient des drafters de 7 milliards de paramètres pour plafonner à 3-4x. En injectant les représentations internes du modèle cible directement dans les projections Key et Value de chaque couche du drafter, DFlash maintient un signal fort quel que soit la profondeur de génération. Un drafter DFlash à cinq couches générant 16 tokens surpasse EAGLE-3 générant 8 tokens, à la fois en latence et en taux d'acceptation. Le décodage spéculatif existe depuis plusieurs années comme réponse à la sous-utilisation chronique des GPU modernes lors de l'inférence autoregressive : un petit modèle propose, un grand modèle vérifie en parallèle, et les tokens acceptés préservent la distribution de sortie originale. Mais la contrainte autoregressif du drafter limitait les gains réels à 2-3x en production. DFlash contourne ce plafond en empruntant aux modèles de diffusion leur capacité à débruiter un bloc masqué en une passe, sans assumer les inconvénients habituels des LLM diffusion purs, souvent moins précis et nécessitant de nombreuses étapes. La prochaine étape pour z-lab et NVIDIA sera de valider ces résultats en production multi-flux et à grande échelle, mais les chiffres actuels font de DFlash un candidat sérieux à l'adoption dans les infrastructures d'inférence haute performance.

💬 Le décodage spéculatif tournait en rond depuis des années, coincé à 2-3x de gain en production. DFlash passe à autre chose : un drafter de 5 couches génère des blocs entiers en parallèle et dépasse EAGLE-3 sous tous les angles, ce qui explique les 15x rapportés sur Blackwell et redéfinit ce que "inférence pas chère" peut vouloir dire pour des modèles de raisonnement. Si vLLM l'intègre vite, quelques acteurs cloud européens vont souffler.

Liquid AI lance LFM2.5-Embedding-350M et LFM2.5-ColBERT-350M pour la recherche multilingue en 11 langues

Liquid AI a lancé cette semaine deux nouveaux modèles de recherche d'information : LFM2.5-Embedding-350M et LFM2.5-ColBERT-350M. Tous deux comptent 350 millions de paramètres et sont disponibles dès maintenant sur Hugging Face sous la licence LFM Open License v1.0. Construits sur la base LFM2.5-350M-Base publiée en mars 2026, ils constituent les premiers membres bidirectionnels de la famille LFM et couvrent 11 langues : arabe, allemand, anglais, espagnol, français, italien, japonais, coréen, norvégien, portugais et suédois. Le modèle Embedding fonctionne comme un bi-encodeur dense, il réduit chaque document à un seul vecteur de 1024 dimensions, ce qui garantit une vitesse maximale et un index compact. Le modèle ColBERT adopte une approche à interaction tardive : il génère un vecteur de 128 dimensions par token, permettant une correspondance mot à mot entre la requête et le document, au prix d'un index plus volumineux. Sur les benchmarks NanoBEIR (recherche multilingue) et MKQA-11 (questions-réponses multilingues), les deux modèles dominent leur catégorie respective, battant notamment le Qwen3-Embedding-0.6B d'Alibaba, pourtant plus grand, avec des scores NDCG@10 de 0,605 pour ColBERT et 0,577 pour Embedding. L'intérêt concret de ces modèles tient à leur polyvalence et à leur compacité. Légers, ils peuvent tourner sur du matériel modeste, ce qui les rend accessibles hors des grandes infrastructures cloud. Liquid AI les positionne explicitement comme des remplaçants directs dans les pipelines RAG (Retrieval-Augmented Generation) existants, ces architectures qui alimentent les assistants IA en documents pertinents avant de générer une réponse. Les cas d'usage ciblés sont précis : catalogues produits, bases de FAQ, documentation de support. La capacité de recherche croisée entre langues sans entraînement spécifique est particulièrement précieuse pour les entreprises opérant sur plusieurs marchés. Le modèle ColBERT peut également servir à reclasser les résultats d'un premier système de recherche sans nécessiter de construction d'index, ce qui simplifie l'intégration. Ces deux modèles s'inscrivent dans une stratégie de montée en puissance de Liquid AI face aux acteurs établis que sont Alibaba (avec sa famille GTE et Qwen), BAAI ou encore LightOn. L'architecture LFM2, initialement conçue comme un décodeur causal, a dû être adaptée : le masque d'attention causal a été remplacé par un masque bidirectionnel, et les convolutions locales rendues non-causales, afin que chaque token puisse s'appuyer sur l'ensemble du contexte plutôt que sur les seuls tokens précédents. L'entraînement suit trois étapes : préentraînement contrastif en anglais à grande échelle, distillation multilingue depuis un modèle enseignant, puis affinement sur des négatifs difficiles générés automatiquement. La traduction automatique par LLM a permis d'étendre les paires d'entraînement aux 11 langues cibles. Avec ces sorties, Liquid AI signale clairement son intention de peser sur le marché des modèles d'intégration de texte, segment stratégique pour toute l'industrie de la recherche sémantique.

💬 Battre Alibaba avec 40% de paramètres en moins, sur 11 langues, c'est pas un résultat qu'on voit tous les jours. Liquid AI confirmé ici qu'une architecture bien conçue vaut plus qu'un modèle brut plus gros, ce qui change l'équation pour les équipes qui veulent de la recherche sémantique multilingue sans infrastructure cloud massive. Le français est dans la liste, ça tourne sur du matériel modeste, bon, reste à voir si ça tient sur des corpus métier réels.

Derrière OpenAI, la montée silencieuse des modèles chinois

L'article fourni est tronqué après la première phrase, ce qui ne me laisse que l'intro pour travailler. Voici tout de même un article autonome basé sur le contenu disponible et la thèse annoncée : --- Pendant que les projecteurs restent braqués sur OpenAI, Anthropic et Google DeepMind, les modèles d'intelligence artificielle chinois gagnent du terrain en silence dans les couches les plus profondes de l'écosystème IA mondial. Des acteurs comme DeepSeek, Qwen (Alibaba) ou Baidu s'imposent progressivement dans les benchmarks techniques et, surtout, dans les intégrations d'entreprises, souvent sans faire la une des médias occidentaux. En 2025, DeepSeek R1 a provoqué un séisme en affichant des performances comparables à GPT-4 à une fraction du coût de développement. L'enjeu n'est pas symbolique : ce sont les modèles intégrés dans les outils, les API et les infrastructures qui définissent les standards de demain. Un modèle adopté massivement aujourd'hui crée une dépendance technique qui dure des années. Pour les entreprises européennes et américaines, choisir un modèle chinois bon marché et performant pose des questions de souveraineté des données, de sécurité et de conformité réglementaire que peu ont encore pleinement anticipées. Cette montée en puissance s'inscrit dans une stratégie délibérée de Pékin, qui finance massivement la recherche en IA depuis son plan national de 2017. Les restrictions américaines sur les puces Nvidia ont accéléré l'innovation domestique plutôt que de la freiner. La vraie compétition dans l'IA n'oppose pas seulement des modèles, mais deux visions de l'internet et deux blocs géopolitiques qui se disputent l'infrastructure cognitive de la prochaine décennie.

💬 DeepSeek à niveau GPT-4 pour une fraction du budget, dur de ne pas s'y intéresser. Ce qui m'inquiète, c'est pas le modèle lui-même, c'est que les boîtes qui l'adoptent aujourd'hui construisent une dépendance dont elles sortiront difficilement dans cinq ans, avec des questions de souveraineté des données que la plupart n'ont pas encore posées. Les restrictions américaines sur les puces ont accéléré exactement ce qu'elles voulaient freiner.

Amazon Bedrock AgentCore est disponible en production : passez d'une idée à un agent opérationnel en quelques minutes

Amazon a annoncé le 18 juin 2026 la disponibilité générale d'AgentCore Harness, une nouvelle couche d'infrastructure de sa plateforme Bedrock conçue pour déployer des agents IA en production en quelques minutes. Le service repose sur deux appels API, CreateHarness pour définir un agent, InvokeHarness pour l'exécuter, et s'appuie sur les six primitives déjà disponibles en préversion depuis avril : Runtime, Memory, Gateway, Browser, Identity et Observability. L'agent tourne dans un environnement isolé doté d'un système de fichiers et d'un shell, peut lire des fichiers, exécuter des commandes et écrire du code. Il conserve la mémoire des utilisateurs et des conversations entre sessions, navigue sur le web, appelle des outils via MCP ou Gateway, et chaque étape est automatiquement tracée vers CloudWatch. Le problème qu'AgentCore Harness cherche à résoudre n'est pas la conception de l'agent, c'est tout ce qui l'entoure. Monter un prototype en local prend une après-midi ; le passer en production explose le volume de travail : concurrence, isolation, gestion des identités, état distribué, mise à l'échelle. Et ce coût se répétait à chaque nouveau cas d'usage, chaque changement de modèle, chaque nouvel outil. Le Harness absorbe ce câblage en tant qu'abstraction gérée, ce qui le transforme en quelque chose qu'on configure plutôt que quelque chose qu'on construit. Pour les équipes qui expérimentent plusieurs modèles ou cherchent à optimiser le rapport prix-performance, la fonctionnalité la plus attendue est la capacité à changer de fournisseur de modèle en cours de session sans perdre le contexte conversationnel. La compatibilité multi-modèles est au coeur de l'offre. Bedrock supporte déjà Anthropic Claude, Amazon Nova, Meta Llama, DeepSeek, Qwen, Cohere et Mistral, et vient d'intégrer OpenAI GPT-5.5 et GPT-5.4. Le service s'étend également à l'API OpenAI directe, Google Gemini, et via LiteLLM à Vertex, Azure OpenAI et d'autres. Cette ouverture reflète une tendance de fond : les grandes plateformes cloud se positionnent non plus comme fournisseurs d'un seul modèle, mais comme couches d'orchestration universelles. Amazon rejoint ainsi Microsoft Azure AI Foundry et Google Vertex AI dans la course aux plateformes d'agents prêtes pour la production. La prochaine étape sera de voir si cette abstraction tient sous la charge réelle et si les équipes adoptent le catalogue de compétences AWS plutôt que de continuer à construire leurs propres outils.

GLM-5.2 de Zhipu AI rivalise avec les meilleurs modeles propriétaires sur les benchmarks de codage

Le laboratoire chinois Zhipu AI a publié GLM-5.2, un nouveau modèle de langage open source distribué sous licence MIT. Le modèle supporte une fenêtre de contexte stable d'un million de tokens, ce qui lui permet de traiter des projets logiciels entiers en une seule session. Sur le benchmark FrontierSWE, conçu pour évaluer les performances sur des tâches de programmation longues de plusieurs heures, GLM-5.2 n'affiche qu'un point de pourcentage de retard sur Claude Opus 4.8 d'Anthropic, l'un des modèles fermés les plus performants du moment dans cette catégorie. C'est un résultat significatif pour l'écosystème open source : un modèle librement accessible et modifiable parvient à rivaliser avec les systèmes propriétaires sur des tâches de développement logiciel complexes et de longue durée. Pour les entreprises et développeurs indépendants, cela signifie un accès à des capacités de codage avancées sans dépendance à des API payantes ni contraintes de confidentialité des données. Le fait que GLM-5.2 soit sous licence MIT le rend également librement utilisable dans des produits commerciaux. Les limites restent réelles : en raisonnement général, GLM-5.2 accuse encore un retard notable face aux modèles fermés comme GPT-4o ou Claude Opus. Zhipu AI s'inscrit dans une vague de laboratoires chinois, aux côtés de DeepSeek, Qwen ou Baichuan, qui rattrapent progressivement les leaders occidentaux sur des domaines ciblés. L'enjeu est désormais de savoir si cette convergence sur le code va s'étendre aux capacités cognitives plus larges, et à quel rythme.

Alibaba dévoile des cerveaux IA conçus pour équiper la prochaine génération de robots

Alibaba a annoncé en juin 2026 le lancement de la suite Qwen-Robot, sa première famille de modèles d'IA dite "embodied", développée par son Tongyi Lab et actuellement en phase de pilote avec des clients entreprise d'Alibaba Cloud. La suite repose sur trois modèles spécialisés : Qwen-RobotNav pour la navigation et le suivi de cibles, Qwen-RobotManip pour la manipulation d'objets physiques, et Qwen-RobotWorld pour la modélisation de l'environnement et la prédiction des conséquences d'actions. Le groupe a également publié Qwen-RobotClaw, un framework d'agents qui expose les modèles Qwen-Robot comme outils accessibles à des agents LLM, ainsi que Chat2Robot, une plateforme open-source en navigateur pour tester des interactions avec des robots physiques. Sur le plan des performances déclarées, Qwen-RobotManip a été entraîné sur plus de 38 000 heures de données open-source et a obtenu sur le benchmark RoboChallenge un process score de 59,83 avec un taux de succès de tâches de 45 % dans la catégorie "généraliste". La démonstration de navigation a mis en scène un quadrupède Unitree Go2 équipé d'un NVIDIA Jetson Thor et d'une seule caméra basse résolution, atteignant une latence d'inférence de 196 millisecondes dans un appartement inconnu, sans carte préchargée. Ces résultats méritent d'être lus avec prudence : un taux de succès de 45 % sur un benchmark réel, s'il est confirmé en conditions non contrôlées, reste modeste mais significatif pour un modèle généraliste. Le vrai signal industriel n'est pas le score brut, c'est l'approche architecturale : au lieu de fusionner indifféremment données de navigation, bras robotiques, caméras et véhicules autonomes, Alibaba a opté pour une spécialisation par modalité, évitant les conflits d'apprentissage que génère le mélange hétérogène de données physiques. Pour les intégrateurs et décideurs B2B, la disponibilité via Alibaba Cloud en pilote marque un premier pas vers la commercialisation d'une couche d'IA robotique as-a-service, potentiellement utilisable sur du matériel tiers sans pipeline de training propriétaire. Alibaba entre dans une course déjà engagée par plusieurs acteurs de premier plan. Aux États-Unis, Google DeepMind fait avancer Gemini Robotics sur des architectures Vision-Language-Action (VLA) similaires, tandis que Physical Intelligence (Pi-0), Figure AI (Figure 03) et Boston Dynamics misent sur des pipelines de données propriétaires et des déploiements industriels réels. NVIDIA pousse son framework GR00T N2 comme socle hardware-logiciel pour l'humanoid. Côté chinois, Unitree et Agibot ont déjà des robots en production, mais sans la couche LLM intégrée qu'Alibaba apporte. L'open-sourcing de Chat2Robot et les pilotes cloud suggèrent une stratégie d'écosystème : capter les développeurs et intégrateurs autour des modèles Qwen-Robot avant que le marché des robots généraux ne se consolide, probablement d'ici 2027-2028 selon les timelines annoncées par les principaux concurrents.

💬 45 % de réussite sur un benchmark généraliste, c'est pas brillant, je sais, mais tu regardes au mauvais endroit. Le vrai signal, c'est l'architecture : trois modèles spécialisés par modalité plutôt qu'un gros fourre-tout, parce que mélanger navigation, manipulation et caméras dans le même pipeline, ça crée des conflits d'apprentissage que tout le monde a sous-estimés depuis le début. Alibaba ne cherche pas à gagner les benchmarks robotiques, ils cherchent à s'installer comme la couche cloud entre le matériel tiers et l'IA physique avant que le marché se consolide.

La mise en cache des conteneurs dans Amazon SageMaker AI accélère le déploiement des modèles

Amazon Web Services vient d'annoncer une nouvelle fonctionnalité pour SageMaker AI : le cache des images de conteneurs lors des événements de mise à l'échelle. Concrètement, cette optimisation réduit jusqu'à 51 % la latence de démarrage lors du lancement de nouvelles instances, et jusqu'à 2x pour les modèles d'IA générative en conditions réelles. Pour illustrer le gain : avec le modèle Qwen3-8B (16 Go) sur une instance ml.g6.2xlarge et le conteneur LMI de SageMaker (17,7 Go compressé), la latence de démarrage passe de 525 secondes à 258 secondes. Avant le cache, le téléchargement de l'image depuis Amazon ECR prenait à lui seul 333 secondes, en parallèle du téléchargement des poids du modèle depuis S3 (168 secondes). Avec le cache, l'image est déjà disponible localement (0 seconde), et le téléchargement du modèle tombe à 77 secondes, la compétition pour la bande passante réseau étant éliminée. L'enjeu est considérable pour les équipes qui déploient des modèles de langage en production. Lors d'un pic de trafic, chaque seconde de latence au démarrage d'une nouvelle instance se traduit directement en requêtes non servies ou en surcoût d'instances pré-chauffées. Les workloads d'IA générative sont particulièrement touchés car ils utilisent des conteneurs très volumineux, LMI (basé sur vLLM), vLLM natif, NVIDIA Triton, qui pouvaient représenter la majeure partie du temps d'initialisation. La fonctionnalité s'applique aux deux architectures d'endpoints SageMaker : les endpoints à modèle unique (où chaque nouvelle instance héberge sa propre copie du modèle) et les endpoints à composants d'inférence (où de nouvelles instances sont lancées uniquement quand aucune instance existante n'a la capacité suffisante). Si le cache est indisponible, SageMaker revient automatiquement au téléchargement depuis ECR, sans interruption de service. Cette annonce s'inscrit dans une stratégie progressive d'AWS pour réduire la latence de mise à l'échelle sur SageMaker. La plateforme avait déjà introduit des métriques CloudWatch sub-minute permettant de détecter les besoins de scale-out jusqu'à 6 fois plus vite, ainsi qu'un cache de données par instance pour les composants d'inférence réutilisant des instances déjà en cours d'exécution. Mais ces solutions précédentes ne couvraient pas le cas où une toute nouvelle instance devait être lancée, le scénario le plus coûteux. Le cache de conteneurs comble précisément ce manque. Dans un contexte où la concurrence entre AWS, Google Cloud et Azure s'intensifie sur les performances d'inférence, cette optimisation renforce la position de SageMaker pour les déploiements LLM à grande échelle, notamment dans les entreprises qui font face à des pics de charge imprévisibles.

Paralléliser le décodage spéculatif avec P-EAGLE sur Amazon SageMaker AI

Amazon Web Services a mis en open source une nouvelle méthode d'inférence appelée P-EAGLE (Parallel-EAGLE), désormais intégrée nativement dans Amazon SageMaker JumpStart pour accélérer le déploiement de grands modèles de langage en production. Basée sur la technique du décodage spéculatif, P-EAGLE transforme une étape jusqu'ici séquentielle en opération entièrement parallèle : au lieu de générer les tokens candidats un par un via plusieurs passes successives, elle les prédit tous simultanément en une seule passe vers l'avant. Sur des GPU NVIDIA B200 avec quantification FP8, des benchmarks réalisés sur le modèle Qwen3-Coder-30B-A3B-Instruct montrent des gains allant jusqu'à 1,69x de débit supplémentaire par rapport à EAGLE-3, le framework de référence précédent. À une concurrence de 1, P-EAGLE avec K=11 tokens spéculatifs atteint 1 167 tokens de sortie par seconde, contre 955 pour EAGLE-3 et seulement 294 sans spéculation. Cette avancée répond à un problème concret qui freinait les déploiements à grande échelle : plus on voulait spéculer loin dans la séquence, plus la latence augmentait de façon linéaire, annulant une partie du gain. P-EAGLE casse cette contrainte en remplissant les positions intermédiaires avec des marqueurs appris, permettant de prédire plusieurs tokens à la fois sans coût séquentiel supplémentaire. Pour les entreprises qui servent des millions de requêtes quotidiennes sur des modèles de code ou de génération longue, un gain de 1,69x de débit se traduit directement en réduction de coûts d'infrastructure ou en capacité à absorber davantage de trafic sans redimensionner le parc de GPU. L'intégration dans SageMaker JumpStart simplifie encore l'adoption : les développeurs peuvent déployer un endpoint optimisé P-EAGLE sans gérer manuellement les kernels CUDA sous-jacents ni les configurations de serving distribué. Le décodage spéculatif existe depuis plusieurs années comme technique d'optimisation d'inférence, et EAGLE en était devenu l'implémentation la plus performante, avec EAGLE-3 introduisant des prédictions directes de tokens et la fusion de représentations issues de plusieurs couches du modèle cible. Mais toutes ces versions conservaient une limite architecturale fondamentale héritée de l'autoregressivité du modèle brouillon. AWS a contourné ce plafond avec P-EAGLE, qu'il a choisi de reverser à la communauté open source plutôt que d'en faire un avantage exclusif. La méthode s'inscrit dans une compétition intense entre fournisseurs cloud pour offrir l'inférence la plus rapide et la moins coûteuse, notamment sur les modèles de code et de raisonnement qui génèrent des séquences longues. Avec son intégration SageMaker, AWS positionne P-EAGLE comme la voie par défaut pour les déploiements de modèles open-weight en production, au moment où des modèles comme Qwen3 et leurs successeurs s'imposent comme alternatives sérieuses aux modèles propriétaires.

Qwen-RobotSuite : trois modèles d'IA incarnée pour la manipulation VLA, la modélisation du monde et la navigation

L'équipe Qwen, la division IA d'Alibaba, a publié Qwen-Robot-Suite, une collection de trois modèles d'IA incarnée destinés à la robotique. Les trois modèles sont distincts et ciblent des problèmes différents : Qwen-RobotManip est un modèle Vision-Language-Action (VLA) pour la manipulation physique, construit sur le backbone Qwen3.5-4B ; Qwen-RobotWorld est un modèle de simulation vidéo du monde réel, doté de 60 couches MMDiT et d'un encodeur Qwen2.5-VL gelé ; Qwen-RobotNav, disponible en versions 2B, 4B et 8B, est dédié à la navigation mobile et s'appuie sur Qwen3-VL. RobotManip et RobotNav sont déjà accompagnés de dépôts GitHub publics. Pour alimenter RobotManip, l'équipe a constitué un corpus d'environ 38 100 heures de données de manipulation, exclusivement issues de jeux de données open source et de vidéos humaines, dont 24 808 heures générées synthétiquement à partir de démonstrations à la première personne converties en trajectoires robotiques sur 15 plateformes différentes. Cette publication s'attaque à l'un des obstacles fondamentaux de la robotique moderne : la fragmentation des données. Chaque robot utilise des formats d'observation et d'action incompatibles, ce qui rend quasi impossible le transfert d'une politique entraînée sur un bras vers un autre. RobotManip résout ce problème via un cadre d'alignement unifié reposant sur un vecteur d'état canonique de 80 dimensions avec masquage binaire par dimension, une paramétrisation des actions en delta dans le référentiel caméra, et un mécanisme d'adaptation en contexte qui lit l'historique d'exécution récent pour identifier l'embodiment sans mettre à jour les paramètres du modèle. RobotWorld, quant à lui, utilise le langage comme interface d'action unifiée pour prédire des séquences vidéo futures, tandis que RobotNav expose une interface d'observation contrôlable pour générer des trajectoires de points de passage en navigation. Ces travaux s'inscrivent dans une course mondiale à la robotique fondationnelle, portée par des acteurs comme Google DeepMind avec RT-2, Physical Intelligence avec pi0, ou encore Tesla avec Optimus. Qwen adopte ici une stratégie modulaire plutôt qu'un modèle généraliste unique, en pariant sur la spécialisation par domaine tout en partageant un même écosystème de backbones de vision-langage. L'accent mis sur des données entièrement open source et des pipelines de synthèse automatisée indique une volonté de démocratiser l'entraînement de politiques robotiques sans dépendre de coûteuses collectes propriétaires. La mise à disposition des codes sources pour deux des trois modèles suggère que Qwen cherche à fédérer une communauté de recherche autour de ces fondations, dans un domaine ou la donnée reste le principal goulot d'étranglement.

MotionVLA : un modèle vision-langage-action pour les robots humanoïdes

Une équipe de l'AIGeeksGroup a publié le 18 juin 2026 sur arXiv (2606.15142) MotionVLA, un modèle de type Vision-Language-Action conçu pour générer du mouvement humanoïde réaliste à partir d'images de scène et d'instructions textuelles. Le coeur de la contribution repose sur DSFT (Dual-Stream Frequency Tokenizer), un tokeniseur qui décompose le signal de mouvement en deux flux distincts : un flux Base capturant la sémantique de pose basse fréquence, et un flux Phys encodant la dynamique physique haute fréquence. Cette séparation s'appuie sur une analyse en transformée en cosinus discrète (DCT) du corpus HumanML3D, qui révèle un déséquilibre concret : cinq coefficients DCT suffisent à couvrir 93 % de l'énergie des positions articulaires, mais seulement 37 % de l'énergie des vélocités. Les deux flux sont compressés indépendamment par troncature DCT et encodage BPE, puis réinjectés dans un transformeur autorégressif basé sur Qwen3.5 2B. Sur les benchmarks HumanML3D et MBench, MotionVLA réduit l'écart de diversité avec les données réelles de plus de 50 % et améliore la cohérence mouvement-condition de 3,8 %. Ce résultat pointe une limite structurelle des approches à codebook unique, qui dominent actuellement la génération de mouvement humanoïde : en forçant des signaux hétérogènes dans un espace de quantification commun, ces méthodes sous-représentent systématiquement les composantes dynamiques hautes fréquences au profit de la géométrie de pose. Pour les équipes travaillant sur le contrôle de robots humanoïdes ou la synthèse d'animation procédurale, cela signifie que la qualité du mouvement généré peut sembler plausible en posture statique mais manquer de naturel en transition. L'architecture duale de MotionVLA, malgré un backbone léger de 2 milliards de paramètres, obtient des gains mesurables sans augmenter significativement le coût de calcul. MotionVLA s'inscrit dans un mouvement de recherche plus large qui adapte les VLA, initialement développés pour le contrôle robotique visuomoteur, à la génération de comportement humanoïde. Le modèle s'appuie sur Qwen3.5, la famille de modèles open-weight d'Alibaba, et le code source est disponible sur GitHub (AIGeeksGroup/MotionVLA). À ce stade, il s'agit exclusivement d'un résultat de recherche académique évalué sur des benchmarks synthétiques standard, sans déploiement industriel ni partenariat hardware annoncé. Les acteurs comme Figure AI, 1X, Agility Robotics ou Fourier Intelligence, qui investissent dans la génération de mouvement pour leurs humanoïdes, suivent de près ce type de travaux, même si le chemin du benchmark de laboratoire vers un déploiement sim-to-real reste non démontré ici.

PixelRAG surpasse les analyseurs de texte en précision et réduit de 10 fois le coût en tokens des agents IA

Une équipe de chercheurs des universités UC Berkeley, Princeton et EPFL, en collaboration avec Databricks, a publié cette semaine un article présentant PixelRAG, un système de recherche augmentée par récupération (RAG) qui abandonne complètement l'étape de conversion en texte des pages web. Plutôt que de transformer le HTML en texte brut avant de l'indexer, PixelRAG prend des captures d'écran des pages, découpe ces images en tuiles de 1 024 pixels et les encode directement dans un index vectoriel interrogeable par un modèle de langage à vision. Le système a été testé sur 30 millions de tuiles couvrant l'intégralité des 7 millions d'articles de Wikipédia, et surpasse les pipelines RAG traditionnels sur six benchmarks distincts, avec un gain de précision allant jusqu'à 18,1 % par rapport aux approches textuelles. L'enjeu est considérable pour toutes les entreprises qui déploient des agents IA sur leurs bases documentaires internes ou sur le web ouvert. Les pipelines RAG actuels échouent pour trois raisons mesurables : la conversion HTML détruit 36,6 % des réponses avant même l'indexation, les infoboxes bourrées de mots-clés écrasent les paragraphes pertinents dans 55,2 % des cas, et les 8,2 % restants sont perdus lors de la lecture finale à cause d'une mise en forme aplatie. PixelRAG contourne ces trois problèmes d'un coup en conservant la hiérarchie visuelle, les tableaux, le gras et la mise en page, que les parseurs textuels éliminent irrémédiablement. Le système réduit également les coûts en tokens des agents IA d'un facteur 10, puisque les tuiles images sont bien plus compactes que les longues chaînes de texte nettoyé qu'un parseur produit habituellement. L'architecture repose sur quatre étapes entièrement visuelles : le rendu des pages via Playwright à une largeur fixe de 875 pixels, leur découpage en tuiles stockées localement hors ligne, leur encodage en vecteurs de 2 048 dimensions grâce au modèle Qwen3-VL-Embedding-2B dans un index FAISS d'environ 120 Go, et enfin la lecture par un modèle vision-langage capable d'interpréter simultanément contenu et mise en page. Le choix de cette approche reflète une conviction plus large des auteurs : améliorer les parseurs est une course sans fin, chaque site web exigeant un traitement sur mesure, alors que les modèles de vision récents permettent désormais de traiter directement la page rendue comme le ferait un humain. Yichuan Wang, doctorant à UC Berkeley et auteur principal, résume l'ambition : construire un système de récupération universel, sans ingénierie spécifique par site, en s'appuyant sur les progrès rapides des modèles multimodaux.

💬 Arrêter d'améliorer les parseurs et passer aux screenshots directement, c'est le genre de pivot qu'on n'ose pas faire parce que ça remet tout en question. Là, Berkeley, Princeton et l'EPFL montrent que ça marche vraiment, avec 18% de gain en précision et un facteur 10 sur les tokens. Reste à voir ce que ça donne à l'échelle d'une base documentaire d'entreprise, mais sur le principe, c'est du solide.

Zyphra lance Zamba2-VL : modèles vision-langage hybrides Mamba2-Transformer réduisant le temps de premier token d'un facteur 10

Zyphra a publié Zamba2-VL, une famille de modèles de vision-langage (VLM) open source déclinée en trois tailles : 1,2 milliard, 2,7 milliards et 7 milliards de paramètres. Ces modèles sont capables d'analyser conjointement des images et du texte, graphiques, documents, photos, pour répondre à des questions ou extraire des informations. Contrairement à la quasi-totalité des VLM ouverts actuels, qui reposent sur un Transformer dense comme moteur de langage, Zamba2-VL intègre une architecture hybride combinant des couches Mamba2 (de type SSM, state-space model) et des blocs Transformer partagés. Le modèle utilise le tokeniseur de Mistral v0.1 et a été entraîné sur 100 milliards de tokens de données visuelles et textuelles issues du web ouvert. Pour l'encodage visuel, Zyphra a retenu le Vision Transformer de Qwen2.5-VL, choisi pour sa gestion native des résolutions dynamiques et ses embeddings positionnels 2D rotatifs. L'avantage principal de cette architecture se mesure à l'inférence : là où l'attention des Transformers classiques évolue de façon quadratique avec la longueur des séquences, les couches Mamba2 opèrent en temps quasi-linéaire avec un état récurrent de taille fixe. Sur un préfixe de 32 000 tokens, Zamba2-VL affiche un temps avant premier token (TTFT) inférieur d'environ un ordre de grandeur à celui de ses concurrents Transformer, tout en maintenant des scores comparables. C'est un avantage décisif pour des usages embarqués ou en périphérie (edge), où mémoire et latence sont contraintes. Sur 14 benchmarks couvrant la compréhension de documents, le comptage visuel et la perception générale, le modèle 2,7B atteint 90,9 sur DocVQA et 82,5 sur PixMoCount, surpassant largement InternVL3.5-2B (32,8) et Qwen3-VL-2B (55,7) sur ce dernier test. Il reste en revanche en retrait sur les benchmarks de raisonnement intensif comme MMMU (37,7 contre 49,9 pour InternVL3.5-2B) et MathVista. Cette publication s'inscrit dans une dynamique plus large qui voit les architectures SSM et hybrides progressivement s'imposer comme alternatives sérieuses aux Transformers purs, notamment pour les contraintes d'inférence à bas coût. Zyphra, qui développe la famille Zamba2 depuis plusieurs mois, cible explicitement les gammes 1,2B et 2,7B pour des déploiements sur appareils et en périphérie de réseau, un segment en forte croissance avec la multiplication des assistants locaux et des applications industrielles d'analyse documentaire. Les modèles sont publiés en open source, ce qui devrait accélérer l'adoption et permettre à la communauté d'évaluer indépendamment les compromis entre efficacité d'inférence et performance sur les tâches de raisonnement complexe, domaine où les hybrides SSM-Transformer restent encore challengés par les architectures full-attention à plus grande échelle.

LabVLA : ancrage des modèles vision-langage-action (VLA) dans les laboratoires scientifiques

Une équipe de chercheurs a publié le 16 juin 2026 sur arXiv (référence 2606.13578) un article présentant LabVLA, un modèle Vision-Language-Action conçu spécifiquement pour l'exécution autonome de protocoles expérimentaux en laboratoire scientifique. Le système repose sur deux briques : RoboGenesis, un moteur de génération de données par simulation qui décompose des flux de travail en compétences atomiques, valide les exécutions et exporte des démonstrations structurées pour différents profils de robots ; et LabVLA lui-même, dont l'entraînement se déroule en deux étapes -- un préentraînement par tokenisation d'actions FAST sur le backbone Qwen3-VL-4B-Instruct, suivi d'un affinage par flow matching avec un expert d'actions de type DiT (Diffusion Transformer) sous isolation des connaissances. Sur le benchmark LabUtopia, LabVLA affiche le taux de succès moyen le plus élevé parmi tous les systèmes testés, en distribution comme hors distribution. L'enjeu est structurant : les IA actuelles peuvent lire de la littérature scientifique, générer des hypothèses et planifier des protocoles, mais l'exécution physique au banc de laboratoire reste humaine. Les instruments spécialisés, les liquides transparents (difficiles à percevoir pour les capteurs RGB classiques) et les séquences protocolaires rigides créent des défis absents des benchmarks domestiques sur lesquels la plupart des VLA existants -- Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA -- ont été entraînés. Si LabVLA tient ses promesses hors simulation, cela ouvrirait la voie à une automatisation crédible des laboratoires de biologie, chimie ou pharmacologie, un marché adressé aujourd'hui par des acteurs comme Automata, Opentrons ou Hamilton Robotics. La course aux VLA généralistes a démarré en 2024 avec Octo, puis OpenVLA et Pi-0, calibrés principalement sur des tâches ménagères. Le sim-to-real gap en milieu laboratoire reste un obstacle non résolu : les résultats présentés dans ce preprint sont entièrement issus de simulation -- LabUtopia est lui-même un environnement virtuel -- et aucun déploiement sur robot physique n'est rapporté. La robustesse sur de vraies paillasses, avec contaminations, vibrations et variabilités instrumentales, reste à démontrer. Les auteurs annoncent comme prochaines étapes l'extension des profils de robots compatibles avec RoboGenesis et des évaluations sur hardware réel.

SkillOpt de Microsoft améliore automatiquement les compétences des agents IA sans modifier les poids du modèle

Microsoft Research Asia a publié SkillOpt, un framework open source sous licence MIT conçu pour optimiser automatiquement les compétences des agents IA. Ces compétences, appelées "skills", sont des ensembles d'instructions stockées dans des fichiers texte au format markdown (.md) qui permettent à un agent de s'adapter à des flux de travail d'entreprise complexes, sans modifier les paramètres du modèle sous-jacent. Développé par Yifan Yang, Senior Research SDE chez Microsoft Research Asia, SkillOpt introduit un optimiseur qui traite ces documents texte comme des objets entraînables, les faisant évoluer de manière systématique à partir des retours de performance. Sur plusieurs benchmarks industriels, il surpasse les méthodes existantes et améliore significativement la précision de modèles comme GPT-5.5 et Qwen, produisant des artefacts compacts et transférables vers de nouveaux domaines. L'enjeu est concret : aujourd'hui, affiner ces fichiers de compétences est un processus manuel et risqué. Les équipes procèdent par essais-erreurs, sans garantie que chaque modification représente réellement une amélioration. Yang identifie trois défaillances récurrentes dans les approches actuelles : l'absence de contrôle d'amplitude des modifications, qui provoque une dérive progressive des instructions ; l'absence de validation, qui laisse des corrections superficiellement raisonnables dégrader silencieusement les performances ; et l'absence de mémoire négative, qui permet aux mêmes erreurs de se reproduire indéfiniment. Pour illustrer la fragilité du système actuel, Yang cite un cas précis : une réécriture non contrôlée a fait chuter GPT-5.5 sur le benchmark SpreadsheetBench de 41,8 à 41,1, soit une régression invisible jusqu'à ce qu'elle soit mesurée. Ce problème est particulièrement critique dans les workflows multi-étapes, là où les grands modèles sont les plus vulnérables, non pas sur le raisonnement, mais sur la discipline procédurale : formats de sortie, auto-vérification, politiques d'utilisation des outils. Avant SkillOpt, plusieurs approches existaient sans résoudre ce problème de fond. Des méthodes d'optimisation de prompts comme TextGrad et GEPA traitent les textes comme des objets optimisables via le feedback de trajectoires d'exécution, mais se limitent à des configurations de prompt unique plutôt qu'à des artefacts de compétences persistants et réutilisables. Des méthodes comme EvoSkill et Trace2Skill convertissent les expériences d'exécution en bibliothèques de compétences domaine-spécifiques, mais sans le contrôle mathématique qui garantit que chaque itération est réellement une amélioration. SkillOpt comble ce vide en appliquant une discipline comparable à l'apprentissage profond, avec contrôle du pas d'optimisation, validation systématique et mémoire des échecs, au texte naturel plutôt qu'aux poids d'un réseau de neurones. La publication en open source signale que Microsoft vise une adoption large dans l'écosystème des agents IA d'entreprise, un marché en pleine structuration où la fiabilité procédurale devient un avantage compétitif décisif.

💬 Ce qui me plaît là-dedans, c'est que ça s'attaque enfin au vrai problème : pas le modèle, mais les instructions qu'on lui donne. Tuner des fichiers markdown à la main en espérant que ça s'améliore, c'est exactement le genre de bricolage qui fait perdre des heures aux équipes sans qu'elles s'en rendent compte. Reste à voir si ça tient sur des workflows vraiment complexes, mais le fait que Microsoft sorte ça en open source, ça sent le pari sur l'adoption longue.

OpenJarvis : un framework local pour agents IA personnels avec outils, mémoire et apprentissage

Des chercheurs de l'Université Stanford et de Lambda Labs ont publié en mai 2026 OpenJarvis, un framework open-source conçu pour faire tourner des agents IA personnels entièrement en local, sans recours au cloud. Disponible sur GitHub avec déjà plus de 5 400 étoiles, le projet s'appuie sur onze modèles locaux issus de quatre familles (Qwen3.5, Gemma4, Nemotron, Granite) et supporte des moteurs d'inférence variés comme Ollama, vLLM ou llama.cpp. Les performances mesurées sur 508 tâches réparties en huit benchmarks montrent que les modèles configurés via OpenJarvis se situent à seulement 3,2 points de pourcentage en dessous des meilleurs modèles cloud, Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, tout en affichant une latence quatre fois plus faible et un coût marginal par requête environ 800 fois inférieur. Ce résultat change concrètement l'équation pour les développeurs et les entreprises qui cherchent à déployer des agents IA sans dépendre d'APIs tierces. OpenJarvis décompose un système d'IA personnelle en cinq primitives indépendantes et interchangeables, le modèle, le moteur d'inférence, la logique d'agent, les outils et la mémoire, puis l'optimiseur d'apprentissage, toutes configurables via un unique fichier TOML appelé "spec". Cette architecture permet à un même comportement d'agent de fonctionner sur un Mac Mini M4 comme sur une station de travail NVIDIA DGX Spark, sans réécrire les prompts. L'installation tient en une seule commande et prend environ trois minutes sur une connexion correcte. La contribution la plus originale du projet réside dans la "LLM-guided spec search", une méthode d'optimisation hybride locale-cloud : un modèle frontier agit comme enseignant au moment de la configuration, en analysant les traces d'exécution, diagnostiquant les échecs et proposant des modifications coordonnées sur l'ensemble des primitives. Une modification n'est acceptée que si elle améliore les cas défaillants sans provoquer de régressions ailleurs, avec une tolérance par défaut de 1%. Une fois optimisé, le système tourne entièrement en local sans aucun appel cloud. À 100 requêtes par jour, le coût amorti de cet enseignant descend sous 0,001 dollar par requête au bout de six mois. Cette approche multi-primitive récupère 13 à 32 points de pourcentage de l'écart cloud-local, contre seulement 5 points pour les optimiseurs de prompts classiques, à un coût d'optimisation 7 à 11 fois inférieur aux méthodes antérieures comme DSPy ou LoRA. Le projet s'inscrit dans un contexte où les modèles locaux gèrent déjà 88,7% des requêtes conversationnelles courantes selon une étude antérieure de la même équipe, et où l'efficacité des modèles embarqués a progressé de 5,3 fois entre 2023 et 2025.

💬 3,2 points de moins que Claude Opus ou GPT-5, pour un coût 800 fois inférieur : à ce ratio, la question n'est plus "cloud ou local". Le truc malin c'est la spec search guidée, tu laisses un frontier calibrer ta config une fois, puis plus aucun appel cloud ensuite. Bon, faudra voir si leurs 508 tâches de benchmark ressemblent à ce qu'on rencontre vraiment en prod.

Améliorez la précision des appels d'outils de vos agents avec SFT et DPO sur Amazon SageMaker AI

Amazon Web Services publie un guide technique détaillant comment améliorer la précision des appels d'outils dans les agents IA, en combinant deux techniques d'entraînement, le Supervised Fine-Tuning (SFT) et le Direct Preference Optimization (DPO), sur sa plateforme Amazon SageMaker AI. L'exemple concret porte sur Qwen3 1.7B, un petit modèle de langage, entraîné via des jobs SageMaker AI, un service entièrement géré prenant en charge les configurations multi-GPU et multi-nœuds à la demande. L'objectif est d'apprendre à un modèle à sélectionner le bon outil, dans le bon format, sans briser la chaîne d'actions d'un workflow automatisé. Quand un agent IA appelle le mauvais outil ou formate incorrectement ses paramètres, les conséquences sont directes : délais de traitement allongés, taux d'erreurs en hausse, coûts de support accrus et expérience utilisateur dégradée. Pour les organisations qui font passer leurs applications agentiques du pilote à la production, fiabiliser cette couche d'interaction avec les outils externes est devenu un prérequis non négociable. Le SFT permet d'enseigner au modèle le vocabulaire et les contraintes propres à chaque outil via des exemples explicites. Le DPO, lui, raffine ce comportement en intégrant des préférences directement dans la boucle d'entraînement, sous la forme de paires "réponse préférée / réponse rejetée", sans avoir besoin de fonctions de récompense ni de modèles de récompense distincts, ce qui réduit significativement les ressources et le temps d'entraînement par rapport au reinforcement learning classique. Le DPO s'appuie sur des travaux publiés en 2023 (arXiv:2305.18290) et s'intègre notamment via la bibliothèque HuggingFace TRL, qui prend en entrée des triplets prompt / réponse choisie / réponse rejetée. SageMaker AI ajoute une couche d'infrastructure managée : les clusters haute performance se lancent à la demande, s'arrêtent automatiquement en fin de job, et les métriques d'entraînement remontent vers MLflow intégré à SageMaker pour analyse ultérieure. Cette approche en deux temps, SFT pour la connaissance des outils, DPO pour l'alignement fin sur les comportements souhaités, trace une voie praticable pour les équipes qui veulent construire des agents robustes sans gérer elles-mêmes l'infrastructure d'entraînement. À mesure que les modèles plus petits gagnent en précision grâce à ces techniques, la frontière entre un LLM généraliste et un agent spécialisé fiable en production continue de se réduire.

NVIDIA lance Cosmos 3 : un modèle de fondation à deux tours mêlant raisonnement physique, génération de mondes et d'actions

NVIDIA a publié Cosmos 3, une nouvelle famille de modèles d'IA fondationnels conçus pour les systèmes d'IA physique, robots, véhicules autonomes et systèmes de surveillance industrielle. La particularité de cette version réside dans son architecture dite Mixture-of-Transformers (MoT) à deux tours, qui réunit pour la première fois dans un seul modèle trois capacités jusqu'ici séparées : le raisonnement physique, la génération de monde (vidéo, images, son) et la génération d'actions. NVIDIA a publié en open source les poids, scripts d'entraînement, outils de déploiement et jeux de données. Deux échelles sont disponibles au lancement : Cosmos3-Nano (16 milliards de paramètres, basé sur Qwen3-VL 8B) pour l'inférence sur GPU workstation comme la RTX PRO 6000, et Cosmos3-Super (64 milliards de paramètres, basé sur Qwen3-VL 32B) pour les datacenters équipés de GPU Hopper ou Blackwell. Des variantes spécialisées accompagnent cette sortie, dont Super Text2Image, Super Image2Video et Nano-Policy-DROID. L'unification de ces trois capacités dans un seul modèle représente un changement structurel pour les équipes qui développent des systèmes robotiques ou de conduite autonome. Jusqu'ici, il fallait orchestrer plusieurs modèles distincts, un pour percevoir, un pour prédire, un pour agir, ce qui multipliait la complexité d'intégration et les points de défaillance. Cosmos 3 propose un flux cohérent : la tour "reasoner" (un VLM autorégressif qui comprend images, vidéos et texte) conditionne la tour "generator" (diffusion pour la vidéo et les actions), l'information circulant dans un seul sens. Les équipes de robotique temps réel peuvent faire tourner le Nano sur du matériel de terrain, tandis que les équipes de R&D génèrent des données synthétiques à grande échelle avec le Super. Sur les benchmarks, Cosmos 3 domine VANTAGE-Bench et le leaderboard TAR (Traffic Anomaly Reasoning) dans leurs catégories respectives. Cette sortie s'inscrit dans la stratégie d'NVIDIA visant à s'imposer comme infrastructure logicielle de l'IA physique, au-delà de la simple vente de GPU. Les versions précédentes de Cosmos fragmentaient les capacités ; Cosmos 3 consolide l'approche autour d'un socle commun initialisé depuis les poids Qwen3-VL de l'écosystème open source. Le modèle gère nativement des entrées texte, image, vidéo et tableaux d'actions JSON, et produit des sorties allant jusqu'à 720p à 24 FPS avec son stéréo AAC 48 kHz, pour une durée maximale d'environ 12,5 secondes. Il supporte une gamme d'embodiments robotiques (caméra, véhicule, bras simple ou double, humanoïde), chacun avec des dimensions d'action fixes. Face à la montée en puissance de Google DeepMind, Boston Dynamics et des startups robotiques chinoises, NVIDIA mise sur l'open source et la verticalisation logicielle pour ancrer son écosystème dans les prochaines années de déploiement d'IA physique.

💬 Orchestrer trois modèles séparés pour percevoir, prédire et agir, c'était le quotidien douloureux des équipes robotique, et Cosmos 3 règle ça proprement. L'open source complet, poids + scripts + datasets, c'est pas de la comm, NVIDIA construit une base logicielle sur laquelle personne ne pourra se passer d'eux dans 3 ans. Reste à voir si le Nano tient en conditions réelles, parce que sur les benchmarks c'est toujours plus joli qu'en prod.

OpenEAI-Platform : une plateforme open source unifiée matériel-logiciel pour l'IA incarnée

Des chercheurs ont déposé sur arXiv (2606.03392) OpenEAI-Platform, une plateforme open-source couplant un bras robotique à 6+1 degrés de liberté (DDL), OpenEAI-Arm, et un modèle vision-langage-action (VLA), OpenEAI-VLA. OpenEAI-Arm s'appuie sur des plans mécaniques ouverts et une commande conforme (compliant control) destinée à réduire le coût de fabrication tout en maintenant la précision de manipulation. OpenEAI-VLA est construit sur Qwen3-VL-4B d'Alibaba avec une tête d'action Diffusion Transformer, entraîné en deux phases sur des jeux de données exclusivement ouverts. Sur quatre tâches de manipulation réelles, il atteint des taux de réussite comparables à pi0 de Physical Intelligence, un modèle pré-entraîné à bien plus grande échelle. OpenEAI-Arm surpasse par ailleurs deux bras commerciaux 6+1 DDL évalués sous la même politique de contrôle. Plans, codes, modèles et pipelines d'entraînement seront publiés intégralement après acceptation de l'article en revue. L'intérêt de ces résultats est double. Côté hardware, un bras open-source moins coûteux qui surpasse des équipements commerciaux constitue un levier direct pour les laboratoires et intégrateurs à budget contraint. Côté VLA, approcher les performances de pi0 avec nettement moins de données de pré-entraînement conteste l'hypothèse selon laquelle des politiques de manipulation robustes nécessitent impérativement des corpus massifs et propriétaires. L'architecture combinant un modèle vision-langage compact (4 milliards de paramètres) et une tête diffusion semble offrir un rapport performance-données plus favorable que prévu, ce qui intéresse directement les équipes cherchant à déployer des robots polyvalents sans infrastructure de collecte industrielle. OpenEAI-VLA s'appuie sur Qwen3-VL-4B (Alibaba, 2025) et l'architecture Diffusion Transformer popularisée par pi0 (Physical Intelligence, 2024) pour générer des actions robotiques continues. La plateforme s'inscrit dans un segment croissant de projets ouverts pour la manipulation, aux côtés de LeRobot (Hugging Face) et ALOHA (Stanford), face à des acteurs commerciaux comme Figure AI, Boston Dynamics ou 1X Technologies. Son positionnement vise explicitement la reproductibilité et la collecte de données à l'échelle, deux goulots d'étranglement identifiés par la communauté robotique. Aucun déploiement industriel ni partenariat n'est annoncé : OpenEAI-Platform est un prétirage, et l'accès aux ressources complètes reste conditionnel à l'acceptation de l'article.

💬 Un bras robot open-source qui surpasse du hardware commercial, c'est déjà solide. Ce qui m'intéresse encore plus, c'est que leur VLA s'approche des perfs de pi0 avec des datasets entièrement ouverts et un modèle à 4B paramètres, ce qui fracasse l'idée qu'il faut absolument un corpus propriétaire massif pour faire de la manipulation sérieuse. Bon, c'est un prétirage pour l'instant, les ressources complètes sortent après acceptation de l'article.

TinyFish lance BigSet : un système multi-agents open source qui construit des jeux de données structurés à partir de descriptions en langage naturel

TinyFish vient de publier BigSet, un système multi-agents open source sous licence AGPL-3.0, conçu pour automatiser la construction de jeux de données structurés à partir du web en langage naturel. Le principe est simple : l'utilisateur décrit en une phrase les données qu'il souhaite obtenir, par exemple "les entreprises YC actuellement en train de recruter des ingénieurs, avec leur stade de financement, leur localisation et le nombre de postes ouverts", et BigSet se charge d'inférer le schéma, de collecter les données sur le web, de dédupliquer les résultats et d'exporter le tout en CSV ou XLSX. Le code source complet est disponible sur GitHub. La génération d'un dataset prend entre 2 et 5 minutes, le temps que les agents effectuent de vraies recherches web. Une fonctionnalité de rafraîchissement automatique permet de maintenir les données à jour selon une cadence paramétrable : 30 minutes, 6 heures, 12 heures, quotidienne ou hebdomadaire. L'architecture repose sur un pipeline en cinq étapes clairement séparées. Claude Sonnet 4.6, accessible via OpenRouter, intervient en premier pour inférer le schéma : noms de colonnes, types de données, clés primaires et sources potentielles, avant tout accès web. Un agent orchestrateur basé sur Qwen (qwen/qwen3.7-max, via OpenRouter) identifie ensuite les entités correspondant à la description. Des sous-agents sont alors déployés en parallèle, chacun responsable d'une seule ligne du tableau final, avec un budget plafonné à 6 appels d'outils. Chaque agent utilise TinyFish Fetch pour récupérer le contenu des pages, extrait les champs pertinents, puis insère la ligne avec une attribution de source traçable. La déduplication par clé primaire est appliquée avant l'export final. La stack technique s'appuie sur Next.js 16, React 19, Fastify, TypeScript, Convex pour la base de données, et Mastra pour l'orchestration des workflows IA. BigSet s'attaque à un problème persistant dans le travail avec les données web : la fragmentation du pipeline entre identification des sources, scraping, conception du schéma, déduplication et planification des mises à jour. Ces étapes restent manuelles et chronophages, que l'on construise un dataset ou cent. En abstrayant l'ensemble de cette chaîne derrière une description en langage naturel, TinyFish cible directement les analystes, journalistes de données, équipes produit et chercheurs qui ont besoin de tableaux structurés sans vouloir maintenir une infrastructure de scraping. Le système est auto-hébergé via Docker, ce qui répond aussi aux préoccupations de confidentialité des données. TinyFish, qui développe par ailleurs ses propres outils de recherche et de fetch web, positionne BigSet comme une couche d'abstraction entre un besoin en données et une table exploitable, dans un écosystème où les agents IA commencent à remplacer les pipelines ETL traditionnels.

JetBrains lance Mellum2 : un modèle MoE de 12 milliards de paramètres pour les tâches spécialisées dans les pipelines IA multi-modèles

JetBrains a publié Mellum2, un nouveau modèle d'intelligence artificielle open source dont les poids sont disponibles sous licence Apache 2.0. Ce successeur de Mellum, un modèle dense de 4 milliards de paramètres orienté complétion de code, adopte une architecture Mixture-of-Experts (MoE) avec 12 milliards de paramètres au total, dont seulement 2,5 milliards sont activés à chaque token. Le modèle dispose de 64 experts, dont 8 sont sollicités simultanément, ce qui maintient un coût de calcul équivalent à un modèle dense de 2,5B tout en offrant une capacité de spécialisation bien supérieure. Sa fenêtre de contexte atteint 131 072 tokens, étendue après le pré-entraînement grâce à une méthode YaRN sélective par couche. L'entraînement a porté sur environ 10,6 billions de tokens répartis en trois phases progressivement orientées vers du code et des mathématiques, avec l'optimiseur Muon en précision hybride FP8. JetBrains publie six checkpoints couvrant l'ensemble du pipeline : modèle de base, variantes SFT, et modèles affinés par renforcement (RLVR) en versions Instruct et Thinking. Mellum2 ne vise pas à remplacer les modèles frontier comme GPT-4o ou Claude 3.5 Sonnet. JetBrains le positionne explicitement comme un "focal model", une brique rapide et spécialisée destinée à s'intégrer dans des pipelines multi-modèles. La variante Instruct répond directement, sans chaîne de raisonnement externalisée, ce qui la rend adaptée aux tâches à faible latence : appels d'outils, suivi d'instructions, génération de code à la volée. La variante Thinking, elle, produit une trace de raisonnement explicite avant sa réponse finale, utile pour le débogage complexe, la planification multi-étapes ou les flux agentiques. Sur les benchmarks autodéclarés par JetBrains, Mellum2 Instruct obtient 78,4 sur EvalPlus et 66,3 sur BFCL v3 (appels de fonctions), des scores compétitifs face aux modèles open-weight de 4B à 14B paramètres, notamment les Qwen3.5 et Ministral 3. Les résultats en raisonnement mathématique (41,7 sur AIME 2025+2026) et en connaissance générale (78,1 sur MMLU-Redux) restent en retrait par rapport à Qwen3.5 9B, ce qui reflète le choix assumé d'une spécialisation ingénierie logicielle. Ce lancement s'inscrit dans une tendance de fond : les éditeurs d'IDE et d'outils de développement construisent désormais leurs propres modèles plutôt que de dépendre exclusivement des API tierces. JetBrains, dont les produits, IntelliJ, PyCharm, WebStorm, sont utilisés par des millions de développeurs, dispose d'un corpus de code propriétaire et d'une connaissance fine des usages réels qui justifient cet investissement. La mise à disposition sous Apache 2.0 favorise l'adoption communautaire et positionne Mellum2 comme une alternative crédible aux modèles de Microsoft (Phi) ou de Alibaba (Qwen) dans l'écosystème open source. La prochaine étape logique sera l'intégration native dans les IDE JetBrains, transformant ce modèle de recherche en produit distribué à grande échelle.

NVIDIA lance Cosmos 3, Nemotron 3 Ultra et RTX Spark

NVIDIA a profité de la semaine du Computex 2026 à Taïwan pour lancer plusieurs modèles ouverts majeurs. Le plus attendu est Cosmos 3, une famille de modèles de monde omnimodaux capables de traiter simultanément le langage, l'image, la vidéo, l'audio et les actions physiques. L'architecture repose sur un mélange de transformeurs (Mixture-of-Transformers) combinant un raisonneur autorégressif et un générateur par diffusion, déclinée en deux versions : Nano (16 milliards de paramètres, deux tours de 8B) et Super (64 milliards, deux tours de 32B). Artificial Analysis a immédiatement classé Cosmos 3 en première position parmi les modèles ouverts sur ses classements Text-to-Image et Image-to-Video. NVIDIA a également annoncé Nemotron 3 Ultra, un modèle de langage de 550 milliards de paramètres dont 55 milliards actifs, salué comme le meilleur modèle ouvert américain à ce jour, capable de générer plus de 300 tokens par seconde selon certaines configurations. Enfin, le RTX Spark, un superchip personnel atteignant 1 pétaflop, a été présenté en partenariat avec Microsoft et OpenClaw. Ces annonces marquent un tournant dans la stratégie ouverte de NVIDIA. En publiant poids, code, jeux de données et recettes de fine-tuning pour Cosmos 3, l'entreprise positionne ses modèles comme une infrastructure commune pour l'IA physique, robotique, véhicules autonomes, simulation industrielle. La Cosmos Coalition, lancée avec des partenaires dont Runway, vise à construire un écosystème ouvert autour de ces modèles de monde. Pour Nemotron 3 Ultra, la communauté a réagi avec un enthousiasme inhabituel : sa densité d'activation, autour de 10 % contre 3 % pour des concurrents comme DeepSeek V4 ou Kimi K2, le rend à la fois plus coûteux à faire tourner, mais potentiellement plus prévisible en comportement, ce qui intéresse les entreprises cherchant de la fiabilité à grande échelle. Ces sorties s'inscrivent dans une semaine particulièrement dense pour les modèles ouverts. MiniMax a simultanément lancé M3, un modèle agent multimodal avec 1 million de tokens de contexte, affichant 59 % sur SWE-Bench Pro et un support immédiat chez Vercel, Cloudflare et Novita. Qwen3.7-Plus et Mellum2 de JetBrains ont également été publiés dans la même fenêtre. NVIDIA cherche à consolider sa domination au-delà du matériel : en proposant des modèles de référence ouverts pour l'IA physique, la société se place au cœur de la chaîne de valeur logicielle, là où Google et Meta se livrent déjà bataille. La convergence entre le RTX Spark, Cosmos 3 et l'écosystème de partenaires suggère une ambition claire : faire du PC local le prochain terrain de déploiement de l'IA agentique.

💬 NVIDIA ne se contente plus de vendre des GPU, il cherche à posséder la pile logicielle de l'IA physique. Cosmos 3 open source avec poids et données, Nemotron Ultra pour la fiabilité en prod, RTX Spark pour le local, c'est une stratégie trop cohérente pour être coïncidence. Google et Meta sont déjà sur ce terrain, sauf qu'eux ne contrôlent pas le silicium en dessous.

MiniMax publie M3 : architecture MSA, contexte d'un million de tokens, multimodalité native et codage par agents autonomes

MiniMax a lancé le 1er juin 2026 son nouveau modèle MiniMax M3, successeur du M2.7 dans la série M. La nouveauté architecturale centrale est la MSA (MiniMax Sparse Attention), un mécanisme d'attention creuse qui permet une fenêtre de contexte d'un million de tokens tout en ramenant le coût de calcul par token à seulement 1/20e de celui des modèles M2 précédents à cette longueur. Concrètement, l'étape de préfill est accélérée de plus de 9 fois et le décodage de plus de 15 fois au niveau du million de tokens. M3 intègre nativement la compréhension d'images et de vidéos ainsi que le contrôle de l'ordinateur de bureau, sans modules additionnels. Le modèle est disponible immédiatement via l'API MiniMax, MiniMax Code et le MiniMax Token Plan. Les poids open-weight et le rapport technique complet sont annoncés dans les dix jours suivant la sortie. Sur les benchmarks de programmation autonome, M3 atteint 59 % sur SWE-Bench Pro, surpassant GPT-5.5 et Gemini 3.1 Pro et s'approchant de Claude Opus 4.7. Il obtient également 66 % sur Terminal-Bench 2.1, 74,2 % sur MCP Atlas, le meilleur score parmi les modèles évalués sur Claw-Eval, et 70,06 % de taux de complétion sur OSWorld-Verified, un benchmark de contrôle d'interface utilisateur sur 361 tâches. Pour les développeurs et les équipes d'ingénierie, ces chiffres signifient un modèle capable d'ingérer des bases de code complètes en contexte, de raisonner sur de longues séquences vidéo et de mener des workflows de développement multi-tours sans perdre la cohérence. MiniMax a également conçu un simulateur d'interaction développeur pour l'entraînement, reproduisant des scénarios réels comme l'élaboration d'exigences, les corrections itératives et les changements de tâche en cours de session, afin de réduire l'écart entre performances sur benchmarks statiques et usages réels en production. L'architecture MSA s'attaque à un problème structurel des transformers classiques : la complexité quadratique de l'attention standard, qui rend le traitement de très longs contextes prohibitif en calcul et en mémoire. Là où des approches concurrentes comme DSA ou MoBA proposent des solutions partielles, MiniMax affirme que MSA partitionne le cache KV de manière plus précise, chaque bloc n'étant lu qu'une seule fois avec un accès mémoire contigu grâce à l'approche dite "KV outer gather Q". L'équipe reporte un gain supérieur à 4 fois par rapport aux implémentations open-source de référence comme Flash-Sparse-Attention. M3 s'inscrit dans une compétition intense entre labs pour combiner grande fenêtre de contexte, multimodalité native et capacités agentiques dans un seul modèle open-weight, segment où MiniMax revendique une première mondiale. La publication prochaine des poids permettra à la communauté de vérifier ces affirmations de manière indépendante, ce qui constituera un test décisif pour la crédibilité du modèle face à Gemini 2.5 Pro, aux modèles Claude ou aux futurs lancements de Qwen.

Trajectory publie une pile d'entraînement Multi-LoRA concurrent pour l'apprentissage continu, avec un gain de débit de 2,81x

Trajectory, en collaboration avec le UC Berkeley Sky Lab et Anyscale, a publié un rapport technique détaillant une nouvelle infrastructure d'entraînement baptisée C-LoRA (Continuous Multi-LoRA Training), dont le code est entièrement disponible dans le dépôt GitHub NovaSky-AI/SkyRL. Le système permet de faire tourner plusieurs expériences d'entraînement en parallèle sur un même moteur d'inférence, chaque expérience disposant de son propre adaptateur LoRA dédié. Les résultats annoncés sont significatifs : un gain de débit expérimental de 2,81x par rapport à un framework d'entraînement classique à locataire unique, sans régression observée sur les récompenses d'entraînement. Les tests ont été conduits sur un nœud H200 unique avec le modèle Qwen3-4B-Instruct-2507, appliqué à des tâches d'apprentissage par renforcement sur GSM8K reformulées en usage d'outils. Ce gain de performance cible un problème structurel de l'industrie : la quasi-totalité des infrastructures d'entraînement actuelles repose encore sur un cycle linéaire, collecte de données, entraînement, déploiement, qui prend des mois et produit des sauts discontinus de comportement pour les utilisateurs. C-LoRA vise à remplacer ce cycle par un apprentissage continu nourri des interactions de production en temps réel. L'architecture s'attaque concrètement à quatre inefficacités identifiées : les démarrages à froid coûteux (pouvant dépasser 30 minutes pour les grands modèles), la consommation mémoire excessive de l'apprentissage par renforcement sur des modèles de plus de 100 milliards de paramètres comme Qwen3.5-397B (qui peut nécessiter jusqu'à huit nœuds H200), la limitation à une seule expérience à la fois des stacks traditionnels, et la faible utilisation des GPU due aux temps d'attente mutuels entre le module d'entraînement et le moteur d'inférence. L'intérêt plus large de ce travail s'inscrit dans une tendance de fond : rendre les modèles de langage capables d'apprendre en continu à partir de corrections humaines, de patterns observés en production, ou de retours d'opérateurs, sans nécessiter un cycle de réentraînement complet. La technique LoRA, qui gèle les poids du modèle de base et n'entraîne que de petits adaptateurs, réduit la consommation mémoire d'un ordre de grandeur tout en permettant la coexistence de plusieurs expériences simultanées. Côté inférence, le noyau SGMV de vLLM fusionne les opérations par adaptateur en un seul lancement GPU par étape de décodage, ce qui permet de mixer des tokens issus d'adaptateurs différents dans un même batch. Côté entraînement, la concurrence reste encore limitée à un adaptateur actif à la fois, les autres résidant en mémoire CPU, une limitation que Trajectory reconnaît et qui constitue la prochaine frontière technique pour l'équipe.

💬 2,81x de débit en plus sur un nœud H200, c'est pas rien. Ce qui m'intéresse surtout, c'est pas le chiffre, c'est l'architecture : faire tourner plusieurs expériences LoRA en parallèle sur le même moteur d'inférence, ça s'attaque enfin au vrai problème, ce cycle collect-train-deploy qui prend des mois et rend les mises à jour du modèle quasi invisibles pour les utilisateurs. Bon, sur le papier, parce que l'entraînement reste limité à un seul adaptateur actif à la fois pour l'instant, ce qui relativise un peu le "continu" dans le nom.

Pinterest réduit ses coûts IA de 90 % en allégeant la couche vision d'un modèle frontier

Pinterest a réduit de 90 % le coût de son infrastructure d'intelligence artificielle en procédant à une modification radicale du modèle open source Qwen3-VL, développé par Alibaba. Matt Madrigal, directeur technique de Pinterest, a révélé que son équipe a littéralement supprimé la couche d'encodage visuel du modèle pour la remplacer par des embeddings propriétaires, construits à partir des données uniques de la plateforme. Cette intervention chirurgicale sur les couches internes du modèle n'a pas seulement allégé la facture : elle a également amélioré la précision des recommandations de 30 %. Le résultat alimente notamment Navigator 1, l'assistant de shopping conversationnel de Pinterest, utilisé par ses 620 millions d'utilisateurs mensuels. L'enjeu technique est considérable. Sans ces embeddings précalculés, chaque image retournée par le moteur de recommandation devrait être encodée en temps réel, une par une, au moment de l'inférence. Selon Madrigal, cela représente une latence "20 fois plus élevée" du point de vue des performances. En précalculant ces représentations hors ligne et en les réactualisant régulièrement, Pinterest évite ce goulot d'étranglement tout en personnalisant l'expérience à une échelle que peu d'entreprises doivent gérer. La stratégie illustre une logique désormais bien ancrée dans l'industrie : lorsque les données propriétaires sont suffisamment riches et distinctives, leur qualité peut compenser une taille de modèle plus modeste. "La qualité des données l'emportera sur la taille du modèle", a résumé Madrigal. Pinterest s'appuie sur des modèles open source depuis plusieurs années, notamment Google BERT et OpenAI CLIP, sur lequel il a construit son propre modèle Pin CLIP. Cette trajectoire d'internalisation progressive s'inscrit dans une stratégie plus large autour d'un "taste graph" : une représentation dynamique des goûts individuels de chaque utilisateur, actualisée en continu selon ses interactions. Contrairement à un graphe social, il s'agit d'un graphe de préférences conçu pour guider l'utilisateur depuis la phase d'inspiration diffuse jusqu'à l'acte d'achat. Dans un secteur où les géants du cloud font pression pour verrouiller les entreprises dans leurs API propriétaires, le choix de Pinterest de personnaliser en profondeur des modèles sous licence Apache ouverte signale une tendance de fond : les grandes plateformes préfèrent investir dans la maîtrise technique plutôt que dans la dépendance à des modèles frontières coûteux et peu adaptables à leurs cas d'usage spécifiques.

💬 Enlever la couche vision d'un LLM multimodal pour la remplacer par tes propres embeddings, c'est le genre de hack que je n'oserais pas si je n'avais pas une confiance béton dans mes données. Pinterest a osé, et -90% sur la facture avec +30% en précision, c'est le résultat que tu rêves mais que tu crois jamais possible avant de l'avoir fait. Madrigal a raison sur un point : quand tes données sont suffisamment spécifiques, un modèle taillé sur mesure bat un frontier généraliste à dix fois le prix.