Kimi AI et kvcache-ai publient AgentENV en open source, un systeme distribue pour l'entrainement par renforcement des agents de Kimi K3

Together AI publie OSCAR en open source : un système de quantification KV cache 2 bits adaptatif pour les LLM à long contexte

Together AI vient de publier en open source OSCAR (Offline Spectral Covariance-Aware Rotation), un système de quantification du cache KV à 2 bits conçu pour réduire drastiquement la mémoire GPU nécessaire à l'inférence de grands modèles de langage sur de longs contextes. Le problème visé est concret : lors de l'inférence en mode autorégressif, le cache KV croît avec la longueur du contexte, la taille des lots et la profondeur du modèle. À 100 000 tokens traités par dizaines de requêtes simultanées, ce cache peut accaparer la majorité de la mémoire GPU disponible. La quantification à INT2, qui ne représente les valeurs qu'avec 4 niveaux distincts, était jusqu'ici largement inutilisable : soit elle dégradait trop la précision, soit elle était incompatible avec les architectures de cache paginé utilisées en production. OSCAR surmonte ces deux obstacles grâce à une rotation des activations fondée non pas sur leur distribution brute, mais sur les statistiques d'attention elles-mêmes. L'innovation centrale d'OSCAR réside dans le choix de la base de rotation. Pour les clés (keys), ce qui compte n'est pas l'erreur de reconstruction euclidienne, mais l'erreur sur les logits d'attention, pondérée par la covariance des requêtes. Pour les valeurs (values), c'est la covariance pondérée par les scores d'attention qui détermine quelles directions d'erreur se propagent réellement dans la sortie du modèle. OSCAR estime ces covariances sur un jeu de calibration, les décompose en vecteurs propres, et les utilise comme base de rotation optimale. La rotation finale se compose de trois éléments : l'alignement sur les directions importantes pour l'attention, une transformation de Hadamard qui uniformise les canaux, et un réordonnancement par inversion de bits qui garantit que chaque groupe de quantification reçoit un représentant de chaque niveau hiérarchique. Le système s'intègre dans la pile de serving production de SGLang comme mode INT2 natif du cache KV. Ce travail s'inscrit dans une course intense à l'efficacité mémoire pour les LLM en production. La quantification du cache KV est un levier direct sur la taille des lots traitables et donc sur le coût par requête. Les approches INT4 existantes, comme QuIP# ou QuaRot, fonctionnaient déjà correctement, mais INT2 représentait une frontière difficile à franchir sans perte de qualité rédhibitoire. En publiant OSCAR en open source avec une intégration SGLang, Together AI met cet outil à disposition de l'ensemble de la communauté de déploiement de modèles. L'enjeu est considérable : multiplier par deux la compression du cache KV peut doubler la capacité de traitement parallèle d'un serveur sans changer le matériel. Les prochaines étapes naturelles concernent la validation sur des modèles de très grande taille et l'extension à d'autres architectures d'attention.

NVIDIA Vera Rubin maximise l'intelligence par dollar pour les charges post-entraînement, une métrique clé pour l'IA à base d'agents

Un athlète professionnel ne se distingue pas pendant le match, mais dans l'intervalle entre deux matchs, quand il ajuste sa technique face à un nouvel adversaire. NVIDIA applique cette logique à l'intelligence artificielle agentique avec sa plateforme Vera Rubin, conçue pour maximiser ce que l'entreprise appelle "l'intelligence par dollar" lors du post-entraînement, cette phase qui affine un modèle après son apprentissage initial sur des données brutes. Contrairement à un modèle génératif qui répond simplement à une requête, un modèle agentique doit planifier, utiliser différents outils et se rétablir seul face aux imprévus rencontrés en cours de tâche. Cet apprentissage repose sur des techniques de renforcement (RL) : le modèle rédige une tentative de réponse lors d'une passe avant (inférence), cette tentative est notée, puis la leçon tirée met à jour les poids du modèle lors d'une passe arrière. NVIDIA a illustré cette approche avec Nemotron 3 Ultra, un modèle ouvert à mixture d'experts de 550 milliards de paramètres, entraîné via la bibliothèque NeMo RL, qui a obtenu un score de 71,7% sur SWE-bench Verified, un benchmark de référence pour l'évaluation du codage en conditions réelles. Cette évolution change fondamentalement l'économie du calcul dans l'industrie de l'IA. Le post-entraînement n'est plus une étape ponctuelle de finition mais un processus continu, car les environnements dans lesquels opèrent les agents évoluent en permanence : les outils utilisés changent d'une semaine à l'autre, des cas limites imprévus par les jeux de test apparaissent en production, et chaque déploiement implique son propre code, ses propres règles et son propre environnement. L'empreinte de calcul ne grossit donc pas parce qu'une seule exécution devient plus lourde, mais parce que ces cycles d'entraînement ne s'arrêtent jamais. Pour les entreprises qui construisent et déploient des agents IA, cela signifie que la valeur d'un modèle ne se mesure plus seulement au coût par token généré lors de l'inférence, mais à la capacité de continuer à investir dans son intelligence à mesure que son environnement de production change, un enjeu direct pour la rentabilité de ces systèmes à grande échelle. Cette approche s'inscrit dans un effort plus large de NVIDIA pour transformer le post-entraînement, longtemps considéré comme un travail de recherche artisanal, en infrastructure reproductible à l'échelle industrielle. Les bibliothèques ouvertes NeMo Gym, pour créer des environnements d'entraînement, et NeMo RL, pour l'entraînement distribué, visent à orchestrer des milliers d'environnements générant des tentatives en parallèle, avec vérification des récompenses et mise à jour des poids en continu, tout en maintenant les accélérateurs pleinement utilisés. L'enjeu stratégique pour NVIDIA est de positionner sa plateforme matérielle Vera Rubin comme le socle indispensable de cette nouvelle génération de calcul intensif, où le coût par token d'inférence et l'intelligence construite par dollar investi deviennent deux mesures complémentaires plutôt que concurrentes. À mesure que les entreprises technologiques déploient des agents IA de plus en plus autonomes dans des environnements réels, la capacité à financer et industrialiser ce cycle d'apprentissage continu pourrait devenir un facteur déterminant de compétitivité dans le secteur.

💬 Bon, sur le papier c'est malin : NVIDIA arrête de vendre le post-entraînement comme une finition ponctuelle et le repositionne comme un flux continu, parce que les agents en prod rencontrent sans cesse des cas que personne n'avait testés. Le vrai message, c'est que le coût par token à l'inférence ne dit plus grand-chose tout seul, ce qui compte c'est le coût pour continuer à réentraîner le modèle chaque fois que son environnement change. Ça sent la stratégie commerciale évidente derrière (vendre du Vera Rubin en continu plutôt qu'un pic ponctuel), mais l'intuition économique tient : les boîtes qui déploient des agents vont payer pour l'apprentissage permanent, pas juste pour la réponse.

Cloudflare remplace son blocage global des robots IA par des contrôles précis pour la recherche, l'entraînement et les agents

Cloudflare a annoncé une refonte majeure de sa politique de blocage des robots d'intelligence artificielle, en remplaçant son blocage global par un système de contrôles granulaires accessible à tous ses clients. Concrètement, les propriétaires de sites peuvent désormais distinguer trois catégories de robots IA : les robots de recherche, les robots d'entraînement et les robots agents, et choisir individuellement lesquels autoriser ou bloquer, plutôt que d'appliquer une règle unique à l'ensemble du trafic automatisé. À partir du 15 septembre 2026, les robots d'entraînement et les robots agents seront bloqués par défaut sur les pages financées par la publicité. Cette évolution répond à une problématique centrale pour les éditeurs de contenu : jusqu'ici, un blocage indifférencié empêchait aussi bien les crawlers d'entraînement de modèles, jugés problématiques car ils aspirent du contenu sans compensation, que les robots de recherche ou d'agents IA utiles à la visibilité et au trafic des sites. En permettant une gestion fine, Cloudflare offre aux éditeurs un outil pour protéger leurs revenus publicitaires tout en restant ouverts aux usages qu'ils jugent bénéfiques, comme l'indexation par les moteurs de recherche traditionnels ou les nouveaux agents conversationnels. Cette décision s'inscrit dans un contexte de tensions croissantes entre éditeurs de contenu et entreprises d'IA générative, accusées de piller le web sans rétribution ni consentement clair. Cloudflare, qui sécurise une part importante du trafic internet mondial, se positionne ainsi comme arbitre technique de ce rapport de force, en donnant aux sites les moyens de fixer eux-mêmes leurs conditions face aux robots d'entraînement et aux agents autonomes, tout en anticipant une réglementation encore incertaine sur l'utilisation du contenu par l'IA.

💬 Enfin un outil qui distingue les usages plutôt que de tout bloquer à l'aveugle, c'est exactement ce qui manquait depuis deux ans de bagarre entre éditeurs et boîtes d'IA. Cloudflare ne résout rien sur le fond (la question de la rétribution reste entière), mais en devenant l'arbitre technique par défaut du web, elle impose de fait ses règles avant même que la loi tranche. Selon Le Fil IA, le blocage par défaut des crawlers d'entraînement dès le 15 septembre marque le moment où le rapport de force bascule enfin du côté des éditeurs, pas des modèles.

Prime Intellect publie prime-rl 0.6.0 pour entraîner des modèles MoE à mille milliards de paramètres sur des tâches RL à base d'agents

Prime Intellect a publié la version 0.6.0 de son framework open source prime-rl, conçu pour entraîner des modèles de langage de très grande taille via du reinforcement learning asynchrone. Cette mise à jour majeure cible spécifiquement les modèles Mixture-of-Experts (MoE) à l'échelle du trillion de paramètres, avec un focus sur des tâches dites "agentiques" longues et complexes, comme la résolution autonome de bugs logiciels. Pour illustrer les capacités du framework, l'équipe a entraîné GLM-5, le modèle de l'organisation zai-org, sur des tâches d'ingénierie logicielle (SWE) avec des séquences allant jusqu'à 131 000 tokens. Résultat : des temps d'étape inférieurs à cinq minutes, des batchs de 256 rollouts, le tout sur seulement 28 noeuds H200, une efficacité matérielle remarquable pour cette classe de modèles. Le framework est également compatible avec d'autres modèles MoE massifs comme Kimi-K2.7-Code de Moonshot AI ou le Nemotron-3-Ultra-550B de NVIDIA. Ce type d'infrastructure répond à un problème concret du reinforcement learning à grande échelle : les tâches agentiques génèrent des "outliers" temporels, certains rollouts de code pouvant s'étirer sur plusieurs heures. Dans un système synchrone classique, les GPU restent à l'arrêt en attendant la fin de ces longues exécutions avant chaque mise à jour de politique. prime-rl résout ce goulot d'étranglement en découplant complètement le moteur d'inférence du moteur d'entraînement : les deux fonctionnent et scalent indépendamment, avec un unique point de synchronisation au moment de la mise à jour des poids. Côté inférence, le système combine calcul en FP8 avec les kernels DeepEP et DeepGEMM, un "Wide Expert Parallelism" répartissant les experts sur 32 GPU ou plus, une séparation des workers de prefill et de decode, et un système de gestion hiérarchique du cache KV avec offloading vers CPU ou disque. Le mécanisme "Router Replay" (R3) est particulièrement notable : il rejoue les décisions de routage de l'inférence directement sur le trainer, réduisant le décalage KL d'un ordre de grandeur. Cette publication s'inscrit dans une course à la scalabilité du post-training par RL, accélérée par le succès des modèles de raisonnement comme DeepSeek-R1 ou les modèles de la série o1 d'OpenAI. L'approche MoE est devenue centrale pour atteindre des capacités de niveau "trillion de paramètres" sans exploser les coûts de calcul à l'inférence, mais elle impose des contraintes d'orchestration redoutables, notamment la coordination des experts entre des dizaines de GPU. Prime Intellect, qui se positionne sur l'entraînement distribué open source, mise sur prime-rl pour démocratiser l'accès à ces techniques jusqu'ici réservées aux grands laboratoires disposant de clusters propriétaires. La compatibilité avec Slurm et des routeurs comme NVIDIA Dynamo suggère une orientation claire vers des déploiements en production à l'échelle industrielle.

💬 Le vrai problème du RL agentique, c'est pas la puissance brute, c'est les rollouts qui s'étirent sur des heures et laissent les GPU à l'arrêt. prime-rl règle ça en découplant complètement inférence et entraînement, avec un seul point de synchro, et leur mécanisme R3 réduit le décalage KL d'un ordre de grandeur. Un labo européen sans cluster propriétaire a désormais un chemin crédible vers le post-training RL à l'échelle trillion.