Kimi AI et kvcache-ai publient AgentENV en open source, un systeme distribue pour l'entrainement par renforcement des agents de Kimi K3

Together AI publie OSCAR en open source : un système de quantification KV cache 2 bits adaptatif pour les LLM à long contexte

Together AI vient de publier en open source OSCAR (Offline Spectral Covariance-Aware Rotation), un système de quantification du cache KV à 2 bits conçu pour réduire drastiquement la mémoire GPU nécessaire à l'inférence de grands modèles de langage sur de longs contextes. Le problème visé est concret : lors de l'inférence en mode autorégressif, le cache KV croît avec la longueur du contexte, la taille des lots et la profondeur du modèle. À 100 000 tokens traités par dizaines de requêtes simultanées, ce cache peut accaparer la majorité de la mémoire GPU disponible. La quantification à INT2, qui ne représente les valeurs qu'avec 4 niveaux distincts, était jusqu'ici largement inutilisable : soit elle dégradait trop la précision, soit elle était incompatible avec les architectures de cache paginé utilisées en production. OSCAR surmonte ces deux obstacles grâce à une rotation des activations fondée non pas sur leur distribution brute, mais sur les statistiques d'attention elles-mêmes. L'innovation centrale d'OSCAR réside dans le choix de la base de rotation. Pour les clés (keys), ce qui compte n'est pas l'erreur de reconstruction euclidienne, mais l'erreur sur les logits d'attention, pondérée par la covariance des requêtes. Pour les valeurs (values), c'est la covariance pondérée par les scores d'attention qui détermine quelles directions d'erreur se propagent réellement dans la sortie du modèle. OSCAR estime ces covariances sur un jeu de calibration, les décompose en vecteurs propres, et les utilise comme base de rotation optimale. La rotation finale se compose de trois éléments : l'alignement sur les directions importantes pour l'attention, une transformation de Hadamard qui uniformise les canaux, et un réordonnancement par inversion de bits qui garantit que chaque groupe de quantification reçoit un représentant de chaque niveau hiérarchique. Le système s'intègre dans la pile de serving production de SGLang comme mode INT2 natif du cache KV. Ce travail s'inscrit dans une course intense à l'efficacité mémoire pour les LLM en production. La quantification du cache KV est un levier direct sur la taille des lots traitables et donc sur le coût par requête. Les approches INT4 existantes, comme QuIP# ou QuaRot, fonctionnaient déjà correctement, mais INT2 représentait une frontière difficile à franchir sans perte de qualité rédhibitoire. En publiant OSCAR en open source avec une intégration SGLang, Together AI met cet outil à disposition de l'ensemble de la communauté de déploiement de modèles. L'enjeu est considérable : multiplier par deux la compression du cache KV peut doubler la capacité de traitement parallèle d'un serveur sans changer le matériel. Les prochaines étapes naturelles concernent la validation sur des modèles de très grande taille et l'extension à d'autres architectures d'attention.

Mixture-of-Kittens (MoK) : Cursor publie en open source un mégakernel d'entraînement MoE déterministe pour racks GB300 NVL72

Cursor Research a mis en open source Mixture-of-Kittens (MoK), le megakernel d'entraînement pour architectures mixture-of-experts (MoE) qui alimente ses modèles Composer. L'outil fusionne toutes les étapes de communication et de calcul MoE en un seul kernel déterministe. Selon l'équipe Cursor, il atteint jusqu'à 2,37 fois le débit du meilleur baseline public disponible, et il fait déjà tourner l'entraînement de Composer sur des dizaines de milliers de GPU. MoK est publié sous licence Apache-2.0 sur GitHub, mais son accès matériel reste très restrictif : il exige des GPU NVIDIA Blackwell SM100 ou SM103, donc des racks GB200 NVL72 ou GB300 NVL72, ainsi que Python 3.12 ou plus récent, PyTorch 2.10 ou plus récent et CUDA toolkit 13.0 ou plus récent, avec des tampons inter-GPU reposant sur la mémoire symétrique de PyTorch. Les benchmarks de couche ont été menés sur un seul rack NVL72 avec un degré de parallélisme d'experts de 64, chaque GPU traitant 2 048 tokens avant routage, face à quatre baselines (NCCL+PyTorch, DeepEP+PyTorch, DeepEP+TransformerEngine, HybridEP+Megatron) sur des architectures telles que Kimi K2.7 Code, GLM-5.2, Qwen3.5-397B-A17B et DeepSeek-V4-Pro. Cette barrière matérielle élevée signifie que seuls les laboratoires de pointe, les startups de modèles bien financées, les néoclouds GPU et les centres de calcul nationaux peuvent réellement déployer MoK ; les équipes travaillant sur un seul nœud ou huit GPU en sont exclues. Pour ceux qui possèdent la capacité NVL72, l'intérêt est concret : le préentraînement et le post-entraînement de modèles MoE de type DeepSeek-V3, mais aussi le renforcement par apprentissage on-policy et les ablations internes, domaines où le déterminisme du kernel devient un avantage direct pour la reproductibilité des résultats. Les secteurs concernés vont du développement de modèles d'IA à l'infrastructure cloud GPU, en passant par les outils de génération de code et la recherche quantitative. Ce projet prolonge des travaux antérieurs de Cursor sur la partie calcul, avec ses propres kernels d'entraînement MXFP8 et NVFP4 et un chemin d'inférence MoE dit "warp décodé", qui traitaient la communication inter-GPU séparément. En production, cette communication est devenue le vrai goulot d'étranglement, la couche MoE pouvant consommer plus de la moitié du temps total d'entraînement. Le passage aux racks GB300 NVL72, qui regroupent 72 GPU dans un même domaine NVLink mais s'appuient sur des CPU Grace relativement lents, a imposé de minimiser drastiquement les synchronisations CPU-GPU. MoK répond à ce défi par trois choix de conception : une direction de communication adaptée à chaque opération (dispatch en pull, combine en push, la signalisation en pull mesurant 18 microsecondes contre 103 pour le push), une granularité de chevauchement calibrée entre les approches Comet et DeepEP, et un tampon circulaire de tokens de quelques centaines de mégaoctets qui élimine le CPU de la boucle critique.

💬 Le code est ouvert, l'accès reste fermé. Faut un rack GB300 NVL72 pour faire tourner ce truc, donc en pratique ça exclut la quasi-totalité des équipes qui bossent sur un ou huit GPU, autant dire tout le monde sauf une dizaine de labos. 2,37 fois le débit du meilleur concurrent public, c'est du concret, mais ça confirme un peu plus que la course au MoE se joue maintenant au niveau du matériel, pas de l'algo.

NVIDIA Vera Rubin maximise l'intelligence par dollar pour les charges post-entraînement, une métrique clé pour l'IA à base d'agents

Un athlète professionnel ne se distingue pas pendant le match, mais dans l'intervalle entre deux matchs, quand il ajuste sa technique face à un nouvel adversaire. NVIDIA applique cette logique à l'intelligence artificielle agentique avec sa plateforme Vera Rubin, conçue pour maximiser ce que l'entreprise appelle "l'intelligence par dollar" lors du post-entraînement, cette phase qui affine un modèle après son apprentissage initial sur des données brutes. Contrairement à un modèle génératif qui répond simplement à une requête, un modèle agentique doit planifier, utiliser différents outils et se rétablir seul face aux imprévus rencontrés en cours de tâche. Cet apprentissage repose sur des techniques de renforcement (RL) : le modèle rédige une tentative de réponse lors d'une passe avant (inférence), cette tentative est notée, puis la leçon tirée met à jour les poids du modèle lors d'une passe arrière. NVIDIA a illustré cette approche avec Nemotron 3 Ultra, un modèle ouvert à mixture d'experts de 550 milliards de paramètres, entraîné via la bibliothèque NeMo RL, qui a obtenu un score de 71,7% sur SWE-bench Verified, un benchmark de référence pour l'évaluation du codage en conditions réelles. Cette évolution change fondamentalement l'économie du calcul dans l'industrie de l'IA. Le post-entraînement n'est plus une étape ponctuelle de finition mais un processus continu, car les environnements dans lesquels opèrent les agents évoluent en permanence : les outils utilisés changent d'une semaine à l'autre, des cas limites imprévus par les jeux de test apparaissent en production, et chaque déploiement implique son propre code, ses propres règles et son propre environnement. L'empreinte de calcul ne grossit donc pas parce qu'une seule exécution devient plus lourde, mais parce que ces cycles d'entraînement ne s'arrêtent jamais. Pour les entreprises qui construisent et déploient des agents IA, cela signifie que la valeur d'un modèle ne se mesure plus seulement au coût par token généré lors de l'inférence, mais à la capacité de continuer à investir dans son intelligence à mesure que son environnement de production change, un enjeu direct pour la rentabilité de ces systèmes à grande échelle. Cette approche s'inscrit dans un effort plus large de NVIDIA pour transformer le post-entraînement, longtemps considéré comme un travail de recherche artisanal, en infrastructure reproductible à l'échelle industrielle. Les bibliothèques ouvertes NeMo Gym, pour créer des environnements d'entraînement, et NeMo RL, pour l'entraînement distribué, visent à orchestrer des milliers d'environnements générant des tentatives en parallèle, avec vérification des récompenses et mise à jour des poids en continu, tout en maintenant les accélérateurs pleinement utilisés. L'enjeu stratégique pour NVIDIA est de positionner sa plateforme matérielle Vera Rubin comme le socle indispensable de cette nouvelle génération de calcul intensif, où le coût par token d'inférence et l'intelligence construite par dollar investi deviennent deux mesures complémentaires plutôt que concurrentes. À mesure que les entreprises technologiques déploient des agents IA de plus en plus autonomes dans des environnements réels, la capacité à financer et industrialiser ce cycle d'apprentissage continu pourrait devenir un facteur déterminant de compétitivité dans le secteur.

💬 Bon, sur le papier c'est malin : NVIDIA arrête de vendre le post-entraînement comme une finition ponctuelle et le repositionne comme un flux continu, parce que les agents en prod rencontrent sans cesse des cas que personne n'avait testés. Le vrai message, c'est que le coût par token à l'inférence ne dit plus grand-chose tout seul, ce qui compte c'est le coût pour continuer à réentraîner le modèle chaque fois que son environnement change. Ça sent la stratégie commerciale évidente derrière (vendre du Vera Rubin en continu plutôt qu'un pic ponctuel), mais l'intuition économique tient : les boîtes qui déploient des agents vont payer pour l'apprentissage permanent, pas juste pour la réponse.

Cloudflare remplace son blocage global des robots IA par des contrôles précis pour la recherche, l'entraînement et les agents

Cloudflare a annoncé une refonte majeure de sa politique de blocage des robots d'intelligence artificielle, en remplaçant son blocage global par un système de contrôles granulaires accessible à tous ses clients. Concrètement, les propriétaires de sites peuvent désormais distinguer trois catégories de robots IA : les robots de recherche, les robots d'entraînement et les robots agents, et choisir individuellement lesquels autoriser ou bloquer, plutôt que d'appliquer une règle unique à l'ensemble du trafic automatisé. À partir du 15 septembre 2026, les robots d'entraînement et les robots agents seront bloqués par défaut sur les pages financées par la publicité. Cette évolution répond à une problématique centrale pour les éditeurs de contenu : jusqu'ici, un blocage indifférencié empêchait aussi bien les crawlers d'entraînement de modèles, jugés problématiques car ils aspirent du contenu sans compensation, que les robots de recherche ou d'agents IA utiles à la visibilité et au trafic des sites. En permettant une gestion fine, Cloudflare offre aux éditeurs un outil pour protéger leurs revenus publicitaires tout en restant ouverts aux usages qu'ils jugent bénéfiques, comme l'indexation par les moteurs de recherche traditionnels ou les nouveaux agents conversationnels. Cette décision s'inscrit dans un contexte de tensions croissantes entre éditeurs de contenu et entreprises d'IA générative, accusées de piller le web sans rétribution ni consentement clair. Cloudflare, qui sécurise une part importante du trafic internet mondial, se positionne ainsi comme arbitre technique de ce rapport de force, en donnant aux sites les moyens de fixer eux-mêmes leurs conditions face aux robots d'entraînement et aux agents autonomes, tout en anticipant une réglementation encore incertaine sur l'utilisation du contenu par l'IA.

💬 Enfin un outil qui distingue les usages plutôt que de tout bloquer à l'aveugle, c'est exactement ce qui manquait depuis deux ans de bagarre entre éditeurs et boîtes d'IA. Cloudflare ne résout rien sur le fond (la question de la rétribution reste entière), mais en devenant l'arbitre technique par défaut du web, elle impose de fait ses règles avant même que la loi tranche. Selon Le Fil IA, le blocage par défaut des crawlers d'entraînement dès le 15 septembre marque le moment où le rapport de force bascule enfin du côté des éditeurs, pas des modèles.