Dans la fonction publique, l’expérimentation de « L’Assistant » laisse sceptique

Adaptive experimentation avec Ax de Meta : guide pratique

Un tutoriel publié récemment détaille l'utilisation de la bibliothèque Ax de Meta, via sa Client API moderne, pour l'expérimentation adaptative et l'optimisation d'hyperparamètres. La démonstration s'appuie sur un jeu de données synthétique de classification généré avec 1 400 échantillons et 20 caractéristiques, dont 8 informatives et 4 redondantes, réparties en 3 classes. Un classifieur RandomForest de scikit-learn est optimisé simultanément sur deux objectifs : la précision prédictive, mesurée par validation croisée stratifiée à 3 plis, et la taille du modèle, calculée comme le produit du nombre d'arbres (nestimators) par leur profondeur maximale (maxdepth). L'espace de recherche mêle six paramètres de nature différente : trois entiers (nestimators entre 50 et 300, maxdepth entre 3 et 24, minsamplesleaf entre 1 et 12), un flottant (maxfeatures entre 0,2 et 1,0), un paramètre à échelle logarithmique (ccpalpha entre 1e-5 et 1e-1) et un paramètre catégoriel, criterion, avec les valeurs gini, entropy et logloss. L'optimisation tourne par lots de quatre essais grâce à une boucle dite ask-tell : le client propose des combinaisons de paramètres via getnexttrials, puis reçoit les résultats mesurés via completetrial. Cette démarche illustre un enjeu central du machine learning appliqué, celui de trouver un compromis entre performance et coût plutôt que d'optimiser un seul indicateur isolé. En traitant précision et taille comme deux objectifs concurrents, le tutoriel montre comment obtenir une frontière de Pareto, c'est-à-dire un ensemble de modèles où aucun gain de précision n'est possible sans dégrader la compacité, et inversement. Pour les équipes qui déploient des modèles en production, notamment dans des environnements contraints en mémoire ou en latence comme le edge computing ou les applications mobiles, cette méthode permet de choisir consciemment un point de fonctionnement plutôt que de subir un compromis mal maîtrisé. Elle rend aussi reproductible et automatisable un travail de réglage d'hyperparamètres traditionnellement manuel et chronophage, grâce à l'optimisation bayésienne qui converge plus vite qu'une recherche par grille ou aléatoire. Ax, développé par Meta, appartient à une famille d'outils d'optimisation expérimentale utilisés en interne pour des tests A/B et des réglages de systèmes à grande échelle, avant d'être publiés en open source. La Client API mise en avant dans ce tutoriel simplifie l'ancienne interface d'Ax en unifiant la définition de l'espace de recherche, le lancement des essais et la sauvegarde de l'expérience pour une réutilisation ultérieure. Ce type d'outil s'inscrit dans une tendance plus large de l'écosystème du machine learning, où des bibliothèques comme Optuna ou Ray Tune occupent un terrain voisin, autour de l'optimisation bayésienne et multi-objectif. À mesure que les modèles doivent répondre à des contraintes multiples, précision, coût de calcul, empreinte mémoire ou latence, ces frameworks d'expérimentation adaptative devraient prendre une place croissante dans les chaînes de production des équipes de data science, qui cherchent à industrialiser des étapes encore souvent traitées de façon artisanale.

Prime Intellect publie Prime Agent, un harnais RLM open source où les sous-agents sont des appels de fonction dans un noyau IPython persistant

Prime Intellect a publié en open source Prime Agent, un environnement de codage autonome sous licence MIT construit autour de deux concepts, le Recursive Language Model et le Continual Harness. L'outil remplace les schémas d'outils fixes et la compression de contexte, qui obligent habituellement un modèle à contourner sa propre architecture, par un noyau Python persistant et un harnais que l'agent peut réécrire lui-même. Associé au modèle Opus 5, il atteint 95,5% sur le benchmark ARC-AGI-3, dépassant la référence humaine experte de 95,4%, avec un score Best@3 de 99,97% et les 183 niveaux du test résolus intégralement sur trois exécutions. L'installation tient en une seule commande sous Linux ou macOS. Prime Agent fonctionne avec des abonnements existants (Codex, Claude Pro/Max, GitHub Copilot), des clés API (Anthropic, OpenAI, Google, Groq, Fireworks, Prime Inference), Azure OpenAI, Amazon Bedrock, ou des modèles auto-hébergés comme GLM-5.2 via vLLM, Ollama ou LM Studio. Ce lancement cible en priorité les grandes équipes d'ingénierie et les laboratoires de recherche en IA disposant déjà de conteneurs d'intégration continue isolables, Prime Intellect précisant que ses processus ne constituent pas un bac à sable de sécurité et exigent donc des environnements jetables ou restreints. Les secteurs visés incluent les outils pour développeurs, les semi-conducteurs et le calcul haute performance, la simulation, la recherche quantitative et les laboratoires d'IA, pour des usages comme les refontes de code nocturnes validées par des tests, la construction de logiciels à partir de spécifications, l'optimisation de noyaux GPU ou l'évaluation d'agents sur des tâches de plusieurs heures. Un modèle dans Prime Agent ne dispose que d'un seul outil, ce noyau Python, dans lequel compétences et sous-agents sont préchargés comme des modules, la fonction rlm() lançant une session enfant sans bloquer la conversation principale. Le Continual Harness formalise cet état interne en quatre éléments modifiables par l'agent : prompt, sous-agents, compétences et mémoire. La commande /refine permet de relire sa propre trajectoire et d'appliquer la modification la plus ciblée possible, tout en conservant un prompt système de base immuable et la possibilité d'annuler une mise à jour défaillante. Un démon en arrière-plan gère toutes les sessions actives et permet de s'y reconnecter après une interruption, un agent en panne pouvant être restauré à partir du journal de sa trajectoire. Sur une suite de tests à long contexte, la version utilisant le modèle ouvert GLM-5.2 dépasse Pi-mono sur huit évaluations sur neuf, tandis qu'avec Opus 5 elle devance Claude Code sur six évaluations sur neuf et, avec GPT-5.6 Sol, bat Codex dans les mêmes proportions. Parmi les cas d'usage cités, l'agent a reconstruit en Rust des émulateurs de la SEGA Genesis et de la Game Boy Color sans documentation de référence, et atteint un score de production supérieur à 100 000 dans le jeu Factorio en quelques heures.

L'assistant IA de Writer réduit la consommation de tokens de près de 40 %, sans perte de précision

Writer, l'entreprise d'IA générative dirigée par le CTO et cofondateur Waseem AlShikh, a publié une étude qui s'attaque à un problème central de l'IA en entreprise : l'explosion des coûts liés à la consommation de tokens dans les systèmes agentiques. Les chercheurs se sont penchés sur le « harness », la couche d'orchestration qui entoure le modèle de langage et gère le routage, le formatage et l'exécution des tâches, plutôt que sur le modèle lui-même. En optimisant cette couche via la mise en cache des prompts systèmes, la compaction de l'historique des interactions, une meilleure gestion des outils, des stratégies de récupération d'information plus précises et une gestion des erreurs plus rigoureuse, l'équipe a obtenu une réduction du coût par tâche réussie allant jusqu'à 61%, avec une baisse de près de 40% du nombre de tokens consommés par tâche, sans dégrader la qualité des résultats et sans modifier ni réentraîner le modèle de fondation sous-jacent. Cette avancée répond directement à ce que Writer qualifie de « tokenmaxxing », une pratique répandue chez les développeurs qui consiste à s'appuyer sur des fenêtres de contexte massives et une consommation de tokens à outrance plutôt que de concevoir des workflows intelligents. Selon AlShikh, cette habitude s'est imposée parce qu'elle constitue la solution la plus rapide dans l'instant, calquée sur les réflexes du développement logiciel traditionnel: générer, exécuter, échouer, puis renvoyer l'erreur et davantage de contexte dans la fenêtre avant de réessayer. Le problème est que la baisse du prix par token masque une inefficacité croissante: dans les workflows agentiques, le nombre de tokens par tâche augmente à chaque boucle, car le contexte grandissant est retransmis intégralement à chaque itération, et cette croissance dépasse largement la vitesse à laquelle les prix chutent. Résultat, des équipes envoient par défaut des tâches simples vers des modèles premium coûteux, utilisent le LLM comme un moteur de recherche paresseux en saturant le contexte de documents bruts, ou laissent des boucles agentiques non maîtrisées s'emballer dès qu'une erreur survient, ce qui pèse lourdement sur les factures compte tenu du coût plus élevé des tokens de sortie par rapport aux tokens d'entrée chez tous les grands fournisseurs. L'étude souligne que les techniques d'efficacité existantes, comme la compression de prompts, le raisonnement budgétisé, la génération de code minimal ou le décodage spéculatif, échouent car elles optimisent le modèle isolément sans jamais s'attaquer à la couche d'orchestration elle-même. En démontrant que des gains substantiels sont possibles simplement en repensant le harness, sans toucher au modèle de fondation ni engager de coûts de fine-tuning, les chercheurs de Writer offrent aux équipes d'ingénierie un levier directement actionnable et sous leur contrôle total. Dans un contexte où l'adoption de l'IA agentique en entreprise se heurte de plus en plus à un paradoxe de rentabilité, où les expériences produit fonctionnent bien mais les coûts de déploiement en production deviennent insoutenables, cette approche pourrait inciter davantage d'acteurs du secteur à concentrer leurs efforts d'optimisation sur l'architecture des systèmes plutôt que sur la seule course aux modèles les plus puissants ou aux prix de tokens les plus bas.

L'annonce de l'expérience de catalogue à base d'agents dans Amazon Quick

Amazon vient d'annoncer l'Agentic Catalog Experience, une nouvelle fonctionnalité de son outil d'analytique Amazon Quick permettant de connecter directement les catalogues de données d'entreprise (comme AWS Glue Data Catalog, Databricks Unity Catalog, Snowflake Horizon, Collibra ou dbt) à l'assistant conversationnel intégré, le Quick Agent. Concrètement, cet agent peut désormais résumer l'ensemble d'un catalogue de données en langage naturel, dialoguer avec les analystes pour identifier les tables et relations pertinentes selon leur cas d'usage, et évaluer si les métadonnées disponibles sont suffisantes. Une fois la confirmation donnée dans la conversation, il crée automatiquement des jeux de données et des sujets (« Topics ») en héritant directement des définitions, descriptions et relations déjà établies en amont, sans configuration manuelle ni ressaisie. Cette annonce répond à un problème très concret vécu par les équipes data des grandes entreprises : la richesse sémantique déjà construite dans les catalogues amont (descriptions de tables et colonnes, clés primaires et étrangères, glossaires métier, définitions de métriques) ne se propageait pas jusqu'aux outils utilisés par les métiers. Résultat, les analystes devaient recréer manuellement ces définitions dans Amazon Quick, avec le risque de désaccords sur des notions aussi basiques que le sens exact de « chiffre d'affaires » (brut ou net) ou de « client actif » (achat dans les 30 ou 90 derniers jours). Amazon indique que ce processus manuel faisait passer le délai entre la donnée brute et une décision exploitable de quelques heures à plusieurs semaines, et que les définitions recréées à la main devenaient rapidement obsolètes dès que les définitions amont évoluaient, ce qui érodait la confiance dans les réponses générées par l'IA et les tableaux de bord. Cette évolution s'inscrit dans une tendance plus large du secteur de l'analytique augmentée par l'IA générative, où la qualité d'une réponse en langage naturel sur des données (dite Text2SQL) dépend directement du contexte métier disponible pour l'interpréter correctement. Amazon mise ainsi sur une approche où les outils d'IA cessent de fonctionner en silo et deviennent nativement capables de consommer la gouvernance et la sémantique définies par les équipes data, plutôt que de dupliquer ce travail. Cette stratégie place Amazon Quick en concurrence directe avec d'autres plateformes d'analytique conversationnelle qui cherchent également à réduire l'écart entre gouvernance des données d'entreprise et interfaces destinées aux utilisateurs finaux, un enjeu central alors que de plus en plus d'organisations cherchent à généraliser l'accès aux données via des assistants IA plutôt que via des tableaux de bord classiques.

💬 Ce qui compte dans cette annonce, c'est pas le chat en langage naturel, c'est la plomberie derrière : la vraie guerre de l'IA en entreprise se joue sur qui possède la définition de « chiffre d'affaires » ou de « client actif », pas sur la jolie conversation qui l'affiche ensuite. Amazon a raison de brancher Quick directement sur Glue, Snowflake ou Databricks plutôt que de laisser chaque analyste ressaisir ces règles à la main, parce que c'est justement ce recopiage manuel qui fait dériver les chiffres et flinguer la confiance dans les dashboards. Bonne nouvelle pour la vitesse d'exécution, mais ça enferme un peu plus les boîtes dans l'écosystème AWS, et ça, personne ne le vend comme un coût.