L'agent téléphonique de réservation de restaurant avec le Patter SDK : variables dynamiques, garde-fous, tableaux de latence et tests d'évaluation

Évaluation systématique des agents IA avec Agent-EvalKit

Agent-EvalKit est une boîte à outils open source (licence Apache 2.0) conçue pour évaluer les agents IA de manière systématique, en s'intégrant directement dans les assistants de codage comme Claude Code, Kiro CLI ou Kilo Code. Plutôt que de fonctionner comme une plateforme externe, l'outil s'insère dans l'environnement de développement existant et pilote l'évaluation via des commandes slash telles que /evalkit.plan et /evalkit.data, accompagnées d'instructions en langage naturel. Le toolkit couvre six phases d'évaluation : lecture du code source de l'agent, génération de cas de test ciblés, exécution des évaluations, puis production d'un rapport avec des recommandations d'amélioration pointant vers des emplacements précis dans le code. Il a été conçu et démontré sur un agent de recherche de voyages construit avec le SDK Strands Agents et Amazon Bedrock. Ce type d'outil répond à un angle mort majeur dans le développement d'agents IA : les tests classiques basés sur la vérification des sorties ne suffisent pas. Un agent peut formuler une réponse bien structurée tout en halluciant des faits, parce que ses outils ont renvoyé des résultats vides. Il peut aussi atteindre la bonne conclusion en court-circuitant les étapes de vérification qui garantissent un processus fiable. Ces défaillances, invisibles dans la réponse finale, n'apparaissent qu'en traçant le chemin d'exécution complet : quels outils ont été appelés, quelles données ont été retournées, et si la réponse reflète fidèlement ces données. Agent-EvalKit combine des évaluateurs basés sur du code, rapides et reproductibles, avec des évaluateurs de type "LLM as judge", plus nuancés mais plus coûteux en inférence, pour couvrir trois dimensions distinctes : l'ancrage factuel dans les résultats des outils, la pertinence des appels d'outils, et la cohérence globale de la réponse. La difficulté d'évaluer les agents IA n'est pas nouvelle, mais elle s'est intensifiée à mesure que ces systèmes autonomes s'imposent dans des workflows professionnels critiques. La plupart des équipes ne disposent pas des ressources pour construire from scratch l'infrastructure nécessaire : cas de test avec vérité terrain, instrumentation d'observabilité pour capturer les appels intermédiaires, et métriques adaptées. Agent-EvalKit tente de démocratiser cet accès en faisant de l'assistant de codage l'interface centrale de l'évaluation, évitant ainsi la fragmentation entre outils de développement et outils de test post-déploiement. La vraie valeur revendiquée par le projet est de transformer des scores d'évaluation en recommandations concrètes au niveau du code, là où beaucoup d'efforts d'évaluation s'arrêtent à un tableau de bord de métriques sans suite actionnable.

Créer des agents d'automatisation de tableaux de bord propulsés par l'IA avec le NLP sur Amazon Bedrock AgentCore

Amazon Web Services a dévoilé une solution d'automatisation de tableaux de bord basée sur l'intelligence artificielle, combinant trois de ses services : Amazon Bedrock AgentCore, le framework Strands Agents et Amazon QuickSight. L'architecture repose sur un système multi-agents composé de trois entités spécialisées : un agent de découverte (Find Dashboard Agent) chargé d'explorer les tableaux de bord et leurs métadonnées, un agent de modification (Modify Dashboard Agent) qui exécute les changements de configuration et crée de nouvelles versions, et un agent orchestrateur qui route les requêtes en langage naturel vers les agents appropriés. Concrètement, un analyste peut saisir une instruction comme "Ajoute le champ 'lastname' au tableau de bord testing" et le système interprète, valide et déploie la modification de façon autonome, tout en conservant une version originale pour permettre un retour arrière si nécessaire. L'enjeu est significatif pour les équipes métier : là où les processus traditionnels imposent plusieurs jours d'attente, soumission d'une demande à l'IT, interprétation des besoins, navigation dans la documentation d'API, déploiement, cette approche réduit le délai à quelques secondes. Le modèle de langage Amazon Nova assure la classification des requêtes entre interactions conversationnelles simples et opérations techniques réelles. Les modifications sont validées contre les colonnes disponibles dans les datasets avant exécution, ce qui maintient les contrôles de sécurité et génère des pistes d'audit. Pour les entreprises dont les décisions dépendent de données fraîches et de visualisations actualisées, supprimer ce goulot d'étranglement entre l'expression d'un besoin et sa concrétisation dans un dashboard représente un gain opérationnel direct. Cette solution s'inscrit dans la dynamique plus large d'AWS de rendre Amazon Bedrock AgentCore accessible comme plateforme d'hébergement d'agents en production, sans gestion d'infrastructure. La mémoire de session intégrée (AgentCore Memory) maintient le contexte des conversations, tandis que le module d'observabilité enregistre les décisions des agents et trace les appels API, deux composantes critiques pour déployer des agents autonomes dans des environnements d'entreprise régulés. Le framework Strands Agents, orienté code-first avec intégration native aux services AWS, positionne AWS face à des concurrents comme LangChain ou AutoGen sur le terrain des orchestrateurs d'agents. La prochaine étape logique pour ce type de système serait d'étendre la couverture au-delà de QuickSight vers d'autres services de données, voire de permettre aux agents de proposer eux-mêmes des modifications pertinentes en détectant des anomalies dans les métriques surveillées.

Salesforce CodeGen : générer, valider et reclasser des fonctions Python avec tests et vérifications de sécurité

Salesforce CodeGen est un modèle de génération de code disponible sur Hugging Face, conçu pour produire des fonctions Python à partir de descriptions en langage naturel. Un tutoriel publié récemment présente un pipeline complet autour de ce modèle, allant du chargement du modèle jusqu'à l'export d'artefacts en passant par la validation automatique et le reclassement de candidats. Le workflow s'appuie sur la bibliothèque Transformers d'Hugging Face et PyTorch, avec support GPU via CUDA. Plusieurs variantes du modèle sont proposées selon les ressources disponibles : codegen-350M-mono pour les environnements légers comme Google Colab, codegen-2B-mono pour plus de puissance, et codegen25-7b-mono pour les configurations les plus exigeantes, avec 7 milliards de paramètres. La génération s'effectue avec des paramètres calibrés, notamment une température de 0,35 et un top-p de 0,92, favorisant des sorties précises sans sacrifier toute diversité. Ce type de pipeline dépasse la simple complétion de code : il intègre des étapes de vérification syntaxique, de contrôle de sécurité statique, et de validation par tests unitaires automatisés. L'approche "best-of-N" permet de générer plusieurs candidats pour une même tâche, puis de retenir le meilleur selon des critères objectifs, ce qui améliore significativement la qualité des sorties par rapport à une génération unique. Pour les développeurs et les équipes d'ingénierie, cela représente une voie vers l'automatisation partielle de tâches répétitives, avec des garanties de qualité intégrées. La mesure de complexité cyclomatique via la bibliothèque Radon et l'analyse de tokens via Tiktoken donnent des métriques concrètes sur le code produit, utiles pour des environnements de production où la maintenabilité compte. Salesforce a lancé la famille CodeGen en 2022 comme alternative ouverte à GitHub Copilot, et les modèles sont depuis accessibles librement sur Hugging Face. La montée en puissance des modèles de code open source s'est accélérée avec l'arrivée de DeepSeek Coder, StarCoder 2 et Code Llama, tous positionnés sur le même segment. Ce tutoriel illustre comment des modèles relativement légers, à partir de 350 millions de paramètres, peuvent être intégrés dans des pipelines structurés sans dépendre d'API cloud propriétaires. L'enjeu pour les entreprises est double : réduire les coûts liés aux services comme GPT-4o ou Claude pour la génération de code, et garder le contrôle sur les données traitées. La prochaine étape logique pour ce genre de workflow serait l'intégration dans des environnements d'intégration continue, où la validation automatique de code généré pourrait s'inscrire directement dans les processus de revue.

SkillNet : des agents IA augmentés de compétences pour la recherche, l'évaluation, l'analyse de graphes et la planification

Des chercheurs ont publié un tutoriel complet autour de SkillNet, un framework open source conçu pour augmenter les agents d'intelligence artificielle avec des compétences modulaires et réutilisables. Le système repose sur la bibliothèque Python skillnet-ai, accessible via PyPI, et s'appuie sur une API centralisée hébergée à api.openkg.cn. La démonstration utilise GPT-4o comme modèle par défaut, mais le framework reste compatible avec d'autres LLM. Le workflow présenté couvre l'ensemble du cycle de vie d'une compétence : recherche, installation depuis GitHub, inspection des métadonnées, évaluation qualitative, visualisation sous forme de graphe, et enfin intégration dans un pipeline d'exécution piloté par un agent planificateur. Ce type d'architecture répond à un problème concret qui freine le déploiement des agents IA en production : la difficulté à composer des capacités spécialisées de façon fiable et maintenable. Plutôt que d'entraîner un modèle monolithique pour chaque nouveau besoin, SkillNet permet à un agent de découvrir dynamiquement des compétences existantes, de les filtrer selon des critères de qualité mesurables, et de les assembler en pipeline selon les sous-tâches d'un objectif complexe. L'approche est particulièrement utile pour les équipes qui développent des agents multi-domaines, en réduisant la duplication d'efforts et en rendant les briques fonctionnelles auditables et interchangeables. La recherche sémantique intégrée, avec un seuil de similarité paramétrable, va au-delà de la simple correspondance par mots-clés et permet de trouver des compétences pertinentes même quand le vocabulaire ne correspond pas exactement. SkillNet s'inscrit dans un mouvement plus large visant à standardiser l'écosystème des agents IA, à l'image de ce que npm ou PyPI ont fait pour les bibliothèques logicielles. Le projet est adossé à OpenKG, une initiative académique chinoise spécialisée dans les graphes de connaissances ouvertes, ce qui explique l'orientation vers la représentation des relations entre compétences sous forme de graphe. La dépendance à GitHub comme dépôt de référence pour les skills instalables ancre le framework dans les pratiques existantes des développeurs. L'intégration d'une porte qualité automatisée, évaluant chaque compétence sur plusieurs dimensions avant de l'inclure dans un pipeline, anticipe les besoins des environnements de production où la fiabilité est non négociable. Les suites probables incluent l'émergence d'un registre communautaire de compétences validées et l'intégration avec des orchestrateurs d'agents comme LangGraph ou AutoGen.

💬 C'est le genre de truc qu'on attendait depuis un moment pour sortir des agents monolithiques. SkillNet propose quelque chose de sobre : tu découvres une compétence, tu la passes à une porte qualité, tu l'assembles dans un pipeline. Bon, ça vient d'OpenKG, une initiative académique chinoise, donc faudra voir si l'écosystème prend vraiment ou si ça reste un beau prototype de labo.