Optimisation de prompts par réflexion avec GEPA : multi-composants, feedback structuré et validation

Microsoft SkillOpt : optimisation de prompts, analyse d'évolution des compétences et comparaison aux références

Microsoft a publié SkillOpt, un framework open source conçu pour optimiser automatiquement les "skills", des prompts structurés qui guident le comportement des modèles de langage. Un tutoriel de référence détaille son implémentation complète sur le benchmark SearchQA, un jeu de questions-réponses fondé sur des extraits de documents. Le pipeline utilise GPT-4o comme modèle optimiseur et GPT-4o-mini comme modèle cible, en s'appuyant sur l'API OpenAI via une compatibilité Azure. Le workflow d'optimisation enchaîne six étapes distinctes : rollout (génération de réponses), reflection (analyse des erreurs), aggregation (consolidation des observations), selection (choix des meilleures améliorations), updating (réécriture du prompt) et validation-based gating (validation avant d'accepter chaque nouvelle version du skill). Le tutoriel tourne avec un échantillon limité à 24 exemples, sur deux epochs avec des batchs de 8, pour contenir les coûts en tokens. Ce que rend possible SkillOpt est significatif : plutôt que d'ajuster les poids d'un modèle par entraînement classique, coûteux et nécessitant des GPU, il optimise uniquement le texte du prompt par itération automatique. Cela permet à n'importe quel développeur d'améliorer les performances d'un modèle sur une tâche précise sans toucher à l'infrastructure d'entraînement. L'outil mesure l'évolution de la précision en "hard accuracy" et "soft accuracy" à chaque cycle, offre un suivi de l'usage cumulatif en tokens, et visualise l'historique des modifications du skill. Cette transparence donne aux équipes un contrôle fin sur le compromis entre coût et gain de performance, un avantage concret pour les produits IA en production. SkillOpt s'inscrit dans une tendance plus large portée par Microsoft Research : l'optimisation automatique de prompts, parfois appelée "prompt engineering automatisé" ou APO (Automatic Prompt Optimization). Des travaux antérieurs comme DSPy de Stanford ou ProTeGi avaient ouvert cette voie, mais SkillOpt mise sur une architecture modulaire et une compatibilité avec les backends Azure OpenAI et OpenAI standard pour maximiser l'adoption en entreprise. La publication du code sur GitHub sous forme de dépôt clonable avec dépendances pip illustre la volonté de Microsoft d'ancrer cet outil dans les workflows MLOps existants. L'enjeu à terme est d'industrialiser l'amélioration continue des agents IA sans intervention humaine à chaque itération, une capacité qui deviendra centrale à mesure que les entreprises déploient des systèmes LLM à grande échelle.

Cisco AI présente FAPO : optimisation des prompts par pipeline, attribution des erreurs par étape et orchestration Claude Code

Cisco AI a dévoilé FAPO, pour Fully Automated Prompt Optimization, un système d'optimisation automatisée des pipelines LLM orchestré par des agents Claude Code. Le principe est simple : l'utilisateur fournit un jeu de données et une première ébauche de prompt, et FAPO prend en charge le reste, évaluation, classification des erreurs, proposition de variantes, validation et itération, jusqu'à atteindre un seuil de précision cible. Le projet est publié en open source sous licence Apache 2.0 et supporte également Codex comme agent d'optimisation alternatif. Dans les évaluations internes de Cisco, FAPO surpasse GEPA, l'optimiseur de prompts de référence, sur 15 des 18 combinaisons modèle-benchmark testées, avec un gain moyen de 14,1 points de pourcentage. Sur les benchmarks HoVer et IFBench, où FAPO a escaladé jusqu'à modifier la structure du pipeline, l'écart atteint +33,8 points de pourcentage sur six paires comparées. Ce que FAPO change concrètement, c'est la façon dont les équipes d'ingénierie déboguent des pipelines multi-étapes. Jusqu'ici, lorsqu'un pipeline LLM renvoie une mauvaise réponse, identifier quelle étape a fauté exige d'inspecter manuellement les sorties intermédiaires, un travail fastidieux et peu fiable. FAPO introduit une attribution d'échec au niveau de chaque étape, classant les pannes en quatre catégories : défaillances de récupération, défaillances en cascade, défaillances de format, et défaillances de raisonnement. Cette granularité permet au système de cibler précisément ce qui doit changer. L'optimisation procède par paliers croissants, d'abord les formulations de prompts, puis les paramètres comme la température ou le retrieval_k, enfin la topologie du pipeline lui-même, par exemple en ajoutant un nœud de réflexion ou en adoptant un pattern ReAct. Chaque proposition est validée par un agent indépendant, avec des garde-fous contre le surapprentissage : inspection limitée au jeu d'entraînement, fichiers de variantes immuables, et un ensemble de test réservé à une évaluation finale en une seule passe. Ce lancement s'inscrit dans une dynamique plus large d'industrialisation de l'ingénierie des prompts. Small wording changes can swing accuracy by 20 percent, note Cisco, un constat qui illustre à quel point l'optimisation manuelle reste fragile et non scalable. FAPO est construit autour d'un moteur central nommé Hephaestus, agnostique au domaine, qui exécute des chaînes modélisées comme des graphes d'état LangGraph. L'architecture multi-tenant permet d'optimiser plusieurs tâches en parallèle sans interférence. Les trois fournisseurs supportés nativement sont OpenAI, Baseten et SageMaker. En positionnant Claude Code comme chef d'orchestre de ce cycle fermé, Cisco propose une vision où l'agent IA ne génère plus seulement du code, mais optimise activement d'autres systèmes IA, une étape vers des pipelines capables de s'améliorer de façon autonome.

💬 Ce que FAPO résout vraiment, c'est pas l'écriture de prompts, c'est le débogage de pipeline multi-étapes, un truc que tout le monde fait à la main aujourd'hui avec des logs à fouiller. Classer les pannes en quatre types (récupération, cascade, format, raisonnement) et cibler précisément quelle étape corriger, c'est le genre de granularité qu'on n'avait pas dans les outils open source. Les +14 points sur les benchmarks Cisco, bon, c'est interne, faut rester prudent, mais la direction est claire.

Implémentation pratique de systèmes multi-agents avec SmolAgents : exécution de code, appels d'outils et orchestration dynamique

SmolAgents, le framework minimaliste d'agents IA publié par HuggingFace, fait l'objet d'un tutoriel technique détaillé montrant comment construire des systèmes multi-agents prêts pour la production. La version stable utilisée est la 1.24.0, couplée au modèle OpenAI gpt-4o-mini via l'interface LiteLLM. Le tutoriel couvre l'ensemble de la chaîne : installation des dépendances (smolagents, duckduckgo-search, wikipedia), configuration sécurisée des clés API, création d'outils personnalisés (conversion de températures, vérification de nombres premiers, stockage clé-valeur en mémoire), puis orchestration de plusieurs agents collaborant entre eux. Deux paradigmes d'agents sont explorés en parallèle : le CodeAgent, qui génère et exécute du code Python dans un environnement sandbox, et le ToolCallingAgent, qui appelle des outils de façon structurée. Depuis la version 1.8.0, la gestion multi-agents se fait en passant directement des sous-agents via le paramètre managedagents, la classe ManagedAgent ayant été supprimée. Ce type de tutoriel révèle l'état réel des pratiques en matière de développement d'agents IA en 2025 : les développeurs cherchent des frameworks légers, modulaires et transparents, en réaction à la complexité des solutions précédentes comme LangChain ou AutoGen. SmolAgents répond à ce besoin en exposant une boucle d'exécution simple (tâche, génération de code, exécution, observation, itération jusqu'à finalanswer()), tout en permettant une gestion dynamique des outils via un dictionnaire agent.tools modifiable à la volée. Pour les équipes qui construisent des applications IA en production, cette approche réduit les abstractions inutiles et facilite le débogage, deux points critiques lorsque les agents opèrent dans des environnements réels avec des données sensibles ou des contraintes de latence. L'essor de SmolAgents s'inscrit dans une tendance plus large : après l'enthousiasme pour les agents autonomes "tout-en-un", l'industrie converge vers des architectures modulaires où des agents spécialisés collaborent plutôt qu'un seul agent tente de tout faire. HuggingFace, fort de sa communauté open-source et de son écosystème de modèles, positionne SmolAgents comme l'alternative légère aux frameworks propriétaires, compatible avec des LLMs locaux ou des API tierces. La suppression de ManagedAgent en v1.8.0 illustre la maturité croissante du framework et sa volonté de simplifier l'API à mesure que les cas d'usage se stabilisent. Les prochaines évolutions attendues portent sur l'intégration native d'outils de recherche, de mémoire persistante et de sandboxing renforcé, des briques essentielles pour déployer des agents dans des contextes d'entreprise.

💬 SmolAgents fait exactement ce qu'il promet : rester petit. Après des mois à me battre avec LangChain sur des trucs qui auraient dû prendre 10 lignes, voir un framework qui expose sa boucle d'exécution à plat, sans magie cachée, c'est presque reposant. Reste à voir si ça tient quand les agents tournent avec de vraies contraintes de latence et des données sensibles, mais c'est le bon pari.

Plongée dans le code : UI à base d'agents, UI générative, synchronisation d'état et validation par interruption

Un tutoriel récemment publié propose de construire une pile complète d'interfaces utilisateur agentiques (Agentic UI) en Python pur, sans recourir à des frameworks externes. L'implémentation couvre le protocole AG-UI, un flux d'événements composé d'environ 16 types diffusés en temps réel via Server-Sent Events (SSE), parmi lesquels des événements de démarrage et fin de session, de messages texte, d'appels d'outils et de synchronisation d'état. Le tutoriel intègre également A2UI, une couche déclarative permettant de définir des interfaces graphiques sous forme de JSON structuré plutôt que de code exécutable. L'ensemble est connecté à un modèle de langage (GPT-4o-mini d'OpenAI dans les exemples de code) capable de générer des interfaces complètes à partir de descriptions en langage naturel. L'enjeu central de cette approche réside dans la synchronisation entre l'état de l'agent et celui de l'interface utilisateur, assurée via JSON Patch, une norme RFC permettant des mises à jour incrémentales et précises de structures de données. Le tutoriel aborde aussi les flux d'approbation interrompus, un mécanisme qui impose une validation humaine pour les actions critiques avant qu'un agent ne les exécute, principe connu sous le nom de "human-in-the-loop". Pour les développeurs, cette architecture ouvre la voie à des interfaces capables de s'adapter dynamiquement au raisonnement d'un agent IA, sans rechargement ni recompilation manuelle. C'est une rupture avec les interfaces statiques traditionnelles : l'UI devient un artefact vivant, piloté par l'état cognitif du modèle. Cet article s'inscrit dans une effervescence croissante autour des systèmes multi-agents et des protocoles qui leur sont associés. AG-UI émerge comme une tentative de standardisation, à l'image du Model Context Protocol (MCP) d'Anthropic pour la gestion du contexte, ou d'Agent2Agent de Google pour la communication inter-agents. L'objectif commun est de fournir une couche d'interopérabilité entre agents et interfaces, indépendamment du modèle sous-jacent. En construisant cet outillage depuis zéro, le tutoriel cherche à démystifier ces protocoles souvent masqués par des abstractions de haut niveau comme LangGraph ou CrewAI. À mesure que les agents IA passent du laboratoire à la production, la question de leur observabilité et de leur contrôlabilité devient critique, et des ressources pédagogiques de ce type jouent un rôle de formation essentiel pour les ingénieurs qui bâtissent ces systèmes.