Datadog ajoute l'expérimentation en production à l'observabilité des agents IA
Datadog étend sa plateforme Agent Observability avec une fonctionnalité baptisée Online Experiments, qui permet aux équipes d'ingénierie de comparer plusieurs versions d'un agent d'IA sur le trafic réel de production, plutôt que de s'en remettre uniquement à des jeux de données d'évaluation prédéfinis. L'outil associe les scores d'évaluation de l'agent à des mesures opérationnelles comme la latence, la consommation de jetons, le coût d'exécution et les erreurs. Le trafic est réparti aléatoirement entre une version de contrôle et une variante modifiée, et les Feature Flags gèrent l'allocation, ce qui permet d'exposer un changement à un faible pourcentage d'utilisateurs avant un déploiement plus large. Dans l'exemple détaillé par Datadog, une expérience a opposé GPT-5.6 Luna à GPT-6 Luna, avec un partage égal du trafic. Un évaluateur fondé sur un LLM notait la qualité des investigations de 1 à 5, selon l'exactitude, l'exhaustivité et le caractère étayé des conclusions. Le nouveau modèle affichait une baisse de 44,3 % du coût estimé, avec des scores de qualité quasi identiques, à 3,84 et 3,86. Les durées d'exécution et les erreurs de workflow semblaient en hausse, mais les intervalles de confiance étaient trop larges pour conclure à une régression avérée.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
L'enjeu est concret pour les équipes qui développent des agents : un changement performant en environnement de test peut se comporter très différemment face à des requêtes imprévisibles. Les évaluations hors ligne ne valent que par la représentativité de leurs données et de leurs critères de notation, et ne détectent pas les nouveaux usages, les demandes inattendues ou l'évolution des réponses des outils. Les compromis sont fréquents : un modèle moins cher peut exiger davantage de nouvelles tentatives, une stratégie de recherche améliorée peut allonger les temps d'exécution. Datadog relie donc les résultats de chaque expérience aux traces individuelles de l'agent, ce qui permet d'inspecter les appels d'outils, leurs arguments et les résultats renvoyés. Dans l'exemple, cette analyse a révélé que le nouveau modèle fournissait plus souvent des paramètres invalides aux outils, avant de se rattraper après des essais répétés, un comportement que le score global de qualité ne rendait pas visible. L'entreprise a corrigé la gestion des outils avant de généraliser le changement de modèle.
Cette annonce s'inscrit dans un effort plus large de l'industrie pour fiabiliser l'ingénierie des agents. Des outils comme LangSmith et Langfuse proposent déjà du traçage et de l'évaluation, tandis que des plateformes comme LaunchDarkly gèrent les déploiements progressifs de fonctionnalités. Datadog entend réunir ces dimensions au sein de son écosystème d'observabilité, en liant directement évaluations, expériences en production et preuves d'exécution. Sa thèse est que les expériences en ligne créent une boucle de rétroaction entre la production et les tests de développement : les échecs inattendus, comme les appels d'outils défaillants, alimentent de nouveaux cas de régression hors ligne, et les expériences suivantes vérifient si les correctifs fonctionnent. Le changement de perspective est notable : il ne s'agit plus de savoir si un agent réussit une évaluation figée, mais s'il fait mieux dans des conditions réelles, ce qui pourrait rendre l'expérimentation en production aussi essentielle pour les agents que les tests logiciels traditionnels.