Google publie en open source AQuA, un agent qui diagnostique les défaillances des agents IA en production
Google a publié en open source AQuA (Ambient Quality Agent), une implémentation de référence qui analyse les sessions d'agents d'IA en production, vérifie les schémas d'échec récurrents et remonte à leurs causes en les comparant aux révisions du code déployé. L'outil s'attaque aux régressions silencieuses que la supervision d'infrastructure classique laisse passer, par exemple un agent qui ignore les préférences d'un utilisateur ou saute un appel d'outil obligatoire tout en renvoyant une réponse apparemment réussie. AQuA tourne en parallèle de l'agent dans Google Cloud, hors du chemin des requêtes, et lit la télémétrie de Cloud Trace, Cloud Logging ou BigQuery. À chaque exécution, il échantillonne jusqu'à 1 000 sessions récentes et les traite en cinq étapes : échantillonnage, revue, regroupement des constats, vérification des groupes candidats et suivi des problèmes. Les développeurs définissent leurs critères de qualité dans un fichier goal.md et peuvent ajouter des métriques déterministes. L'analyse peut être planifiée, déclenchée après un déploiement ou lancée à la demande.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
Pour l'analyse des causes, AQuA confronte les sessions défaillantes à un instantané immuable du code capturé au moment du déploiement. Son agent de diagnostic repère le code ou les instructions concernés, cite les fichiers et plages de lignes, et propose des modifications lorsque la cause se trouve dans le dépôt. Il peut aussi imputer l'échec à une dépendance externe, à un passage de relais entre outils ou à des données récupérées. Il n'applique aucun correctif et n'ouvre pas de pull request automatiquement. Lors d'un test sur 32 sessions d'une application de voyage multi-agents, Google a obtenu 42 constats répartis en neuf groupes candidats. Le vérificateur, qui examine jusqu'à trois transcriptions complètes par groupe, en a écarté trois faute de preuves, laissant six problèmes confirmés, dont le contournement des vérifications de disponibilité des sièges et la perte de la préférence végétarienne d'un voyageur lors d'une délégation entre agents.
L'enjeu est considérable pour les équipes qui exploitent des agents en production, car ces défaillances ne déclenchent ni erreur ni alerte et s'accumulent sans être vues. Après modification des prompts et rejeu des sessions, les contournements de sélection de sièges sont passés de 15 sessions à deux, les oublis de préférences alimentaires de sept à zéro, et les sessions réussissant tous les contrôles de cinq à 13. Ces chiffres proviennent toutefois d'un rejeu contrôlé et non du trafic réel. Google insiste sur la traçabilité : selon son billet, un constat vaut par ses citations, non par un score de confiance auto-déclaré. Chaque constat renvoie à des traces précises, et toute cause proposée doit pointer vers des lignes valides de l'instantané déployé. Les problèmes sont classés NEW ou RECURRING, puis RESOLVED automatiquement après 14 jours sans nouvelle occurrence.
AQuA s'inscrit dans un écosystème où l'évaluation des agents devient un chantier central. Le service d'évaluation de l'Agent Platform de Google gère déjà les tests de régression et la surveillance de la qualité en production, tandis qu'Arize Phoenix propose du traçage et de l'évaluation en open source. AQuA se distingue en regroupant les échecs de production et en reliant les constats vérifiés au code réellement déployé. Dmytro Aprelenko, responsable ingénierie chez Redcore, a salué sur LinkedIn le besoin d'un diagnostic continu pour détecter tôt ces boucles d'échec dans l'orchestration d'agents. Les limites restent réelles : l'échantillonnage peut manquer des défaillances rares, le rejeu ne reproduit pas toujours l'état externe, et la vérification des groupes ne garantit pas que chaque session présente exactement le même défaut.
Les équipes européennes exploitant des agents IA sur Google Cloud peuvent utiliser cet outil open source pour détecter les régressions silencieuses en production.