Présentation : comprendre la sélection d'outils des agents IA avec Kiji Inspector
Hannes Hapke, de Dataiku, a présenté Kiji Inspector, un outil open source qui applique des autoencodeurs parcimonieux (SAE) directement aux « tokens de décision » des agents d'IA, c'est-à-dire ceux qui déterminent le choix d'un outil précis. Plutôt que de s'en remettre aux explications en chaîne de raisonnement que le modèle produit lui-même, la méthode examine les activations internes du réseau au moment où l'agent sélectionne une action. Pour y parvenir, l'équipe extrait les activations de certaines couches grâce à un moteur vLLM modifié, puis les décompose en caractéristiques interprétables. Elle valide ensuite ces interprétations par ablation causale : on supprime une caractéristique et l'on observe si le choix de l'outil change réellement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
L'enjeu est considérable pour les entreprises qui déploient des agents autonomes en production. Lorsqu'un agent choisit d'interroger une base de données, d'envoyer un courriel ou d'exécuter du code, comprendre la raison de ce choix conditionne la confiance, la conformité et le débogage. Or les justifications en langage naturel produites par les modèles sont souvent des récits plausibles a posteriori, sans lien démontré avec le calcul réellement effectué. Une explication fondée sur des mécanismes internes vérifiés causalement offre une base plus solide pour auditer les décisions, repérer les erreurs de sélection et détecter des dérives de comportement. Les architectes logiciels et les responsables d'ingénierie y trouvent aussi des workflows de supervision applicables en production.
Ce travail s'inscrit dans le courant de l'interprétabilité mécaniste, qui s'est largement appuyé sur les autoencodeurs parcimonieux depuis les travaux d'Anthropic et d'autres laboratoires sur l'extraction de caractéristiques dans les grands modèles de langage. La plupart de ces recherches restaient toutefois centrées sur des modèles étudiés en laboratoire plutôt que sur des systèmes agentiques en exploitation. En ciblant spécifiquement la sélection d'outils, Dataiku cherche à combler cet écart et à rendre l'explicabilité compatible avec les contraintes d'infrastructure réelles. La publication en open source ouvre la voie à des contributions externes et à une adoption par d'autres équipes, tandis que la pression réglementaire sur la transparence des systèmes d'IA devrait renforcer la demande pour ce type d'outils.
Dataiku, entreprise d'origine française, propose un outil open source d'interprétabilité des agents IA utile à la conformité avec les exigences de transparence de l'AI Act.