Anthropic ajoute des évaluations de plugins à Claude Code : 6 types d'évaluateurs, une base sans plugin et un contrôle CI pour les skills
Anthropic a publié un nouveau flux d'évaluation de plugins pour Claude Code, accessible via la commande claude plugin eval à partir de la version 2.1.269 de l'outil. Le système fonctionne avec tout répertoire contenant un manifeste plugin.json (ou .claude-plugin/plugin.json) ou un plugin de type skills-directory. Chaque cas de test vit dans un dossier evals/, avec un fichier prompt.md et un sous-dossier graders/ contenant les critères de notation. Six types de graders existent : quatre sont gratuits car calculés directement depuis la transcription et les fichiers sur disque (regex, toolused, toolorder, file_exists), tandis que deux appellent un modèle juge et sont facturés (llm, qui note selon des critères rédigés en prose, et baseline, qui compare à une réponse de référence). La commande claude plugin eval init génère automatiquement les premiers cas et graders en analysant le plugin. Par défaut, chaque cas tourne deux fois, avec et sans le plugin chargé, et la différence de score, notée Δ, mesure la contribution réelle du plugin. L'exemple fourni dans la documentation montre un score de 1,00 avec le plugin contre 0,33 sans, soit un Δ de +0,67 sur 6 exécutions, pour un coût estimé de 0,41 dollar et 74 secondes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cet outil répond à un problème que les développeurs de plugins ne pouvaient pas mesurer jusqu'ici : est-ce que la compétence (skill) se déclenche réellement sur une formulation naturelle, survit-elle à une modification du code ou à un changement de modèle, et fait-elle mieux qu'un modèle nu sans plugin. Anthropic souligne que le problème le plus fréquemment détecté est un Δ proche de zéro combiné à l'échec du grader tool_used: Skill, ce qui révèle que Claude ne choisit tout simplement pas la compétence proposée. C'est un défaut invisible pour claude plugin validate, qui ne vérifie que la syntaxe et le schéma du manifeste, pas le comportement réel. Pour les équipes qui construisent des écosystèmes de plugins ou de compétences autour de Claude Code, cela transforme un processus jusque-là artisanal et subjectif en un test reproductible et chiffré, intégrable directement dans un pipeline d'intégration continue.
L'intégration en CI est explicitement prise en charge via des options comme --threshold (seuil de score minimal), --max-cost-usd (plafond de dépense), --trust-plugin (nécessaire pour exécuter un dépôt non vérifié sans terminal interactif, sinon échec avec code de sortie 1), ainsi que le choix du modèle principal et du modèle juge, par exemple claude-sonnet-5 et claude-haïku-4-5. Les résultats sont stockés sous evals/results/<horodatage>/report.html avec le détail des verdicts par grader, et peuvent être publiés sur claude.ai sauf si l'option --no-publish est activée. Anthropic prévient que les erreurs liées aux limites d'usage peuvent artificiellement simuler une régression dans les scores. Cette initiative s'inscrit dans la montée en maturité de l'écosystème de plugins et de compétences de Claude Code, où la fiabilité du déclenchement des compétences devient un enjeu central à mesure que les entreprises construisent des extensions personnalisées sur la plateforme.
Pas d'impact direct sur la France/UE