Supabase lance Evals, un benchmark open source qui évalue Claude Code, Codex et OpenCode sur des tâches Supabase réelles
Supabase a mis en open source, sous licence Apache-2.0, son propre outil d'évaluation baptisé Supabase Evals, un cadre de test qui mesure la capacité des agents de codage IA à construire des applications avec Supabase. Le framework fait tourner des agents comme Claude Code, Codex et OpenCode sur des tâches réelles : créer un schéma de base de données, déboguer une Edge Function défaillante ou corriger une politique RLS (row level security) cassée. Les résultats alimentent un classement public sur supabase.com/evals ainsi qu'une suite de régression interne surveillée quotidiennement. Le dépôt supabase/evals est disponible dès maintenant et s'exécute en local via pnpm, à condition de disposer d'un démon Docker, de clés API des fournisseurs de modèles et de ports libres entre 54321 et 54329. L'équipe a structuré ses scénarios autour de trois axes : les produits concernés (base de données, authentification, stockage, Edge Functions, temps réel, tâches planifiées, files d'attente, vecteurs, API de données), les sujets techniques (RLS, sécurité, migrations, SQL, SDK, observabilité, auto-hébergement, tests, schéma déclaratif) et les étapes du travail (construction, déploiement, investigation, résolution). Chaque scénario, tiré de tickets de support, de rapports de bugs ou d'issues GitHub réels, tourne dans un environnement complet, une pile proche de l'hébergement Supabase et un projet CLI local dans des conteneurs, où les agents appellent le véritable serveur MCP et la CLI réelle. La notation combine des vérifications déterministes et un jugement par un autre modèle, avec un seul essai de rattrapage autorisé avant la note finale.
Cet outil répond à un besoin concret pour les équipes qui déploient des agents IA en production : vérifier qu'un agent ne casse rien avant de le laisser toucher à une base de données réelle. Dans les secteurs régulés comme la fintech ou la santé, une politique RLS mal écrite par un agent n'est pas un simple bug, c'est un incident de sécurité susceptible d'exposer des données sensibles. En publiant un classement comparatif entre agents, Supabase donne aux équipes techniques un moyen objectif de choisir quel harnais d'agent utiliser, tout en se dotant d'un outil interne pour tester ses propres changements de documentation ou de compétences avant de publier une nouvelle version de son SDK. Les scénarios de régression, renouvelés chaque jour sans affecter les scores publics, permettent de détecter rapidement si une évolution du produit ou de la documentation dégrade les performances des agents, un usage central à mesure que le développement assisté par IA se généralise dans les équipes produit.
Ce lancement illustre une tendance plus large : les fournisseurs d'infrastructure cherchent désormais à démontrer, plutôt qu'à simplement promettre, la fiabilité des agents IA sur leurs plateformes. Le billet de lancement de Supabase, publié le 31 juillet 2026, détaille déjà des résultats révélant que Codex, propulsé par GPT-5.6, consulte en moyenne huit pages de documentation par scénario contre seulement deux pour Claude Code, ce dernier ne vérifiant la documentation que dans moins de 40% des scénarios même quand les compétences Supabase sont chargées. Autre enseignement notable, une simple réécriture de la description de la compétence sur les bonnes pratiques Postgres a fait passer son taux d'activation d'environ une session sur dix à 60%, preuve que la formulation des instructions données aux agents pèse autant que leurs capacités brutes. Ces chiffres, encore provisoires, sont amenés à évoluer à mesure que les modèles progressent, et Supabase invite à consulter la page en direct plutôt que ces résultats figés. Le projet reste disponible sur GitHub sous licence Apache-2.0, ouvrant la voie à des contributions externes pour étendre la couverture des scénarios testés.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




