Supabase lance Evals, un benchmark open source qui évalue Claude Code, Codex et OpenCode sur des tâches Supabase réelles
Supabase a mis en open source, sous licence Apache-2.0, son propre outil d'évaluation baptisé Supabase Evals, un cadre de test qui mesure la capacité des agents de codage IA à construire des applications avec Supabase. Le framework fait tourner des agents comme Claude Code, Codex et OpenCode sur des tâches réelles : créer un schéma de base de données, déboguer une Edge Function défaillante ou corriger une politique RLS (row level security) cassée. Les résultats alimentent un classement public sur supabase.com/evals ainsi qu'une suite de régression interne surveillée quotidiennement. Le dépôt supabase/evals est disponible dès maintenant et s'exécute en local via pnpm, à condition de disposer d'un démon Docker, de clés API des fournisseurs de modèles et de ports libres entre 54321 et 54329. L'équipe a structuré ses scénarios autour de trois axes : les produits concernés (base de données, authentification, stockage, Edge Functions, temps réel, tâches planifiées, files d'attente, vecteurs, API de données), les sujets techniques (RLS, sécurité, migrations, SQL, SDK, observabilité, auto-hébergement, tests, schéma déclaratif) et les étapes du travail (construction, déploiement, investigation, résolution). Chaque scénario, tiré de tickets de support, de rapports de bugs ou d'issues GitHub réels, tourne dans un environnement complet, une pile proche de l'hébergement Supabase et un projet CLI local dans des conteneurs, où les agents appellent le véritable serveur MCP et la CLI réelle. La notation combine des vérifications déterministes et un jugement par un autre modèle, avec un seul essai de rattrapage autorisé avant la note finale.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cet outil répond à un besoin concret pour les équipes qui déploient des agents IA en production : vérifier qu'un agent ne casse rien avant de le laisser toucher à une base de données réelle. Dans les secteurs régulés comme la fintech ou la santé, une politique RLS mal écrite par un agent n'est pas un simple bug, c'est un incident de sécurité susceptible d'exposer des données sensibles. En publiant un classement comparatif entre agents, Supabase donne aux équipes techniques un moyen objectif de choisir quel harnais d'agent utiliser, tout en se dotant d'un outil interne pour tester ses propres changements de documentation ou de compétences avant de publier une nouvelle version de son SDK. Les scénarios de régression, renouvelés chaque jour sans affecter les scores publics, permettent de détecter rapidement si une évolution du produit ou de la documentation dégrade les performances des agents, un usage central à mesure que le développement assisté par IA se généralise dans les équipes produit.
Ce lancement illustre une tendance plus large : les fournisseurs d'infrastructure cherchent désormais à démontrer, plutôt qu'à simplement promettre, la fiabilité des agents IA sur leurs plateformes. Le billet de lancement de Supabase, publié le 31 juillet 2026, détaille déjà des résultats révélant que Codex, propulsé par GPT-5.6, consulte en moyenne huit pages de documentation par scénario contre seulement deux pour Claude Code, ce dernier ne vérifiant la documentation que dans moins de 40% des scénarios même quand les compétences Supabase sont chargées. Autre enseignement notable, une simple réécriture de la description de la compétence sur les bonnes pratiques Postgres a fait passer son taux d'activation d'environ une session sur dix à 60%, preuve que la formulation des instructions données aux agents pèse autant que leurs capacités brutes. Ces chiffres, encore provisoires, sont amenés à évoluer à mesure que les modèles progressent, et Supabase invite à consulter la page en direct plutôt que ces résultats figés. Le projet reste disponible sur GitHub sous licence Apache-2.0, ouvrant la voie à des contributions externes pour étendre la couverture des scénarios testés.
Pas d'impact direct sur la France/UE
Codex qui checke huit pages de doc contre deux pour Claude Code, ça en dit long sur les stratégies très différentes des harnais d'agents, et ça se vérifie enfin au lieu de se raconter. Le vrai chiffre choc c'est la réécriture de la description d'une compétence qui fait passer le taux d'activation de 10% à 60% : les agents obéissent à la formulation, pas juste au modèle sous-jacent. Reste que c'est Supabase qui note ses propres élèves sur son propre terrain, alors sur la comparabilité avec d'autres frameworks il faut rester prudent.