JioHotstar compare des bases de connaissances pour les agents de programmation IA
JioHotstar a comparé six approches de récupération de code destinées aux agents de programmation assistés par IA, c'est-à-dire les méthodes qui permettent à un agent de retrouver les bons fichiers et les bonnes fonctions dans une base de code avant de la modifier. L'évaluation s'appuie sur trois dispositifs : le benchmark SWE, CodeScale Bench et un banc d'essai interne de questions-réponses sur le code. Les équipes ont mesuré la précision des réponses, la consommation de jetons et l'impact de la conception des outils. La recherche structurelle s'est montrée performante sur les tâches concrètes et bien délimitées, tandis que la récupération sémantique a surtout aidé lorsque les exigences étaient floues ou formulées en langage courant.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de InfoQ AI. Lire l'article original →
Ces résultats comptent pour toutes les organisations qui déploient des agents de code sur de grands dépôts. Aucune méthode ne domine partout : choisir un seul outil de récupération pour tous les usages expose à des réponses moins justes ou à des coûts inutiles en jetons, donc en calcul et en argent. Les équipes d'ingénierie ont intérêt à associer chaque type de tâche à l'outil le plus adapté, plutôt que de miser sur une solution unique présentée comme universelle.
Le travail s'inscrit dans l'essor rapide des agents de programmation, dont la qualité dépend autant de l'information qu'on leur fournit que du modèle sous-jacent. Les bases de connaissances et les outils de recherche sont devenus un point de différenciation, et les benchmarks publics ne reflètent pas toujours les réalités d'un code d'entreprise, d'où le recours à un test interne. La suite logique serait de combiner recherche structurelle et sémantique, avec un choix dynamique selon la nature de la demande.