Nvidia réduit de moitié l'usage de tokens des agents de codage avec son système SoL-Pi
Nvidia a présenté SoL-Pi, un système qui réduit de près de moitié la consommation de tokens des agents de codage IA, sans dégrader significativement leurs performances. Concrètement, l'optimisation permet de diminuer l'usage de tokens jusqu'à 49 % sur certains benchmarks. Pour développer ce système, les chercheurs de Nvidia ont utilisé un agent de recherche qui a testé 152 approches différentes à travers plus de 3 000 exécutions, une méthode d'exploration massive et automatisée. Contrairement à une optimisation classique portant sur le modèle de langage lui-même, SoL-Pi agit sur le "harnais" (harness), c'est-à-dire la couche de contrôle intermédiaire qui gère les échanges entre le modèle d'IA et son environnement d'exécution, comme le terminal, les fichiers ou les outils de développement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette avancée est significative car le coût des agents de codage IA dépend directement du nombre de tokens consommés à chaque requête et chaque étape de raisonnement. Une réduction proche de 50 % de cette consommation, sans perte notable de qualité, représente une baisse potentielle importante des coûts d'exploitation pour les entreprises qui déploient ces agents à grande échelle, que ce soit via des API payantes ou des infrastructures propriétaires. Pour les développeurs et les équipes techniques, cela signifie la possibilité de faire tourner des agents plus longtemps ou plus fréquemment pour un budget équivalent, ou de réduire la facture globale des projets existants. Les résultats varient toutefois selon les benchmarks utilisés, les gains étant plus modestes sur certains tests que sur d'autres.
Cette recherche s'inscrit dans une tendance plus large de l'industrie de l'IA consistant à optimiser l'efficacité des agents autonomes sans se limiter à l'amélioration des modèles sous-jacents. Alors que la course aux modèles toujours plus puissants se poursuit chez des acteurs comme OpenAI, Google ou Anthropic, des entreprises comme Nvidia explorent désormais les couches logicielles qui entourent ces modèles, souvent négligées mais déterminantes pour les coûts réels d'utilisation. Cette approche pourrait ouvrir la voie à d'autres optimisations similaires portant sur l'architecture des agents plutôt que sur leur seule capacité brute, un enjeu central alors que les coûts liés à l'IA générative deviennent un frein pour de nombreuses organisations.
Les entreprises européennes déployant des agents de codage IA pourraient réduire indirectement leurs couts d'exploitation, sans lien direct avec une entité française ou une régulation européenne.