Le système de recherche automatisée ERNIE Evolve de Baidu bat les records de NanoChat et NanoGPT
Baidu a dévoilé ERNIE Evolve, un système de recherche automatisée qui améliore le code d'entraînement et d'inférence de modèles d'IA. À partir d'un dépôt de code, d'un objectif et de critères d'évaluation, il choisit des pistes de recherche, modifie le code et lance des expériences. Seules les modifications validées par un évaluateur caché et par un relecteur indépendant sont conservées. Sur les benchmarks publics, il atteint 0,8763 de BPB en validation sur NanoChat AutoResearch (5 minutes, un seul GPU), contre 0,8878 pour (auto)²-research, 0,9015 pour Hyra-1.0 de Tencent Hunyuan et 0,9109 pour Recursive. Sur la piste 1 du NanoGPT Speedrun, il atteint la perte cible en 38,9 secondes sur 8 H100, contre 39,9 secondes pour le record précédent. Sur la piste 3, il y parvient en 2 590 étapes au lieu de 2 690. Sur SOL-ExecBench (235 problèmes de noyaux sur B200), son score moyen de 0,819 reste sous les 0,827 du meilleur résultat du classement. Baidu l'a aussi appliqué à trois tâches d'ingénierie réelles sur ERNIE-5.5-Flash, un modèle encore en développement. La vitesse de génération sur puces Kunlunxin P800 a atteint 623,6 % de la référence après quatre cycles de recherche. Le débit déterministe a gagné 33,7 % et la vitesse de décodage 14,9 %.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ces résultats montrent qu'un système d'agents peut produire des gains mesurables sur du code de production, et pas seulement sur des jeux de tests académiques. Pour les équipes qui servent des modèles à grande échelle, une optimisation automatisée du débit et de la latence peut réduire les coûts d'infrastructure. Le fait que les gains aient été obtenus sur des puces Kunlunxin, l'accélérateur maison de Baidu, intéresse aussi les acteurs chinois qui cherchent à tirer le maximum de matériel alternatif aux GPU Nvidia. Il faut toutefois tempérer. Les chiffres sont publiés par Baidu lui-même et le système n'est pas disponible. Les marges sur les benchmarks publics sont faibles, et le résultat sur SOL-ExecBench ne bat pas le meilleur score.
Baidu présente ERNIE Evolve comme un pas pratique vers l'auto-amélioration récursive, c'est-à-dire des IA qui améliorent le logiciel servant à construire et à déployer d'autres IA. L'architecture repose sur deux boucles imbriquées. La boucle externe, pilotée par un Director, choisit les directions à explorer à partir d'une banque d'expériences et d'une base de connaissances de articles et de code. La boucle interne s'appuie sur un Selector, un Executor qui travaille en environnement isolé, un évaluateur inaccessible aux agents et un relecteur chargé de détecter les failles d'évaluation exploitées. Plusieurs pistes tournent en parallèle, et les échecs sont consignés pour éviter les répétitions. Baidu n'a pas précisé quels modèles de langage animent ses agents ni quel GPU a servi aux tests de production. La comparaison avec Recursive et Hyra-1.0 reste fragile, car leurs temps de Speedrun ont été établis face à l'ancien record d'environ 79,7 secondes. La concurrence est donc vive, avec Tencent et rekursiv.ai sur le même terrain.
Pas d'impact direct sur la France/UE