Echoverse : des environnements riches et évolutifs pour les agents utilisant un ordinateur

Microsoft a présenté Echoverse, un ensemble de douze environnements d'entraînement conçus pour les agents capables de manipuler un ordinateur comme le ferait un humain. Le dispositif comprend dix "mondes" de domaines complets, reproduisant fidèlement le fonctionnement d'applications réelles avec des données réalistes et un état cohérent entre les écrans et les utilisateurs, ainsi que deux "mondes de capacité" centrés sur un seul type de contrôle décliné sous de nombreuses formes, comme les sélecteurs de date ou les filtres imbriqués. Entraîné sur l'ensemble des douze environnements, un modèle de 9 milliards de paramètres a pratiquement doublé son score initial, passant de 36,5% à 67,1% de réussite, se rapprochant ainsi à quatorze points seulement des performances de GPT-5.4. Microsoft publie quatre de ces environnements en libre accès, avec leur code, leurs données et leurs systèmes de notation automatisés, sur GitHub sous le nom microsoft/Echoverse et sur Hugging Face, accompagnés d'un rapport technique détaillé.

L'expérience révèle plusieurs enseignements qui pourraient orienter la manière dont l'industrie entraîne ses agents autonomes. D'abord, la fidélité de simulation s'avère déterminante: sur des versions superficielles des mêmes sites, le modèle a régressé, alors qu'il a progressé sur les versions approfondies, confirmant que des environnements trop simplifiés nuisent à l'apprentissage plutôt que de l'accélérer. Ensuite, les agents butent systématiquement sur les mêmes types d'éléments d'interface, comme les sélecteurs de date ou les filtres complexes: en s'entraînant intensivement sur ces contrôles sous des formes variées, le modèle a appris à les manier même dans des domaines qu'il n'avait jamais rencontrés auparavant. Enfin, faire évoluer simultanément le modèle, l'environnement et le système de vérification profite aux trois: plus le monde gagne en exactitude et en difficulté, plus l'agent progresse avec lui, et l'apprentissage par renforcement appuyé sur un vérificateur ancré dans les données réelles permet à l'agent de dépasser la simple imitation, atteignant ses objectifs en moins d'étapes.

Cette approche répond à un problème structurel: un agent ne peut réellement apprendre les conséquences de ses actions que dans un système où elles ont un effet concret, ce qu'une simple capture d'écran ne permet pas de simuler. Or l'essentiel du travail que l'on cherche à automatiser, messagerie, banque, dossiers médicaux, consoles internes du cloud, se trouve derrière des connexions sécurisées, rendant tout entraînement sur les systèmes réels impossible sans risque ni possibilité de réinitialisation. La communauté de recherche sait désormais produire rapidement des centaines d'environnements synthétiques de ce type, mais Microsoft parie que le véritable levier de progrès ne réside plus dans leur multiplication, mais dans une boucle continue qui identifie les échecs d'un agent et rend les mondes existants plus exigeants et plus fidèles en conséquence.