Vercel Labs publie en open source agent-desktop, un outil pour l'utilisation d'ordinateurs par des agents
Vercel Labs a publié en open source agent-desktop, un outil en ligne de commande destiné à permettre aux agents d'IA de piloter des applications de bureau sous macOS, Windows et Linux. Écrit en Rust et accompagné d'une bibliothèque C, il lit chaque application à travers l'arbre d'accessibilité du système d'exploitation plutôt que par captures d'écran. L'agent reçoit un instantané JSON où chaque élément actionnable porte une référence. La version 1.0.2, parue le 30 octobre 2026 sous licence Apache-2.0, compte 60 noms de commandes dont 56 opérationnelles. Elle fonctionne sur macOS 13+, Windows 10 1809+ ou Server 2019+ et Ubuntu 24.04+, en x64 comme en ARM64, sur simple processeur, sans GPU. L'outil n'embarque aucun modèle de langage ni interface graphique : chaque commande renvoie une enveloppe JSON puis se termine, et la boucle observer, agir, vérifier reste du ressort de l'agent. Les références sont qualifiées, par exemple @s8f3k2p9:e8, l'identifiant d'instantané étant inclus ; une référence nue comme @e8 est rejetée. Si l'interface change, l'action renvoie STALEREF ou AMBIGUOUSTARGET, et chaque erreur indique si un nouvel essai est sûr.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Pour les développeurs, l'intérêt est immédiat : n'importe quel agent de code capable d'exécuter des commandes shell peut désormais manipuler des applications natives sans modèle de vision. Pour les applications denses, notamment basées sur Electron, qui exposent des milliers de nœuds d'accessibilité, un mode « skeleton » ne lit que trois niveaux de profondeur, signale le nombre d'enfants des conteneurs tronqués et fournit une référence permettant d'explorer ensuite une seule région. Son auteur annonce une réduction de 78 % à 96 % des jetons par rapport à un export complet dans Slack, VS Code et Notion. Dans Apple Maps, la consommation passerait de 3 811 à 273 jetons par observation, et une tâche simulée de 52 étapes de 198 000 à 31 000 jetons. Ces chiffres sont déclarés par le créateur, aucun benchmark indépendant n'existe à ce jour. Par défaut, les actions passent par l'API d'accessibilité sans déplacer le pointeur ni prendre le focus, ce qui laisse l'utilisateur travailler sur sa machine pendant que l'agent opère. Un indicateur --headed permet l'entrée physique si nécessaire, et chaque action attend jusqu'à 5 000 ms qu'une cible soit visible, active et stable.
L'architecture explique cette fiabilité. Le noyau, agent-desktop-core, n'accède au système que par un trait PlatformAdapter ; une caisse propre à chaque plateforme dialogue avec l'API native : AX sur macOS, UI Automation sur Windows, AT-SPI sur Linux. Le noyau n'importe jamais de caisse de plateforme, et chaque binaire est compilé pour un seul système. La résolution des références est stricte et échoue de façon fermée plutôt que de deviner, ce qui rend les actions déterministes et rejouables sans risque.
Cette approche s'inscrit dans la course à l'usage d'ordinateur par les agents, où dominent les systèmes fondés sur l'analyse de captures d'écran par des modèles de vision, plus coûteux en jetons et moins déterministes. En s'appuyant sur les couches d'accessibilité, conçues à l'origine pour les technologies d'assistance, agent-desktop propose une voie plus sobre et indépendante du modèle utilisé. Reste à savoir si ces gains résisteront à des évaluations indépendantes et à la qualité inégale de l'accessibilité selon les applications.
Pas d'impact direct sur la France/UE