RechercheMarkTechPost6sem

OSGym : une infrastructure open source pour agents informatiques, gérant plus de 1 000 répliques à 0,23 $/jour

Résumé IASource uniqueImpact UE

Une équipe de chercheurs issue du MIT, de l'UIUC, de CMU, USC, UVA et UC Berkeley a publié OSGym, un nouveau framework d'infrastructure conçu pour entraîner des agents IA capables d'utiliser un ordinateur comme le ferait un humain. Ces agents, appelés "computer use agents", observent une capture d'écran du bureau, décident d'une action (cliquer, taper du texte, ouvrir un fichier) et l'exécutent via clavier et souris. OSGym permet de gérer plus de 1 000 répliques d'environnements OS simultanément, pour un coût d'environ 0,23 dollar par réplique et par jour, contre environ 300 dollars par jour pour 128 répliques avec une approche naïve, soit une réduction de coût d'un facteur proche de 100.

L'enjeu est considérable pour la recherche académique, qui ne dispose pas des budgets des grands laboratoires commerciaux. Entraîner un agent à naviguer dans un vrai système d'exploitation nécessite des centaines, voire des milliers d'environnements virtuels tournant en parallèle, chacun avec son propre disque bootable (environ 24 Go), son allocation CPU et RAM, et sa pile graphique. OSGym résout deux problèmes majeurs : le coût prohibitif de ces environnements, et leur instabilité (crashs, sessions qui expirent, applications gelées). En utilisant des conteneurs Docker plutôt que des machines virtuelles complètes, et en optimisant la densité de répliques par serveur, le système exploite un insight clé : au-delà d'un certain seuil, le goulot d'étranglement passe du CPU à la RAM, qui coûte dix à vingt fois moins cher. Chaque réplique dispose par ailleurs de son propre gestionnaire d'état, exposant une API inspirée d'OpenAI Gym (reset, step, shutdown), ce qui évite qu'une panne en cascade paralyse l'ensemble du système.

Les agents de type "computer use" constituent l'une des frontières les plus actives de la recherche en IA. Des modèles commerciaux comme Claude Computer Use d'Anthropic ou Operator d'OpenAI ont montré que la direction est prometteuse, tandis que des projets académiques comme UI-TARS, Agent-S2 ou CogAgent repoussent les limites techniques. Mais l'accélération de ces travaux bute depuis longtemps sur un mur infrastucturel : générer suffisamment de données d'interaction réelles dans des environnements OS complets est trop coûteux pour la plupart des équipes universitaires. OSGym s'attaque directement à ce verrou en proposant une infrastructure open source et économiquement viable. Si le framework tient ses promesses à grande échelle, il pourrait démocratiser significativement la recherche sur les agents autonomes et accélérer le développement de systèmes capables d'exécuter des tâches complexes sur ordinateur sans intervention humaine.

Impact France/UE

Les équipes de recherche académiques européennes pourraient bénéficier directement de cette infrastructure open source pour mener des travaux sur les agents autonomes sans les budgets des grands laboratoires commerciaux.

Dans nos dossiers

OpenAI Anthropic Agents IA Open weight & Open source

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

NVIDIA AI présente ProRL Agent : une infrastructure d'apprentissage par renforcement pour agents LLM à grande échelle

NVIDIA a présenté ProRL Agent, une infrastructure open source conçue pour entraîner des agents LLM multi-tours par apprentissage par renforcement (RL) à grande échelle. Publiée via un article de recherche (arXiv:2603.18815), cette solution adopte une philosophie « Rollout-as-a-Service » : le service de rollout fonctionne comme un serveur HTTP autonome, totalement découplé de la boucle d'entraînement. Le système s'appuie sur un pipeline asynchrone en trois étapes — initialisation des environnements sandbox, exécution des trajectoires d'agent, évaluation des résultats — chaque étape disposant de son propre pool de workers pour maximiser le débit. Pour la compatibilité avec les clusters HPC sous Slurm, ProRL Agent utilise Singularity plutôt que Docker, permettant une exécution sans droits root. Des optimisations de bas niveau réduisent drastiquement la latence des outils : remplacement de tmux par un terminal pseudo-TTY direct (latence bash réduite de 0,78 s à 0,42 s), connexion directe aux kernels IPython via API in-process, et remplacement du TCP par des sockets Unix pour la communication interne aux conteneurs. Le problème que résout cette architecture est fondamental pour quiconque entraîne des agents LLM modernes : les tâches multi-tours impliquent des interactions répétées avec des environnements externes (dépôts de code, systèmes d'exploitation, outils) qui sont intensives en I/O, tandis que la mise à jour du modèle est intensive en GPU. Les frameworks existants — SkyRL, VeRL-Tool, Agent Lightning, rLLM, GEM — fusionnent ces deux phases dans un même processus, créant des conflits de ressources qui dégradent l'efficacité matérielle et compliquent la maintenance. ProRL Agent élimine ces interférences en rendant le trainer entièrement agnostique à l'infrastructure de rollout, et introduit en prime un mécanisme de réutilisation du cache de préfixes via un load balancer min-heap sur les backends vLLM, accélérant l'inférence sur les longues séquences multi-tours. Autre innovation notable : la communication en token IDs de bout en bout, qui évite les dérives de re-tokenisation entre rollout et training — une source de bugs silencieux dans les pipelines RL existants. Ce travail s'inscrit dans une course industrielle intense pour rendre l'entraînement RL des agents LLM praticable à l'échelle. Depuis les succès de DeepSeek-R1 et des modèles de raisonnement d'OpenAI, le RL appliqué aux LLM est devenu un axe stratégique majeur, mais les infrastructures peinent à suivre la complexité des tâches agentiques longues. NVIDIA, avec ses GPU dominants dans les data centers, a un intérêt direct à proposer des solutions qui maximisent l'utilisation de son matériel. ProRL Agent inclut également une implémentation optimisée de DAPO (Dynamic Advantage Policy Optimization), un algorithme récent qui améliore la stabilité de l'entraînement. La prochaine étape sera de voir si cette infrastructure est adoptée par la communauté de recherche ou si elle reste un outil interne à NVIDIA pour ses propres expérimentations sur les agents autonomes.

RecherchePaper

1 source

2Apple Machine Learning

Reinforced Agent : retour d'information à l'inférence pour les agents à appel d'outils

Des chercheurs ont publié une étude acceptée au cinquième atelier sur la génération, l'évaluation et les métriques du langage naturel, dans le cadre de la conférence ACL 2026, portant sur une nouvelle approche appelée Reinforced Agent. Leur travail s'attaque à un problème précis : les agents LLM capables d'appeler des outils externes (API, bases de données, fonctions) sont habituellement évalués sur trois critères, le choix du bon outil, la précision des paramètres transmis, et la reconnaissance du périmètre d'action. Or, ces évaluations interviennent systématiquement après l'exécution, une fois l'erreur déjà commise. L'équipe propose d'intégrer un agent évaluateur spécialisé directement dans la boucle d'exécution, au moment même de l'inférence, pour corriger le tir en temps réel. L'enjeu est considérable pour les systèmes d'agents autonomes en production. Lorsqu'un agent commet une erreur de sélection d'outil ou transmet de mauvais paramètres, les méthodes actuelles ne peuvent que constater le problème après coup, puis corriger via du prompt engineering ou du réentraînement, deux processus lents et coûteux. Un retour d'information en temps réel permettrait de réduire drastiquement les erreurs en cascade, particulièrement critiques dans des environnements où chaque appel d'outil a des effets concrets, comme la modification de données ou le déclenchement de transactions. Cette recherche s'inscrit dans une tendance forte de l'IA en 2025-2026 : faire passer les agents d'une logique réactive à une logique corrective en cours d'exécution. Des acteurs comme Anthropic, OpenAI et Google investissent massivement dans l'architecture multi-agents, où la supervision entre agents devient un levier clé de fiabilité. L'approche Reinforced Agent ouvre la voie à des systèmes capables d'auto-audit dynamique, une brique essentielle pour déployer des agents dans des environnements critiques et à haute responsabilité.

RecherchePaper

1 source

3NVIDIA AI Blog

NVIDIA et Ineffable Intelligence s'associent pour bâtir l'infrastructure de l'apprentissage par renforcement

NVIDIA et Ineffable Intelligence, le laboratoire d'IA londonien fondé par David Silver, l'architecte d'AlphaGo, ont annoncé un partenariat technique approfondi pour concevoir l'infrastructure nécessaire à l'apprentissage par renforcement à grande échelle. Des ingénieurs des deux sociétés travaillent conjointement sur la construction d'un pipeline d'entraînement optimisé, en démarrant sur la plateforme NVIDIA Grace Blackwell et en préparant l'intégration de la prochaine architecture Vera Rubin, encore inédite. Jensen Huang, fondateur et PDG de NVIDIA, a qualifié les systèmes d'apprentissage continu par expérience de "prochaine frontière de l'IA", tandis que Silver, sorti du mode furtif la semaine dernière seulement avec Ineffable Intelligence, entend pousser ce paradigme bien au-delà de ses applications actuelles. L'enjeu technique est significatif. Contrairement au pré-entraînement classique, qui consomme un jeu de données fixe de textes et d'images humaines, l'apprentissage par renforcement génère ses propres données en temps réel : l'agent agit, observe les résultats, évalue et se met à jour en boucle serrée. Ce mode de fonctionnement impose des contraintes très différentes sur les interconnexions, la bande passante mémoire et l'inférence. S'y ajoutent des formes d'expérience potentiellement étrangères au langage humain, ce qui pourrait nécessiter des architectures de modèles et des algorithmes d'entraînement entièrement nouveaux. Résoudre ces contraintes à l'échelle est ce que visent conjointement les deux équipes. David Silver est l'une des figures centrales de l'apprentissage par renforcement depuis des décennies : il a co-développé DQN chez DeepMind avant de concevoir AlphaGo, le premier programme à battre un champion du monde de go en 2016. Son raisonnement est direct : les chercheurs ont "largement résolu le problème facile de l'IA", soit apprendre à partir de ce que les humains savent déjà, mais le vrai défi reste de construire des systèmes capables de découvrir de nouvelles connaissances par eux-mêmes. Ce virage, de la donnée humaine vers la simulation et l'expérience autonome, est au coeur de la mission d'Ineffable Intelligence. Si le partenariat tient ses promesses, il pourrait débloquer une nouvelle génération d'agents capables de progresser dans des environnements complexes sans plafond de données humaines, ouvrant potentiellement des découvertes dans des domaines allant de la recherche scientifique à la robotique.

RecherchePaper

1 source

4MarkTechPost

OpenMythos : reconstruction open source de Claude Mythos en PyTorch, 770M paramètres équivalant à 1,3 milliard

Un développeur indépendant nommé Kye Gomez a publié sur GitHub un projet open-source appelé OpenMythos, une reconstruction théorique de l'architecture supposée de Claude Mythos d'Anthropic, écrite entièrement en PyTorch. Anthropic n'ayant jamais publié de documentation technique sur Mythos, Gomez a travaillé à partir de la littérature académique existante pour formuler une hypothèse concrète et vérifiable. Le projet n'est ni un modèle fuité, ni un fine-tune, ni une distillation, c'est une conjecture rendue exécutable. L'architecture proposée repose sur ce que la recherche appelle les Recurrent-Depth Transformers (RDT), également appelés Looped Transformers. Contrairement à un transformer classique comme LLaMA ou GPT, où chaque couche possède ses propres poids indépendants, un RDT applique le même bloc de poids de façon itérative, jusqu'à T=16 fois par passe. OpenMythos structure cela en trois parties : un Prélude, un Bloc Récurrent et une Coda. Le Bloc Récurrent intègre une couche Mixture-of-Experts inspirée de DeepSeekMoE, avec sélection dynamique d'experts à chaque itération, ainsi que le mécanisme Multi-Latent Attention de DeepSeek-V2, qui compresse les tenseurs KV et réduit la mémoire nécessaire d'un facteur 10 à 20. Résultat : 770 millions de paramètres qui, selon l'auteur, rivalisent avec un transformer standard de 1,3 milliard. Ce qui distingue fondamentalement cette architecture est que le raisonnement se déroule entièrement dans un espace latent continu, sans émission de tokens intermédiaires entre les étapes de boucle. Des travaux académiques récents, notamment Saunshi et al. (2025) et le projet COCONUT (2024), montrent formellement que chaque itération d'un RDT équivaut fonctionnellement à une étape de chain-of-thought, mais dans l'espace des vecteurs réels plutôt que des tokens discrets. Cette distinction est capitale : le modèle peut encoder plusieurs alternatives en parallèle à chaque passe, là où le chain-of-thought classique force un chemin unique et séquentiel. En pratique, cela permettrait d'obtenir des capacités de raisonnement profondes avec nettement moins de paramètres stockés, la profondeur étant une fonction du nombre d'itérations à l'inférence, et non de la taille du modèle. OpenMythos s'inscrit dans une tendance croissante de reverse engineering public des grands modèles propriétaires. Anthropic, comme OpenAI, publie peu sur ses choix architecturaux, ce qui pousse la communauté à reconstruire ces systèmes par inférence à partir des brevets, des papiers cités et des comportements observés. Les RDT ne sont pas nouveaux, des travaux de Universal Transformers (Dehghani et al., 2018) aux recherches récentes sur les looped networks, mais leur application à l'échelle des modèles commerciaux reste peu documentée. Si l'hypothèse de Gomez s'avère correcte ou même partiellement juste, elle aurait des implications importantes sur la façon dont l'industrie envisage le rapport entre taille de modèle et capacité de raisonnement, ouvrant potentiellement la voie à des architectures plus efficaces accessibles à des acteurs disposant de moins de ressources computationnelles.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour