Aller au contenu principal
MolmoWeb, l'agent web entièrement open source d'AI2, navigue sur internet à partir de captures d'écran
OutilsThe Decoder · 1 min de lecture

MolmoWeb, l'agent web entièrement open source d'AI2, navigue sur internet à partir de captures d'écran

Source originale ↗·

L'Allen Institute for AI (AI2) vient de lancer MolmoWeb, un agent web entièrement open source capable de naviguer sur internet en s'appuyant uniquement sur des captures d'écran. Contrairement aux approches traditionnelles qui analysent le code HTML des pages, MolmoWeb perçoit le web comme un humain, visuellement, et interagit avec les interfaces sans accès au DOM sous-jacent.

Cette approche est notable car elle ouvre la voie à des agents capables d'opérer sur n'importe quel site, y compris ceux dont le code est obfusqué ou les interfaces hautement dynamiques. L'enjeu est de taille pour le secteur : les agents web autonomes représentent l'une des applications les plus concrètes de l'IA générative, avec des débouchés directs en automatisation de tâches, assistance numérique et robotique logicielle.

Malgré des architectures compactes de 4 et 8 milliards de paramètres, les modèles MolmoWeb surpassent plusieurs systèmes propriétaires nettement plus grands sur les benchmarks standards de navigation web. Ce rapport performance/taille illustre les progrès réalisés dans l'entraînement ciblé d'agents visuels. L'intégralité des poids, du code et des données d'entraînement est publiée en open source, dans la continuité de la démarche d'AI2 avec la famille Molmo lancée fin 2024.

Cette publication renforce la position d'AI2 comme acteur clé de l'open source en IA, face aux approches fermées de Google, OpenAI ou Anthropic sur le terrain des agents web. La transparence totale du modèle permettra à la communauté de l'auditer, de l'affiner et potentiellement de le déployer dans des environnements souverains sans dépendance à des API tierces.

Impact France/UE

Les chercheurs et développeurs européens peuvent adopter MolmoWeb sans dépendre de services propriétaires américains, réduisant ainsi les coûts et les contraintes de souveraineté numérique.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

SpaceXAI en open source pour Grok : l'agent Rust, l'interface TUI et les outils derrière son CLI de code
1MarkTechPost 

SpaceXAI en open source pour Grok : l'agent Rust, l'interface TUI et les outils derrière son CLI de code

Elon Musk et sa société xAI ont mis en open source Grok Build, l'agent de codage IA en ligne de commande qui alimente leur outil grok CLI. Le code source a été publié aujourd'hui sur GitHub sous licence Apache 2.0, couvrant l'ensemble de l'infrastructure : le moteur de l'agent, l'interface terminal (TUI), le shell en ligne de commande et les outils de développement associés. Grok Build avait été lancé en version bêta le 25 mai 2026. Il s'agit d'un agent capable de comprendre une base de code, de modifier des fichiers, d'exécuter des commandes shell et de rechercher sur le web, tout en gérant des tâches de longue durée. L'outil fonctionne selon trois modes : une interface terminal interactive en plein écran avec support de la souris, un mode headless pour l'automatisation et l'intégration continue, et une intégration dans les éditeurs de code via l'Agent Client Protocol (ACP). Le dépôt publié s'organise en plusieurs modules (crates) : xai-grok-shell pour le runtime de l'agent, xai-grok-tools pour les implémentations d'outils comme le terminal et l'édition de fichiers, xai-grok-pager pour le rendu de l'interface, et xai-grok-workspace pour la gestion du système de fichiers et du contrôle de version. Cette ouverture change la donne pour les développeurs et les entreprises soucieuses de confidentialité ou de souveraineté technologique. Grok Build peut désormais fonctionner entièrement en local : il suffit de compiler l'outil soi-même, de le connecter à un modèle d'inférence local via un fichier de configuration config.toml, et de s'affranchir complètement des serveurs d'API de xAI. Cette flexibilité ouvre la voie à des déploiements en environnement isolé (air-gapped), à des audits de sécurité approfondis du code avant toute adoption dans un contexte réglementé, ou encore à la création de forks internes adaptés aux besoins spécifiques d'une entreprise, la licence Apache 2.0 le permettant explicitement. En revanche, contrairement à des projets comme Codex CLI d'OpenAI, xAI n'accepte pas les contributions externes (pull requests) sur ce dépôt, ce qui limite son évolution à une gouvernance interne. Cette annonce s'inscrit dans une compétition croissante autour des agents de codage en ligne de commande, un segment où s'affrontent déjà Codex CLI d'OpenAI (également sous licence Apache 2.0, mais limité aux modèles OpenAI), le projet communautaire OpenCode sous licence MIT compatible avec plus de 75 fournisseurs de modèles, et Claude Code d'Anthropic, qui reste propriétaire et fermé aux forks. En rendant son harnais d'agent public tout en conservant le contrôle des contributions, xAI cherche à séduire les développeurs et entreprises en quête de transparence et de personnalisation, sans pour autant renoncer à la maîtrise de sa feuille de route technique. La bataille se joue désormais autant sur l'ouverture du code que sur le choix des modèles compatibles, un terrain où Grok Build se distingue par sa flexibilité totale de configuration.

UELa possibilité de déploiement local intéresse les entreprises européennes soucieuses de souveraineté technologique, mais aucune entreprise ou réglementation française n'est directement concernée.

💬 xAI ouvre le code mais ferme la porte aux contributions, et c'est ça la vraie nouvelle : un open source à sens unique, où tu peux auditer et forker Grok Build, mais jamais peser sur sa feuille de route. Pour les boîtes qui veulent tourner en local, voire en air-gapped, c'est du concret, pas du marketing de circonstance. Reste que la gouvernance, elle, ne bouge pas d'un pouce, xAI garde la main sur tout.

OutilsOutil
1 source
Warp : comment le terminal open source réinvente le code à l’ère de l’IA agentique
2Le Big Data 

Warp : comment le terminal open source réinvente le code à l’ère de l’IA agentique

Warp est un terminal de développement conçu en Rust qui ambitionne de remplacer les émulateurs classiques comme iTerm2 ou les consoles natives des systèmes d'exploitation. L'outil, développé pour corriger la lenteur et le manque d'ergonomie des interfaces en ligne de commande existantes, intègre désormais une couche d'intelligence artificielle agentique directement au coeur de l'environnement de travail. Contrairement aux assistants de code classiques qui suggèrent une ligne ou corrigent une erreur à la demande, Warp fonctionne en mode autonome : le développeur formule un objectif en langage naturel, et le système planifie puis exécute les étapes nécessaires sans intervention manuelle à chaque décision. L'outil analyse l'arborescence du projet, indexe les configurations et cartographie les dépendances via une base vectorielle locale, ce qui lui permet d'adapter ses actions à l'architecture réelle de l'application. Une fois une instruction validée, il lance une boucle continue d'action et de vérification, pouvant écrire des scripts, démarrer des serveurs, lire les erreurs et corriger le code source en cas d'échec. L'impact pour les équipes de développement est direct : la plateforme vise à éliminer la fragmentation cognitive qui caractérise le quotidien des ingénieurs, contraints de jongler en permanence entre leur éditeur de code, la documentation en ligne et un outil d'IA générative externe. Ce va-et-vient constant, qui génère une fatigue cognitive réelle et des pertes de temps importantes, devient obsolète lorsque la documentation, l'analyse des pannes et l'exécution sont regroupées dans un même environnement. Le développeur passe du rôle d'exécutant de commandes mémorisées à celui de superviseur de processus automatisés, concentrant son attention sur la conception plutôt que sur les micro-décisions répétitives. Le contexte est celui d'une stagnation de plusieurs décennies du terminal traditionnel, dont l'interface n'a pas fondamentalement évolué depuis quarante ans malgré l'explosion de la complexité des projets logiciels. Warp s'inscrit dans une tendance plus large de l'industrie qui cherche à intégrer l'IA non plus comme un module externe mais comme une couche native des outils de développement, à l'image de ce que GitHub Copilot a fait pour les éditeurs de code. La distinction clé que pose Warp est celle entre l'assistance ponctuelle et l'agentivité réelle, un positionnement qui entre en concurrence directe avec des environnements comme Cursor ou les extensions IA de VS Code, mais sur le terrain du terminal plutôt que de l'éditeur. L'enjeu pour la startup est de convaincre une profession historiquement attachée à ses outils que la ligne de commande peut devenir un centre de pilotage intelligent sans sacrifier la maîtrise que les ingénieurs revendiquent sur leur environnement.

OutilsOutil
1 source
WebBrain : un agent de navigation IA open-source et local qui lit les pages et automatise des tâches sur Chrome et Firefox
3MarkTechPost 

WebBrain : un agent de navigation IA open-source et local qui lit les pages et automatise des tâches sur Chrome et Firefox

WebBrain est un agent de navigation open source, gratuit et disponible pour Chrome et Firefox, développé par Emre Sokullu sous licence MIT, avec son code source publié sur GitHub. L'extension s'installe dans le panneau latéral du navigateur, en Manifest V3 avec l'API sidePanel sur Chrome et en Manifest V2 avec sidebar_action sur Firefox, et chaque onglet conserve son propre historique de conversation. Elle propose deux modes : le mode Ask, en lecture seule, qui analyse les pages via des scripts de contenu classiques, et le mode Act, capable de cliquer, taper, faire défiler et naviguer, en pilotant la page via le protocole Chrome DevTools et l'API chrome.debugger, ce qui permet de générer des événements reconnus comme fiables par les sites modernes et d'atteindre les iframes cross-origin et le shadow DOM. Les températures sont fixées pour plus de prévisibilité : 0,15 en mode Act, 0,3 en mode Ask et 0 pour les descriptions de captures d'écran. L'outil est disponible en anglais, espagnol, français, turc et chinois, détecte automatiquement la langue du navigateur, ne collecte aucune donnée externe et n'intègre ni télémétrie ni compte utilisateur. Point clé : en connectant WebBrain à un modèle local, aucune donnée de page ne quitte la machine de l'utilisateur, une option rare parmi les agents de navigation IA. Cette approche locale-first change la donne pour la confidentialité des données dans un secteur où la plupart des agents IA de navigateur transitent systématiquement par des API cloud. Les utilisateurs professionnels manipulant des informations sensibles, comptes bancaires, dossiers clients ou données internes d'entreprise, peuvent ainsi automatiser des tâches répétitives comme l'extraction de données depuis des catalogues, le remplissage de formulaires ou le résumé d'articles, sans exposer ces informations à un tiers. WebBrain a aussi été pensé pour limiter les coûts en tokens sur les sessions longues : les captures d'écran sont redimensionnées et compressées en JPEG avant traitement, et l'historique de conversation est tronqué en commençant par les éléments les plus anciens lorsque la fenêtre de contexte se remplit. Il est également possible d'associer un modèle texte économique pour la planification à un modèle de vision distinct pour l'analyse des captures d'écran, une flexibilité qui réduit encore la facture pour les utilisateurs de modèles cloud. Le développement de WebBrain répond à un problème de sécurité identifié dans les agents de navigation : les pages web peuvent dissimuler des injections de prompt destinées à détourner le comportement de l'agent. Face à ce risque, l'outil démarre toujours en mode Ask en lecture seule, demande une confirmation avant toute action jugée conséquente (ces alertes pouvant être désactivées dans les paramètres) et impose une règle stricte pour toute mutation de données : créer, envoyer, soumettre ou acheter passe obligatoirement par l'interface visible du site plutôt que par des appels directs aux API REST ou GraphQL, sauf dérogation ponctuelle via la commande /allow-api en cas d'échec de l'interface. La lecture de contenu, elle, bénéficie de règles plus souples via les outils fetchurl et researchurl puisqu'elle ne modifie rien à distance. WebBrain se positionne ainsi entre les simples extensions IA de navigateur et les frameworks d'agents complets, dans un marché où la question de la confiance et du contrôle utilisateur devient centrale à mesure que ces outils gagnent en autonomie sur des tâches concrètes comme la recherche, le remplissage de formulaires ou l'automatisation multi-étapes.

💬 Reste à voir si ça tient en prod, mais l'idée de base est bonne : un agent qui pilote ton navigateur sans faire transiter tes pages par un cloud tiers, c'est ce que devrait être le standard depuis le début. Là où la plupart des agents web envoient tes onglets bancaires ou tes CRM à une API distante, celui-là tourne en local si tu le branches sur ton propre modèle, ce qui change complètement le calcul risque/bénéfice pour les pros. Le vrai signal du marché, c'est que le contrôle utilisateur (mode lecture par défaut, confirmation avant chaque action, interface visible obligatoire plutôt qu'appels API directs) devient un argument de vente à part entière, pas une case à cocher pour les juristes.

OutilsOutil
1 source
Orchard : un framework open source pour l'IA à base d'agents à grande échelle
4Microsoft Research 

Orchard : un framework open source pour l'IA à base d'agents à grande échelle

Microsoft a dévoilé Orchard, un framework open source destiné à la recherche sur l'IA agentique à grande échelle et à moindre coût. Son composant central, Orchard Env, est un service d'environnement réutilisable, bâti sur Kubernetes, capable de créer, gérer et supprimer des milliers de composants isolés en parallèle pour entraîner et évaluer des agents. Cette même infrastructure prend en charge des agents dédiés au développement logiciel, à la navigation web et à l'assistance personnelle, et permet de les entraîner directement dans de véritables environnements de déploiement comme Codex, OpenClaw et ZeroClaw. Pour illustrer cette approche, Microsoft publie trois recettes d'entraînement spécialisées, Orchard-SWE, Orchard-GUI et Orchard-Claw, accompagnées des données d'entraînement et des méthodes d'évaluation utilisées pour les construire. Le résultat le plus marquant vient d'Orchard-SWE, qui atteint 69,7% sur le benchmark SWE-bench Verified, un score qui grimpe à 73% grâce à un reclassement par modèle de valeur, avec seulement environ 3 milliards de paramètres actifs, se rapprochant ainsi de systèmes de pointe utilisant des modèles plus de dix fois plus volumineux. Cette annonce répond à un obstacle bien connu de la recherche en IA agentique: construire des systèmes à l'état de l'art exige généralement une infrastructure propriétaire, des bacs à sable sur mesure, des pipelines d'entraînement fermés et des jeux de données inaccessibles à la majorité des chercheurs. En rendant Orchard Env indépendant de tout framework d'entraînement spécifique et compatible avec plusieurs types de tâches sans modification, Microsoft entend démocratiser l'accès à ces outils. Les équipes de recherche peuvent ainsi introduire de nouveaux benchmarks, agents ou algorithmes d'entraînement sans reconstruire leur infrastructure depuis zéro, ce qui pourrait accélérer considérablement les progrès collectifs dans un domaine jusqu'ici dominé par quelques acteurs disposant de ressources massives. Le contexte plus large est celui d'une bascule rapide de l'IA, qui passe de simples systèmes de questions-réponses statiques à des agents autonomes capables de planifier, raisonner et agir dans des environnements complexes et multi-étapes, que ce soit pour corriger des bugs dans du code, naviguer sur le web pour un utilisateur ou gérer des calendriers et des e-mails. Un défi technique majeur reste que les agents les plus performants fonctionnent rarement comme de simples modèles isolés: ils s'appuient sur des harnais sophistiqués tels que Claude Code, Codex ou OpenClaw, qui gèrent le raisonnement multi-tours, l'usage d'outils et les connexions à des systèmes externes, un niveau de complexité que les outils d'entraînement ouverts peinent habituellement à prendre en charge.

💬 Sur le papier, Orchard ne fait qu'une chose : rendre accessible ce qui coûtait des millions à assembler soi-même. Mais 69,7% sur SWE-bench avec 3 milliards de paramètres actifs, ça change vraiment la donne : Microsoft prouve qu'on peut rivaliser avec des modèles dix fois plus gros si l'infra d'entraînement est bien pensée. Reste à voir si les labos plus petits auront les GPU pour en profiter, parce que le code est ouvert, le calcul, lui, ne l'est pas.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic