AssetOpsBench: combler l'écart entre les benchmarks des agents AI et la réalité industrielle

Évaluer les agents IA en pratique : benchmarks, frameworks et leçons tirées de l'expérience

Cet article présente des méthodes concrètes pour évaluer les agents IA en conditions réelles, combinant benchmarks, pipelines d'évaluation automatisés et revue humaine. Il aborde la mesure de la fiabilité, du taux de succès sur les tâches, et du comportement multi-étapes des agents qui planifient et utilisent des outils. L'auteur, Amit Kumar Padhy, souligne les défis spécifiques liés à l'évaluation de systèmes opérant sur plusieurs tours d'interaction.

Claude, OpenClaw et la nouvelle réalité : les agents IA sont là, et le chaos aussi

L'ère des agents IA autonomes est désormais une réalité concrète, portée par trois outils majeurs qui redéfinissent ce que les logiciels peuvent accomplir sans intervention humaine. OpenClaw, anciennement connu sous les noms Moltbot et Clawdbot, a dépassé les 150 000 étoiles sur GitHub en quelques jours après son lancement et s'installe directement sur les machines locales avec un accès profond au système : tri de boîte mail, réponses automatiques, curation de contenu, planification de voyages. Google Antigravity, lui, est un agent de développement doté d'un environnement intégré capable de passer d'une simple instruction à une application fonctionnelle, écriture, test, intégration et correction de bugs compris. Enfin, Anthropic a dévoilé Claude Cowork, un agent spécialisé pour des secteurs comme le droit et la finance, capable d'automatiser la revue de contrats ou le tri de documents juridiques. Son annonce a provoqué une chute notable des actions de sociétés de legal-tech et de SaaS, un phénomène rapidement baptisé "SaaSpocalypse" par les observateurs du marché. L'impact de ces agents va bien au-delà de la simple automatisation de tâches répétitives. En confiant à ces systèmes un accès à des données sensibles, fichiers personnels, détails financiers, documents légaux, les utilisateurs délèguent une autorité réelle sur des décisions à fort enjeu. Les risques sont proportionnels à la puissance accordée : un agent fiscal pourrait manquer des économies importantes ou, à l'inverse, inclure des déductions illégales ; un agent de développement pourrait injecter du code défectueux ou introduire des failles invisibles dans des systèmes critiques. La question de la confiance envers les fournisseurs comme Anthropic ou Google devient donc centrale, d'autant qu'OpenClaw, en tant que projet open source, ne dispose d'aucune autorité centrale de gouvernance pour encadrer les usages. Ce basculement vers l'IA agentique s'inscrit dans une trajectoire commencée fin 2022 avec l'émergence des chatbots conversationnels, mais qui s'accélère désormais vers des systèmes capables d'agir, pas seulement de répondre. La crainte d'une intelligence artificielle générale (AGI) n'est plus de la science-fiction pour de nombreux chercheurs. Face à ce chaos organisé, les experts s'accordent sur quelques impératifs : journalisation des actions des agents, validation humaine sur les décisions critiques, et développement d'une ontologie partagée permettant à des agents hétérogènes de communiquer dans un langage commun. Un cadre de responsabilité, de transparence et de sécurité, associé à une infrastructure d'identité distribuée, apparaît comme la condition sine qua non pour que ces écosystèmes agentiques tiennent leurs promesses sans déclencher la prochaine grande panique technologique.

Claude, OpenClaw et la nouvelle réalité : les agents IA sont là, et le chaos aussi

L'ère des agents autonomes d'intelligence artificielle est désormais une réalité concrète. Trois outils dominent aujourd'hui ce nouveau paysage : OpenClaw (anciennement Moltbot et Clawdbot), qui a dépassé les 150 000 étoiles sur GitHub en quelques jours et s'installe directement sur les machines locales avec un accès profond au système ; Google Antigravity, un agent de codage intégré à un environnement de développement capable de mener un projet de l'idée à la production de façon interactive ; et Claude Cowork d'Anthropic, qui automatise des tâches juridiques et financières spécialisées comme la révision de contrats et le tri de NDA. Son lancement a d'ailleurs provoqué une chute notable des cours boursiers de plusieurs sociétés de legal-tech et de SaaS, un phénomène baptisé « SaaSpocalypse » par les analystes. Ces trois outils représentent trois modèles distincts d'autonomie : l'agent généraliste avec accès système, l'agent spécialiste du code, et l'agent expert métier. L'impact de ces technologies est déjà mesurable. Claude Cowork, en s'attaquant au droit et à la finance, menace directement des catégories entières de logiciels professionnels et de prestataires humains. La valeur de ces agents repose précisément sur l'étendue de l'accès qu'on leur accorde, fichiers, données sensibles, systèmes critiques, ce qui démultiplie leur efficacité mais aussi leur potentiel de nuisance. Un agent fiscal pourrait manquer des opportunités d'économies importantes, ou pire, intégrer des déductions illégales. Un agent de code pourrait injecter des failles silencieuses dans une infrastructure entière. La question centrale n'est plus technique mais systémique : jusqu'où faire confiance à des entités comme Anthropic ou Google pour que leurs agents ne causent pas de préjudice, ne fuient pas des données ou ne favorisent pas certains acteurs de façon illicite ? Ce virage agentic s'inscrit dans une accélération amorcée avec ChatGPT fin 2022, mais qui prend aujourd'hui une dimension inédite avec des agents capables d'agir, pas seulement de répondre. OpenClaw complique davantage l'équation en étant open source : sans autorité centrale de gouvernance, le contrôle des usages devient pratiquement impossible. Face à ce chaos organisé, plusieurs conditions apparaissent indispensables pour tirer parti de ces outils sans en subir les effets négatifs : journalisation systématique de chaque action de l'agent, validation humaine sur les décisions critiques, et surtout l'établissement d'une ontologie partagée entre systèmes hétérogènes pour définir un cadre commun de comportement. Combinés à des mécanismes d'identité distribuée et de confiance mutuelle entre agents, ces garde-fous pourraient permettre à l'écosystème agentic de tenir ses promesses sans déclencher la panique que redoutent les observateurs les plus prudents.

💬 La SaaSpocalypse, c'est pas un buzzword de journaliste en manque d'inspiration, c'est ce qui arrive quand un agent fait en 30 secondes ce pour quoi une boîte facturait 300€ par mois. Ce qui me préoccupe vraiment, c'est OpenClaw : open source sans gouvernance centrale, le contrôle des usages devient une blague. Les logs et la validation humaine, bonne idée sur le papier, mais ça n'empêchera pas le premier incident sérieux.

GitAgent : le Docker des agents IA qui résout enfin la fragmentation entre LangChain, AutoGen et Claude Code

GitAgent est un outil CLI open-source et une spécification qui introduit un format universel et agnostique de framework pour le développement d'agents IA, permettant de découpler la définition d'un agent de son environnement d'exécution. Il s'attaque à la fragmentation actuelle entre les principaux frameworks — LangChain, AutoGen, CrewAI, OpenAI Assistants et Claude Code — en structurant un agent comme un répertoire Git composé de fichiers clés : agent.yaml (manifest), SOUL.md (personnalité), DUTIES.md (responsabilités), ainsi que des dossiers skills/, tools/, rules/ et memory/. Git sert de couche de supervision native : chaque évolution de l'état interne de l'agent (mémoire, compétences) est traitée comme un changement de code, garantissant traçabilité et versioning complet.