Aller au contenu principal
RechercheMarkTechPost6sem

Des chercheurs de Tsinghua et Ant Group dévoilent OpenClaw, un cadre de sécurité en cinq couches orienté cycle de vie pour atténuer les vulnérabilités des agents LLM autonomes

Résumé IASource uniqueImpact UE
Source originale ↗·

Des chercheurs de l'Université Tsinghua et du groupe fintech Ant Group ont publié une analyse de sécurité approfondie sur OpenClaw, un agent LLM autonome capable d'exécuter des tâches complexes avec des accès système à hauts privilèges. Leur travail révèle que l'architecture de cet agent — fondée sur un modèle dit kernel-plugin — est exposée à des risques systémiques multi-étapes que les défenses traditionnelles ne permettent pas de neutraliser. Pour y répondre, l'équipe propose un cadre de sécurité structuré en cinq couches couvrant l'intégralité du cycle de vie de l'agent.

L'enjeu dépasse le cas d'OpenClaw : les agents LLM autonomes marquent un changement de paradigme, passant d'assistants passifs à des entités proactives capables de piloter des workflows d'ingénierie logicielle ou d'administration système. Cette autonomie accrue crée des surfaces d'attaque inédites, car une compromission à n'importe quel stade — de l'initialisation à l'exécution — peut altérer l'ensemble de la trajectoire opérationnelle de l'agent. Les protections isolées, conçues pour des systèmes statiques, s'avèrent structurellement inadaptées face à ces menaces composées.

Le cœur de l'architecture d'OpenClaw repose sur le pi-coding-agent, une base de calcul de confiance minimale (Minimal Trusted Computing Base) gérant la mémoire, la planification et l'orchestration des tâches. Le problème central identifié par les chercheurs est le chargement dynamique de plugins tiers sans vérification d'intégrité stricte, ce qui dilue les frontières de confiance. Les cinq stages du cadre proposé couvrent : l'initialisation, l'ingestion des entrées, l'inférence (avec Chain-of-Thought et RAG), la décision (via des frameworks comme ReAct), et l'exécution. Une démonstration concrète illustre l'attaque dite de skill poisoning : les chercheurs ont contraint OpenClaw à générer un plugin malveillant nommé hacked-weather, en manipulant ses métadonnées pour lui attribuer une priorité supérieure à l'outil légitime — détournant ainsi silencieusement toute requête météo vers une sortie contrôlée par l'attaquant.

Ce constat est corroboré par un audit empirique cité dans le rapport : 26 % des outils contributifs communautaires contiennent des vulnérabilités de sécurité. Ces résultats soulignent l'urgence d'adopter des architectures de confiance zéro pour les agents autonomes, notamment via une vérification systématique de l'intégrité des skills et un cloisonnement strict des environnements d'exécution — des exigences qui devront s'imposer comme standards à mesure que ces agents accèdent à des systèmes de plus en plus critiques.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les hyperagents de Meta progressent dans leurs tâches et dans leur capacité à s'améliorer
1The Decoder 

Les hyperagents de Meta progressent dans leurs tâches et dans leur capacité à s'améliorer

Des chercheurs de Meta, en collaboration avec plusieurs universités, ont développé ce qu'ils appellent des « hyperagents » — des systèmes d'IA capables non seulement d'accomplir des tâches, mais aussi d'optimiser activement le mécanisme même par lequel ils s'améliorent. Cette architecture dépasse le cadre classique de l'apprentissage par renforcement ou du fine-tuning : l'agent agit sur deux niveaux simultanément, en résolvant des problèmes tout en affinant sa propre stratégie d'amélioration. Les résultats ont été présentés dans le cadre de travaux impliquant plusieurs équipes académiques aux côtés de Meta. Cette capacité à « s'améliorer en s'améliorant » représente un changement de paradigme potentiel dans la conception des systèmes d'IA agentiques. Là où les agents actuels nécessitent des cycles humains de rétroaction ou de supervision pour progresser, les hyperagents pourraient théoriquement accélérer leur propre développement de manière autonome. L'approche fonctionne sur plusieurs domaines de tâches différents, ce qui suggère une généralisation plutôt qu'une spécialisation étroite — un critère déterminant pour une adoption plus large dans des applications réelles. Ce travail s'inscrit dans une course intense entre les grands laboratoires pour développer des agents IA toujours plus autonomes. Meta, qui a misé massivement sur l'IA agentique avec ses modèles Llama et ses recherches en raisonnement, cherche à rattraper OpenAI et Google sur ce terrain. Le concept d'IA auto-accélératrice soulève également des questions profondes sur la sécurité et la contrôlabilité : si un système peut modifier sa propre dynamique d'apprentissage, la supervision humaine devient structurellement plus difficile à maintenir.

RecherchePaper
1 source
Google AI Research présente PaperOrchestra, un cadre multi-agents pour la rédaction automatisée d'articles de recherche
2MarkTechPost 

Google AI Research présente PaperOrchestra, un cadre multi-agents pour la rédaction automatisée d'articles de recherche

Une équipe de chercheurs de Google Cloud AI Research a présenté PaperOrchestra, un système multi-agents conçu pour automatiser la rédaction complète d'articles scientifiques. À partir de matériaux non structurés, un résumé d'idée brut et des journaux d'expérimentation, le système produit un manuscript LaTeX prêt à soumettre à une conférence, incluant une revue de littérature, des figures générées automatiquement et des citations vérifiées via API. Le pipeline orchestre cinq agents spécialisés travaillant en séquence, dont deux en parallèle : un agent d'organisation produit d'abord un plan JSON structuré, puis un agent de visualisation génère les figures pendant qu'un agent de revue bibliographique identifie et vérifie les références via l'API Semantic Scholar, en calculant la distance de Levenshtein pour détecter les titres approximatifs et en éliminant les citations hallucinations. Un quatrième agent rédige ensuite les sections restantes, et un cinquième assemble le tout en LaTeX final. Ce système comble un vide réel dans l'outillage de la recherche académique. Les solutions existantes souffraient toutes de limitations structurelles : PaperRobot ne gérait que des séquences de texte incrémentales, AI Scientist (v1 et v2, de Sakana AI) automatise la boucle expérimentale entière mais son module de rédaction reste couplé à ses propres pipelines internes et ne peut pas traiter des données extérieures. Les systèmes spécialisés comme AutoSurvey2 ou LiRA produisent de bonnes revues de littérature mais sont incapables de positionner une méthode spécifique face à l'état de l'art. CycleResearcher, lui, exige un fichier BibTeX structuré en entrée, un artefact rarement disponible en début de rédaction. PaperOrchestra est le premier système à accepter les matériaux tels qu'un chercheur les aurait réellement après ses expériences, sans pré-traitement. L'enjeu derrière ce type d'outil dépasse la simple automatisation : la rédaction académique représente souvent plusieurs semaines de travail après la fin des expériences, et c'est précisément là que de nombreux papiers n'aboutissent jamais, notamment pour les chercheurs moins expérimentés. En industrialisant cette étape, Google s'inscrit dans une course plus large à l'automatisation de la recherche scientifique, où Sakana AI, Anthropic et d'autres tentent de réduire le cycle entre idée et publication. La contrainte imposée par PaperOrchestra, au moins 90 % du corpus bibliographique identifié doit être activement cité, et la vérification systématique des références montrent une volonté de ne pas sacrifier la rigueur à la vitesse. La prochaine étape naturelle serait l'intégration avec des pipelines expérimentaux réels, ce qui rapprocherait encore davantage ce système d'une automatisation complète du cycle de recherche.

UELes chercheurs académiques en France et dans l'UE pourraient bénéficier de cet outil pour réduire le temps de rédaction de leurs articles scientifiques, mais aucun déploiement européen spécifique n'est annoncé.

RecherchePaper
1 source
Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité
3MarkTechPost 

Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité

L'équipe RAM (Reasoning, Alignment and Memory) de Meta AI a présenté Autodata, un cadre de génération de données d'entraînement reposant sur des agents IA autonomes. Plutôt que de produire des données synthétiques en une seule passe, Autodata confie à un agent le rôle d'un data scientist humain : il crée des exemples, les analyse, en évalue la qualité, puis affine sa méthode de génération en boucle fermée. La première implémentation concrète du système, baptisée Agentic Self-Instruct, s'appuie sur un LLM orchestrateur qui coordonne quatre sous-agents spécialisés : un Challenger LLM qui génère des exemples d'entraînement, un Weak Solver (modèle plus faible censé échouer sur ces exemples), un Strong Solver (modèle plus capable censé réussir), et un Evaluator qui valide la pertinence et la difficulté des exemples produits. Testée sur des problèmes de raisonnement scientifique complexe, cette approche surpasse significativement les méthodes classiques de génération de données synthétiques comme Self-Instruct ou ses variantes Chain-of-Thought. L'enjeu est de taille : la qualité des données d'entraînement a toujours été un goulot d'étranglement dans le développement des grands modèles de langage, autant que la puissance de calcul. Autodata ouvre une voie pour convertir du calcul d'inférence supplémentaire en données de meilleure qualité, plus on alloue de ressources à l'agent, plus les données produites sont pertinentes. Pour les équipes qui développent des modèles IA, c'est une rupture méthodologique : il devient possible de piloter et d'améliorer la qualité des données en cours de génération, et non plus seulement de filtrer ou corriger après coup. Cela réduit également la dépendance à l'annotation humaine, coûteuse et difficile à scaler, tout en maintenant un contrôle itératif sur la distribution et la difficulté des exemples générés. Jusqu'ici, la génération de données synthétiques suivait des pipelines largement statiques : on promptait un LLM avec des exemples zéro-shot ou few-shot, parfois en s'appuyant sur des documents source pour limiter les hallucinations. Les méthodes dites "Self-Challenging" avaient commencé à introduire une dynamique agent-outil, mais sans boucle de feedback réelle sur la qualité globale du jeu de données. Autodata représente l'étape suivante en intégrant cette rétroaction directement dans le processus de création. Meta s'inscrit ici dans une tendance plus large du secteur : utiliser des agents IA pour automatiser des tâches d'ingénierie complexes, y compris la construction des données qui servent à entraîner ces mêmes agents. La publication est portée par l'équipe RAM de Meta AI Research, ce qui signale une ambition de long terme autour de l'autonomie des systèmes d'apprentissage.

UELes laboratoires européens développant des LLMs pourraient indirectement bénéficier de cette méthodologie open research pour réduire leur dépendance à l'annotation humaine coûteuse.

RecherchePaper
1 source
A-Evolve : l'équivalent PyTorch pour les systèmes d'agents autonomes, remplaçant le réglage manuel par la mutation d'état automatisée et l'auto-correction
4MarkTechPost 

A-Evolve : l'équivalent PyTorch pour les systèmes d'agents autonomes, remplaçant le réglage manuel par la mutation d'état automatisée et l'auto-correction

Une équipe de chercheurs affiliés à Amazon a publié A-Evolve, une infrastructure universelle conçue pour automatiser le développement d'agents IA autonomes. Le framework repose sur un moteur de mutation qui modifie directement les fichiers de configuration, les prompts et le code d'un agent — regroupés dans une structure appelée Agent Workspace — pour en améliorer les performances de façon itérative, sans intervention humaine. Le cycle de fonctionnement s'articule en cinq étapes : l'agent tente une tâche, le système observe les résultats, un moteur d'évolution identifie les points de défaillance et modifie les fichiers, un module de validation vérifie qu'aucune régression n'est introduite, puis l'agent redémarre avec le workspace mis à jour. Chaque mutation est taguée sous Git (evo-1, evo-2…) pour permettre un rollback automatique si nécessaire. Les tests initiaux ont été conduits sur des modèles de la série Claude d'Anthropic, sur des benchmarks exigeants dont SWE-bench, le standard de référence pour évaluer la résolution autonome de tickets GitHub. L'enjeu est de taille : aujourd'hui, construire un agent IA performant exige un travail manuel intensif. Quand un agent échoue sur une tâche, l'ingénieur doit inspecter les logs, diagnostiquer la logique défaillante, réécrire les prompts et recommencer — un cycle chronophage qui freine le passage à l'échelle. A-Evolve automatise précisément cette boucle, ce que ses créateurs comparent à l'impact qu'a eu PyTorch sur le deep learning en 2016 : PyTorch avait éliminé le calcul manuel des gradients et démocratisé l'entraînement de réseaux de neurones ; A-Evolve ambitionne de faire de même pour la conception d'agents, en remplaçant le tuning artisanal par un processus systématique et reproductible. Pour les équipes d'ingénierie IA en entreprise, cela pourrait réduire drastiquement le temps de développement et permettre de déployer des agents spécialisés dans des domaines variés sans expertise pointue à chaque itération. Le projet s'inscrit dans une course plus large à l'automatisation de l'automatisation elle-même — ce que la communauté appelle parfois le "méta-apprentissage" ou l'auto-amélioration des systèmes IA. Amazon n'est pas seul sur ce terrain : OpenAI, DeepMind et plusieurs startups explorent des approches similaires d'optimisation automatique d'agents. Ce qui distingue A-Evolve est son architecture modulaire de type "Bring Your Own" : l'utilisateur peut brancher n'importe quelle architecture d'agent (ReAct, multi-agent), n'importe quel environnement d'exécution (sandbox de code, CLI cloud) et n'importe quel algorithme d'évolution (mutation pilotée par LLM ou par renforcement). Le code est disponible sur GitHub sous le compte A-EVO-Lab. La vraie question reste celle de la généralisation : les gains de performance observés sur SWE-bench se traduiront-ils sur des tâches métier réelles, moins standardisées ? C'est le prochain test que l'industrie imposera à ce type de framework.

💬 La comparaison avec PyTorch, c'est gonflé, mais pas complètement faux. Automatiser la boucle debug-réécriture-test sur des agents, c'est exactement ce qui bloque la mise à l'échelle aujourd'hui, et le fait que ça soit testé sur SWE-bench avec Claude donne du crédit. La vraie question c'est si ça tient sur des tâches métier réelles, moins propres qu'un benchmark standard.

RecherchePaper
1 source