Aller au contenu principal
Le Fil IA
Le Fil IAL'actu IA, décodée
Les agents RL passent du plantage au parkour en multipliant les couches du réseau
RechercheThe Decoder6sem

Les agents RL passent du plantage au parkour en multipliant les couches du réseau

Résumé IASource uniqueImpact UE
Source originale ↗·

Une équipe de chercheurs vient de démontrer que l'apprentissage par renforcement (RL) souffrait depuis des années d'un goulot d'étranglement insoupçonné : la profondeur des réseaux de neurones. En portant le nombre de couches jusqu'à 1 024, contre les 2 à 5 habituellement utilisées, ils ont obtenu des gains de performance allant de 2x à 50x — et vu des comportements entièrement inédits émerger spontanément chez leurs agents.

L'apprentissage par renforcement est la technique qui permet à des agents virtuels d'apprendre par essais et erreurs, en maximisant une récompense. C'est cette approche qui a produit les IA de jeux vidéo surhumaines d'OpenAI et DeepMind, et qui alimente aujourd'hui une partie de la recherche en robotique. Que de simples choix architecturaux aient bridé ses capacités pendant des décennies représente un signal fort : le potentiel du RL est loin d'être épuisé, et des gains massifs pourraient être accessibles sans changer les algorithmes fondamentaux.

L'expérience a été conduite avec un agent auto-supervisé — un paradigme où l'agent génère lui-même ses propres signaux d'apprentissage, sans étiquetage humain. À faible profondeur, les agents peinent à accomplir des tâches basiques de locomotion, trébuchant et s'effondrant. À mesure que les chercheurs empilent les couches vers 512 puis 1 024, les mêmes agents commencent à exécuter des enchaînements fluides évoquant du parkour — sauts, roulades, franchissements d'obstacles — sans que ces comportements aient été explicitement programmés.

Ces résultats relancent une question structurante pour le domaine : les lois d'échelle (scaling laws) qui ont révolutionné les grands modèles de langage s'appliquent-elles aussi à l'apprentissage par renforcement ? Si oui, augmenter la taille des réseaux RL pourrait devenir aussi systématiquement bénéfique que pour les LLM, ouvrant la voie à des agents incarnés bien plus capables dans des environnements physiques réels.

Dans nos dossiers

OpenAI

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Navigating l'encombrement : planification bi-niveau par points de passage pour systèmes multi-robots
1arXiv cs.RO 

Navigating l'encombrement : planification bi-niveau par points de passage pour systèmes multi-robots

Des chercheurs de l'Université de Californie à Santa Barbara (UCSB, laboratoire NLP-Chang) ont publié sur arXiv (référence 2604.21138) un framework hybride de contrôle multi-robots capable de planifier simultanément à deux niveaux : la planification de tâches à haut niveau (quel robot fait quoi, dans quel ordre) et la planification de trajectoires à bas niveau (comment éviter les collisions). Le système repose sur une représentation compacte appelée "waypoints", des points de passage intermédiaires qui paramétrisent les trajectoires motrices de façon plus légère qu'une optimisation de trajectoire continue. Pour entraîner le tout, l'équipe utilise un algorithme RLVR (Reinforcement Learning with Verifiable Rewards) modifié, combiné à une stratégie de curriculum progressif qui remonte les retours de faisabilité physique du planificateur bas niveau vers le planificateur haut niveau. Les expériences sont conduites sur BoxNet3D-OBS, un benchmark multi-robots 3D à obstacles denses, avec des configurations allant jusqu'à neuf robots simultanément. Sur ce benchmark, l'approche surpasse de manière consistante les baselines "motion-agnostic" (qui ignorent les contraintes physiques) et les baselines fondées sur des VLA (Vision-Language-Action models). Ce résultat pointe un problème structurel souvent minimisé dans la littérature : l'affectation du crédit entre les deux niveaux de planification. Quand un système multi-robots échoue, est-ce que la tâche était mal assignée ou la trajectoire physiquement infaisable ? Cette ambiguïté rend les approches séquentielles (planifier les tâches, puis les trajectoires) fragiles dès que l'environnement est encombré. Le fait que les modèles VLA, pourtant en vogue depuis les travaux pi-0, GR00T N2 et Helix, sous-performent sur ce benchmark suggère que leur capacité de généralisation atteint ses limites dès qu'on ajoute des contraintes de collision à grande échelle : bonne nouvelle pour les approches d'optimisation hybride, mauvaise nouvelle pour ceux qui misent sur les VLA comme solution universelle en entrepôt. Ce travail s'inscrit dans une tendance de fond : appliquer les techniques de raisonnement par renforcement issues du traitement du langage naturel (notamment la famille DeepSeek-R1 et RLVR) à la robotique multi-agents. Les systèmes concurrents dans cet espace incluent les travaux sur TAMP (Task and Motion Planning) de MIT CSAIL et CMU, ainsi que les approches de planification décentralisée type MAPF (Multi-Agent Path Finding). Le code est disponible sur GitHub (UCSB-NLP-Chang/navigate-cluster). Les prochaines étapes probables incluent une validation sur robots physiques et une montée en charge au-delà de neuf agents, terrain où les questions de latence de planification deviendront critiques pour des déploiements industriels réels.

RecherchePaper
1 source
2VentureBeat AI 

Une étude Databricks montre que les agents multi-étapes surpassent le RAG mono-requête sur des sources multiples

Une équipe de recherche de Databricks a publié des résultats montrant que les agents multi-étapes surpassent systématiquement les systèmes RAG classiques lorsque les questions nécessitent de croiser données structurées et contenu non structuré. Testés sur neuf tâches de connaissance d'entreprise, les agents multi-étapes affichent des gains de 20% ou plus sur le benchmark STaRK de Stanford, qui couvre trois domaines semi-structurés : les données produits Amazon, le Microsoft Academic Graph et une base de connaissances biomédicale. Sur ce dernier domaine, l'écart de performance atteint 38%. Pour s'assurer que ces gains ne s'expliquent pas simplement par la qualité du modèle sous-jacent, Databricks a réexécuté les baselines STaRK publiées en utilisant un modèle de fondation plus récent et plus puissant : ce modèle plus fort a quand même perdu face à l'agent multi-étapes, confirmant que le problème est architectural. Le problème fondamental des systèmes RAG à passage unique est leur incapacité à décomposer une requête hybride, c'est-à-dire une question qui mélange un filtre structuré précis avec une recherche sémantique ouverte. Une question telle que "Quels produits ont vu leurs ventes baisser ces trois derniers mois, et quels problèmes connexes remontent dans les avis clients ?" exige d'interroger simultanément un entrepôt SQL et des documents non structurés, puis de combiner les résultats. Un système RAG classique ne peut pas scinder cette requête, router chaque partie vers la bonne source de données et synthétiser le tout. Michael Bendersky, directeur de la recherche chez Databricks, résume ainsi la limite : "RAG fonctionne, mais ça ne passe pas à l'échelle. Si vous voulez comprendre pourquoi vos ventes baissent, il faut aider l'agent à voir les tables et les données commerciales. Votre pipeline RAG sera incompétent pour cette tâche." Pour répondre à ce problème, Databricks a conçu le Supervisor Agent, implémentation concrète de cette approche de recherche. Son architecture repose sur trois mécanismes : la décomposition parallèle des outils, où l'agent lance simultanément des requêtes SQL et des recherches vectorielles avant d'analyser les résultats combinés ; l'auto-correction, qui lui permet de détecter un échec de récupération, de reformuler la requête et d'emprunter un autre chemin, comme lorsqu'il exécute une jointure SQL pour trouver un auteur ayant exactement 115 publications sur un sujet précis ; et une configuration déclarative en langage naturel, qui permet de connecter n'importe quelle nouvelle source de données sans ré-entraînement. Ces travaux s'appuient sur les recherches antérieures de Databricks sur les retrievers instruits, qui avaient déjà amélioré la récupération sur données non structurées via des requêtes enrichies de métadonnées, et marquent une extension logique vers les sources relationnelles que les entreprises utilisent le plus au quotidien.

RecherchePaper
1 source
3InfoQ AI 

Présentation : repenser l'engagement sur les plateformes avec les réseaux de neurones de graphes

Mariia Bulycheva, ingénieure chez Zalando, a présenté comment la plateforme de mode européenne a migré son système de recommandations pour sa page d'accueil des architectures classiques de deep learning vers les réseaux de neurones sur graphes (GNN). L'approche consiste à convertir les journaux d'interactions des utilisateurs en graphes hétérogènes, où chaque noeud représente un utilisateur, un produit ou une session, et chaque arête encode un type de relation différent. L'entraînement repose sur un mécanisme dit de "passage de messages", où chaque noeud agrège progressivement les informations de ses voisins pour construire une représentation contextuelle enrichie. Cette évolution permet à Zalando de capturer des signaux comportementaux bien plus fins que les modèles séquentiels traditionnels : les GNN peuvent modéliser simultanément les affinités entre produits, les habitudes d'un utilisateur et les tendances collectives, ce qui améliore directement la pertinence des recommandations affichées dès l'arrivée sur la page. Pour une plateforme générant des milliards d'euros de chiffre d'affaires annuel, même une fraction de point de gain sur le taux de conversion représente un impact commercial significatif. Le déploiement a cependant révélé deux obstacles majeurs : le risque de fuite de données propre aux graphes, où les connexions entre noeuds peuvent involontairement exposer des informations futures lors de l'entraînement, et la latence à l'inférence, incompatible avec les exigences temps réel d'une page d'accueil. Zalando a résolu ce dernier point par une architecture hybride : les GNN génèrent des embeddings contextuels en amont, transmis ensuite à un modèle aval plus léger pour la décision finale, découplant ainsi la richesse de la représentation de la contrainte de rapidité.

UEZalando, acteur européen majeur de la mode en ligne, démontre une adoption industrielle des GNNs qui peut inspirer d'autres plateformes d'e-commerce européennes à moderniser leurs systèmes de recommandation.

RecherchePaper
1 source
Google AI Research présente PaperOrchestra, un cadre multi-agents pour la rédaction automatisée d'articles de recherche
4MarkTechPost 

Google AI Research présente PaperOrchestra, un cadre multi-agents pour la rédaction automatisée d'articles de recherche

Une équipe de chercheurs de Google Cloud AI Research a présenté PaperOrchestra, un système multi-agents conçu pour automatiser la rédaction complète d'articles scientifiques. À partir de matériaux non structurés, un résumé d'idée brut et des journaux d'expérimentation, le système produit un manuscript LaTeX prêt à soumettre à une conférence, incluant une revue de littérature, des figures générées automatiquement et des citations vérifiées via API. Le pipeline orchestre cinq agents spécialisés travaillant en séquence, dont deux en parallèle : un agent d'organisation produit d'abord un plan JSON structuré, puis un agent de visualisation génère les figures pendant qu'un agent de revue bibliographique identifie et vérifie les références via l'API Semantic Scholar, en calculant la distance de Levenshtein pour détecter les titres approximatifs et en éliminant les citations hallucinations. Un quatrième agent rédige ensuite les sections restantes, et un cinquième assemble le tout en LaTeX final. Ce système comble un vide réel dans l'outillage de la recherche académique. Les solutions existantes souffraient toutes de limitations structurelles : PaperRobot ne gérait que des séquences de texte incrémentales, AI Scientist (v1 et v2, de Sakana AI) automatise la boucle expérimentale entière mais son module de rédaction reste couplé à ses propres pipelines internes et ne peut pas traiter des données extérieures. Les systèmes spécialisés comme AutoSurvey2 ou LiRA produisent de bonnes revues de littérature mais sont incapables de positionner une méthode spécifique face à l'état de l'art. CycleResearcher, lui, exige un fichier BibTeX structuré en entrée, un artefact rarement disponible en début de rédaction. PaperOrchestra est le premier système à accepter les matériaux tels qu'un chercheur les aurait réellement après ses expériences, sans pré-traitement. L'enjeu derrière ce type d'outil dépasse la simple automatisation : la rédaction académique représente souvent plusieurs semaines de travail après la fin des expériences, et c'est précisément là que de nombreux papiers n'aboutissent jamais, notamment pour les chercheurs moins expérimentés. En industrialisant cette étape, Google s'inscrit dans une course plus large à l'automatisation de la recherche scientifique, où Sakana AI, Anthropic et d'autres tentent de réduire le cycle entre idée et publication. La contrainte imposée par PaperOrchestra, au moins 90 % du corpus bibliographique identifié doit être activement cité, et la vérification systématique des références montrent une volonté de ne pas sacrifier la rigueur à la vitesse. La prochaine étape naturelle serait l'intégration avec des pipelines expérimentaux réels, ce qui rapprocherait encore davantage ce système d'une automatisation complète du cycle de recherche.

UELes chercheurs académiques en France et dans l'UE pourraient bénéficier de cet outil pour réduire le temps de rédaction de leurs articles scientifiques, mais aucun déploiement européen spécifique n'est annoncé.

RecherchePaper
1 source