Nouveau navigateur web: une plateforme d'évaluation pour les agents de navigation

En Pratique: Évaluation des Agents Utilisant des Outils dans des Environnements du Monde Réel avec OpenEnv

OpenEnv, un cadre de simulation, a été utilisé pour évaluer l'efficacité des agents utilisateurs d'outils dans des environnements réels. Les chercheurs ont testé diverses stratégies d'agents dans des scénarios inspirés de la vie réelle, montrant une amélioration significative des performances grâce à l'adaptation et à l'apprentissage. Des exemples concrets incluent la navigation dans des espaces complexes et la manipulation d'objets pour résoudre des tâches, avec des agents démontrant une capacité à s'adapter à des changements imprévus.

Genie Sim 3.0 : une plateforme de simulation haute fidélité pour robots humanoïdes

AgibotTech a publié Genie Sim 3.0, une plateforme de simulation unifiée destinée à l'apprentissage de la manipulation robotique. Son composant central, le Genie Sim Generator, utilise un grand modèle de langage (LLM) pour construire automatiquement des environnements 3D haute fidélité à partir de simples instructions en langage naturel. La plateforme intègre également le premier benchmark de robotique dont l'évaluation est entièrement automatisée par LLM : il génère en masse des scénarios de test, puis s'appuie sur un modèle vision-langage (VLM) pour noter les performances des robots sans intervention humaine. AgibotTech publie simultanément un jeu de données open source de plus de 10 000 heures de données synthétiques couvrant plus de 200 tâches distinctes, accessible sur GitHub. L'enjeu central est le fossé entre simulation et monde réel, le fameux problème du "sim-to-real transfer", qui freine depuis des années le déploiement à grande échelle des robots apprenants. Collecter des données dans le monde physique coûte extrêmement cher et se heurte à des contraintes de passage à l'échelle quasi insurmontables. Genie Sim 3.0 démontre expérimentalement que ses données synthétiques permettent un transfert "zéro-shot" vers le monde réel, c'est-à-dire que des politiques de contrôle entraînées uniquement en simulation fonctionnent directement sur des robots physiques, sans phase d'adaptation supplémentaire. Pour les laboratoires de robotique et les startups du secteur, cela ouvre la possibilité de produire des volumes de données d'entraînement plusieurs ordres de grandeur supérieurs à ce qu'autorise la réalité physique, à une fraction du coût. Cette publication s'inscrit dans une course mondiale à la robotique humanoïde impliquant des acteurs comme Figure AI, Physical Intelligence, Boston Dynamics ou encore Tesla avec Optimus. L'un des goulots d'étranglement communs à tous est précisément la rareté des données d'entraînement de qualité et la fragmentation des benchmarks, chaque laboratoire travaillant dans son propre silo de simulation. En proposant une plateforme ouverte, un dataset massif et une procédure d'évaluation standardisée et automatisée, AgibotTech tente de poser une infrastructure commune au champ. La prochaine étape sera de vérifier si ce transfert zéro-shot tient dans des conditions moins contrôlées, avec des objets, des éclairages et des configurations inédits.

💬 Le fossé sim-to-real, c'est le mur sur lequel tous les labos de robotique se cognent depuis des années. Que des données purement synthétiques suffisent à piloter du vrai métal sans phase d'adaptation, c'est la promesse qu'on attendait vraiment. Reste à voir si ça tient avec des objets imprévus, un mauvais éclairage, le vrai bazar du monde réel.

Système ouvert de bout en bout pour la navigation autonome de robots en conditions réelles

Des chercheurs ont présenté un système embarqué léger et à architecture ouverte permettant à un robot quadrupède de naviguer de manière autonome dans des environnements réels, inconnus et dynamiques, sans apprentissage préalable spécifique à ces lieux. Déployé sur un robot Unitree Go2 à quatre pattes, le système atteint un taux de réussite supérieur à 88 % dans plusieurs environnements intérieurs testés. Il repose sur ROS2 comme middleware de communication entre les différents composants embarqués, et accepte des instructions de navigation formulées en langage naturel. Les capteurs du robot alimentent en continu un système de localisation et de cartographie, qui construit des graphes de scènes hiérarchiques enrichis de sémantique ouverte, c'est-à-dire capables d'identifier des objets sans liste prédéfinie. Un planificateur basé sur un grand modèle de langage (LLM) exploite ces graphes pour générer et adapter des plans d'action en temps réel, au fur et à mesure que la scène évolue. Ce résultat est significatif car la navigation autonome en environnement réel reste un problème difficile que la majorité des systèmes actuels ne résolvent qu'en simulation, là où les conditions sont contrôlées et les incertitudes absentes. Le fait qu'un robot puisse interpréter une consigne en langue naturelle, construire une représentation sémantique de son environnement à la volée et s'y adapter dynamiquement ouvre la voie à des déploiements pratiques dans des bâtiments industriels, des entrepôts, des hôpitaux ou des espaces publics, sans configuration manuelle préalable. La robotique autonome bute depuis des années sur quatre obstacles fondamentaux : la perception imparfaite, l'observabilité partielle, l'incertitude de localisation et les contraintes de sécurité. L'intégration des LLM comme couche de planification symbolique, combinée à une cartographie sémantique continue, représente une approche émergente qui capitalise sur les progrès récents en traitement du langage naturel et en vision par ordinateur. Ce travail s'inscrit dans une tendance plus large visant à doter les robots de capacités de raisonnement général plutôt que de comportements pré-programmés, un chantier sur lequel rivalisent des équipes académiques et des acteurs industriels comme Boston Dynamics, Figure AI ou Agility Robotics.

ZD Tech : Niantic utilise les 30 milliards d'images de Pokémon Go pour créer un système de navigation pour les robots

Niantic, le studio derrière Pokémon Go, a exploité les 30 milliards d'images collectées par les joueurs dans le monde réel pour entraîner un système de navigation destiné aux robots. Ce projet révèle que la chasse aux Pokémon était en réalité un vaste programme de cartographie du monde physique à l'échelle industrielle. Ces données visuelles massives permettent désormais à des robots de se repérer et de se déplacer dans des environnements réels.