RobotiquearXiv cs.RO2h

Genie Sim 3.0 : une plateforme de simulation haute fidélité pour robots humanoïdes

Résumé IASource uniqueImpact UE

AgibotTech a publié Genie Sim 3.0, une plateforme de simulation unifiée destinée à l'apprentissage de la manipulation robotique. Son composant central, le Genie Sim Generator, utilise un grand modèle de langage (LLM) pour construire automatiquement des environnements 3D haute fidélité à partir de simples instructions en langage naturel. La plateforme intègre également le premier benchmark de robotique dont l'évaluation est entièrement automatisée par LLM : il génère en masse des scénarios de test, puis s'appuie sur un modèle vision-langage (VLM) pour noter les performances des robots sans intervention humaine. AgibotTech publie simultanément un jeu de données open source de plus de 10 000 heures de données synthétiques couvrant plus de 200 tâches distinctes, accessible sur GitHub.

L'enjeu central est le fossé entre simulation et monde réel, le fameux problème du "sim-to-real transfer", qui freine depuis des années le déploiement à grande échelle des robots apprenants. Collecter des données dans le monde physique coûte extrêmement cher et se heurte à des contraintes de passage à l'échelle quasi insurmontables. Genie Sim 3.0 démontre expérimentalement que ses données synthétiques permettent un transfert "zéro-shot" vers le monde réel, c'est-à-dire que des politiques de contrôle entraînées uniquement en simulation fonctionnent directement sur des robots physiques, sans phase d'adaptation supplémentaire. Pour les laboratoires de robotique et les startups du secteur, cela ouvre la possibilité de produire des volumes de données d'entraînement plusieurs ordres de grandeur supérieurs à ce qu'autorise la réalité physique, à une fraction du coût.

Cette publication s'inscrit dans une course mondiale à la robotique humanoïde impliquant des acteurs comme Figure AI, Physical Intelligence, Boston Dynamics ou encore Tesla avec Optimus. L'un des goulots d'étranglement communs à tous est précisément la rareté des données d'entraînement de qualité et la fragmentation des benchmarks, chaque laboratoire travaillant dans son propre silo de simulation. En proposant une plateforme ouverte, un dataset massif et une procédure d'évaluation standardisée et automatisée, AgibotTech tente de poser une infrastructure commune au champ. La prochaine étape sera de vérifier si ce transfert zéro-shot tient dans des conditions moins contrôlées, avec des objets, des éclairages et des configurations inédits.

Impact France/UE

Les laboratoires de robotique et startups européens peuvent accéder librement aux 10 000 heures de données synthétiques sur GitHub pour accélérer leurs recherches sur le transfert sim-to-réel, sans avoir à produire ces données coûteusement en conditions réelles.

Dans nos dossiers

Robots humanoïdes Open weight & Open source

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1arXiv cs.RO

Les robots humanoïdes apprennent la manipulation polyvalente par simulation tactile

Des chercheurs ont présenté un nouveau système d'apprentissage pour robots humanoïdes capable de manipuler des objets avec une dextérité inédite, en intégrant le sens du toucher comme modalité centrale. Baptisé HTD (Humanoid Transformer with Touch Dreaming), ce modèle multimodal de type encodeur-décodeur Transformer combine la vision multi-caméras, la proprioception et la détection tactile pour permettre à un robot humanoïde d'accomplir des tâches nécessitant des contacts physiques complexes et fréquents. Testé sur cinq tâches réelles impliquant des manipulations délicates, HTD affiche une amélioration relative de 90,9 % du taux de succès moyen par rapport aux approches concurrentes les plus solides. L'enjeu central de ce travail est de résoudre l'un des défis les plus persistants de la robotique humanoïde : la coordination entre stabilité du corps entier, agilité des mains et conscience du contact physique. Dans les environnements réels, un robot qui saisit un objet fragile ou manipule un outil doit constamment ajuster sa prise en fonction des forces ressenties, une capacité que les systèmes purement visuels peinent à développer. Grâce à la technique du "touch dreaming", la politique apprise ne se contente pas de prédire des séquences d'actions, elle anticipe également les forces futures exercées par les articulations des mains et les états tactiles latents à venir, ce qui l'oblige à construire des représentations internes riches et sensibles au contact. Les expériences d'ablation confirment que cette prédiction dans l'espace latent est plus efficace que la prédiction brute des données tactiles, avec un gain relatif de 30 % supplémentaire en taux de succès. L'architecture repose sur un contrôleur de la partie basse du corps entraîné par apprentissage par renforcement, qui assure la stabilité posturale pendant les manipulations complexes. La collecte de données de démonstration s'effectue via un système de téléopération en réalité virtuelle qui intègre à la fois des mains dextères et des capteurs tactiles, permettant de recueillir des interactions riches en contact sans étape de pré-entraînement tactile séparée. Ce travail, dont les matériaux sont publiés en open source, s'inscrit dans une tendance plus large de la recherche en robotique visant à doter les humanoïdes de capacités sensori-motrices proches de celles des humains, condition indispensable avant un déploiement dans des environnements domestiques ou industriels non contrôlés.

RobotiqueOpinion

1 source

2Siècle Digital

Amazon rachète une start-up de robots humanoïdes

Amazon a finalisé l'acquisition de Fauna Robotics, une jeune entreprise américaine spécialisée dans les robots humanoïdes, selon des informations révélées par Bloomberg. Le montant de la transaction n'a pas été divulgué. Cette opération s'inscrit dans une stratégie d'expansion robotique accélérée du géant de Seattle, qui avait déjà alimenté les rumeurs en juin dernier autour de robots livreurs autonomes. L'annonce intervient quelques jours seulement après une autre initiative dans ce secteur, confirmant un rythme d'investissement soutenu. Pour Amazon, l'enjeu est considérable : ses entrepôts emploient plus d'un million de personnes dans le monde, et l'automatisation des tâches manuelles complexes — picking, tri, manutention — représente un levier de productivité et de réduction des coûts massif. Les robots humanoïdes, capables de manipuler des objets dans des environnements conçus pour les humains, ouvrent des possibilités que les bras robotisés traditionnels ne permettent pas. Pour les travailleurs de la logistique, cette trajectoire soulève des questions directes sur l'évolution de leurs métiers. La course aux robots humanoïdes s'est considérablement intensifiée ces deux dernières années. Figure 02 de Figure AI, Optimus de Tesla, Atlas de Boston Dynamics ou encore les robots de 1X Technologies attirent des milliards de dollars d'investissement. Amazon, qui possède déjà Boston Dynamics via Hyundai et opère des dizaines de milliers de robots dans ses entrepôts, se positionne pour ne pas laisser à des tiers le contrôle de cette technologie stratégique. L'intégration de Fauna Robotics devrait accélérer ses capacités de développement en interne.

UELes entrepôts Amazon en France et en Europe, qui emploient des centaines de milliers de salariés de la logistique, sont directement concernés par cette accélération vers l'automatisation humanoïde.

RobotiqueActu

1 source

3arXiv cs.RO

RecoverFormer : récupération en boucle fermée avec conscience des contacts pour robots humanoïdes

Des chercheurs ont présenté RecoverFormer, un système de contrôle entièrement automatisé permettant aux robots humanoïdes de récupérer leur équilibre après des chutes ou des poussées imprévues. Publié sur arXiv (2604.22911), ce travail introduit une politique d'apprentissage bout-en-bout testée sur le robot Unitree G1 dans le simulateur MuJoCo. L'architecture repose sur un transformeur causal analysant les 50 dernières étapes d'observation du robot, combiné à deux modules inédits : un « mode de récupération latent » permettant de passer fluidement entre différentes stratégies d'équilibre, et une tête de prédiction de contacts qui identifie les surfaces environnantes exploitables, murs, rambardes, bords de table. Entraîné uniquement sur sol plat et ouvert, RecoverFormer atteint 100 % de succès de récupération face à des poussées de 100 à 300 newtons, et ce quelle que soit la distance au mur (de 0,25 à 1,4 mètre), sans avoir jamais vu ces obstacles pendant l'entraînement. Ces résultats sont significatifs car ils montrent qu'un seul modèle peut gérer des situations radicalement différentes sans reprogrammation manuelle ni supervision par mode de récupération. Sous des conditions dégradées simulant des écarts dynamiques réels, le système maintient 75,5 % de succès avec une masse augmentée de 25 %, 89 % sous une latence de 30 millisecondes, et 91,5 % sur sol à faible friction. Combinées, ces perturbations n'abaissent le taux qu'à 99 %, ce qui est remarquable. Pour les industriels et les laboratoires déployant des humanoïdes dans des environnements réels non contrôlés, cette robustesse en transfert zéro-shot représente un saut qualitatif par rapport aux approches modulaires classiques qui nécessitent des comportements préprogrammés pour chaque scénario. La récupération après perturbation reste l'un des problèmes les plus difficiles de la robotique humanoïde, domaine où Boston Dynamics, Figure AI ou Agility Robotics investissent massivement. La plupart des systèmes actuels recourent à des pipelines hiérarchiques séparant détection, planification et exécution. RecoverFormer mise au contraire sur une politique unifiée, dont les modes de comportement émergent spontanément, validé par une analyse t-SNE sur 300 épisodes, sans étiquetage supervisé. La prochaine étape logique sera le déploiement sur robot réel, hors simulation, pour confirmer que cette généralisation tient face aux imprévisibilités du monde physique.

RobotiqueOpinion

1 source

4arXiv cs.RO

Approcher puis agir : séquençage comportemental pour une manipulation robotique humanoïde

Des chercheurs ont publié Move-Then-Operate (MTO), un nouveau cadre d'apprentissage pour la manipulation robotique qui s'inspire directement du fonctionnement du cerveau humain. L'approche sépare explicitement chaque geste robotique en deux phases distinctes : une phase de déplacement grossier vers la cible (move), puis une phase d'interaction de précision avec l'objet (operate). Pour orchestrer ce découpage, le système utilise une architecture à double expert, pilotée par un sélecteur de phase entraînable. Les étiquettes de phase sont générées automatiquement via un pipeline basé sur un modèle de langage multimodal, qui analyse des indicateurs contextuels légers comme la vitesse de l'effecteur terminal et la décomposition des sous-tâches. Sur le benchmark RoboTwin2, MTO atteint un taux de réussite moyen de 68,9 %, surpassant le modèle de référence monolithique pi zéro de 24 points de pourcentage, tout en atteignant ses performances maximales en 40 % moins d'étapes d'entraînement. Ces résultats ont une portée significative pour la robotique industrielle et domestique. En isolant structurellement la phase de navigation de la phase de manipulation fine, MTO parvient à égaler, voire dépasser, des modèles entraînés sur dix fois plus de données. Cette efficacité d'apprentissage représente un avantage économique et pratique considérable : moins de données coûteuses à collecter, des cycles d'entraînement plus courts, et des robots capables de tâches de haute précision comme assembler des composants délicats, manipuler des objets fragiles ou effectuer des gestes médicaux assistés. La robotique moderne bute depuis des années sur le problème des politiques monolithiques, ces systèmes qui tentent d'apprendre tous les comportements moteurs dans un seul modèle unifié, sans distinguer les régimes dynamiques fondamentalement différents que sont le déplacement et la manipulation précise. Des frameworks comme pi zéro de Physical Intelligence ont marqué des avancées, mais restent limités par cette indifférenciation. MTO s'inscrit dans une tendance plus large visant à introduire des biais structurels inspirés de la cognition humaine dans les architectures robotiques. Les prochaines étapes naturelles incluent la validation sur des robots physiques réels et l'extension à des environnements non structurés, là où la généralisation reste le défi central du domaine.

RobotiqueOpinion

1 source