Manipulation bimanuelles par robot via apprentissage en contexte multi-agents

Des chercheurs ont présenté BiCICLe (Bimanual Coordinated In-Context Learning), un nouveau cadre permettant à des grands modèles de langage (LLM) standard de contrôler des robots à deux bras sans aucun entraînement spécifique à la tâche. Publié sous forme de preprint sur arXiv, ce travail s'appuie sur l'apprentissage en contexte (In-Context Learning), une technique qui permet à un LLM de généraliser à de nouvelles situations à partir de quelques exemples fournis directement dans le prompt. Évalué sur 13 tâches issues du benchmark TWIN, BiCICLe atteint un taux de succès moyen de 71,1 %, surpassant la meilleure méthode sans entraînement de 6,7 points de pourcentage et dépassant la majorité des approches supervisées.

Le défi de la manipulation bimanuele est précisément ce qui rend ce résultat remarquable. Coordonner deux bras robotiques implique un espace d'action à très haute dimensionnalité et des contraintes de synchronisation strictes entre les deux membres, ce qui dépasse rapidement les capacités des fenêtres de contexte standard des LLM. BiCICLe contourne ce problème en reformulant le contrôle bimanuel comme un problème multi-agents de type leader-suiveur : chaque bras est géré par un LLM distinct, le second conditionnant ses prédictions sur celles du premier. Un troisième modèle joue le rôle de juge, évaluant et sélectionnant les trajectoires coordonnées les plus plausibles parmi plusieurs propositions, via un processus itératif baptisé Arms' Debate.

Ce travail s'inscrit dans une tendance plus large qui vise à exploiter les capacités de raisonnement des LLM pour la robotique incarnée, sans passer par des cycles d'entraînement coûteux. Jusqu'ici, l'ICL avait surtout été appliqué à des tâches à un seul bras, plus simples à modéliser. BiCICLe ouvre la voie à une robotique plus flexible, où des modèles de langage généralistes peuvent être déployés sur des systèmes physiques complexes avec un minimum d'exemples. Les résultats de généralisation sur des tâches inédites renforcent la crédibilité de cette approche pour des applications industrielles ou domestiques où la variété des manipulations est élevée.