J'ai entrevu l'avenir de la robotique dans un canard virtuel qui poursuit mon chat
À l'aide de GPT-6 Sol, le modèle le plus récent d'OpenAI, un journaliste a entraîné en quelques heures une version virtuelle de Microduck, un petit robot conçu par Pollen Robotics et Hugging Face, à se déplacer dans une pièce et à repérer les chats bengal. Le robot simulé s'approche d'un félin cible en se dandinant, et l'auteur prévoit, une fois son exemplaire physique livré, de lui faire distribuer une friandise à sa chatte Leona en inclinant la tête pour libérer une croquette d'un réservoir imprimé en 3D. Pour cela, il a combiné GPT-6 Sol, l'outil agentique Hermes de Nous Research, un ordinateur Nvidia DGX Spark et le logiciel Isaac Sim de Nvidia. Le modèle ne s'est pas contenté d'écrire du code : il a transmis des instructions au modèle qui pilotait le robot virtuel, visionné des vidéos de ses essais pour juger des progrès et proposé des ajustements à l'entraînement. Le robot marche désormais sans tomber, mais une tentative d'apprentissage du moonwalk, à partir d'un GIF de Michael Jackson, n'a abouti qu'à un joyeux jogging à reculons.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Wired AI. Lire l'article original →
Ce qui compte ici, c'est la compression du temps et de l'expertise nécessaires. Ce type de travail aurait pris des semaines à l'auteur auparavant, et exigeait jusque-là des compétences pointues en robotique. À l'université de Californie à Berkeley, le professeur Ken Goldberg raconte que l'un de ses étudiants a donné à Astra, un modèle d'OpenAI sorti en septembre, l'accès à l'outil Newton de Nvidia, avec une vidéo d'un vrai robot en action. En moins d'une heure, le modèle a produit une simulation 3D complète, avec position de la caméra, éclairage, arrière-plan et matériaux. Or ces simulations doivent être très précises pour que des comportements sophistiqués, comme la danse d'un humanoïde ou la saisie par une main robotique, se transposent fidèlement au monde réel. Goldberg indique que plusieurs entreprises de robotique industrielle et d'automatisation s'intéressent à l'approche, avec un impact potentiel important sur l'industrie manufacturière et le commerce en ligne. L'auteur nuance toutefois : le système de vision de son canard robot n'est pas assez fiable pour un produit commercial, et faire fonctionner des robots de manière fiable reste très difficile.
Cette évolution s'inscrit dans un mouvement plus large, que décrit Jim Fan, chercheur chez Nvidia et collaborateur de Goldberg : les grands modèles de langage pilotent désormais des modèles de contrôle physique, dits VLA (vision-langage-action), comme ils utilisent des logiciels sur un ordinateur. Cette semaine, Fan, Goldberg et d'autres ont publié en open source Aspire, un cadre agentique qui permet à un robot de découvrir et d'utiliser de nouvelles compétences. Dans une démonstration, GPT-6 Astra a résolu un Rubik's cube avec deux bras robotisés : après un premier essai raté dû à un mauvais angle, il a longuement raisonné avant de réussir en acquérant les gestes au fil du temps. Lors de la Conférence sur l'apprentissage des robots (CoRL) à Austin, au Texas, Fan a présenté dans sa keynote une autre démonstration, où Astra, aux commandes d'un bras robotisé, a peint le Golden Gate Bridge avec les pinceaux et la peinture à disposition. Ces résultats suggèrent que l'automatisation par l'IA d'une grande partie du travail d'entraînement pourrait devenir un levier majeur pour la robotique.
Pollen Robotics, entreprise française, conçoit le robot Microduck avec Hugging Face, illustrant le rôle de l'écosystème européen dans la robotique pilotée par l'IA.