RobotiquearXiv cs.RO2h

SAMe : un moteur de cartographie anatomique sémantique pour l'échographie robotique

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté SAMe, un moteur de cartographie anatomique sémantique conçu pour automatiser l'initialisation des examens d'échographie robotique. Publié sur arXiv (référence 2604.25646), ce système résout l'un des verrous majeurs de l'échographie autonome : savoir quoi scanner, où commencer et comment s'adapter à l'anatomie propre de chaque patient. Concrètement, SAMe fonctionne en trois étapes : il traduit une plainte clinique vague en organe cible précis, génère une représentation anatomique personnalisée à partir d'une simple photo externe du corps, puis calcule automatiquement la position et l'orientation de la sonde en six degrés de liberté, sans recours à une imagerie préopératoire IRM ou scanner. Lors des tests sur robot réel, SAMe a atteint un taux de localisation correcte de 97,3 % pour le foie et de 81,7 % pour le rein, surpassant dans les deux cas la méthode de référence basée sur des heuristiques de surface.

Ces résultats représentent une avancée décisive pour rendre l'échographie robotique véritablement autonome. Jusqu'ici, même les systèmes les plus sophistiqués dépendaient d'un expert humain pour initialiser le scan, c'est-à-dire positionner correctement la sonde en début d'examen. SAMe supprime cette dépendance en intégrant une couche de compréhension anatomique explicite directement dans la boucle de contrôle du robot. Le moteur est également très léger : l'inférence pour un organe prend seulement 0,08 seconde, ce qui le rend compatible avec des systèmes embarqués et des contextes cliniques temps réel.

L'échographie robotique se développe dans un contexte de tension croissante entre la demande mondiale d'imagerie médicale et la pénurie de spécialistes qualifiés, notamment dans les zones sous-dotées. Les systèmes existants avaient progressé sur le contrôle local de l'image et la régulation du contact avec la peau, mais butaient sur cette étape d'initialisation. SAMe s'inscrit dans une ambition plus large : des pipelines d'échographie autonome pilotés par la plainte du patient, sans intervention spécialisée à chaque étape. La prochaine étape attendue sera l'intégration de cette couche anatomique avec les modules de navigation et d'interprétation d'image pour former un système d'échographie entièrement autonome de bout en bout.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1arXiv cs.RO

JoyAI-RA 0.1 : un modèle de base pour l'autonomie robotique

Des chercheurs ont publié le 28 avril 2026 sur arXiv un nouveau modèle de fondation baptisé JoyAI-RA 0.1, conçu pour doter les robots d'une autonomie généralisable dans des environnements réels et variés. Ce modèle de type vision-langage-action (VLA) s'appuie sur un cadre d'entraînement multi-sources et multi-niveaux inédit : il combine des données issues du web, des vidéos en vue subjective de manipulations humaines à grande échelle, des trajectoires générées par simulation, et des données collectées sur de vrais robots. Selon les résultats présentés, JoyAI-RA surpasse les méthodes les plus avancées sur des benchmarks en simulation comme en environnement réel, particulièrement sur des tâches variées nécessitant une capacité de généralisation. L'enjeu central de ce travail est la généralisation inter-robots, un problème récurrent dans le domaine : les modèles entraînés sur un type de robot peinent à s'adapter à d'autres architectures mécaniques ou capteurs différents. JoyAI-RA propose une unification explicite des espaces d'action, ce qui lui permet de transférer efficacement des comportements appris depuis des vidéos de manipulation humaine vers le contrôle robotique. Ce pont entre geste humain et mouvement machine est particulièrement prometteur pour réduire les coûts de collecte de données et accélérer le déploiement de robots polyvalents dans des contextes industriels, logistiques ou domestiques. La robotique autonome bute depuis des années sur deux obstacles structurels : la faible diversité des jeux de données disponibles et l'impossibilité de réutiliser des comportements appris d'un robot à l'autre. JoyAI-RA s'inscrit dans une tendance de fond qui voit émerger des modèles de fondation généralistes pour la robotique, à l'image de RT-2 de Google DeepMind ou d'OpenVLA. La particularité de cette approche réside dans l'intégration massive de vidéos de manipulation humaine comme source de supervision implicite, une stratégie qui contourne partiellement la rareté des données robotiques annotées. La publication en version 0.1 suggère que l'équipe, vraisemblablement liée à l'écosystème chinois au vu du nom JoyAI, entend faire évoluer ce modèle rapidement.

RobotiqueOpinion

1 source

2arXiv cs.RO

MOMO : un cadre pour l'apprentissage et l'adaptation des compétences robotiques, physiques, verbales et graphiques

Des chercheurs ont présenté MOMO, un framework permettant à des utilisateurs non experts de programmer et d'adapter des robots industriels sans écrire une seule ligne de code. Le système repose sur trois modalités d'interaction complémentaires : la guidance physique directe (kinesthetic teaching), les commandes en langage naturel, et une interface web graphique permettant de visualiser les trajectoires, ajuster des paramètres et déplacer des points de passage par glisser-déposer. La validation a eu lieu sur un robot industriel à 7 degrés de liberté à contrôle par couple, présenté lors du salon Automatica 2025, l'une des principales foires mondiales de robotique et d'automatisation. Ce que MOMO change concrètement, c'est la barrière entre l'opérateur et la machine. Jusqu'ici, modifier le comportement d'un robot industriel nécessitait des compétences en programmation ou l'intervention d'un intégrateur spécialisé. Avec ce framework, un technicien peut corriger une trajectoire en guidant physiquement le bras, demander verbalement une modification sémantique ("sois plus lent sur le bord droit"), ou retoucher visuellement la courbe dans un navigateur. L'architecture LLM adoptée est dite "à base d'outils" : le modèle de langage ne génère pas de code libre, mais sélectionne et paramètre des fonctions prédéfinies, ce qui limite les risques d'erreurs et de comportements imprévus sur un vrai site de production. L'article s'inscrit dans un effort de recherche plus large pour démocratiser la robotique flexible, particulièrement dans un contexte de pénurie de compétences techniques et de demande croissante de personnalisation en usine. Les cinq composants du système, détection d'intention humaine par énergie, LLM outillé, Kernelized Movement Primitives pour l'encodage du mouvement, Virtual Fixtures probabilistes et contrôle ergodique pour la finition de surface, forment une architecture modulaire. Le fait que la même approche LLM fonctionne aussi bien pour les mouvements classiques que pour le contrôle ergodique (utilisé en polissage ou peinture de surface) suggère une généralisation possible à un large spectre de tâches industrielles. Les prochaines étapes pourraient inclure des tests en conditions réelles de production et une éventuelle commercialisation via des partenariats industriels.

UELa démocratisation de la programmation robotique via interfaces multimodales pourrait bénéficier aux PME manufacturières européennes confrontées à une pénurie de compétences en automatisation industrielle.

RobotiqueOpinion

1 source

3arXiv cs.RO

Un modèle vision-langage-action pour l'insertion et le suivi d'aiguille guidés par échographie

Des chercheurs ont présenté un nouveau système robotique capable de réaliser des insertions d'aiguille guidées par échographie de façon entièrement automatisée et adaptative. Publiée sur arXiv (arXiv:2504.20347), l'étude introduit un modèle de type Vision-Language-Action (VLA) intégré à un système d'échographie robotique (RUS). Le cadre repose sur deux composants clés développés par l'équipe : une tête de suivi baptisée Cross-Depth Fusion (CDF), qui fusionne des caractéristiques visuelles superficielles et sémantiques profondes pour localiser l'aiguille en temps réel, et un registre de conditionnement appelé TraCon (Tracking-Conditioning), qui adapte efficacement un modèle visuel pré-entraîné à grande échelle aux tâches de suivi sans réentraînement complet. À ces composants s'ajoutent une politique de contrôle tenant compte des incertitudes et un pipeline VLA asynchrone, permettant des décisions d'insertion rapides et contextuellement adaptées. L'importance de cette avancée est directe : les insertions d'aiguille guidées par échographie sont omniprésentes en médecine, des biopsies aux anesthésies péridurales en passant par les ponctions vasculaires. Jusqu'ici, les systèmes automatisés reposaient sur des pipelines modulaires construits à la main, peu robustes face aux conditions d'imagerie difficiles, aux variations anatomiques ou aux mouvements du patient. Le nouveau système unifie suivi et contrôle dans un seul modèle bout-en-bout, ce qui lui permet de surpasser en précision de suivi et en taux de succès d'insertion non seulement les méthodes automatisées existantes, mais aussi les opérateurs humains lors des expériences menées, tout en réduisant le temps de procédure. Le guidage échographique reste l'une des modalités les plus utilisées pour les interventions percutanées, mais sa fiabilité dépend fortement de l'expérience du praticien et de la qualité de l'image, deux facteurs très variables en clinique. Les approches à base de vision par ordinateur ont progressé ces dernières années, mais aucune n'avait encore proposé un modèle aussi unifié et adaptatif. Ce travail s'inscrit dans une tendance plus large d'application des grands modèles multimodaux à la robotique chirurgicale, un domaine où des acteurs académiques et industriels comme Intuitive Surgical ou Activ Surgical investissent massivement. Les prochaines étapes naturelles concernent la validation sur des patients réels et l'intégration dans des blocs opératoires, avec toutes les contraintes réglementaires que cela implique.

UELa validation clinique et l'intégration en bloc opératoire devront se conformer au règlement européen sur les dispositifs médicaux (MDR), conditionnant tout déploiement futur en Europe.

RobotiqueActu

1 source

4arXiv cs.RO

RobotPan : système de vision robotique panoramique à 360° pour la perception incarnée

Des chercheurs ont publié RobotPan, un système de vision robotique à 360 degrés combinant six caméras et un capteur LiDAR pour offrir une couverture visuelle complète en temps réel. Présenté dans un article arXiv (2604.13476), ce système est accompagné d'un framework de rendu appelé RobotPan, capable de prédire des représentations 3D compactes et à échelle métrique, les "3D Gaussians", à partir d'un nombre limité de vues calibrées. Le pipeline traite les données en temps réel, permettant un rendu, une reconstruction et un streaming fluides sur des plateformes robotiques réelles couvrant la navigation, la manipulation et la locomotion. Les chercheurs publient également un jeu de données multi-capteurs inédit spécifiquement conçu pour la synthèse de nouvelles vues et la reconstruction 3D en robotique. L'enjeu est considérable pour les applications où un opérateur humain interagit directement avec un robot à distance, que ce soit en télé-opération, collecte de données ou prise de contrôle d'urgence. Les interfaces visuelles actuelles se limitent à des champs de vision étroits orientés vers l'avant, ou obligent l'opérateur à basculer manuellement entre plusieurs caméras, interrompant son flux de travail. Les mouvements du robot provoquent par ailleurs des vibrations qui génèrent un mal du simulateur chez les utilisateurs de casques de réalité mixte. RobotPan résout ces deux problèmes en fournissant une vue panoramique continue, stabilisée et exploitable directement dans un casque. La technique repose sur une représentation sphérique unifiée dans laquelle les informations multi-vues sont fusionnées, puis décodées via des priorités volumétriques hiérarchiques : la résolution est fine près du robot et plus grossière à distance, réduisant la charge de calcul sans sacrifier la qualité visuelle. Un mécanisme de fusion en ligne met à jour les éléments dynamiques tout en maintenant stable la représentation des zones statiques, évitant une croissance mémoire non contrôlée sur des séquences longues. Les résultats expérimentaux montrent que RobotPan atteint une qualité compétitive face aux méthodes de reconstruction existantes tout en générant significativement moins de Gaussians, ce qui ouvre la voie à un déploiement embarqué réaliste sur des robots autonomes en environnement réel.

RobotiqueActu

1 source