Aller au contenu principal
RobotiqueNVIDIA AI Blog · 2 min de lecture

NVIDIA publie en open source son premier framework de simulation physique médicale accéléré par GPU

Source originale ↗·

NVIDIA a annoncé aujourd'hui l'ouverture en open source de Medical Physics Simulation, un nouveau framework accéléré par GPU au sein d'Isaac for Healthcare, destiné à la robotique médicale. Cet outil permet de modéliser les interactions entre les dispositifs médicaux et l'anatomie humaine, de générer des scénarios rares difficiles à capturer en conditions réelles, et de tester ou entraîner des politiques de robots avant les phases coûteuses de tests matériels. Bâti sur les technologies de simulation NVIDIA Warp et Newton ainsi que sur la plateforme générative Cosmos, le framework combine simulation physique classique, pour modéliser des règles connues comme le contact, la friction ou le mouvement, et simulation générative en temps réel via Cosmos-H Dreams, qui apprend la dynamique visuelle des scènes à partir de données procédurales. Concrètement, les développeurs peuvent connecter anatomie vasculaire, instruments flexibles comme des cathéters ou des guides, imagerie par rayons X simulée et apprentissage par renforcement, le tout dans des environnements réutilisables plutôt que dans des scènes reconstruites à chaque nouveau projet. Les gains de performance annoncés sont significatifs: la simulation native GPU permet de faire tourner 8 192 environnements d'entraînement en parallèle, réduisant un temps d'entraînement de plus de cinq heures à moins de deux minutes.

Cette avancée s'attaque à l'un des principaux goulots d'étranglement de la robotique médicale: la difficulté d'obtenir suffisamment de données variées pour entraîner, tester et améliorer le comportement des robots face à des anatomies changeantes, des instruments qui glissent ou pressent différemment les tissus, ou une imagerie bruitée. En rendant le framework open source, NVIDIA met en avant un enjeu propre au secteur de la santé: la transparence sur les données, les modèles et les poids utilisés est jugée essentielle pour que les équipes puissent reproduire des résultats, évaluer les performances sur différentes anatomies, identifier les limites d'un système et constituer les preuves nécessaires à un examen réglementaire. Pour les fabricants de robots chirurgicaux, cela transforme la simulation d'un projet d'ingénierie sur mesure en une infrastructure réutilisable, accélérant potentiellement la mise sur le marché de nouveaux dispositifs tout en réduisant les coûts et les risques liés aux tests sur matériel réel.

Un premier écosystème de partenaires s'appuie déjà sur cette approche pour résoudre des défis chirurgicaux spécifiques. CMR Surgical et Cambridge Consultants, filiale de Capgemini, utilisent Cosmos-H-Dreams pour apprendre implicitement la physique des interactions lors d'interventions sur tissus mous et générer des simulations propres à chaque patient, CMR ayant contribué au développement de cette capacité. Cette initiative s'inscrit dans une tendance plus large de l'industrie technologique consistant à investir massivement dans la simulation physique pilotée par l'IA générative pour accélérer le développement de systèmes robotiques physiques, qu'il s'agisse de robots industriels, humanoïdes ou, comme ici, chirurgicaux. Le pari de NVIDIA est que la combinaison de physique classique et de génération de scènes par IA permettra aux développeurs de couvrir un éventail bien plus large de cas limites avant même de construire un prototype physique, ce qui pourrait, à terme, raccourcir les délais réglementaires et de mise sur le marché pour les robots médicaux de nouvelle génération.

Impact France/UE

Cambridge Consultants, filiale du groupe français Capgemini, fait partie des premiers partenaires à utiliser ce framework pour des applications chirurgicales, impliquant directement une entreprise française dans cette avancée.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AI News 

Nvidia mise sur l'IA physique pour résoudre le problème de données de la robotique médicale

Nvidia a dévoilé Medical Physics Simulation, un nouveau framework open source intégré à sa plateforme Isaac for Healthcare, conçu pour entraîner des robots médicaux par simulation plutôt que par expérience clinique réelle. L'outil combine deux approches : une simulation physique classique qui modélise les règles mécaniques connues, comment un cathéter se courbe, quelle résistance oppose une paroi vasculaire, comment les forces de contact évoluent quand un instrument traverse un tissu, et un composant d'IA générative baptisé Cosmos H Dreams, qui apprend la dynamique visuelle des scènes à partir de données procédurales. Exécuté à grande échelle sur GPU grâce aux bibliothèques Warp et Newton de Nvidia, le système peut faire tourner des milliers d'environnements d'entraînement en parallèle. Nvidia annonce qu'un test portant sur 8 192 environnements parallèles a fait chuter le temps d'entraînement de plus de cinq heures à moins de deux minutes. CMR Surgical et Cambridge Consultants, filiale de Capgemini, figurent parmi les premiers partenaires : CMR a versé près de 500 heures de données cliniques anonymisées issues de son robot chirurgical Versius au jeu de données Open H Embodiment, couvrant des interventions comme la cholécystectomie, la prostatectomie, la réparation de hernie et l'hystérectomie. L'enjeu tient au fait que les robots médicaux, à la différence des modèles de langage qui apprennent à partir de texte, doivent acquérir une forme d'intuition physique par le contact et la conséquence, par exemple ce qui se passe quand un guide-fil rencontre une paroi vasculaire calcifiée ou quand un bras robotisé exerce une pression excessive sur un tissu mou. Or ces situations réelles sont rares, fortement encadrées par la réglementation et lentes à accumuler en nombre suffisant pour couvrir toute la diversité des cas cliniques. En générant ces scénarios à la demande, la simulation pourrait accélérer considérablement le développement de robots chirurgicaux et diagnostiques capables de généraliser au-delà des cas standards, un enjeu direct pour les fabricants comme CMR Surgical qui cherchent à fiabiliser leurs systèmes avant un déploiement plus large en salle d'opération. Le vrai test reste cependant la fiabilité clinique plutôt que la seule vitesse de calcul. Nvidia reconnaît lui-même que la performance en simulation ne dit rien de la manière dont un modèle entraîné ainsi réagirait face à une imagerie incomplète, des données de capteurs retardées, voire une anatomie totalement inédite. Un modèle de langage qui se trompe produit une mauvaise réponse ; un système d'IA physique qui se trompe agit à l'intérieur d'un patient. La question de fond, pour l'ensemble du secteur de la robotique médicale, est donc de savoir si les échecs simulés reproduisent fidèlement ceux qui surviennent réellement au bloc opératoire, et cela ne pourra être tranché que par des validations cliniques successives à mesure que des acteurs comme CMR Surgical et Cambridge Consultants approfondissent leur usage de la plateforme.

UECambridge Consultants, l'un des premiers partenaires du projet, est une filiale du groupe français Capgemini, ce qui relie indirectement cette avancée technologique à un acteur industriel français.

RobotiqueActu
1 source
ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère
2arXiv cs.RO 

ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère

Des chercheurs ont présenté ETac, un framework de simulation tactile conçu pour entraîner des robots manipulateurs dotés de capteurs tactiles à peau élastomère. Publié sur arXiv, ETac repose sur un modèle léger d'apprentissage automatique pour simuler la propagation des déformations lors des contacts, sans recourir aux coûteuses méthodes par éléments finis (FEM). Exécuté sur un seul GPU RTX 4090, le système supporte jusqu'à 4 096 environnements parallèles et atteint un débit total de 869 images par seconde. La politique de préhension entraînée avec ETac affiche un taux de réussite moyen de 84,45 % sur quatre types d'objets différents, sans aucune vision -- uniquement via le retour tactile large surface. Ce résultat est significatif car il lève l'un des principaux verrous du domaine : la simulation tactile haute fidélité est habituellement si coûteuse en calcul qu'elle empêche l'apprentissage par renforcement à grande échelle. ETac produit des estimations de déformation de surface comparables à celles obtenues par FEM, tout en étant suffisamment rapide pour l'entraînement massif de politiques robotiques. Pour les laboratoires et entreprises qui développent des robots manipulateurs -- en logistique, chirurgie assistée ou assemblage industriel -- cette approche ouvre la voie à des agents capables de saisir des objets variés et fragiles sans dépendre de caméras. La manipulation dextère reste l'un des défis les plus ardus de la robotique moderne, et le sens du toucher est reconnu depuis longtemps comme essentiel pour combler l'écart avec les capacités humaines. Les capteurs tactiles type GelSight ou DIGIT ont progressé rapidement ces dernières années, mais leur intégration dans des boucles d'apprentissage par renforcement butait sur l'absence de simulateurs rapides et réalistes. ETac s'inscrit dans un mouvement plus large visant à aligner simulation et réalité physique (sim-to-real transfer) pour les retours haptiques. Les prochaines étapes pourraient inclure le transfert de politiques vers des robots réels et l'extension à des scénarios de manipulation bimanuelle plus complexes.

RobotiquePaper
1 source
NVIDIA Research fait progresser la robotique de la simulation au monde réel
3NVIDIA AI Blog 

NVIDIA Research fait progresser la robotique de la simulation au monde réel

À l'occasion de l'International Conference on Robotics and Automation (ICRA) 2026, NVIDIA Research a présenté huit articles scientifiques parmi les 28 acceptés, tous centrés sur le transfert simulation-vers-réel en robotique. Les travaux couvrent l'ensemble de la chaîne de développement : coordination de bras multiples, navigation sur des morphologies de robots variées, préhension d'objets inconnus et manipulation de matières déformables. Parmi les systèmes présentés, ScheduleStream exploite les GPU pour planifier les mouvements de plusieurs bras robotiques en parallèle, atteignant une accélération de 3x par rapport aux approches séquentielles classiques, et tourne notamment sur la plateforme embarquée Jetson de NVIDIA. COMPASS, un cadre de politique de navigation, combine apprentissage par imitation et apprentissage par renforcement résiduel dans le simulateur Isaac Lab pour généraliser à des robots de morphologies très différentes, sans jamais utiliser de données réelles lors de l'entraînement. Résultat : un taux de succès moyen 4,5 fois supérieur à la référence, et environ 80 % de réussite sur 20 essais réels avec des robots mobiles autonomes et des humanoïdes. Grasp-MPC, de son côté, a été entraîné sur 2 millions de trajectoires simulées issues de 8 000 objets différents, apprenant à saisir des objets inédits dans des environnements encombrés avec un taux de succès de 75 %, contre 41 % pour la méthode de référence. L'importance de ces résultats tient à ce qu'ils résolvent des verrous concrets qui bloquaient l'industrialisation de la robotique. Former un robot à naviguer dans un environnement et devoir tout recommencer dès qu'on change de plateforme physique est un frein majeur au déploiement à grande échelle. COMPASS supprime ce problème en apprenant des compétences transférables entre corps mécaniques différents, ouvrant la voie à des flottes hétérogènes d'agents robotiques dans des entrepôts, des hôpitaux ou des usines. Grasp-MPC, lui, corrige en temps réel la trajectoire d'approche du robot dans les derniers centimètres, là où les systèmes à plan fixe échouent le plus souvent. Ces avancées signifient qu'il devient possible de déployer des robots capables de traiter des tâches non scriptées dans des environnements désordonnés et imprévisibles, sans recalibration permanente. Ces recherches s'inscrivent dans une mutation profonde du secteur : la robotique sort de l'ère des démos contrôlées pour entrer dans celle de l'autonomie généralisable. NVIDIA joue un rôle structurant dans cette transition en fournissant à la fois les outils de simulation (Isaac Lab, Omniverse NuRec pour les jumeaux numériques), les bibliothèques de calcul (cuRobo, GraspGen) et le matériel embarqué (Jetson). Le fait que COMPASS et Grasp-MPC atteignent des performances robustes sans aucune donnée réelle lors de l'entraînement est une preuve de maturité du sim-to-real. La prochaine étape sera l'intégration de modèles vision-langage-action capables de raisonner avant d'agir, plusieurs des papiers ICRA ouvrant déjà cette direction.

UELes industriels et laboratoires de robotique européens (automobile, logistique, santé) pourront exploiter ces avancées sim-to-real pour déployer des flottes robotiques hétérogènes sans recalibration permanente entre plateformes.

RobotiqueActu
1 source
Nvidia mise sur l'IA physique au GTC Taipei : nouveau modèle de monde, cerveau de conduite et robot humanoïde open source
4The Decoder 

Nvidia mise sur l'IA physique au GTC Taipei : nouveau modèle de monde, cerveau de conduite et robot humanoïde open source

Lors du GTC Taipei, Nvidia a dévoilé plusieurs modèles destinés à accélérer son offensive dans l'IA physique. La conférence a été marquée par trois annonces majeures : Cosmos 3, un nouveau modèle de monde (world model) de dernière génération, Alpamayo 2 Super, une version considérablement élargie du modèle de conduite autonome, et une plateforme de référence ouverte pour robots humanoïdes. Ces annonces s'inscrivent dans la stratégie de Jensen Huang de faire de Nvidia le fournisseur incontournable de l'infrastructure pour les systèmes physiques intelligents. Ces outils visent des marchés en pleine explosion : la robotique industrielle, les véhicules autonomes et les systèmes de surveillance vidéo intelligents. Un world model comme Cosmos 3 permet à des robots ou des voitures autonomes de simuler leur environnement et d'anticiper les conséquences de leurs actions, une brique fondamentale pour passer de la démonstration laboratoire au déploiement à grande échelle. La plateforme humanoïde ouverte, quant à elle, vise à standardiser le développement matériel et logiciel pour les constructeurs de robots à deux jambes, réduisant les coûts d'entrée pour les startups du secteur. Nvidia capitalise ici sur sa domination dans les GPU d'entraînement pour étendre son empreinte vers l'inférence embarquée et les systèmes temps-réel. La concurrence s'intensifie avec des acteurs comme Qualcomm et Intel sur les puces pour véhicules autonomes, tandis que des entreprises comme Figure, Boston Dynamics ou 1X Technologies attendent des plateformes logicielles communes pour accélérer leurs développements. GTC Taipei confirme que Nvidia ne veut pas seulement alimenter les data centers de l'IA, il veut aussi être le cerveau des machines qui bougent.

UELes constructeurs automobiles européens (Renault, Stellantis, BMW, Volkswagen) et les startups robotiques européennes pourraient bénéficier de la plateforme humanoïde ouverte pour réduire leurs coûts d'entrée et accélérer leurs développements en robotique industrielle et véhicules autonomes.

RobotiqueOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic