Le directeur de la robotique de Nvidia : les…

NVIDIA lance des compétences agents pour l'IA physique : véhicules autonomes, robotique et vision

47

1NVIDIA AI Blog

NVIDIA lance des compétences agents pour l'IA physique : véhicules autonomes, robotique et vision

NVIDIA a profité de la conférence CVPR 2026 pour dévoiler une série de nouveaux outils d'IA physique destinés aux chercheurs travaillant sur les véhicules autonomes, la robotique et les systèmes de vision artificielle. Ces annonces s'appuient sur le lancement, quelques jours plus tôt, de NVIDIA Cosmos 3, présenté comme le premier modèle fondamental unifié de l'industrie combinant raisonnement visuel, génération de mondes et génération d'actions. Parmi les outils dévoilés figurent InstantNuRec, qui reconstruit des scènes routières en 3D à partir d'images sans optimisation par scène ; AlpaGym, un framework open source d'apprentissage par renforcement en boucle fermée capable de s'exécuter sur des milliers de GPU ; OmniDreams, un modèle génératif qui produit des rendus photoréalistes en temps réel en réponse aux actions d'une politique de conduite ; et Alpamayo 2 Super, un modèle VLA (vision-langage-action) de 32 milliards de paramètres conçu pour le développement de véhicules autonomes de niveau 4. Le problème central que cherche à résoudre NVIDIA est la fragmentation des workflows en IA physique. Aujourd'hui, reconstruire une scène réelle, générer des scénarios rares, entraîner une politique, évaluer son comportement et itérer rapidement implique de jongler entre des outils disparates, ce qui ralentit considérablement la recherche. Pour les véhicules autonomes en particulier, le défi est la « longue traîne » des situations de conduite : les interactions rares, les géométries routières inhabituelles, les variations d'éclairage qui sont difficiles à collecter en conditions réelles mais critiques pour la validation. Les nouveaux outils de NVIDIA permettent aux agents IA d'automatiser ces étapes, de la reconstruction de scènes à partir de données de flotte jusqu'à la génération de conditions synthétiques variées. Pour la vision industrielle, des compétences Metropolis permettent de générer des défauts visuels rares sur différentes surfaces, résolvant le problème chronique du manque de données pour la détection d'anomalies. Ces annonces s'inscrivent dans une stratégie cohérente de NVIDIA pour s'imposer comme infrastructure de référence de l'IA physique, un marché qu'elle considère comme la prochaine vague majeure après les grands modèles de langage. Cosmos 3, socle de l'ensemble de l'écosystème présenté, est positionné comme modèle ouvert dominant sur les benchmarks publics de l'IA physique. En combinant simulation haute fidélité, modèles fondateurs ouverts et frameworks d'entraînement scalables, NVIDIA tente de reproduire avec l'IA embarquée et robotique ce qu'elle a réussi dans le calcul haute performance : rendre son infrastructure si centrale que les chercheurs n'envisagent pas d'alternatives. Les prochaines étapes passeront par l'adoption de ces outils par les grands constructeurs automobiles et les laboratoires de robotique, qui testent actuellement leurs capacités sur des flottes réelles.

UELes constructeurs automobiles européens (Renault, Stellantis, BMW) et les laboratoires de recherche en robotique pourront utiliser ces outils open-source pour accélérer le développement de véhicules autonomes de niveau 4 et réduire leur dépendance à la collecte de données réelles.

RobotiqueOpinion

1 source

Des agents IA pour les équipes de robots

43

2IEEE Spectrum AI

Des agents IA pour les équipes de robots

Le laboratoire de physique appliquée de l'université Johns Hopkins (APL) a publié une présentation détaillant ses travaux récents sur l'IA agentique appliquée aux équipes de robots collaboratifs. Baptisée "Agentic AI for Robot Teams", cette communication expose une architecture scalable conçue pour doter des systèmes robotiques hétérogènes de capacités d'autonomie, de coordination et d'adaptabilité. Les chercheurs y décrivent comment des agents fondés sur des grands modèles de langage (LLM) peuvent être déployés sur du matériel réel, avec des démonstrations impliquant des équipes de robots aux profils et capacités différents. Le document, disponible sous forme de livre blanc, présente également les leçons tirées des phases de recherche et développement en cours. L'enjeu est considérable : faire travailler ensemble des robots qui ne partagent ni les mêmes capteurs, ni les mêmes actionneurs, ni les mêmes logiciels impose des défis de coordination que les architectures classiques peinent à résoudre. En intégrant des LLM comme couche de raisonnement et de planification, les équipes de l'APL cherchent à rendre ces systèmes capables de s'adapter dynamiquement aux imprévus, de se répartir les tâches et de maintenir une cohérence collective sans supervision humaine constante. Cette approche pourrait transformer des domaines comme la logistique autonome, la gestion de catastrophes, les opérations militaires ou l'exploration de milieux hostiles, où envoyer des équipes humaines reste risqué ou impossible. Le Johns Hopkins APL est l'un des principaux centres de recherche appliquée du Département de la Défense américain, ce qui situe ces travaux dans un contexte stratégique lié à la robotique militaire et aux systèmes autonomes multi-agents. La montée en puissance des LLM depuis 2022 a ouvert une nouvelle voie pour la robotique agentique, jusqu'ici freinée par la rigidité des architectures de contrôle traditionnelles. Les suites annoncées portent sur la généralisation de l'architecture à des équipes plus larges et plus hétérogènes, ainsi que sur l'amélioration de la robustesse dans des environnements dégradés ou incertains.

RobotiqueActu

1 source

Nvidia mise sur l'IA physique pour résoudre le problème de données de la robotique médicale

51

3AI News

Nvidia mise sur l'IA physique pour résoudre le problème de données de la robotique médicale

Nvidia a dévoilé Medical Physics Simulation, un nouveau framework open source intégré à sa plateforme Isaac for Healthcare, conçu pour entraîner des robots médicaux par simulation plutôt que par expérience clinique réelle. L'outil combine deux approches : une simulation physique classique qui modélise les règles mécaniques connues, comment un cathéter se courbe, quelle résistance oppose une paroi vasculaire, comment les forces de contact évoluent quand un instrument traverse un tissu, et un composant d'IA générative baptisé Cosmos H Dreams, qui apprend la dynamique visuelle des scènes à partir de données procédurales. Exécuté à grande échelle sur GPU grâce aux bibliothèques Warp et Newton de Nvidia, le système peut faire tourner des milliers d'environnements d'entraînement en parallèle. Nvidia annonce qu'un test portant sur 8 192 environnements parallèles a fait chuter le temps d'entraînement de plus de cinq heures à moins de deux minutes. CMR Surgical et Cambridge Consultants, filiale de Capgemini, figurent parmi les premiers partenaires : CMR a versé près de 500 heures de données cliniques anonymisées issues de son robot chirurgical Versius au jeu de données Open H Embodiment, couvrant des interventions comme la cholécystectomie, la prostatectomie, la réparation de hernie et l'hystérectomie. L'enjeu tient au fait que les robots médicaux, à la différence des modèles de langage qui apprennent à partir de texte, doivent acquérir une forme d'intuition physique par le contact et la conséquence, par exemple ce qui se passe quand un guide-fil rencontre une paroi vasculaire calcifiée ou quand un bras robotisé exerce une pression excessive sur un tissu mou. Or ces situations réelles sont rares, fortement encadrées par la réglementation et lentes à accumuler en nombre suffisant pour couvrir toute la diversité des cas cliniques. En générant ces scénarios à la demande, la simulation pourrait accélérer considérablement le développement de robots chirurgicaux et diagnostiques capables de généraliser au-delà des cas standards, un enjeu direct pour les fabricants comme CMR Surgical qui cherchent à fiabiliser leurs systèmes avant un déploiement plus large en salle d'opération. Le vrai test reste cependant la fiabilité clinique plutôt que la seule vitesse de calcul. Nvidia reconnaît lui-même que la performance en simulation ne dit rien de la manière dont un modèle entraîné ainsi réagirait face à une imagerie incomplète, des données de capteurs retardées, voire une anatomie totalement inédite. Un modèle de langage qui se trompe produit une mauvaise réponse ; un système d'IA physique qui se trompe agit à l'intérieur d'un patient. La question de fond, pour l'ensemble du secteur de la robotique médicale, est donc de savoir si les échecs simulés reproduisent fidèlement ceux qui surviennent réellement au bloc opératoire, et cela ne pourra être tranché que par des validations cliniques successives à mesure que des acteurs comme CMR Surgical et Cambridge Consultants approfondissent leur usage de la plateforme.

UECambridge Consultants, l'un des premiers partenaires du projet, est une filiale du groupe français Capgemini, ce qui relie indirectement cette avancée technologique à un acteur industriel français.

RobotiqueActu

1 source

GTC 2026 : Nvidia veut remplacer le problème de données en robotique par un problème de calcul

48

4The Decoder

GTC 2026 : Nvidia veut remplacer le problème de données en robotique par un problème de calcul

Lors du GTC 2026, Nvidia a dévoilé une expansion massive de sa plateforme d'IA physique, confirmant sa stratégie de transformer la robotique en un problème de puissance de calcul plutôt qu'en un problème de données. L'ambition est claire : équiper de son intelligence aussi bien les véhicules autonomes que les robots industriels et humanoïdes, en faisant de ses puces le cerveau de la prochaine révolution industrielle. L'enjeu est considérable pour le secteur. La robotique souffre historiquement d'un manque de données d'entraînement de qualité, un goulot d'étranglement qui ralentit le développement des systèmes autonomes. Nvidia propose une alternative : générer synthétiquement ces données via la simulation, en s'appuyant sur une infrastructure de calcul massive. Ce changement de paradigme pourrait accélérer drastiquement le déploiement de robots capables dans des environnements réels et imprévisibles. Parmi les annonces concrètes, dès 2027, des véhicules autonomes circuleront dans Los Angeles en partenariat avec Uber. Côté industrie, les géants FANUC et ABB, deux des plus grands fabricants mondiaux de robots industriels, intégreront des cerveaux Nvidia dans leurs machines. De nouveaux modèles d'IA sont également présentés pour améliorer les capacités des robots humanoïdes, un segment en pleine effervescence. Ces annonces positionnent Nvidia comme l'infrastructure centrale de l'IA physique, un marché que la société anticipe comme la prochaine vague après les grands modèles de langage. En s'associant à des acteurs établis comme FANUC, ABB et Uber, elle cherche à ancrer ses technologies dans des déploiements industriels réels avant que la concurrence ne consolide ses propres écosystèmes.

UEABB, groupe suisse majeur en robotique industrielle, intégrera les puces Nvidia, ce qui pourrait accélérer l'automatisation dans les usines européennes.

RobotiqueActu

1 source

Le directeur de la robotique de Nvidia : les agents IA vont provoquer un moment ChatGPT pour la robotique

À lire aussi

NVIDIA lance des compétences agents pour l'IA physique : véhicules autonomes, robotique et vision

Des agents IA pour les équipes de robots

Nvidia mise sur l'IA physique pour résoudre le problème de données de la robotique médicale

GTC 2026 : Nvidia veut remplacer le problème de données en robotique par un problème de calcul