RobotiqueNVIDIA AI Blog2h

Les recherches de NVIDIA ouvrent la voie à la préhension avancée, la conduite autonome et l'entraînement d'agents à grande échelle

Résumé IASource uniqueImpact UE

NVIDIA Research présente cette semaine au CVPR 2026 trois nouveaux papiers de recherche qui partagent une ambition commune : entraîner des systèmes à grande échelle pour qu'ils généralisent au-delà de leurs cas d'usage initiaux. Le premier, GraspGen-X, est décrit comme le premier modèle fondamental pour la saisie robotique zéro-shot : entraîné sur deux milliards de saisies simulées couvrant des milliers de formes d'objets et de configurations de pinces, il est capable de générer des propositions de prise fiables pour n'importe quelle pince robotique, y compris des modèles qu'il n'a jamais rencontrés. Le deuxième papier, LCDrive, introduit une approche pour la conduite autonome qui remplace le raisonnement textuel par des représentations latentes compactes, permettant aux véhicules de raisonner plus vite sur le matériel embarqué réel. Enfin, NitroGen est un modèle fondamental d'IA de gameplay, construit sur l'architecture NVIDIA Isaac GR00T, qui aide à entraîner des agents incarnés dans des environnements virtuels sur des dizaines de milliers d'heures d'interaction.

Ces trois travaux répondent à des verrous concrets qui freinent le déploiement de l'IA physique aujourd'hui. Pour la robotique, le problème était simple mais paralysant : chaque nouveau type de pince nécessitait un cycle complet de collecte de données, fine-tuning et validation. GraspGen-X élimine ce goulot d'étranglement en fonctionnant comme un grand modèle de langage appliqué à la géométrie, utilisable directement avec les pinces courantes sans réentraînement. En parallèle, LCDrive adresse une contrainte matérielle réelle des véhicules autonomes : le raisonnement par chaîne de pensée basé sur du texte génère des tokens qui coûtent du temps de calcul, un luxe que les processeurs embarqués dans les voitures ne peuvent pas se permettre en situation réelle. En remplaçant les mots par des représentations latentes, le système peut raisonner plus vite sur le même hardware.

Ces annonces s'inscrivent dans une dynamique plus large chez NVIDIA, qui positionne l'IA physique comme le prochain grand chantier après les LLM. La conférence CVPR, l'une des plus importantes en vision par ordinateur, est un terrain de choix pour valider ces approches auprès de la communauté académique avant leur adoption industrielle. GraspGen-X s'intègre d'ailleurs avec curoboV2, une nouvelle bibliothèque de planification de mouvement accélérée par CUDA, et s'appuie sur des travaux antérieurs comme Grasp-MPC présenté à l'ICRA 2026. Pour les développeurs de robots et de véhicules autonomes, l'enjeu est de taille : réduire les cycles de développement grâce à des modèles fondamentaux capables de s'adapter à de nouveaux contextes sans repartir de zéro, une approche qui commence à prouver sa valeur dans le monde du langage et que NVIDIA ambitionne désormais d'imposer dans le monde physique.

Impact France/UE

Les avancées en préhension robotique zéro-shot et en inférence embarquée pour véhicules autonomes pourraient bénéficier aux industriels européens de la robotique et de l'automobile cherchant à réduire les cycles de développement.

Dans nos dossiers

NVIDIA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1NVIDIA AI Blog

NVIDIA lance des compétences agents pour l'IA physique : véhicules autonomes, robotique et vision

NVIDIA a profité de la conférence CVPR 2026 pour dévoiler une série de nouveaux outils d'IA physique destinés aux chercheurs travaillant sur les véhicules autonomes, la robotique et les systèmes de vision artificielle. Ces annonces s'appuient sur le lancement, quelques jours plus tôt, de NVIDIA Cosmos 3, présenté comme le premier modèle fondamental unifié de l'industrie combinant raisonnement visuel, génération de mondes et génération d'actions. Parmi les outils dévoilés figurent InstantNuRec, qui reconstruit des scènes routières en 3D à partir d'images sans optimisation par scène ; AlpaGym, un framework open source d'apprentissage par renforcement en boucle fermée capable de s'exécuter sur des milliers de GPU ; OmniDreams, un modèle génératif qui produit des rendus photoréalistes en temps réel en réponse aux actions d'une politique de conduite ; et Alpamayo 2 Super, un modèle VLA (vision-langage-action) de 32 milliards de paramètres conçu pour le développement de véhicules autonomes de niveau 4. Le problème central que cherche à résoudre NVIDIA est la fragmentation des workflows en IA physique. Aujourd'hui, reconstruire une scène réelle, générer des scénarios rares, entraîner une politique, évaluer son comportement et itérer rapidement implique de jongler entre des outils disparates, ce qui ralentit considérablement la recherche. Pour les véhicules autonomes en particulier, le défi est la « longue traîne » des situations de conduite : les interactions rares, les géométries routières inhabituelles, les variations d'éclairage qui sont difficiles à collecter en conditions réelles mais critiques pour la validation. Les nouveaux outils de NVIDIA permettent aux agents IA d'automatiser ces étapes, de la reconstruction de scènes à partir de données de flotte jusqu'à la génération de conditions synthétiques variées. Pour la vision industrielle, des compétences Metropolis permettent de générer des défauts visuels rares sur différentes surfaces, résolvant le problème chronique du manque de données pour la détection d'anomalies. Ces annonces s'inscrivent dans une stratégie cohérente de NVIDIA pour s'imposer comme infrastructure de référence de l'IA physique, un marché qu'elle considère comme la prochaine vague majeure après les grands modèles de langage. Cosmos 3, socle de l'ensemble de l'écosystème présenté, est positionné comme modèle ouvert dominant sur les benchmarks publics de l'IA physique. En combinant simulation haute fidélité, modèles fondateurs ouverts et frameworks d'entraînement scalables, NVIDIA tente de reproduire avec l'IA embarquée et robotique ce qu'elle a réussi dans le calcul haute performance : rendre son infrastructure si centrale que les chercheurs n'envisagent pas d'alternatives. Les prochaines étapes passeront par l'adoption de ces outils par les grands constructeurs automobiles et les laboratoires de robotique, qui testent actuellement leurs capacités sur des flottes réelles.

UELes constructeurs automobiles européens (Renault, Stellantis, BMW) et les laboratoires de recherche en robotique pourront utiliser ces outils open-source pour accélérer le développement de véhicules autonomes de niveau 4 et réduire leur dépendance à la collecte de données réelles.

RobotiqueOpinion

1 source

2arXiv cs.RO

U-ViLAR : localisation visuelle intégrant l'incertitude pour la conduite autonome par association et recalage différentiables

Des chercheurs ont présenté U-ViLAR, un nouveau système de localisation visuelle conçu pour les véhicules autonomes, capable de fonctionner avec précision là où le GPS devient peu fiable. Dans les environnements urbains denses, les immeubles et chantiers de construction dégradent fortement la qualité du signal GNSS, rendant les systèmes de navigation classiques insuffisants. U-ViLAR contourne ce problème en exploitant uniquement des données visuelles, qu'il projette dans un espace dit "Bird's-Eye-View" (vue à vol d'oiseau) pour les aligner avec des cartes haute définition ou des cartes de navigation standard. Le système intègre deux modules clés : une association guidée par l'incertitude perceptive, qui filtre les erreurs liées à l'interprétation de la scène visuelle, et un recalage guidé par l'incertitude de localisation, qui affine la position estimée. Les résultats expérimentaux indiquent que cette approche atteint des performances à l'état de l'art sur plusieurs benchmarks de localisation, et le modèle a été testé à grande échelle sur des flottes de véhicules autonomes en conditions urbaines réelles. Cette avancée est directement pertinente pour l'industrie du véhicule autonome, qui bute depuis des années sur la fiabilité de la localisation dans les villes. Un taxi robot ou un camion de livraison autonome qui perd son signal GPS en passant sous un viaduc ou entre deux rangées de gratte-ciels peut commettre des erreurs fatales. En combinant localisation grossière à grande échelle et recalage fin de haute précision dans un seul cadre différentiable, U-ViLAR offre une robustesse accrue sans nécessiter un matériel GPS de haute gamme. La compatibilité avec les cartes de navigation ordinaires, pas seulement les cartes HD coûteuses, pourrait abaisser significativement la barrière à l'adoption pour les constructeurs. La localisation visuelle pour la conduite autonome est un champ de recherche très actif, notamment depuis que les limites du GPS en milieu urbain sont devenues un verrou industriel reconnu. Des acteurs comme Waymo, Mobileye ou les équipes de recherche de Baidu ont tous investit dans des approches alternatives, combinant LiDAR, caméras et cartes vectorielles. U-ViLAR se distingue par son traitement explicite de l'incertitude à chaque étape du pipeline, une approche plus prudente que les méthodes déterministes. La prochaine étape probable pour ces travaux sera une intégration dans des architectures de conduite autonome de niveau 4, où la précision de localisation conditionne directement la sécurité du système.

UECette avancée en localisation visuelle sans GPS pourrait accélérer le déploiement de véhicules autonomes dans les villes européennes denses, où les contraintes réglementaires (règlement européen sur les systèmes de conduite automatisée) exigent une haute fiabilité de localisation indépendante du signal satellitaire.

RobotiquePaper

1 source

3arXiv cs.RO

Décision interactive pour la conduite autonome par grands modèles de langage

Des chercheurs ont publié sur arXiv un nouveau cadre de prise de décision pour véhicules autonomes, conçu spécifiquement pour les situations de trafic mixte à forte densité où coexistent voitures humaines et autonomes. Le système exploite les grands modèles de langage non pour générer du texte, mais pour analyser dynamiquement la scène routière et inférer les intentions des autres usagers. Il repose sur l'Object-Process Methodology (OPM), qui traduit les données perceptuelles brutes en objets, processus et relations compréhensibles par le modèle. Celui-ci identifie ensuite les intentions explicites et implicites des véhicules voisins, génère des trajectoires candidates par échantillonnage Monte Carlo, et sélectionne la trajectoire optimale sous contraintes conjointes de sécurité et d'efficacité. La décision finale est retranscrite en langage naturel et diffusée aux autres usagers via une interface homme-machine externe (eHMI). Testé dans un simulateur de conduite en convoi, le système surpasse les approches traditionnelles sur les critères de sécurité, confort et fluidité, et un test de style Turing révèle une forte ressemblance avec les comportements humains au volant. Ce travail s'attaque à l'un des principaux freins à l'adoption des véhicules autonomes : leur tendance aux comportements excessivement prudents dans les situations conflictuelles, qui génèrent blocages et méfiance du public. En dotant le véhicule d'une capacité de lecture des intentions des autres conducteurs et d'une communication proactive en langage naturel, le cadre proposé change la nature de l'interaction : il ne s'agit plus seulement d'éviter les accidents, mais d'expliquer en temps réel les décisions du robot pour instaurer une confiance partagée avec les piétons, cyclistes et automobilistes environnants. La conduite autonome en environnement mixte reste l'un des défis les plus complexes du secteur, au croisement de la robotique, des sciences cognitives et de l'IA générative. Des acteurs comme Waymo ou Mobileye investissent massivement dans ces problèmes d'interaction homme-machine. L'intégration des LLMs dans la boucle de décision en temps réel représente une direction émergente : elle permet d'exploiter le raisonnement de sens commun de ces modèles sans avoir à coder explicitement chaque scénario possible. Encore limité à la simulation, le système devra prouver sa robustesse et sa faible latence en conditions réelles, mais les auteurs y voient une voie crédible vers une conduite autonome réellement interactive et digne de confiance dans un trafic dense.

RobotiquePaper

1 source

4IEEE Spectrum AI

L'IA de conduite autonome entraînée 50 000 fois plus vite qu'en temps réel

General Motors développe une infrastructure d'entraînement pour ses systèmes de conduite autonome capable de simuler des scénarios à 50 000 fois la vitesse réelle. L'entreprise combine simulation à grande échelle, apprentissage par renforcement et modèles de fondation pour préparer ses véhicules aux situations rares et imprévisibles — ce que les ingénieurs appellent la « longue traîne » : une panne généralisée de feux de signalisation à San Francisco, un matelas sur la chaussée, un chantier de construction guidé par des ouvriers qui font des gestes. Pour traiter ces scénarios complexes, GM développe des modèles Vision-Language-Action (VLA), issus des grands modèles de vision par langage, auxquels sont ajoutées des têtes de décodage spécialisées pour la conduite. Ces modèles permettent au véhicule de comprendre, par exemple, qu'un geste d'un policier a priorité sur un feu rouge, ou d'identifier visuellement une zone de chargement dans un aéroport. Face au problème de latence inhérent aux modèles de grande taille, GM a conçu une architecture dite « Dual Frequency VLA » : un grand modèle tourne à basse fréquence pour les décisions sémantiques de haut niveau (« cet objet est-il une branche ou un parpaing ? »), tandis qu'un modèle léger gère en temps réel le contrôle spatial — direction et freinage. Cette séparation permet de bénéficier du raisonnement profond sans compromettre les temps de réaction nécessaires à la sécurité. Les modèles génèrent également des traces de raisonnement lisibles par les ingénieurs, facilitant le débogage et la validation des comportements du véhicule. La conduite autonome reste l'un des défis les plus exigeants de l'intelligence artificielle physique : un système doit interpréter un environnement chaotique en temps réel, anticiper le comportement humain et fonctionner de manière fiable dans une infinité de configurations. GM, qui vise d'abord la conduite autonome sur autoroute sans surveillance avant d'atteindre une autonomie totale, mise sur la simulation massive pour compenser l'impossibilité de collecter suffisamment de données réelles sur ces situations exceptionnelles.

RobotiqueActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour