RobotiquearXiv cs.RO3h

Décision interactive pour la conduite autonome par grands modèles de langage

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv un nouveau cadre de prise de décision pour véhicules autonomes, conçu spécifiquement pour les situations de trafic mixte à forte densité où coexistent voitures humaines et autonomes. Le système exploite les grands modèles de langage non pour générer du texte, mais pour analyser dynamiquement la scène routière et inférer les intentions des autres usagers. Il repose sur l'Object-Process Methodology (OPM), qui traduit les données perceptuelles brutes en objets, processus et relations compréhensibles par le modèle. Celui-ci identifie ensuite les intentions explicites et implicites des véhicules voisins, génère des trajectoires candidates par échantillonnage Monte Carlo, et sélectionne la trajectoire optimale sous contraintes conjointes de sécurité et d'efficacité. La décision finale est retranscrite en langage naturel et diffusée aux autres usagers via une interface homme-machine externe (eHMI). Testé dans un simulateur de conduite en convoi, le système surpasse les approches traditionnelles sur les critères de sécurité, confort et fluidité, et un test de style Turing révèle une forte ressemblance avec les comportements humains au volant.

Ce travail s'attaque à l'un des principaux freins à l'adoption des véhicules autonomes : leur tendance aux comportements excessivement prudents dans les situations conflictuelles, qui génèrent blocages et méfiance du public. En dotant le véhicule d'une capacité de lecture des intentions des autres conducteurs et d'une communication proactive en langage naturel, le cadre proposé change la nature de l'interaction : il ne s'agit plus seulement d'éviter les accidents, mais d'expliquer en temps réel les décisions du robot pour instaurer une confiance partagée avec les piétons, cyclistes et automobilistes environnants.

La conduite autonome en environnement mixte reste l'un des défis les plus complexes du secteur, au croisement de la robotique, des sciences cognitives et de l'IA générative. Des acteurs comme Waymo ou Mobileye investissent massivement dans ces problèmes d'interaction homme-machine. L'intégration des LLMs dans la boucle de décision en temps réel représente une direction émergente : elle permet d'exploiter le raisonnement de sens commun de ces modèles sans avoir à coder explicitement chaque scénario possible. Encore limité à la simulation, le système devra prouver sa robustesse et sa faible latence en conditions réelles, mais les auteurs y voient une voie crédible vers une conduite autonome réellement interactive et digne de confiance dans un trafic dense.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1arXiv cs.RO

U-ViLAR : localisation visuelle intégrant l'incertitude pour la conduite autonome par association et recalage différentiables

Des chercheurs ont présenté U-ViLAR, un nouveau système de localisation visuelle conçu pour les véhicules autonomes, capable de fonctionner avec précision là où le GPS devient peu fiable. Dans les environnements urbains denses, les immeubles et chantiers de construction dégradent fortement la qualité du signal GNSS, rendant les systèmes de navigation classiques insuffisants. U-ViLAR contourne ce problème en exploitant uniquement des données visuelles, qu'il projette dans un espace dit "Bird's-Eye-View" (vue à vol d'oiseau) pour les aligner avec des cartes haute définition ou des cartes de navigation standard. Le système intègre deux modules clés : une association guidée par l'incertitude perceptive, qui filtre les erreurs liées à l'interprétation de la scène visuelle, et un recalage guidé par l'incertitude de localisation, qui affine la position estimée. Les résultats expérimentaux indiquent que cette approche atteint des performances à l'état de l'art sur plusieurs benchmarks de localisation, et le modèle a été testé à grande échelle sur des flottes de véhicules autonomes en conditions urbaines réelles. Cette avancée est directement pertinente pour l'industrie du véhicule autonome, qui bute depuis des années sur la fiabilité de la localisation dans les villes. Un taxi robot ou un camion de livraison autonome qui perd son signal GPS en passant sous un viaduc ou entre deux rangées de gratte-ciels peut commettre des erreurs fatales. En combinant localisation grossière à grande échelle et recalage fin de haute précision dans un seul cadre différentiable, U-ViLAR offre une robustesse accrue sans nécessiter un matériel GPS de haute gamme. La compatibilité avec les cartes de navigation ordinaires, pas seulement les cartes HD coûteuses, pourrait abaisser significativement la barrière à l'adoption pour les constructeurs. La localisation visuelle pour la conduite autonome est un champ de recherche très actif, notamment depuis que les limites du GPS en milieu urbain sont devenues un verrou industriel reconnu. Des acteurs comme Waymo, Mobileye ou les équipes de recherche de Baidu ont tous investit dans des approches alternatives, combinant LiDAR, caméras et cartes vectorielles. U-ViLAR se distingue par son traitement explicite de l'incertitude à chaque étape du pipeline, une approche plus prudente que les méthodes déterministes. La prochaine étape probable pour ces travaux sera une intégration dans des architectures de conduite autonome de niveau 4, où la précision de localisation conditionne directement la sécurité du système.

UECette avancée en localisation visuelle sans GPS pourrait accélérer le déploiement de véhicules autonomes dans les villes européennes denses, où les contraintes réglementaires (règlement européen sur les systèmes de conduite automatisée) exigent une haute fiabilité de localisation indépendante du signal satellitaire.

RobotiquePaper

1 source

2arXiv cs.RO

Un modèle vision-langage-action pour l'insertion et le suivi d'aiguille guidés par échographie

Des chercheurs ont présenté un nouveau système robotique capable de réaliser des insertions d'aiguille guidées par échographie de façon entièrement automatisée et adaptative. Publiée sur arXiv (arXiv:2504.20347), l'étude introduit un modèle de type Vision-Language-Action (VLA) intégré à un système d'échographie robotique (RUS). Le cadre repose sur deux composants clés développés par l'équipe : une tête de suivi baptisée Cross-Depth Fusion (CDF), qui fusionne des caractéristiques visuelles superficielles et sémantiques profondes pour localiser l'aiguille en temps réel, et un registre de conditionnement appelé TraCon (Tracking-Conditioning), qui adapte efficacement un modèle visuel pré-entraîné à grande échelle aux tâches de suivi sans réentraînement complet. À ces composants s'ajoutent une politique de contrôle tenant compte des incertitudes et un pipeline VLA asynchrone, permettant des décisions d'insertion rapides et contextuellement adaptées. L'importance de cette avancée est directe : les insertions d'aiguille guidées par échographie sont omniprésentes en médecine, des biopsies aux anesthésies péridurales en passant par les ponctions vasculaires. Jusqu'ici, les systèmes automatisés reposaient sur des pipelines modulaires construits à la main, peu robustes face aux conditions d'imagerie difficiles, aux variations anatomiques ou aux mouvements du patient. Le nouveau système unifie suivi et contrôle dans un seul modèle bout-en-bout, ce qui lui permet de surpasser en précision de suivi et en taux de succès d'insertion non seulement les méthodes automatisées existantes, mais aussi les opérateurs humains lors des expériences menées, tout en réduisant le temps de procédure. Le guidage échographique reste l'une des modalités les plus utilisées pour les interventions percutanées, mais sa fiabilité dépend fortement de l'expérience du praticien et de la qualité de l'image, deux facteurs très variables en clinique. Les approches à base de vision par ordinateur ont progressé ces dernières années, mais aucune n'avait encore proposé un modèle aussi unifié et adaptatif. Ce travail s'inscrit dans une tendance plus large d'application des grands modèles multimodaux à la robotique chirurgicale, un domaine où des acteurs académiques et industriels comme Intuitive Surgical ou Activ Surgical investissent massivement. Les prochaines étapes naturelles concernent la validation sur des patients réels et l'intégration dans des blocs opératoires, avec toutes les contraintes réglementaires que cela implique.

UELa validation clinique et l'intégration en bloc opératoire devront se conformer au règlement européen sur les dispositifs médicaux (MDR), conditionnant tout déploiement futur en Europe.

RobotiqueActu

1 source

3arXiv cs.RO

SwarmDrive : coordination sémantique V2V pour la conduite autonome coopérative en temps contraint

Des chercheurs ont présenté SwarmDrive, un système de coordination sémantique véhicule-à-véhicule (V2V) pensé pour la conduite autonome sous contrainte de latence. Chaque véhicule du réseau embarque un petit modèle de langage local (SLM) et ne partage ses intentions avec les véhicules voisins que lorsque son niveau d'incertitude dépasse un seuil défini, limitant ainsi les échanges au strict nécessaire. Les données partagées sont fusionnées via un mécanisme de consensus déclenché par événement. Dans une étude en cinq configurations autour d'un scénario d'intersection obstruée, le système en mode 6G a porté le taux de succès de 68,9 % à 94,1 % par rapport à un SLM local seul. La latence chute dans le même temps de 510 ms (référence cloud) à 151,4 ms. Les performances optimales ont été mesurées avec un essaim de 4 véhicules actifs et un seuil d'entropie de 0,65 ; au-delà, la charge réseau et les pertes de paquets augmentent sensiblement. Ces résultats s'attaquent à un problème central de la conduite autonome : les modèles hébergés dans le cloud sont puissants mais introduisent des délais incompatibles avec des décisions de sécurité en temps réel, tandis que les modèles locaux peinent à raisonner correctement face aux angles morts physiques. SwarmDrive propose une troisième voie, coopérative, où plusieurs véhicules proches mutualisent leur intelligence de façon légère et ciblée, sans dépendre d'une connexion permanente à un serveur distant. Pour les constructeurs et les développeurs de systèmes ADAS, c'est une approche prometteuse pour naviguer dans des environnements urbains complexes où les occultations sont fréquentes. La coordination véhicule-à-véhicule n'est pas nouvelle, au coeur de standards comme le C-V2X, mais l'intégration de modèles de langage dans la boucle de décision embarquée en renouvelle les usages. SwarmDrive mise sur deux tendances convergentes : la miniaturisation des modèles IA et les promesses de la 6G en matière de latence ultra-faible. Les auteurs préviennent toutefois que l'étude reste un prototype sur un scénario unique, et non une validation de déploiement réel sur une infrastructure 6G opérationnelle. L'étape suivante sera de tester la robustesse du système dans des environnements plus variés et avec des flottes plus denses, où la scalabilité de la communication deviendra un obstacle critique.

UELes constructeurs automobiles européens (Renault, Stellantis) et les acteurs du standard C-V2X pourraient s'appuyer sur cette approche pour renforcer la coopération embarquée dans leurs prototypes de véhicules autonomes, notamment dans le cadre des programmes 6G européens.

RobotiquePaper

1 source

4arXiv cs.RO

PokeVLA : un modèle vision-langage-action compact enrichi d'une connaissance globale du monde

Des chercheurs ont publié PokeVLA, un nouveau modèle de fondation léger conçu pour la manipulation robotique, présenté dans un article déposé sur arXiv fin avril 2026. Le système repose sur une architecture Vision-Language-Action (VLA) qui intègre la compréhension visuelle et linguistique directement dans l'apprentissage des actions physiques d'un robot. Pour y parvenir, l'équipe a développé une approche en deux étapes : d'abord, un modèle vision-langage compact baptisé PokeVLM est pré-entraîné sur un jeu de données soigneusement constitué de 2,4 millions d'échantillons couvrant l'ancrage spatial, les affordances et le raisonnement incarné ; ensuite, des représentations spécifiques à la manipulation sont injectées dans l'espace d'action via un apprentissage sémantique multi-vues, un alignement géométrique et un module d'action inédit. Les expériences montrent des performances de pointe sur le benchmark LIBERO-Plus ainsi qu'en déploiement réel, surpassant les modèles comparables en taux de réussite et en robustesse face à diverses perturbations. Le code, les poids du modèle et les scripts de préparation des données seront rendus publics. Ce travail s'attaque à deux limites majeures des modèles VLA existants : leur inefficacité computationnelle et leur faible capacité à raisonner à haut niveau sur l'espace et les objets. En proposant un modèle à la fois compact et performant, PokeVLA ouvre la voie à des robots capables de comprendre leur environnement de manière plus fine sans nécessiter des ressources matérielles considérables. Pour l'industrie de la robotique, cela signifie que des systèmes plus accessibles pourraient atteindre des niveaux de fiabilité jusqu'ici réservés aux modèles volumineux, accélérant potentiellement l'adoption dans des contextes réels comme la logistique, la fabrication ou les soins à domicile. Les modèles VLA connaissent une montée en puissance rapide depuis que des travaux comme RT-2 de Google ou OpenVLA ont démontré l'intérêt de combiner grands modèles de langage et contrôle moteur. La tendance générale pousse vers des modèles toujours plus grands, mais PokeVLA prend le contre-pied en cherchant la compacité sans sacrifier les capacités. La mise en open source annoncée est stratégique : elle permettra à la communauté académique de reproduire les résultats et d'itérer rapidement, ce qui pourrait accélérer l'émergence de robots généralistes abordables dans les prochaines années.

RobotiqueActu

1 source