Aller au contenu principal

Actualités IA — page 218

7 629 articles au fil, du plus récent au plus ancien.

Alibaba DAMO Academy présente un modèle d'IA pour le dépistage non invasif du cancer colorectal
4341Pandaily 

Alibaba DAMO Academy présente un modèle d'IA pour le dépistage non invasif du cancer colorectal

Le 28 avril, l'Alibaba DAMO Academy a dévoilé DAMO COCA, un modèle d'intelligence artificielle pour le dépistage du cancer colorectal, développé en collaboration avec l'Hôpital général provincial du Guangdong et d'autres institutions médicales chinoises. Ce système analyse des scanners CT sans contraste, supprimant ainsi la nécessité d'une injection de produit de contraste ou d'une préparation intestinale préalable, deux contraintes lourdes imposées par les méthodes de dépistage classiques. Publié dans la revue Annals of Oncology, le modèle affiche une sensibilité de 86,6 % et une spécificité de 99,8 %, deux indicateurs qui mesurent sa capacité à détecter les cas réels tout en limitant les faux positifs. L'étude a analysé plus de 27 000 scanners CT et a permis d'identifier des cas de cancers non détectés dans des données cliniques réelles. Cette performance est particulièrement significative car le cancer colorectal figure parmi les cancers les plus répandus au monde, avec un taux de dépistage insuffisant lié aux contraintes des méthodes existantes, notamment la coloscopie invasive. En supprimant ces obstacles, DAMO COCA pourrait élargir considérablement l'accès au dépistage, notamment dans les régions où les ressources médicales sont limitées. La capacité du modèle à détecter des lésions dans des zones anatomiquement complexes, là où les radiologues manquent le plus fréquemment des anomalies, représente une avancée clinique concrète susceptible de réduire les diagnostics tardifs. DAMO COCA s'inscrit dans une initiative plus large de l'Alibaba DAMO Academy baptisée "CT + AI", visant à développer des outils de dépistage multi-cancer à partir de scanners CT standard. L'académie avait déjà publié des modèles comparables pour le cancer du pancréas et le cancer gastrique. Le système repose sur un cadre d'apprentissage profond en deux étapes, conçu pour mieux interpréter la complexité des structures intestinales. Cette stratégie rejoint un mouvement mondial dans lequel les grandes entreprises technologiques investissent massivement dans l'imagerie médicale assistée par IA, avec l'ambition de transformer le scanner CT en outil de détection systématique de multiples cancers à partir d'un seul examen.

RecherchePaper
1 source
La guerre des IA sur Android ? L’Union européenne veut forcer Google à faire de la place à la concurrence
4342Frandroid 

La guerre des IA sur Android ? L’Union européenne veut forcer Google à faire de la place à la concurrence

La Commission européenne a conclu, au terme de quatre mois d'enquête, que Google devrait ouvrir Android à des assistants IA concurrents de Gemini. Cette décision s'inscrit dans le cadre du Digital Markets Act (DMA), la législation européenne sur les marchés numériques qui impose aux grandes plateformes désignées comme "contrôleurs d'accès" de ne pas favoriser leurs propres services. Google, qui voit d'un mauvais œil cette injonction, risque des sanctions pouvant atteindre 10 % de son chiffre d'affaires mondial en cas de non-conformité. L'enjeu est considérable : Android équipe plus de 70 % des smartphones dans le monde, et l'assistant IA préinstallé bénéficie d'un avantage structurel massif sur ses concurrents. Forcer Google à proposer un choix d'assistants IA, comme cela a déjà été fait pour les moteurs de recherche avec l'écran de sélection, permettrait à des acteurs comme Mistral, Meta AI, ou d'autres de s'installer sur des centaines de millions d'appareils. Pour les utilisateurs européens, cela signifierait concrètement la possibilité de définir un assistant IA tiers comme assistant par défaut sur leur téléphone Android. Cette enquête s'inscrit dans une pression réglementaire européenne croissante sur les géants du numérique américains, accentuée depuis l'explosion de l'IA générative en 2023. Google a déjà fait l'objet de condamnations antitrust en Europe concernant son moteur de recherche et son système publicitaire. La bataille autour de Gemini sur Android représente le prochain front de ce bras de fer, à un moment où la course aux assistants IA est devenue l'enjeu stratégique central pour Apple, Google, Microsoft et Meta.

ImageGen est sur la voie de l'AGI
4343Latent Space 

ImageGen est sur la voie de l'AGI

GPT-Image-2, le dernier modèle de génération d'images d'OpenAI, s'impose comme l'un des outils les plus polyvalents du moment. Capable de produire des visuels éducatifs, des infographies précises, des illustrations issues de la culture populaire ou des assets graphiques en temps réel pendant qu'un développeur code, il s'intègre désormais directement dans Codex, l'agent de programmation d'OpenAI, comme compétence activable. Cette combinaison GPT-Image-2 plus Codex permet de générer des ressources visuelles de manière itérative au fil du développement, ce qui change concrètement le flux de travail des développeurs. La qualité du modèle en termes de fidélité et de faible taux d'hallucinations est telle que des concurrents comme Claude Design, pourtant présenté il y a peu comme la référence, ne figurent plus dans la conversation. Cette dynamique soulève une question stratégique sérieuse : les modèles de génération d'images sont-ils un luxe pour des laboratoires qui cherchent à atteindre l'intelligence artificielle générale, ou bien une nécessité ? La réponse semble de plus en plus claire : oui, ils sont nécessaires. Parce que le texte, le code et les données structurées ne suffisent plus à démontrer le "G" de "AGI". Une IA vraiment générale doit maîtriser la voix, le visuel, la génération multimodale, y compris les calques transparents. Fermer cette boucle créative, c'est prendre une avance décisive sur tous les concurrents qui se concentrent uniquement sur le code et la productivité d'entreprise. En parallèle, OpenAI a opéré un pivot stratégique majeur en révisant son partenariat exclusif avec Microsoft. Sam Altman a annoncé que si Microsoft reste le cloud partenaire principal, OpenAI peut désormais distribuer ses modèles sur tous les clouds, y compris Google TPU et AWS Bedrock, une confirmation d'Andy Jassy est attendue dans les prochaines semaines. La licence de Microsoft sur la propriété intellectuelle d'OpenAI devient ainsi non exclusive, et la clause AGI de l'accord original serait de facto caduque selon plusieurs observateurs. Sur le plan des benchmarks, GPT-5.5 affiche des résultats contrastés : 67,1 % sur WeirdML sans mode de réflexion, contre 57,4 % pour GPT-5.4, mais toujours en retrait face à Claude Opus 4.7 à 76,4 %. L'Arena LMSYS place le modèle en troisième position en mathématiques et deuxième en recherche, mais neuvième en code. Enfin, GitHub a annoncé la migration de Copilot vers une facturation à l'usage au 1er juin, un signal fort de la monétisation croissante des workflows agentiques, tandis qu'OpenAI a publié en open source Symphony, une couche d'orchestration reliant les gestionnaires de tickets à des agents Codex pour automatiser le cycle complet "issue → PR → revue humaine".

CréationActu
1 source
Comment construire un agent incarné léger inspiré des VLA avec modélisation latente et commande prédictive
4344MarkTechPost 

Comment construire un agent incarné léger inspiré des VLA avec modélisation latente et commande prédictive

Un tutoriel publié récemment propose une implémentation complète d'un agent embarqué capable de percevoir son environnement, planifier ses actions, prédire les conséquences de ses décisions et s'adapter en temps réel, le tout à partir de simples pixels. L'architecture s'appuie sur trois composants intégrés : un monde de simulation rendu entièrement en NumPy sous forme de grille RGB 8x8, un modèle de monde léger entraîné avec PyTorch, et un système de contrôle prédictif (Model Predictive Control, MPC) opérant dans un espace latent. L'agent ne reçoit aucune variable d'état symbolique : il perçoit uniquement des images RGB de 112x112 pixels représentant sa position, celle de l'objectif à atteindre, et les obstacles à éviter. Le modèle encode ces observations visuelles en représentations latentes compactes, prédit les états futurs conditionnés par des séquences d'actions, et sélectionne à chaque pas de temps la meilleure séquence en simulant plusieurs trajectoires candidates avant d'exécuter la première action. Cette approche est significative parce qu'elle démontre qu'un pipeline de type Vision-Language-Action, jusqu'ici réservé à des systèmes coûteux en ressources, peut être reproduit à petite échelle de façon pédagogique et fonctionnelle. En remplaçant l'état symbolique par de la perception visuelle brute, le tutoriel illustre concrètement comment les agents robotiques modernes peuvent opérer dans des environnements partiellement observables sans accès privilégié à l'état interne du monde. Le MPC en espace latent offre en outre une planification explicitement interprétable : au lieu d'une politique apprise de bout en bout, l'agent évalue activement de futures trajectoires à chaque étape, ce qui facilite le débogage et l'adaptation à des contraintes changeantes. Pour les chercheurs et ingénieurs travaillant sur la robotique ou les agents autonomes, cette implémentation constitue un point de départ accessible pour comprendre les mécanismes des systèmes comme GATO (DeepMind) ou RT-2 (Google), sans nécessiter de clusters GPU. Les agents Vision-Language-Action ont émergé ces deux dernières années comme l'une des directions les plus prometteuses en robotique incarnée, combinant perception visuelle, compréhension du langage naturel et planification motrice au sein d'un modèle unifié. Des entreprises comme Google DeepMind, Physical Intelligence (pi) et Figure AI investissent massivement dans ces architectures pour des robots capables d'exécuter des instructions en langage naturel dans des environnements réels. Le défi central reste la généralisation : un agent entraîné dans un environnement simulé doit pouvoir transférer ses capacités au monde physique, problème connu sous le nom de "sim-to-real gap". Ce tutoriel, bien que confiné à une grille simplifiée, pose les fondations conceptuelles de cette chaîne de traitement et constitue un outil de formation précieux à mesure que le domaine se démocratise.

RobotiqueTuto
1 source
SPEAR-1 : dépasser les limites des démonstrations robotiques grâce à la compréhension 3D
4345arXiv cs.RO 

SPEAR-1 : dépasser les limites des démonstrations robotiques grâce à la compréhension 3D

Des chercheurs de l'INSAIT ont présenté SPEAR-1, un modèle de fondation robotique capable de surpasser ou d'égaler des systèmes de pointe comme π0-FAST et π0.5 tout en utilisant vingt fois moins de démonstrations robotiques. Entraîné sur environ 45 millions de séquences vidéo issues de 24 jeux de données Open X-Embodiment, le modèle repose sur SPEAR-VLM, un modèle vision-langage doté d'une compréhension 3D capable de déduire les coordonnées spatiales d'objets à partir d'une simple image 2D. Les poids du modèle ainsi que les données annotées en 3D sont disponibles en accès libre sur spear.insait.ai. L'enjeu central de SPEAR-1 est la généralisation : là où la plupart des modèles robotiques peinent à s'adapter à de nouveaux environnements ou de nouvelles tâches une fois leur entraînement terminé, SPEAR-1 y parvient avec une fraction des données habituellement nécessaires. Cette efficacité représente un gain considérable pour les équipes de recherche et les industriels : collecter des démonstrations robotiques est coûteux, lent et difficile à mettre à l'échelle. En substituant une partie de ces données par des images ordinaires annotées en 3D, les chercheurs ouvrent une voie beaucoup moins contraignante vers des robots polyvalents. Le verrou que SPEAR-1 tente de lever est bien connu dans le domaine : les grands modèles vision-langage sur lesquels reposent aujourd'hui la plupart des systèmes robotiques ont été pré-entraînés sur des données 2D issues d'internet, sans capacité de raisonnement spatial en trois dimensions, pourtant indispensable pour agir dans le monde physique. Plutôt que de combler ce fossé en accumulant massivement des données robotiques, SPEAR-1 enrichit des images non robotiques avec des annotations 3D pour doter le modèle de base de cette compétence manquante. Cette approche s'inscrit dans une course mondiale à la robotique généraliste, où des acteurs comme Physical Intelligence, Google DeepMind et Figure AI investissent massivement pour créer des robots capables de s'adapter à des tâches variées sans reprogrammation.

RobotiquePaper
1 source
Détection en temps réel des andains par capteurs embarqués sur tracteur pour un suivi automatisé
4346arXiv cs.RO 

Détection en temps réel des andains par capteurs embarqués sur tracteur pour un suivi automatisé

Des chercheurs ont publié un système open source de détection en temps réel des andains de fourrage pour tracteurs autonomes, accompagné d'un jeu de données multimodal inédit. L'approche combine vision stéréoscopique et LiDAR montés sur tracteur, capturés lors d'opérations réelles de mise en balles. Les données synchronisées incluent des trajectoires GNSS et sont partiellement disponibles sous forme de bags ROS2 Humble sur la plateforme Zenodo, avec des données supplémentaires accessibles sur demande. L'algorithme de suivi par centroïde tourne à plus de 20 Hz sur un module embarqué NVIDIA Jetson AGX Orin, ce qui garantit une réactivité suffisante pour guider un engin agricole en conditions réelles. Sur la plage critique de guidage de 4 à 10 mètres, les mesures de profondeur par stéréovision et par LiDAR affichent une corrélation de 0,965 ± 0,021, un niveau de concordance remarquable. Ce résultat démontre que des capteurs stéréo peu coûteux peuvent rivaliser avec les performances du LiDAR pour cette tâche spécifique, ouvrant la voie à des systèmes d'automatisation agricole nettement moins onéreux. La pipeline complète, sans recours au GPS, est publiée en open source sous ROS 2 et constitue un référentiel reproductible pour la communauté de recherche en récolte autonome de fourrage. Le secteur de la récolte fourragère automatisée est aujourd'hui dominé par des solutions propriétaires dont les algorithmes de détection d'andains restent opaques, ce qui freine la recherche indépendante et l'innovation ouverte. Ce travail répond directement à ce verrou en fournissant à la fois les données brutes et le code nécessaires pour reproduire et améliorer les résultats. L'agriculture de précision est un marché en pleine expansion, porté par la pénurie de main-d'œuvre agricole et la pression sur la productivité ; disposer de briques technologiques ouvertes pour l'automatisation des tracteurs pourrait accélérer l'adoption dans les exploitations de taille intermédiaire qui ne peuvent pas se permettre des solutions constructeurs à prix élevé.

RobotiquePaper
1 source
Planification multi-robots en millisecondes : primitives accélérées par vecteurs pour la planification par échantillonnage
4347arXiv cs.RO 

Planification multi-robots en millisecondes : primitives accélérées par vecteurs pour la planification par échantillonnage

Une équipe de chercheurs a publié une avancée significative dans la planification de mouvements pour systèmes multi-robots, en étendant le cadre VAMP (Vector-Accelerated Motion Planning) au domaine de la planification de mouvements multi-robots (MRMP). Leurs travaux, présentés dans l'article arXiv:2604.23960, introduisent deux nouvelles primitives algorithmiques baptisées MotVal (multi-robot Motion Validation) et FFC (FindFirstConflict), qui exploitent le parallélisme SIMD, une technique d'exécution simultanée d'opérations identiques sur plusieurs données, pour accélérer massivement les calculs. Les résultats sont frappants : sur les tests de validation de mouvements purs, le gain de vitesse atteint plus de 1 100 fois par rapport aux approches conventionnelles, et les temps de planification globaux progressent d'un facteur supérieur à 850 dans de nombreux scénarios, permettant de générer des trajectoires coordonnées en quelques millisecondes. Ces performances changent concrètement ce qu'il est possible d'envisager pour les systèmes robotiques en temps réel. Aujourd'hui, la planification de trajectoires pour plusieurs robots simultanément constitue un goulot d'étranglement majeur : les délais de calcul empêchent les robots d'opérer de façon fluide et réactive, notamment dans des environnements dynamiques comme les entrepôts automatisés, les lignes de production ou la chirurgie assistée. Réduire ces délais à l'échelle de la milliseconde ouvre la voie à des flottes de robots capables de se coordonner en temps quasi réel, sans compromettre la sécurité ni la précision. Les gains ont été observés sur des configurations variées, incluant des bras manipulateurs, des robots à corps rigide et des équipes hétérogènes combinant différents types de machines. La planification de mouvements multi-robots est un problème combinatoire notoirement difficile, dont la complexité explose avec le nombre d'agents. VAMP, le cadre sur lequel s'appuient ces travaux, avait déjà démontré l'efficacité de l'accélération vectorielle pour un seul robot. Cette extension au cas multi-robot représente un saut qualitatif important. La capacité à modifier des algorithmes MRMP existants pour intégrer ces primitives suggère une adoption potentiellement large, sans repartir de zéro. Les prochaines étapes naturelles incluront des tests en environnements réels et l'intégration dans des middlewares robotiques standards comme ROS 2, où ce type d'accélération pourrait rapidement devenir un composant incontournable.

RobotiquePaper
1 source
Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes
4348arXiv cs.RO 

Sécurité des modèles vision-langage-action : menaces, défis, évaluations et mécanismes

Des chercheurs ont publié sur arXiv (référence 2604.23775) une synthèse complète consacrée à la sécurité des modèles Vision-Language-Action (VLA), une nouvelle génération de systèmes d'IA qui combinent perception visuelle, compréhension du langage et contrôle d'actions physiques. Ces architectures unifiées s'imposent progressivement comme le socle de l'intelligence incarnée, autrement dit, des robots et agents autonomes capables d'agir dans le monde réel. Le survey recense les menaces selon deux axes temporels parallèles : les attaques et défenses au moment de l'entraînement d'un côté, et au moment de l'inférence de l'autre. Parmi les vecteurs d'attaque identifiés figurent l'empoisonnement de données, les backdoors injectés durant l'entraînement, mais aussi les patches adversariaux, les perturbations cross-modales, les jailbreaks sémantiques et les attaques par gel de paramètres lors de l'exécution. Ce que rend ces risques particulièrement sérieux, c'est la nature physique et irréversible des systèmes concernés. Contrairement à un grand modèle de langage qui produit du texte, un modèle VLA pilote un bras robotique, un véhicule autonome ou un drone. Une attaque réussie ne génère pas une réponse incorrecte, elle peut provoquer un accident, endommager du matériel ou mettre des personnes en danger. La surface d'attaque est trimodale (vision, langage, état physique), les contraintes de latence en temps réel limitent les défenses envisageables, et les erreurs se propagent sur des trajectoires longues avant d'être détectables. Le domaine souffre d'une fragmentation notable : les travaux sur la sécurité des VLA sont éparpillés entre l'apprentissage robotique, le machine learning adversarial, l'alignement des IA et la sécurité des systèmes autonomes, sans cadre commun. Ce survey tente de combler ce vide en couvrant six domaines de déploiement distincts et en identifiant les problèmes ouverts prioritaires : robustesse certifiée pour les trajectoires physiques, défenses réalisables dans le monde réel, entraînement intégrant la sécurité dès la conception, architectures unifiées de supervision à l'exécution et protocoles d'évaluation standardisés. Alors que les robots incarnant ces modèles commencent à quitter les laboratoires, l'urgence d'un consensus sur ces questions devient difficile à ignorer.

SécuritéOpinion
1 source
Les modèles vision-langage-action en robotique : panorama des jeux de données, benchmarks et moteurs de données
4349arXiv cs.RO 

Les modèles vision-langage-action en robotique : panorama des jeux de données, benchmarks et moteurs de données

Une équipe de chercheurs a publié sur arXiv (référence 2604.23001) une analyse exhaustive de l'état des données dans les modèles Vision-Langage-Action (VLA) appliqués à la robotique. Ces modèles, qui permettent à un robot de percevoir son environnement visuel, d'interpréter des instructions en langage naturel et d'exécuter des actions physiques, connaissent des progrès spectaculaires depuis deux ans. Pourtant, selon les auteurs, le vrai goulot d'étranglement n'est pas l'architecture des modèles : c'est l'infrastructure des données. L'étude passe en revue trois dimensions clés, les jeux de données, les benchmarks d'évaluation, et les moteurs de génération de données, en cartographiant systématiquement leurs forces et leurs lacunes. Ce travail met en lumière un problème fondamental qui freine toute la discipline : collecter des données robotiques de haute fidélité coûte extrêmement cher, ce qui pousse les équipes vers des données synthétiques moins réalistes. Les benchmarks actuels, censés mesurer les capacités des robots, peinent à évaluer deux compétences pourtant cruciales, la généralisation compositionnelle (combiner des tâches apprises pour en résoudre de nouvelles) et le raisonnement sur des séquences longues. Autrement dit, les robots paraissent performants dans les tests, mais restent fragiles face à des situations légèrement différentes de celles rencontrées lors de l'entraînement. Pour les industriels et les laboratoires qui investissent massivement dans la robotique autonome, ce décalage entre métriques et réalité représente un risque concret. Le domaine de l'IA incarnée (embodied AI) est aujourd'hui dominé par des acteurs comme Google DeepMind, Meta, Physical Intelligence ou encore des équipes universitaires qui rivalisent pour entraîner des robots généralistes. Les auteurs identifient quatre défis ouverts : aligner les représentations visuelles et textuelles, améliorer la supervision multimodale, mieux évaluer le raisonnement, et générer des données à grande échelle sans perdre en réalisme physique. Leur conclusion est nette : traiter l'infrastructure de données comme un objet de recherche à part entière, et non comme un arrière-plan technique, est la condition pour que les prochaines générations de VLA tiennent leurs promesses hors des laboratoires.

RobotiqueOpinion
1 source
Modèles de langage comme planificateurs de haut niveau en boucle fermée pour la robotique : aperçu et benchmarks
4350arXiv cs.RO 

Modèles de langage comme planificateurs de haut niveau en boucle fermée pour la robotique : aperçu et benchmarks

Des chercheurs ont publié mi-novembre 2024 sur arXiv une étude approfondie portant sur l'utilisation des grands modèles de langage (LLM) et des modèles vision-langage (VLM) comme planificateurs de haut niveau en boucle fermée pour des systèmes robotiques. L'article, référencé arXiv:2511.07410, s'attaque à un problème concret : lorsqu'on déploie ces modèles en mode dit "boîte noire", sans retour d'information sur l'exécution, les erreurs deviennent imprévisibles et coûteuses. Les auteurs proposent une série d'expériences contrôlées pour identifier des stratégies pratiques permettant d'intégrer ces modèles de façon fiable dans des robots. Deux variables clés sont étudiées : l'horizon de contrôle, c'est-à-dire le nombre d'actions planifiées à l'avance avant de réévaluer la situation, et le "warm-starting", qui consiste à initialiser le planificateur avec des solutions partielles issues d'itérations précédentes. Ces résultats ont des implications directes pour les équipes qui déploient aujourd'hui des LLM dans des systèmes embarqués ou robotiques. En boucle ouverte, un modèle peut enchaîner des décisions sans jamais corriger ses erreurs, ce qui dans un contexte physique peut signifier des collisions, des tâches non abouties ou des comportements dangereux. La boucle fermée, en intégrant un retour régulier de l'environnement, permet au modèle de s'adapter en temps réel. Les recommandations issues de l'étude fournissent aux ingénieurs des paramètres concrets pour calibrer ce retour d'information et améliorer la robustesse des systèmes sans augmenter proportionnellement le coût computationnel. Cette recherche s'inscrit dans une dynamique plus large d'intégration des LLM dans la robotique, un champ qui a explosé depuis 2023 avec des projets comme PaLM-E de Google ou RT-2 de DeepMind. L'enjeu est de taille : faire passer ces modèles du laboratoire au monde réel, où l'incertitude et les erreurs d'exécution sont inévitables. Le fait que les auteurs publient l'intégralité de leur implémentation et de leurs expériences en accès ouvert devrait accélérer l'adoption de ces pratiques par la communauté. Les prochaines étapes naturelles concerneront l'évaluation de ces stratégies sur des plateformes robotiques variées et dans des environnements non structurés.

RecherchePaper
1 source
EgoLive : un vaste jeu de données à la première personne issu de tâches humaines réelles
4351arXiv cs.RO 

EgoLive : un vaste jeu de données à la première personne issu de tâches humaines réelles

Une équipe de chercheurs a publié EgoLive, un jeu de données égocentrique à grande échelle conçu spécifiquement pour l'apprentissage de la manipulation robotique. Présenté dans un preprint arXiv (2604.23570), EgoLive se positionne comme le plus grand dataset égocentrique annoté en open source centré sur les activités humaines orientées tâches dans des environnements réels. Les données ont été captées grâce à un dispositif de capture monté sur la tête, développé sur mesure, et enrichies d'annotations multimodales haute précision. Les scènes enregistrées couvrent des situations du quotidien professionnel et domestique : services à domicile, environnements de vente au détail, et autres contextes de travail verticaux impliquant des interactions manuelles complexes. L'enjeu est direct : la robotique moderne bute sur la rareté des données d'entraînement à grande échelle et de qualité suffisante. Les méthodes dominantes jusqu'ici, comme la télé-opération ou les interfaces de manipulation universelle, présentent des limites structurelles en termes de passage à l'échelle et de déployabilité dans des environnements non contrôlés. En collectant des vidéos du point de vue humain dans des situations réelles et non scénarisées, EgoLive offre une diversité et une validité écologique que les approches en laboratoire ne peuvent pas reproduire. Pour les équipes qui développent des modèles robotiques généralisables, disposer de telles données pourrait accélérer significativement la capacité des robots à opérer hors des environnements contrôlés. La course aux données robotiques s'est intensifiée avec l'essor des grands modèles d'action, qui nécessitent des volumes massifs d'exemples pour généraliser leurs comportements. Des initiatives comme Open X-Embodiment ou les datasets de manipulation de DeepMind ont montré la voie, mais restent souvent contraints à des contextes de collecte artificiels. EgoLive s'inscrit dans un mouvement plus large qui cherche à exploiter la vidéo humaine naturelle comme signal d'apprentissage bon marché et scalable. La mise à disposition en open source vise à fédérer la communauté de recherche autour d'une base commune, avec l'ambition explicite de faciliter le déploiement réel de systèmes robotiques dans des environnements humains ordinaires.

RecherchePaper
1 source
U-ViLAR : localisation visuelle intégrant l'incertitude pour la conduite autonome par association et recalage différentiables
4352arXiv cs.RO 

U-ViLAR : localisation visuelle intégrant l'incertitude pour la conduite autonome par association et recalage différentiables

Des chercheurs ont présenté U-ViLAR, un nouveau système de localisation visuelle conçu pour les véhicules autonomes, capable de fonctionner avec précision là où le GPS devient peu fiable. Dans les environnements urbains denses, les immeubles et chantiers de construction dégradent fortement la qualité du signal GNSS, rendant les systèmes de navigation classiques insuffisants. U-ViLAR contourne ce problème en exploitant uniquement des données visuelles, qu'il projette dans un espace dit "Bird's-Eye-View" (vue à vol d'oiseau) pour les aligner avec des cartes haute définition ou des cartes de navigation standard. Le système intègre deux modules clés : une association guidée par l'incertitude perceptive, qui filtre les erreurs liées à l'interprétation de la scène visuelle, et un recalage guidé par l'incertitude de localisation, qui affine la position estimée. Les résultats expérimentaux indiquent que cette approche atteint des performances à l'état de l'art sur plusieurs benchmarks de localisation, et le modèle a été testé à grande échelle sur des flottes de véhicules autonomes en conditions urbaines réelles. Cette avancée est directement pertinente pour l'industrie du véhicule autonome, qui bute depuis des années sur la fiabilité de la localisation dans les villes. Un taxi robot ou un camion de livraison autonome qui perd son signal GPS en passant sous un viaduc ou entre deux rangées de gratte-ciels peut commettre des erreurs fatales. En combinant localisation grossière à grande échelle et recalage fin de haute précision dans un seul cadre différentiable, U-ViLAR offre une robustesse accrue sans nécessiter un matériel GPS de haute gamme. La compatibilité avec les cartes de navigation ordinaires, pas seulement les cartes HD coûteuses, pourrait abaisser significativement la barrière à l'adoption pour les constructeurs. La localisation visuelle pour la conduite autonome est un champ de recherche très actif, notamment depuis que les limites du GPS en milieu urbain sont devenues un verrou industriel reconnu. Des acteurs comme Waymo, Mobileye ou les équipes de recherche de Baidu ont tous investit dans des approches alternatives, combinant LiDAR, caméras et cartes vectorielles. U-ViLAR se distingue par son traitement explicite de l'incertitude à chaque étape du pipeline, une approche plus prudente que les méthodes déterministes. La prochaine étape probable pour ces travaux sera une intégration dans des architectures de conduite autonome de niveau 4, où la précision de localisation conditionne directement la sécurité du système.

RobotiquePaper
1 source
Compensation de force sans contact en temps réel pour capteurs de poignet en chirurgie robotique haptique
4353arXiv cs.RO 

Compensation de force sans contact en temps réel pour capteurs de poignet en chirurgie robotique haptique

Des chercheurs ont publié sur arXiv une méthode de compensation en temps réel des forces parasites affectant les capteurs force/couple montés au poignet de robots chirurgicaux, dans le cadre d'une plateforme d'entraînement appelée RoboScope. Le système présenté intègre un capteur force/couple (F/T) directement sur le poignet du bras robotisé, une configuration qui contourne les difficultés liées aux capteurs placés à l'extrémité des instruments mais qui génère en contrepartie des forces dites non-contact : gravité, biais du capteur, décalages d'installation et couples associés. Pour neutraliser ces perturbations sans sacrifier la réactivité, l'équipe propose un algorithme basé sur les moindres carrés récursifs (RLS), capable de fonctionner en continu sans phase de collecte de données préalable ni recalibrations répétées. Les résultats expérimentaux montrent une réduction des erreurs supérieure à 95 % pour les forces parasites et à 91 % pour les couples, des performances qui surpassent nettement les méthodes existantes. L'enjeu est direct : le retour haptique, c'est-à-dire la capacité à ressentir la résistance des tissus et à doser précisément la force appliquée, est une fonctionnalité absente de la grande majorité des systèmes de chirurgie robotisée actuels. Sans elle, les chirurgiens opèrent "à l'aveugle" mécaniquement, ce qui complique l'apprentissage et augmente le risque de traumatismes tissulaires lors des procédures délicates. En rendant fiable le retour haptique sur une plateforme à faible coût, cette avancée rend la formation plus réaliste et accessible à des hôpitaux ou centres de recherche ne disposant pas des budgets nécessaires aux systèmes commerciaux haut de gamme comme le Da Vinci. La chirurgie robotisée assistée connaît une expansion rapide, mais l'intégration du retour haptique reste un problème ouvert depuis des années, freinée par la complexité technique et les coûts. Les rares systèmes commerciaux qui commencent à proposer cette fonctionnalité restent inaccessibles pour la plupart des établissements de formation. RoboScope s'inscrit dans une tendance plus large de démocratisation des outils chirurgicaux avancés via des architectures open-source et abordables. La robustesse de la méthode RLS face aux variations de conditions opératoires laisse envisager une intégration dans des robots réels, au-delà du seul contexte d'entraînement.

RobotiquePaper
1 source
DriVerse : un modèle de monde pour la simulation de conduite via des instructions multimodales et l'alignement de trajectoire
4354arXiv cs.RO 

DriVerse : un modèle de monde pour la simulation de conduite via des instructions multimodales et l'alignement de trajectoire

Des chercheurs ont présenté DriVerse, un modèle génératif capable de simuler des scènes de conduite réalistes à partir d'une seule image et d'une trajectoire future. Évalué sur deux jeux de données de référence dans le domaine, nuScenes et Waymo, DriVerse surpasse les modèles spécialisés existants sur les tâches de génération vidéo prospective, et ce avec un entraînement minimal et sans données supplémentaires. Le système prend en entrée une trajectoire 3D et la convertit selon deux représentations complémentaires : d'une part, en séquence de tokens textuels grâce à un vocabulaire de tendances prédéfini, permettant une intégration fluide avec les modèles génératifs de base ; d'autre part, en prior de mouvement spatial 2D pour mieux contrôler les éléments statiques de la scène. Un module léger d'alignement du mouvement complète l'architecture en renforçant la cohérence temporelle des objets dynamiques, piétons, véhicules, sur des séquences longues. Ce travail répond à une limite majeure des simulateurs de conduite autonome actuels : l'écart entre les signaux de contrôle fournis au modèle et ses représentations internes. Les approches précédentes injectaient directement des trajectoires brutes ou des commandes discrètes dans le pipeline de génération, ce qui produisait des vidéos peu fidèles, insuffisantes pour évaluer rigoureusement des algorithmes de conduite réelle. DriVerse comble ce fossé en rendant la trajectoire compréhensible au modèle génératif sous forme textuelle et spatiale simultanément, ce qui améliore sensiblement la qualité et la précision des scènes simulées. La simulation réaliste de scènes de conduite est un enjeu central pour accélérer le développement de la conduite autonome, car elle permet de tester des algorithmes dans des conditions variées sans recourir à des kilomètres de captation réelle, coûteuse et dangereuse. Les approches concurrentes, dont certaines issues de grands laboratoires, peinent à concilier fidélité vidéo et contrôle fin de la trajectoire. En publiant son code et ses modèles en accès libre, l'équipe derrière DriVerse ouvre la voie à une adoption large par la communauté de recherche, potentiellement accélérant les cycles d'itération pour des acteurs comme Waymo, Mobileye ou les constructeurs automobiles engagés dans la course à l'autonomie de niveau 4.

RecherchePaper
1 source
Identification d'objets hors distribution pour la segmentation d'anomalies LiDAR 3D
4355arXiv cs.RO 

Identification d'objets hors distribution pour la segmentation d'anomalies LiDAR 3D

Des chercheurs ont publié fin avril 2026 une nouvelle méthode pour la segmentation d'anomalies en 3D à partir de données LiDAR, baptisée LIDO, accompagnée de nouveaux jeux de données mixtes réels-synthétiques. L'approche opère directement dans l'espace des caractéristiques (feature space) pour modéliser la distribution des classes connues et en déduire ce qui est anormal, sans recourir aux techniques de post-traitement empruntées à la vision 2D qui dominaient jusqu'ici le domaine. Le code source et les datasets sont disponibles publiquement sur la page du projet. Détecter des objets inconnus sur la route constitue un enjeu de sécurité critique pour les véhicules autonomes et les robots de perception : un camion renversé, un animal inattendu ou un obstacle inhabituel ne figurent pas dans les catégories apprises à l'entraînement, mais doivent absolument être signalés. Or, les méthodes existantes en 3D se contentaient d'adapter des techniques conçues pour la 2D, avec des performances limitées. La méthode proposée ici améliore l'état de l'art sur le seul dataset réel disponible publiquement, tout en montrant des résultats compétitifs sur les nouveaux benchmarks mixtes introduits par les auteurs, ce qui valide à la fois l'efficacité de l'approche et la pertinence des nouveaux jeux de données. Le domaine souffrait jusqu'ici d'un double handicap : les rares datasets 3D LiDAR dédiés à la détection d'anomalies ne proposaient que des scénarios simples, avec peu d'instances anormales, et présentaient un écart de domaine important lié à la résolution du capteur utilisé. Pour y remédier, les auteurs ont construit plusieurs datasets hybrides à partir de benchmarks de segmentation sémantique établis, en y intégrant des objets hors-distribution variés dans des environnements complexes. Ce travail s'inscrit dans une dynamique plus large de fiabilisation de la perception pour la conduite autonome, où la capacité à reconnaître ce que l'on ne connaît pas est aussi importante que reconnaître ce que l'on connaît.

RecherchePaper
1 source
Suivi de pose 6-DoF d'objets dynamiques par points clés et caméra événementielle
4356arXiv cs.RO 

Suivi de pose 6-DoF d'objets dynamiques par points clés et caméra événementielle

Des chercheurs ont publié sur arXiv (référence 2604.23387) une nouvelle méthode de suivi de pose d'objets en mouvement à six degrés de liberté (6-DoF), en s'appuyant sur des caméras événementielles plutôt que sur des caméras conventionnelles. L'approche repose sur la détection et le suivi de points-clés extraits du flux d'événements généré par le capteur. Le système identifie d'abord ces points-clés à partir d'une "surface temporelle" construite à partir du signal événementiel, puis exploite la polarité et les coordonnées spatiales des événements pour assurer un suivi continu. Une correspondance par table de hachage est ensuite établie entre les points-clés 2D détectés et les points-clés du modèle 3D de l'objet, avant d'appliquer l'algorithme EPnP pour calculer la pose finale. Testée en environnements simulés et réels, la méthode surpasse les approches concurrentes basées sur les événements en précision et en robustesse. Cette avancée répond à un besoin critique en robotique industrielle : estimer avec précision l'orientation et la position d'un objet en mouvement rapide pour permettre des tâches de manipulation fiables. Les caméras classiques échouent dans ce contexte précis, car elles souffrent de flou de mouvement lors de déplacements rapides, de bruit de capteur et de performances dégradées en faible luminosité. Une estimation de pose erronée peut compromettre entièrement une opération de saisie ou d'assemblage automatisé. La méthode proposée ouvre donc la voie à des bras robotiques capables d'attraper des objets en mouvement dans des conditions difficiles, ce qui intéresse directement les secteurs de la logistique, de la chirurgie assistée par robot et de la fabrication automatisée. Les caméras événementielles, initialement développées pour l'inspiration biologique par des institutions comme l'ETH Zurich et commercialisées notamment par Prophesee ou iniVation, mesurent les changements de luminosité pixel par pixel avec une latence de l'ordre de la microseconde, sans produire d'images complètes. Longtemps cantonnées à la recherche fondamentale, elles gagnent progressivement du terrain dans les applications embarquées et robotiques. Ce travail illustre comment coupler ces capteurs atypiques à des architectures d'apprentissage profond peut résoudre des problèmes insolubles pour l'imagerie traditionnelle, notamment dans les scénarios haute vitesse ou faible contraste. La prochaine étape probable sera l'intégration de cette approche dans des pipelines temps réel sur matériel embarqué contraint.

RecherchePaper
1 source
Complémentarité par construction : approche par groupes de Lie pour les programmes quadratiques à complémentarité linéaire
4357arXiv cs.RO 

Complémentarité par construction : approche par groupes de Lie pour les programmes quadratiques à complémentarité linéaire

Des chercheurs ont publié sur arXiv un nouveau solveur mathématique baptisé Marble, conçu pour résoudre une classe de problèmes d'optimisation particulièrement délicats en robotique : les programmes quadratiques avec contraintes de complémentarité linéaire, ou LCQPs. Le code est disponible en open source, implémenté en C++ avec des interfaces pour Julia et Python. L'article, référencé arXiv:2604.11991v2, propose une approche fondée sur la théorie des groupes de Lie pour contourner les limitations des solveurs existants sur ce type de problèmes. Les LCQPs interviennent au coeur de nombreux défis en robotique : modéliser le contact entre un bras manipulateur et un objet, ou gérer les phases d'appui et de décollage dans la locomotion. Ces problèmes sont non convexes et mélangent dynamique continue et événements discrets, ce qui les rend très difficiles à résoudre. Très peu de solveurs permettent aujourd'hui d'en calculer de bonnes solutions locales utilisables dans des pipelines de planification. Marble démontre sur une suite de benchmarks standardisés qu'il est compétitif face aux meilleures méthodes actuelles, et qu'il parvient à converger sur plusieurs problèmes robotiques concrets où les approches existantes échouent. L'intuition mathématique centrale du travail est que les contraintes de complémentarité forment un groupe de Lie sous relaxation infinitésimale, une structure géométrique qui permet d'effectuer l'optimisation directement sur la variété correspondante. Les auteurs introduisent une carte de rétraction numériquement stable, ce qui leur permet de paramétrer les contraintes de façon à ce qu'elles soient satisfaites par construction, éliminant les instabilités numériques classiques associées à ce type de contraintes. Cette avancée s'inscrit dans un effort plus large de la communauté robotique pour doter les systèmes autonomes de méthodes de planification capables de gérer des scénarios complexes impliquant contacts et transitions dynamiques, un verrou technique majeur pour les robots manipulateurs et les plateformes de locomotion avancées.

RobotiqueOpinion
1 source
Les robots humanoïdes apprennent la manipulation polyvalente par simulation tactile
4358arXiv cs.RO 

Les robots humanoïdes apprennent la manipulation polyvalente par simulation tactile

Des chercheurs ont présenté un nouveau système d'apprentissage pour robots humanoïdes capable de manipuler des objets avec une dextérité inédite, en intégrant le sens du toucher comme modalité centrale. Baptisé HTD (Humanoid Transformer with Touch Dreaming), ce modèle multimodal de type encodeur-décodeur Transformer combine la vision multi-caméras, la proprioception et la détection tactile pour permettre à un robot humanoïde d'accomplir des tâches nécessitant des contacts physiques complexes et fréquents. Testé sur cinq tâches réelles impliquant des manipulations délicates, HTD affiche une amélioration relative de 90,9 % du taux de succès moyen par rapport aux approches concurrentes les plus solides. L'enjeu central de ce travail est de résoudre l'un des défis les plus persistants de la robotique humanoïde : la coordination entre stabilité du corps entier, agilité des mains et conscience du contact physique. Dans les environnements réels, un robot qui saisit un objet fragile ou manipule un outil doit constamment ajuster sa prise en fonction des forces ressenties, une capacité que les systèmes purement visuels peinent à développer. Grâce à la technique du "touch dreaming", la politique apprise ne se contente pas de prédire des séquences d'actions, elle anticipe également les forces futures exercées par les articulations des mains et les états tactiles latents à venir, ce qui l'oblige à construire des représentations internes riches et sensibles au contact. Les expériences d'ablation confirment que cette prédiction dans l'espace latent est plus efficace que la prédiction brute des données tactiles, avec un gain relatif de 30 % supplémentaire en taux de succès. L'architecture repose sur un contrôleur de la partie basse du corps entraîné par apprentissage par renforcement, qui assure la stabilité posturale pendant les manipulations complexes. La collecte de données de démonstration s'effectue via un système de téléopération en réalité virtuelle qui intègre à la fois des mains dextères et des capteurs tactiles, permettant de recueillir des interactions riches en contact sans étape de pré-entraînement tactile séparée. Ce travail, dont les matériaux sont publiés en open source, s'inscrit dans une tendance plus large de la recherche en robotique visant à doter les humanoïdes de capacités sensori-motrices proches de celles des humains, condition indispensable avant un déploiement dans des environnements domestiques ou industriels non contrôlés.

RobotiqueOpinion
1 source
Fonctions de barrière de contrôle résolues par programmation quadratique hiérarchique pour une interaction physique sûre entre humains et robots
4359arXiv cs.RO 

Fonctions de barrière de contrôle résolues par programmation quadratique hiérarchique pour une interaction physique sûre entre humains et robots

Des chercheurs ont publié sur arXiv (réf. 2604.23039) une nouvelle approche pour sécuriser l'interaction physique entre humains et robots, en combinant les Fonctions de Barrière de Contrôle (CBF) avec un cadre de Programmation Quadratique Hiérarchique (HQP). L'objectif est de permettre à un robot de maintenir des comportements souhaités au point de contact avec l'humain, tout en respectant simultanément un ensemble de contraintes de sécurité parfois conflictuelles. Les expériences ont été menées sur un vrai robot redondant, c'est-à-dire un bras articulé disposant de plus de degrés de liberté que nécessaire, ce qui lui confère une flexibilité supplémentaire pour résoudre ces compromis en temps réel. L'intérêt de cette approche réside dans sa capacité à gérer un grand nombre de tâches de sécurité sans sacrifier les performances du robot. Jusqu'ici, quand plusieurs contraintes de sécurité entraient en conflit, les systèmes existants peinaient à trouver une solution réalisable. La hiérarchisation permet de relâcher certaines contraintes de moindre priorité de façon contrôlée, évitant ainsi les blocages tout en préservant les garanties essentielles. Pour des applications comme les robots de rééducation médicale ou les cobots industriels travaillant aux côtés d'opérateurs humains, cette flexibilité représente une avancée concrète en termes de fiabilité et de déploiement dans des environnements réels. Les Fonctions de Barrière de Contrôle sont devenues ces dernières années un outil théorique de référence pour la sécurité des systèmes autonomes, déjà appliquées au régulateur de vitesse adaptatif dans l'automobile ou à la navigation des robots quadrupèdes. Le défi persistant restait leur passage à l'échelle lorsque les tâches se multiplient et se contredisent. Ce travail s'inscrit dans un effort plus large de l'industrie robotique pour certifier formellement la sécurité des robots collaboratifs, un prérequis imposé par les régulateurs européens et les assureurs avant tout déploiement clinique ou industriel à grande échelle. Les prochaines étapes pourraient porter sur l'adaptation dynamique de la hiérarchie en fonction du contexte de l'interaction.

RobotiqueOpinion
1 source
Modèles vision-langage-action sur robot : contraintes et accélération selon les processeurs
4360arXiv cs.RO 

Modèles vision-langage-action sur robot : contraintes et accélération selon les processeurs

Des chercheurs ont publié une étude systématique sur le déploiement de modèles Vision-Language-Action (VLA) sur des accélérateurs matériels embarqués, une problématique centrale pour la robotique autonome à faible coût. Ces modèles, capables de combiner perception visuelle, compréhension du langage naturel et génération de commandes motrices, sont évalués jusqu'ici quasi exclusivement sur des GPU de bureau haut de gamme, ce qui masque les véritables compromis coût-performance des architectures embarquées. L'équipe a construit un tableau de comparaison multi-accélérateurs (GPU, XPU, NPU) en évaluant chaque combinaison modèle-matériel selon trois critères : coût, énergie consommée et temps d'inférence, regroupés sous l'acronyme CET. Résultat : des accélérateurs edge correctement dimensionnés se révèlent plus efficaces en coût et en énergie que des GPU phares, tout en respectant les contraintes de fréquence de contrôle requises par les robots en temps réel. L'étude apporte aussi un éclairage inédit sur le comportement interne de ces modèles lors de l'inférence. Les chercheurs ont identifié un schéma en deux phases répétable : un backbone VLM (le module vision-langage) limité par la puissance de calcul, suivi d'un module expert d'action limité par la bande passante mémoire. Cette alternance crée une sous-utilisation structurelle du matériel, source d'inefficacité. À partir de ce diagnostic, ils ont développé deux optimisations : DP-Cache, qui réduit les calculs redondants dans la diffusion, et V-AEFusion, qui introduit un parallélisme asynchrone entre les deux phases. Ces techniques permettent des accélérations allant jusqu'à 2,9x sur GPU et 6x sur NPU edge, avec une dégradation marginale des performances de contrôle. Ce travail s'inscrit dans une course plus large à l'embarquabilité des modèles d'IA généralistes dans les systèmes physiques. Les robots humanoïdes et mobiles de nouvelle génération, développés par des acteurs comme Figure, Physical Intelligence ou Boston Dynamics, font face à des contraintes énergétiques et économiques sévères dès lors qu'on les sort des laboratoires. L'approche de co-caractérisation modèle-matériel proposée ici offre un cadre méthodologique transposable, et le leaderboard public mis en ligne sur Vercel constitue une ressource ouverte pour orienter les prochains choix d'architecture dans l'IA incarnée.

RecherchePaper
1 source