Aller au contenu principal

Actualités IA — page 182

7 616 articles au fil, du plus récent au plus ancien.

Exaforce lève 125 millions de dollars pour sa plateforme de cybersécurité IA
3621Le Big Data 

Exaforce lève 125 millions de dollars pour sa plateforme de cybersécurité IA

Exaforce, startup américaine spécialisée dans la cybersécurité par intelligence artificielle, a annoncé le 12 mai 2026 une levée de fonds de série B de 125 millions de dollars, portant sa valorisation totale à 725 millions de dollars et son financement cumulé à 200 millions en seulement trois ans d'existence. L'opération a été menée par HarbourVest, aux côtés de Peak XV, Mayfield, Khosla Ventures et Seligman Ventures. La startup, fondée par Ankur Singla, développe une plateforme de sécurité pilotée par des agents IA appelés Exabots, conçus pour analyser massivement les données de sécurité, identifier les comportements suspects et réduire le temps de détection des menaces. Commercialisée officiellement au quatrième trimestre 2025 après deux ans de tests avec des partenaires, la plateforme est déjà adoptée par plusieurs grandes entreprises. L'enjeu central qu'Exaforce cherche à résoudre est réel et bien documenté dans le secteur : les équipes des centres d'opérations de sécurité (SOC) croulent sous des centaines, parfois des milliers d'alertes quotidiennes, dont une large part sont des faux positifs. La startup affirme que ses agents IA peuvent éliminer jusqu'à 90 % des tâches manuelles de ces équipes, leur permettant de se concentrer sur les menaces réellement critiques. La plateforme intègre également une fonctionnalité baptisée "Vibe Hunting", lancée récemment, qui permet aux analystes d'interroger le système en langage naturel, par exemple "avons-nous subi de nouvelles attaques provenant d'Iran ?", et d'obtenir une analyse automatisée des signaux faibles correspondants. Cette approche vise à rendre la cybersécurité plus accessible, moins dépendante d'une expertise technique pointue, et donc plus scalable pour des équipes sous pression. Cette levée intervient dans un contexte de forte accélération des investissements dans la cybersécurité augmentée par l'IA, portée par la multiplication des attaques automatisées et la pression réglementaire croissante sur la protection des données. Exaforce avait déjà levé 75 millions en série A un an plus tôt, une performance qui lui avait valu d'être signalée par le Wall Street Journal parmi les jeunes pousses les plus surveillées du secteur. Développer une telle plateforme exige des investissements considérables en infrastructure, en entraînement de modèles et en intégration de données d'entreprises, ce qui explique la cadence soutenue des tours de table. Les concurrents, dont des acteurs comme CrowdStrike, Palo Alto Networks ou des startups comme Secureworks, investissent eux aussi massivement dans l'automatisation par IA, faisant de ce segment l'un des plus disputés de la tech en 2026.

BusinessActu
1 source
Google DeepMind présente un pointeur de souris IA propulsé par Gemini, capable de capturer le contexte visuel et sémantique autour du curseur
3622MarkTechPost 

Google DeepMind présente un pointeur de souris IA propulsé par Gemini, capable de capturer le contexte visuel et sémantique autour du curseur

Google DeepMind a présenté cette semaine un pointeur de souris dopé à l'intelligence artificielle, propulsé par Gemini, capable de comprendre non seulement où l'utilisateur pointe, mais aussi ce qu'il pointe et pourquoi c'est pertinent. Le système est encore expérimental, mais deux démonstrations sont d'ores et déjà accessibles dans Google AI Studio : l'une pour éditer une image, l'autre pour identifier des lieux sur une carte, toutes deux utilisables en pointant et en parlant à voix haute. Une intégration plus profonde, baptisée Magic Pointer, est en cours de déploiement dans Chrome, et une autre est prévue pour Googlebook, la nouvelle gamme d'ordinateurs portables Gemini de Google annoncée simultanément cette semaine. Le problème que cherche à résoudre DeepMind est connu de quiconque a déjà essayé d'utiliser un assistant IA en pleine session de travail : les outils actuels vivent dans leur propre fenêtre, obligeant l'utilisateur à interrompre son flux pour décrire manuellement ce qu'il regardait, coller une question dans un chatbot, puis importer la réponse dans son document d'origine. Le pointeur IA brise ce cycle en transmettant au modèle un contexte visuel et sémantique en temps réel, dérivé de la position du curseur et de l'état de survol, sans que l'utilisateur ait à formuler ce contexte en texte. Concrètement, cela permet de pointer un tableau de statistiques et demander une version en camembert, de survoler une recette pour en doubler les ingrédients, ou de pointer un PDF pour en obtenir un résumé en points à coller directement dans un email. Cette initiative s'inscrit dans une tendance plus large chez les grandes plateformes technologiques : rendre l'IA ambiante plutôt que cloisonnée dans une fenêtre de chat. Depuis l'émergence des grands modèles de langage grand public, la friction principale reste l'interface : les modèles sont puissants, mais les utilisateurs doivent sérialiser manuellement leur environnement en texte pour les actionner. DeepMind formalise quatre principes de conception pour y remédier, dont "maintenir le flux" (l'IA suit l'utilisateur là où il travaille, sans détour) et "montrer et dire" (le pointeur capte le contexte visuel, remplaçant les prompts détaillés par un simple geste). Microsoft avance en parallèle avec Copilot intégré à Windows, tandis qu'Apple mise sur des capacités similaires avec Apple Intelligence. Avec l'annonce simultanée des laptops Googlebook et le déploiement dans Chrome, Google positionne Gemini comme une couche système universelle, ce qui pourrait redéfinir profondément la manière dont des centaines de millions d'utilisateurs interagissent avec leur ordinateur au quotidien.

OutilsOutil
1 source
Google et SpaceX explorent des data centers spatiaux en orbite pour l’IA
3623Le Big Data 

Google et SpaceX explorent des data centers spatiaux en orbite pour l’IA

Google et SpaceX seraient en pourparlers avancés sur le déploiement de centres de données en orbite basse, destinés à héberger des charges de calcul dédiées à l'intelligence artificielle. Selon le Wall Street Journal, les deux groupes étudient un accord qui permettrait à Google d'utiliser les capacités de lancement de SpaceX pour placer progressivement des infrastructures informatiques dans l'espace. Cette initiative reste encore au stade exploratoire, sans confirmation officielle d'Elon Musk, mais elle s'inscrit dans un contexte où SpaceX prépare une introduction en bourse valorisée à près de 1 750 milliards de dollars, pariant sur la viabilité économique future de ces infrastructures orbitales. Google ne limiterait pas non plus ses discussions à SpaceX, en parallèle de discussions avec d'autres acteurs du secteur spatial, tout en avançant sur son projet Suncatcher, annoncé en 2018, dont les premiers prototypes de satellites sont attendus à partir de 2027. L'enjeu est considérable pour l'industrie tech. Les modèles d'IA générative réclament des volumes de calcul en croissance exponentielle, tandis que les data centers terrestres se heurtent à des limites de plus en plus contraignantes : consommation électrique massive, occupation foncière importante, et opposition croissante de riverains et d'élus dans plusieurs États américains. Des projets entiers ralentissent en raison d'inquiétudes autour de l'utilisation de l'eau, de l'empreinte carbone et de la pression sur les réseaux électriques locaux. Des infrastructures en orbite permettraient, en théorie, de contourner ces contraintes géographiques et réglementaires tout en ouvrant une nouvelle réserve de capacité de calcul décorrélée des tensions foncières terrestres. Elon Musk avance même que le coût d'exploitation de tels centres pourrait s'avérer inférieur à celui des data centers classiques, à mesure que les coûts de lancement continuent de baisser. Ce mouvement vers l'espace s'inscrit dans une recomposition plus large des alliances autour de l'IA et des infrastructures. Anthropic et SpaceX ont récemment signé un accord portant sur l'accès aux ressources de calcul du centre de données de xAI à Memphis, avec des perspectives de collaboration sur des projets spatiaux à plus long terme. SpaceX a par ailleurs renforcé son positionnement dans l'écosystème IA après le rachat de xAI en février 2026, transformant l'entreprise de lancement en acteur intégré de la chaîne de valeur de l'intelligence artificielle. Si les data centers orbitaux restent une vision à horizon de plusieurs années, la convergence entre les géants du cloud, les fournisseurs de fusées et les laboratoires d'IA dessine d'ores et déjà les contours d'une bataille pour le contrôle des infrastructures du calcul de demain.

Tokenmaxxing : quand les salariés d’Amazon brûlent des tokens pour se faire bien voir
3624Next INpact 

Tokenmaxxing : quand les salariés d’Amazon brûlent des tokens pour se faire bien voir

Des employés d'Amazon utilisent MeshClaw, un outil interne de déploiement d'agents IA lancé il y a quelques semaines par le groupe, non pas pour travailler plus efficacement, mais pour gonfler artificiellement leurs statistiques de consommation de tokens. MeshClaw fonctionne sur le même principe qu'OpenClaw : il permet de déployer des agents capables de trier des courriels, interagir sur Slack, déployer du code ou surveiller des applications. Selon le Financial Times, certains salariés font tourner ces agents en continu non parce qu'ils en ont besoin, mais pour afficher un usage IA élevé dans des classements internes que la direction a commencé à surveiller. Amazon s'est fixé comme objectif que 80 % de ses développeurs utilisent l'IA chaque semaine. Ce phénomène a reçu un nom : le "tokenmaxxing". Un développeur médian consomme environ 51 millions de tokens par mois selon une étude Jellyfish publiée en avril 2026, tandis que les 10 % de plus gros consommateurs dépassent 380 millions de tokens mensuels, soit un coût pouvant atteindre 700 dollars par mois aux tarifs de l'API Claude. Ce détournement révèle les effets pervers d'une gouvernance par les métriques dans les entreprises tech. Quand un indicateur devient un critère d'évaluation implicite, il cesse de mesurer la réalité et devient une fin en soi. "Les managers regardent ces chiffres", confie un employé anonyme, "ça crée des effets pervers et certaines personnes deviennent très compétitives." L'étude Jellyfish sur 12 000 développeurs dans 200 entreprises au premier trimestre 2026 enfonce le clou : une consommation massive de tokens produit effectivement plus de code, mais ce code nécessite davantage d'allers-retours, de supervision humaine et de corrections, ce qui annule les gains de productivité supposés. À cela s'ajoute un risque de sécurité réel : MeshClaw dispose d'un accès large à des outils internes sensibles, ce qui peut provoquer des incidents graves en cas d'usage mal maîtrisé, comme l'ont déjà illustré de récentes pannes chez AWS attribuées à des agents IA. Ce phénomène dépasse Amazon. Meta avait développé un tableau de bord interne attribuant le statut de "Token Legend" aux plus gros consommateurs de tokens, avant de le retirer sous pression, tout en maintenant un suivi officiel de l'usage IA. La pression vient du sommet : Amazon a annoncé 200 milliards de dollars de dépenses d'investissement pour 2026, en grande partie fléchés vers l'IA et les centres de données. Pour justifier ces montants astronomiques auprès des actionnaires, les directions poussent les équipes à produire des preuves d'usage, créant une mécanique où l'apparence d'adoption compte autant que l'adoption réelle. L'enjeu, désormais, est de distinguer la valeur générée par l'IA de la valeur simulée pour complaire aux tableaux de bord.

SociétéOpinion
1 source
Meta AI : un vrai pot de colle, vous ne pouvez pas le bloquer sur Threads
3625Le Big Data 

Meta AI : un vrai pot de colle, vous ne pouvez pas le bloquer sur Threads

Meta a annoncé mardi le lancement d'un test de sa fonctionnalité Meta AI directement intégrée à Threads, son réseau social concurrent de X. Le principe reprend le modèle de Grok chez xAI : les utilisateurs peuvent mentionner le compte @Meta AI dans n'importe quelle conversation pour déclencher une réponse automatique de l'assistant. Le déploiement reste pour l'instant limité à cinq pays : l'Argentine, la Malaisie, le Mexique, l'Arabie saoudite et Singapour. L'IA peut répondre à des questions du quotidien, comme expliquer la tendance du matcha ou indiquer la prononciation du mot "Cannes", selon une vidéo de démonstration publiée par Meta elle-même. Le problème central qui a enflammé la plateforme tient en un mot : le blocage est impossible. Contrairement à n'importe quel autre compte sur Threads, Meta AI ne peut pas être bloqué par les utilisateurs. L'option habituelle, accessible via les trois points du profil, disparaît purement et simplement du menu. Certains utilisateurs ont signalé avoir brièvement aperçu le bouton avant de recevoir un message d'erreur en tentant de l'utiliser. La grogne a rapidement pris de l'ampleur : le sujet "Impossible de bloquer Meta AI" est devenu viral avec plus d'un million de publications sur la plateforme, avant de disparaître mystérieusement des tendances, ce qui n'a fait qu'amplifier la méfiance. Face à la pression, Meta a répondu via sa porte-parole Christine Pai, qui assure que les utilisateurs peuvent "gérer leur expérience" en masquant certaines réponses, en les désactivant dans leur fil ou en sélectionnant l'option "Pas intéressé(e)". Le blocage direct, lui, reste indisponible. Cette situation illustre une tension de fond qui traverse toute l'industrie des réseaux sociaux : l'intégration forcée d'assistants IA dans des espaces de conversation que les utilisateurs considèrent comme les leurs. Meta, qui cherche à monétiser et valoriser ses investissements massifs dans l'IA, a tout intérêt à maximiser l'exposition de Meta AI à travers ses milliards d'utilisateurs sur Facebook, Instagram et Threads. Mais l'absence d'option de blocage soulève des questions légitimes sur le consentement et le contrôle des utilisateurs, particulièrement en Europe où le cadre réglementaire du RGPD impose des obligations strictes en la matière. Si le test se conclut par un déploiement mondial, Meta devra probablement trancher : soit introduire une vraie option de blocage pour respecter les attentes des utilisateurs et les réglementations, soit assumer pleinement le choix de rendre son IA incontournable sur la plateforme.

ÉthiqueOpinion
1 source
Il avait contourné les garde-fous de ChatGPT : Denis Shilov lève 9,35 millions d’euros pour WHITE CIRCLE
3626FrenchWeb 

Il avait contourné les garde-fous de ChatGPT : Denis Shilov lève 9,35 millions d’euros pour WHITE CIRCLE

White Circle, startup spécialisée dans la supervision et la sécurisation des modèles d'intelligence artificielle, a bouclé un tour de financement de 11 millions de dollars, soit environ 9,35 millions d'euros. Le tour a attiré un panel exceptionnel de figures de l'écosystème IA mondial : Romain Huet, Dirk Kingma (co-inventeur des VAE), Guillaume Lample (co-fondateur de Mistral AI), Thomas Wolf (Hugging Face), François Chollet (créateur de Keras), Olivier Pomel (Datadog) et Paige Bailey (Google DeepMind) figurent parmi les participants. La société est fondée par Denis Shilov, qui s'était fait remarquer en contournant les garde-fous de sécurité de ChatGPT. Ce financement souligne l'urgence croissante de sécuriser les systèmes d'IA déployés en production. White Circle propose des outils pour surveiller le comportement des modèles en temps réel, détecter les dérives et prévenir les abus, un besoin devenu critique alors que les entreprises intègrent massivement des grands modèles de langage dans leurs processus métier. La capacité de Shilov à jailbreaker des modèles comme ChatGPT illustre concrètement les failles existantes, et c'est précisément cette expertise offensive qui lui confère une crédibilité rare dans la défense. La supervision d'IA, ou "AI guardrails", est devenue l'un des segments les plus disputés du marché. La présence d'investisseurs comme Chollet, dont les travaux sur l'intelligence générale font référence, ou Lample, architecte de Mistral, donne à White Circle une légitimité technique difficile à imiter. Alors que l'AI Act européen impose des exigences croissantes de traçabilité et de contrôle, ce type de solution devrait trouver un marché naturel auprès des entreprises cherchant à se conformer tout en déployant des agents autonomes à grande échelle.

SécuritéOpinion
1 source
SEVO : observation virtuelle enrichie sémantiquement pour la manipulation VLA robuste par éclairage actif et collecte de données
3627arXiv cs.RO 

SEVO : observation virtuelle enrichie sémantiquement pour la manipulation VLA robuste par éclairage actif et collecte de données

Des chercheurs publient sur arXiv (arXiv:2605.11114, mai 2025) une méthode baptisée SEVO (Semantic-Enhanced Virtual Observation) visant à résoudre l'un des problèmes les plus documentés des politiques VLA (Vision-Language-Action) et d'apprentissage par imitation : leur effondrement dès qu'elles quittent l'environnement d'entraînement. Sans modification de l'architecture du modèle, SEVO agit sur le flux caméra RGB brut via trois mécanismes combinés : des caméras fixes sur le corps du robot dont les champs de vision couvrent l'intégralité de l'espace de manipulation, un éclairage actif en spectre rouge qui normalise physiquement l'apparence des objets, et une segmentation YOLO en temps réel qui produit une représentation sémantique invariante au fond. Les tests portent sur des bouteilles d'eau transparentes -- objets délibérément difficiles car ils se confondent visuellement avec leur environnement -- dans une tâche de pick-and-place répétée sur deux plateformes mobiles. Avec SEVO, la politique ACT atteint 95 % de succès en environnement d'entraînement et 85 % en environnement inédit ; SmolVLA atteint 83 % et 75 % respectivement. Sans SEVO, ces mêmes politiques plafonnent à 75 %/70 % en entraînement et s'effondrent à 30-35 % hors contexte. Ces résultats remettent directement en cause le paradigme dominant qui consiste à compenser le manque de robustesse par une mise à l'échelle des modèles. Les praticiens de la communauté open source rapportaient déjà des taux de transfert quasi nuls avec les benchmarks ACT et SmolVLA standards, pourtant affichant des scores élevés en laboratoire. SEVO démontre que la conception de l'observation -- ce que le robot "voit" et comment -- combinée à une diversification systématique des données de téléopération (variations d'éclairage, de fond, d'objets distracteurs) constitue le levier de généralisation le plus efficace, bien devant le choix du modèle. Pour un intégrateur ou un COO industriel, l'implication est directe : un robot à bas coût bien "observé" et entraîné sur des données variées surpasse un modèle plus sophistiqué entraîné dans des conditions homogènes. Le contexte est celui de l'essor des toolchains communautaires autour des VLA, notamment les frameworks lekiwi et SO-101 sur lesquels ACT et SmolVLA sont régulièrement évalués. La "sim-to-real gap" et le "domain shift" sont des problèmes ouverts depuis des années dans la manipulation robotique ; des approches comme domain randomization ou data augmentation tentaient déjà d'y répondre par le calcul. SEVO prend le parti inverse : agir sur le hardware d'observation et le protocole de collecte plutôt que sur l'architecture ou la puissance de calcul. Les suites logiques de ces travaux incluent l'extension à des tâches multi-étapes, à des objets plus variés, et potentiellement à des bases mobiles commerciales -- un terrain sur lequel des acteurs comme Boston Dynamics (Spot), AgileX ou les startups européennes de manipulation à coût réduit sont directement concernés.

RobotiqueOpinion
1 source
Surmonter l'aveuglement aux dynamiques : correction de vitesse et de trajectoire sans entraînement pour les modèles VLA
3628arXiv cs.RO 

Surmonter l'aveuglement aux dynamiques : correction de vitesse et de trajectoire sans entraînement pour les modèles VLA

Des chercheurs ont publié mi-mai 2026 sur arXiv (référence 2605.11459) une méthode baptisée "Pace-and-Path Correction" pour corriger un angle mort structurel des modèles VLA (Vision-Language-Action). Ces modèles, socle technique des bras manipulateurs de nouvelle génération, sont entraînés sur des observations à image unique (single-frame), ce qui les rend incapables de percevoir les dynamiques temporelles lors de l'exécution d'une séquence planifiée. En pratique, dès qu'un objet bouge pendant que le robot exécute un "action chunk", les performances chutent sévèrement, même après fine-tuning sur des datasets dynamiques. L'opérateur proposé s'applique à l'inférence sans ré-entraînement, comme une couche wrapper autour de tout VLA à action chunking, et se décompose en deux canaux orthogonaux issus d'une minimisation de coût quadratique unique : un canal "pace" compressant l'exécution le long de la trajectoire prévue, et un canal "path" appliquant un décalage spatial orthogonal pour absorber les perturbations dynamiques dans la fenêtre temporelle du chunk. Évalué sur MoveBench, un benchmark conçu pour isoler le mouvement comme seule variable contrôlée, la méthode améliore le taux de succès de 28,8 points de pourcentage en environnement purement dynamique et de 25,9 points en contexte mixte statique-dynamique, surpassant les VLAs de base ainsi que les approches dynamiques-adaptatives existantes. L'enjeu est directement opérationnel : les VLAs actuels comme pi-0 de Physical Intelligence, OpenVLA ou GR00T N2 de Nvidia peinent dès qu'un convoyeur avance ou qu'un opérateur interfère avec la scène, soit le cas standard en environnement industriel réel. Corriger ce "dynamics gap" exigeait jusqu'ici un ré-entraînement coûteux, souvent rédhibitoire pour un intégrateur sans infrastructure ML dédiée. Le caractère training-free de Pace-and-Path Correction signifie qu'elle peut s'intégrer sur un modèle déjà déployé sans modifier les poids ni la pipeline d'apprentissage, abaissant drastiquement la barrière d'adoption pour des déploiements en conditions réelles. La "dynamics-blindness" des VLAs est une critique récurrente depuis l'émergence de pi-0 et OpenVLA en 2024-2025, la majorité des démonstrations publiques ayant lieu sur scènes statiques et laissant ouvert le demo-to-reality gap dès que les conditions industrielles se compliquent. Ce travail s'inscrit dans la course à la manipulation robuste que se livrent Nvidia, Figure (Figure 03), Boston Dynamics et 1X Technologies. Aucun acteur français n'est directement cité, mais les conclusions intéressent des intégrateurs comme Exotec et des équipes de recherche comme le LAAS-CNRS travaillant sur la manipulation en environnement non-structuré. La prochaine étape logique est une validation sur hardware réel - le papier reste à ce stade un benchmark simulé - et une intégration dans des stacks open-source comme LeRobot de Hugging Face.

RechercheOpinion
1 source
Hallucination d'action dans les modèles vision-langage-action (VLA) génératifs
3629arXiv cs.RO 

Hallucination d'action dans les modèles vision-langage-action (VLA) génératifs

Des chercheurs ont publié sur arXiv (référence 2602.06339, version 2, février 2026) une analyse théorique des hallucinations d'action dans les modèles VLA (Vision-Language-Action), ces architectures de fondation qui promettent une généralisation large pour le contrôle robotique de bout en bout. L'étude, centrée sur les politiques génératives à variables latentes, identifie trois catégories de barrières structurelles qui provoquent des hallucinations, c'est-à-dire des actions générées violant des contraintes physiques du monde réel : une barrière topologique (liée à la topologie de l'espace d'action), une barrière de précision (résolution insuffisante pour les tâches fines), et une barrière d'horizon (dégradation des performances sur les séquences longues). Ces barrières ne sont pas des artefacts d'implémentation corrigeables à la marge, mais des inadéquations structurelles entre l'espace des comportements robots physiquement réalisables et les architectures de modèles courantes. La portée de ce travail dépasse le cadre académique : il fournit des explications mécanistes aux échecs empiriques régulièrement rapportés lors du déploiement de politiques VLA en conditions réelles, et remet en question une hypothèse dominante du secteur selon laquelle les modèles de fondation généralistes résoudraient intrinsèquement le problème de génération d'action en robotique incarnée. Pour les intégrateurs et les équipes R&D industrielles, cela signifie que des phénomènes observés en déploiement, comme des mouvements incohérents, des échecs sur des tâches longues ou des erreurs de précision fine, ont une origine architecturale identifiable, et non pas seulement un déficit de données d'entraînement. Les auteurs soulignent que ces limitations imposent des compromis inévitables, et non des problèmes résolubles uniquement par le scaling ou l'augmentation des datasets. Le champ des VLAs s'est considérablement densifié depuis 2023 avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA (open-source) ou encore RT-2 de Google DeepMind, qui font tous le pari d'une politique robotique unifiée entraînée sur des données massives. Cette étude apporte une perspective critique et formalisée dans un domaine encore largement dominé par des démonstrations en environnements contrôlés, souvent sans publication des métriques d'échec. Les auteurs ne proposent pas d'abandonner l'approche générative, mais tracent des directions pour améliorer fiabilité et robustesse sans sacrifier la puissance expressive de ces architectures, un prérequis non négociable pour franchir le seuil du déploiement industriel réel.

RechercheOpinion
1 source
DreamAvoid : rêverie au moment du test sur les phases critiques pour éviter les échecs des politiques VLA
3630arXiv cs.RO 

DreamAvoid : rêverie au moment du test sur les phases critiques pour éviter les échecs des politiques VLA

Une équipe de chercheurs a publié DreamAvoid (arXiv:2605.11750), un framework d'inférence conçu pour réduire les échecs dans les modèles Vision-Language-Action (VLA) lors de tâches de manipulation fine. Le problème est bien documenté : les VLA, entraînés quasi exclusivement sur des démonstrations réussies, accumulent des erreurs mineures pendant les phases critiques d'une tâche (saisie, insertion, positionnement précis) qui s'amplifient jusqu'à rendre toute récupération impossible. DreamAvoid introduit trois composants exécutés à l'inférence : un Dream Trigger qui détecte l'entrée en phase critique, un Action Proposer qui échantillonne plusieurs candidats d'action auprès du VLA, et un Dream Evaluator qui simule à court horizon les futurs correspondants, les évalue, et sélectionne l'action optimale. Ce dernier est entraîné sur un mélange succès/échecs/cas limites via un paradigme dit "autonomous boundary learning". Les évaluations portent sur des tâches de manipulation réelles et des benchmarks de simulation avec une amélioration du taux de succès global, sans que les auteurs ne publient de chiffres précis dans le résumé, ce qui rend la comparaison quantitative impossible en l'état. L'apport clé est architectural : DreamAvoid agit uniquement à l'inférence, ce qui permet de le greffer sur n'importe quel VLA existant sans réentraînement complet. Pour les intégrateurs industriels, c'est un point non trivial : la fragilité en manipulation fine (assemblage, vissage, conditionnement) reste l'un des principaux freins au déploiement réel des bras manipulateurs génériques. Cibler spécifiquement les phases critiques, plutôt que l'ensemble de la trajectoire, limite par ailleurs le surcoût computationnel à l'inférence. Ce travail contredit partiellement l'hypothèse dominante selon laquelle augmenter massivement les données de succès suffit à rendre les VLA robustes : une conscience explicite de l'échec, même injectée post-entraînement, apporte un gain tangible. Le contexte est celui d'une compétition intense entre VLA généralistes incluant Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA de l'UC Berkeley, tous partageant cette fragilité structurelle documentée dans des travaux comme RT-2 et ALOHA. DreamAvoid s'inscrit dans une lignée de méthodes de planification augmentée à l'inférence, proche des approches world model comme SWIM ou de MCTS appliqué à la robotique. Le code est disponible publiquement sur GitHub (github.com/XianzheFan/DreamAvoid). Les suites probables incluent une évaluation sur des benchmarks standardisés tels que RLBench ou LIBERO, et potentiellement une intégration dans des pipelines d'entraînement continu où les échecs détectés par le Dream Evaluator alimentent automatiquement les données négatives futures.

RechercheOpinion
1 source
RIO : un système d'entrées/sorties robotiques flexible et en temps réel pour l'apprentissage multi-plateforme
3631arXiv cs.RO 

RIO : un système d'entrées/sorties robotiques flexible et en temps réel pour l'apprentissage multi-plateforme

Une équipe de chercheurs présente RIO (Robot I/O), un framework Python open source publié en mai 2026 (arXiv:2605.11564), conçu pour standardiser les flux de travail en apprentissage robotique multi-plateformes. RIO propose des composants modulaires couvrant le contrôle robot, la téleopération, la mise en forme des données, la configuration des capteurs et le déploiement de politiques d'action (policies). Le framework a été validé sur trois morphologies distinctes, bras unique, bimanuel et humanoïde, sur quatre plateformes matérielles combinant divers préhenseurs et caméras. À partir de données collectées par téleopération via RIO, l'équipe a affiné des VLA (Vision-Language-Action models) de pointe, dont π0.5 (Physical Intelligence) et GR00T N2 (NVIDIA), sur des tâches domestiques : saisir-et-déposer, plier du linge et récurer un bol. Le problème central que RIO adresse est structurel et bien documenté dans la communauté : le code robotique est massivement spécifique à chaque configuration matérielle, ce qui rend le partage de données, de modèles et de pipelines entre équipes extrêmement coûteux en temps de reconfiguration. Ce verrou ralentit concrètement la progression vers des capacités cross-embodiment, c'est-à-dire des robots généralistes capables de s'adapter à différentes morphologies sans recodage complet. En proposant des abstractions qui découplent la logique de contrôle du matériel sous-jacent, RIO réduit ce surcoût et ouvre la possibilité de mutualiser des datasets entre utilisateurs disposant de plateformes hétérogènes. Pour les équipes de R&D, cela signifie que des données collectées sur un bras Franka pourraient alimenter l'entraînement d'un humanoïde, sous réserve que les abstractions tiennent à l'échelle réelle. La course aux VLA généralistes s'est accélérée depuis 2024 avec π0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure AI et OpenVLA de la communauté open source, chacun souffrant du même écueil d'intégration matérielle. RIO s'inscrit dans un courant de standardisation analogue à ce que ROS a accompli pour le middleware, mais centré sur la couche données et déploiement de policies. Des projets concurrents comme RLDS (Google DeepMind), LeRobot (Hugging Face) ou le protocole DROID tentent également de résoudre cette fragmentation. RIO se distingue par sa légèreté et son focus explicite sur le déploiement VLA multi-morphologie. Aucun partenariat industriel ni déploiement commercial n'est annoncé : il s'agit d'une publication académique avec mise en open source intégrale, site de référence à robot-i-o.github.io.

RobotiqueActu
1 source
Évaluation hors-ligne des politiques de manipulation via une formulation de vivacité actualisée
3632arXiv cs.RO 

Évaluation hors-ligne des politiques de manipulation via une formulation de vivacité actualisée

Des chercheurs ont publié en mai 2026 (arXiv:2605.11479) un cadre pour l'évaluation hors-ligne de politiques robotiques de manipulation. Le problème : estimer la performance d'une politique sans la déployer en environnement réel à chaque itération. Les systèmes de manipulation modernes cumulent trois obstacles majeurs : récompenses rares (sparse rewards), progression non monotone vers l'objectif (le robot recule avant de réussir), et rollouts d'évaluation de longueur finie. Cette dernière contrainte génère un biais de troncature qui invalide les méthodes classiques fondées sur l'équation de Bellman, conçues pour un horizon infini. Les auteurs proposent un opérateur de Bellman basé sur la liveness (vivacité, issue de la vérification formelle), reformulant l'évaluation comme un problème de complétion de tâche et produisant une fonction de valeur conservative à point fixe garanti par contraction. Les expériences portent sur deux tâches simulées (une politique VLA - Vision-Language-Action - et une diffusion policy), ainsi qu'un pliage de tissu à partir de démonstrations humaines. La méthode surpasse TD(0) et Monte Carlo sur tous les benchmarks, à la fois en fidélité à la progression réelle et en réduction du biais. L'enjeu est concret pour les équipes de déploiement : les rollouts physiques sont lents et coûteux, et une évaluation hors-ligne biaisée contamine les décisions de sélection de modèle. Le biais de troncature est particulièrement insidieux dans les tâches longues : un bras robotique qui récupère après un glissement peut scorer négativement même s'il complète la tâche. La formulation liveness encode la progression vers l'objectif y compris lors de comportements non monotones, sans horizon infini artificiel. Ce type de métrique calibrée est directement utile pour valider des politiques VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA), souvent évaluées sur des rollouts courts et sélectifs avant déploiement en atelier. Ce travail s'inscrit dans une problématique active du robot learning : évaluer des politiques sans simulation parfaite ni horizon infini. TD(0), Monte Carlo et importance sampling peinent sur les tâches longues à récompenses éparses, régime typique de la manipulation dextre. Plusieurs équipes adressent l'évaluation hors-ligne, notamment autour du dataset DROID (Berkeley/Stanford) et chez Physical Intelligence, mais sans traitement explicite du biais de troncature. La preuve de contraction de l'opérateur liveness ouvre des pistes vers des pipelines de sélection automatique de politiques et vers la validation à grande échelle avant passage en production.

RecherchePaper
1 source
Voir ce qui compte : élagage différentiable par grille pour un modèle VLA généralisable
3633arXiv cs.RO 

Voir ce qui compte : élagage différentiable par grille pour un modèle VLA généralisable

Des chercheurs ont publié en mai 2026 (arXiv:2605.11817) un module baptisé GridS (Differentiable Grid Sampler), conçu pour accélérer les modèles Vision-Language-Action (VLA) sans sacrifier leur précision en manipulation robotique. Le problème ciblé est concret : les VLA actuels, qui fusionnent perception visuelle, compréhension linguistique et planification d'action, sont trop coûteux en calcul pour un déploiement temps réel sur des plateformes embarquées. GridS s'insère dans l'encodeur visuel d'un VLA existant comme un module plug-and-play. Il prédit dynamiquement un ensemble minimal de coordonnées saillantes, puis ré-échantillonne les tokens visuels par interpolation différentiable, permettant de retenir moins de 10 % des tokens originaux. Sur le benchmark LIBERO et une plateforme robotique réelle non précisée dans l'article, les auteurs rapportent une réduction de 76 % des FLOPs sans dégradation du taux de succès, et revendiquent le nombre de tokens visuels actifs le plus bas jamais documenté dans la littérature VLA. Ce résultat, s'il se confirme hors simulation, adresse un verrou pratique majeur : la tension entre richesse de la représentation visuelle et vitesse d'inférence. Les méthodes de pruning par seuillage d'attention suppriment souvent des informations géométriques critiques comme les points de contact ou les bords d'objet, dégradant la précision des saisies. GridS opère différemment via un ré-échantillonnage continu orienté par la tâche, censé préserver la géométrie essentielle même à fort taux de compression. Pour un intégrateur industriel, une réduction de 76 % des FLOPs peut permettre de basculer d'un GPU haut de gamme vers un compute embarqué standard, ou d'augmenter significativement la fréquence de commande d'un bras manipulateur. Réserve importante : les tests portent sur LIBERO, un benchmark de manipulation tabletop majoritairement en simulation, et sur un robot non identifié, ce qui laisse ouverte la question du gap sim-to-real en environnement industriel réel. La recherche s'inscrit dans une course à l'efficacité des VLA où Pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) et GR00T N2 (NVIDIA) se heurtent au même goulot d'étranglement computationnel lors du passage à l'échelle. GridS se distingue des approches de pruning classiques par sa continuité différentiable, argument clé pour préserver la géométrie fine lors de saisies précises. Le code est publié en open source sur GitHub (Fediory/Grid-Sampler), ce qui facilite l'intégration dans des pipelines VLA existants. La prochaine validation attendue par la communauté concerne des benchmarks plus exigeants, notamment la manipulation d'objets déformables et les environnements encombrés, ainsi que des mesures de latence réelle sur hardware embarqué pour confirmer que la réduction de FLOPs se traduit bien par un gain de vitesse exploitable en production.

RechercheOpinion
1 source
Modèles d'action du monde : la prochaine frontière de l'IA incarnée
3634arXiv cs.RO 

Modèles d'action du monde : la prochaine frontière de l'IA incarnée

Une équipe de chercheurs a publié le 16 mai 2026 sur arXiv (réf. 2605.12090) la première revue systématique d'un paradigme émergent qu'ils formalisent sous le nom de World Action Models (WAMs). Là où les modèles Vision-Language-Action (VLA) actuels, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, apprennent des mappings réactifs observation-vers-action, les WAMs modélisent explicitement la dynamique physique de l'environnement. Concrètement, un WAM génère une distribution jointe sur les états futurs et les actions, plutôt que sur les actions seules. Les auteurs proposent une taxonomie structurée en deux grandes familles : les WAMs en cascade (Cascaded WAMs), où un modèle prédictif alimente un planificateur d'action en pipeline, et les WAMs joints (Joint WAMs), où prédiction d'état et génération d'action sont coappris dans une architecture unifiée, avec des subdivisions selon la modalité de génération, le mécanisme de conditionnement et la stratégie de décodage d'action. L'enjeu industriel est significatif. Les VLA purs souffrent d'un déficit fondamental : ils réagissent aux observations sans anticiper les conséquences physiques de leurs actions, ce qui limite leur robustesse hors distribution et leur capacité à planifier sur des horizons longs. L'intégration d'un world model permet en théorie de simuler mentalement les effets d'une action avant de l'exécuter, un prérequis pour la manipulation dextère complexe, la navigation en environnement non structuré, ou la récupération après erreur. C'est précisément le gap sim-to-real et le reality gap des démos en laboratoire que ce paradigme cherche à combler à l'échelle. Pour un intégrateur ou un COO industriel, cela signifie potentiellement des robots plus fiables sur des tâches non scriptées, sans retraining complet à chaque variation de contexte. Ce travail s'inscrit dans une compétition intense entre Physical Intelligence (Pi-0, financement de 400 M$), NVIDIA (GR00T N2, Isaac Lab), Boston Dynamics, Figure AI et des acteurs académiques comme Berkeley et Stanford. Côté données, les auteurs identifient quatre sources majeures : la télé-opération robot, les démonstrations humaines portables (caméras égo-centriques), la simulation et les vidéos internet à grande échelle, chacune avec ses biais propres. La revue pointe aussi l'absence de benchmarks standardisés pour évaluer la plausibilité physique et le bon sens commonsense des WAMs, un frein à la comparaison rigoureuse. Les prochaines étapes identifiées incluent des protocoles d'évaluation unifiés et l'extension vers des tâches de manipulation longue durée en conditions réelles.

RobotiqueOpinion
1 source
ForceFlow : apprendre à ressentir et agir grâce à l'apprentissage par flux guidé par le contact
3635arXiv cs.RO 

ForceFlow : apprendre à ressentir et agir grâce à l'apprentissage par flux guidé par le contact

Des chercheurs ont publié en mai 2026 sur arXiv (2605.11048) ForceFlow, un framework d'apprentissage par imitation pour la manipulation robotique en contact riche, construit sur le flow matching et l'intégration native du retour de force. L'architecture adopte une fusion multimodale asymétrique où le signal force/couple joue le rôle de régulateur global de la politique, couplé à un paradigme de prédiction jointe exploitant force instantanée et historique de mouvement. La décomposition de tâche s'articule en deux phases : une approche pilotée par un VLM (localisation de cible par pointage visuel), puis un contact piloté par la force, reliées par un mécanisme Vision-to-Force (V2F) qui découple explicitement généralisation spatiale et régulation de contact. Sur six tâches réelles à contact riche, ForceFlow dépasse de 37 points de pourcentage le taux de succès de ForceVLA, le baseline de référence, à coût déclaré inférieur, et démontre une généralisation zero-shot hors distribution (OOD). L'apport principal n'est pas l'ajout d'un capteur force mais sa position architecturale : traiter le signal F/T comme régulateur global (et non comme entrée supplémentaire simplement concaténée) améliore significativement la robustesse en généralisation. Le mécanisme V2F est la clé de voûte en séparant la représentation de l'espace de travail, apprise par vision, de la régulation de contact pilotée par force, ce qui réduit le couplage entre les deux sources d'erreur. La démonstration zero-shot OOD est crédible architecturalement, même si l'abstract ne livre pas les taux de succès absolus du baseline ForceVLA ni le détail des conditions expérimentales, ce qui rend les 37 % d'amélioration relative difficiles à pleinement contextualiser. Ce travail prolonge le courant hybride vision-force apparu dans le sillage de Pi-0 (Physical Intelligence, octobre 2024), qui a popularisé le flow matching pour les politiques robotiques à manipulation dextre. ForceVLA constitue le concurrent direct ; d'autres approches comparables incluent Diffusion Policy avec capteurs F/T et les variantes d'ACT augmentées force. L'institution des auteurs n'est pas identifiable dans le résumé publié, et le preprint n'a pas encore été soumis à peer review. Les prochaines étapes naturelles seraient la mise à disposition du code source et une validation sur plateformes hardware standardisées (Franka, UR5) pour confirmer la reproductibilité des résultats annoncés.

RechercheOpinion
1 source
GuidedVLA : spécialisation de l'attention pour cibler les facteurs pertinents d'une tâche dans les modèles VLA
3636arXiv cs.RO 

GuidedVLA : spécialisation de l'attention pour cibler les facteurs pertinents d'une tâche dans les modèles VLA

Une équipe de chercheurs propose GuidedVLA, un cadre d'entraînement conçu pour améliorer la robustesse des modèles Vision-Language-Action (VLA) en robotique de manipulation. Publiée sur arXiv (2605.12369) en mai 2026, l'approche repose sur une décomposition fonctionnelle du décodeur d'actions : plutôt que de laisser un bloc monolithique apprendre implicitement ce qui est pertinent dans une scène, GuidedVLA affecte des têtes d'attention spécialisées à des facteurs explicitement définis. Dans cette première instanciation, trois têtes distinctes supervisent respectivement la localisation d'objets (object grounding), la géométrie spatiale, et la logique temporelle des compétences motrices. Les expériences menées en simulation et sur robot réel montrent des gains de taux de réussite aussi bien en conditions connues (in-domain) qu'en conditions non vues lors de l'entraînement (out-of-domain), par rapport à des baselines VLA existantes, sans que les auteurs ne publient de chiffres agrégés dans l'abstract. L'enjeu industriel est direct : les VLA actuels souffrent d'un problème bien documenté de surapprentissage sur des corrélations parasites, raccourcis visuels, bruit de fond, artefacts de jeu de données. Ce phénomène est l'une des causes principales de l'écart démo-réalité qui freine le déploiement en production. En forçant les têtes d'attention à capturer des représentations découplées et sémantiquement définies, GuidedVLA propose une voie vers un meilleur transfert sim-to-real. L'amélioration out-of-domain est particulièrement significative pour les intégrateurs et décideurs industriels : elle indique que le modèle généralise au-delà de ses données d'entraînement, condition nécessaire à tout déploiement en environnement non contrôlé. Les VLA ont émergé dans le sillage des grands modèles de langage, avec des jalons comme RT-2 de Google DeepMind en 2023, puis OpenVLA, Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, toutes des architectures qui alignent l'action robotique comme une modalité dans des VLMs pré-entraînés, en pariant que la supervision de bout en bout suffit à isoler les bons facteurs. GuidedVLA remet en question ce pari en injectant de la structure explicite dans le décodeur, une direction qui rejoint certains travaux sur les politiques hiérarchiques. L'architecture se veut plug-and-play, ouvrant la voie à une intégration dans des VLA existants. Le papier reste à ce stade un preprint académique sans annonce de déploiement industriel ni partenariat commercial identifié.

RechercheOpinion
1 source
ACSAC : acteur-critique à taille de segment adaptative avec réseau-Q à Transformer causal
3637arXiv cs.RO 

ACSAC : acteur-critique à taille de segment adaptative avec réseau-Q à Transformer causal

Des chercheurs proposent ACSAC (Adaptive Chunk Size Actor-Critic), une méthode d'apprentissage par renforcement publiée sur arXiv en mai 2025 (arXiv:2605.11009). L'architecture repose sur un réseau critique de type Transformer causal, qui évalue les retours attendus pour des séquences d'actions -- appelées "chunks" -- de longueurs variables. À chaque frontière de chunk, la politique sélectionne dynamiquement la taille qui maximise le retour estimé, sans nécessiter de réglage manuel par tâche. Évaluée sur OGBench, la suite de référence pour le RL offline longue horizon, ACSAC atteint des performances état de l'art sur des tâches de manipulation à horizon long et récompenses rares, aussi bien en RL offline pur qu'en RL offline-to-online. L'action chunking -- exécuter une séquence d'actions prédite en un seul bloc -- est devenu un mécanisme central dans les politiques robotiques modernes : il réduit l'horizon effectif, accélère les mises à jour de valeur et favorise une exploration cohérente dans le temps. Mais toutes les méthodes existantes, dont ACT, Diffusion Policy ou les récents VLA comme pi-0 de Physical Intelligence, utilisent une taille de chunk fixe, imposant un compromis difficile : un chunk long améliore la cohérence temporelle mais dégrade la réactivité aux nouvelles observations, tandis qu'un chunk court produit des mouvements erratiques. ACSAC supprime ce compromis en rendant la taille dépendante de l'état courant. Les auteurs démontrent formellement que l'opérateur de Bellman associé est une contraction ayant un unique point fixe, garantissant la convergence de l'algorithme -- une propriété que les méthodes heuristiques à chunk fixe ne peuvent pas revendiquer. Le concept d'action chunking a été popularisé par ACT (Action Chunking with Transformers, Zhao et al., 2023), puis généralisé par les politiques de diffusion et intégré dans les VLA de nouvelle génération comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). OGBench, développé par Park et al. en 2024, s'est imposé comme le benchmark standard pour évaluer le RL offline sur des tâches de manipulation complexes. ACSAC se positionne directement contre ces approches à chunk fixe, avec une promesse de généralisation sans tuning par tâche -- une propriété critique pour le déploiement multi-tâches en industrie. Les résultats actuels restent limités à des environnements simulés ; les prochaines étapes naturelles incluent la validation sur matériel réel et l'intégration dans des architectures fondation à grande échelle.

RecherchePaper
1 source
ECHO : mémoire hiérarchique continue pour les modèles vision-langage-action (VLA)
3638arXiv cs.RO 

ECHO : mémoire hiérarchique continue pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv en mai 2026 ECHO (Experience Consolidation and Hierarchical Organization), un framework mémoire pour modèles Vision-Language-Action (VLA) ciblant les tâches de manipulation longue durée. L'approche centrale repose sur un autoencodeur hyperbolique qui projette les états internes du VLA dans un espace hiérarchique continu, organisant les expériences passées en arbre sémantique plutôt qu'en liste linéaire d'embeddings. Un mécanisme de consolidation en arrière-plan raffine cet arbre par interpolation géométrique et fragmentation structurelle, permettant la synthèse de mémoires virtuelles. Intégré au modèle de fondation π0 (Physical Intelligence) et évalué sur le benchmark de simulation LIBERO, ECHO affiche un gain absolu de 12,8 points sur LIBERO-Long ainsi qu'une meilleure généralisation compositionnelle sur des suites de tâches non vues à l'entraînement. Des expériences en environnement réel sont mentionnées comme "préliminaires", sans métriques quantitatives publiées. Ce résultat pointe un verrou sous-estimé dans la course aux VLA : la mémoire. Les architectures actuelles (OpenVLA, Octo, π0 en baseline) traitent l'expérience passée comme un buffer plat, sans structure sémantique. Les tâches industrielles réelles, qu'il s'agisse d'assemblage multi-étapes ou de gestion d'exceptions en ligne de production, exigent précisément une récupération contextuelle efficace sur des horizons longs et la capacité à composer des séquences inédites. Le gain de 12,8% reste une métrique en simulation ; l'écart simulation-réalité n'est pas encore évalué rigoureusement, et la sélection des démos vidéo dans ce type de preprint mérite toujours une lecture prudente. Néanmoins, le cadre conceptuel ouvre une direction distincte du simple retrieval k-NN à plat ou de l'augmentation brute de contexte. ECHO s'inscrit dans l'effervescence autour des VLA généralistes depuis fin 2023, portée par π0 (Physical Intelligence, novembre 2024), OpenVLA (Berkeley/Stanford, 2024) et GR00T N1/N2 (NVIDIA, 2025). Physical Intelligence, la startup spécialisée dans les politiques robotiques génératives, fait de π0 sa plateforme de fondation ; ECHO s'y greffe comme module mémoire externe. Aucun code public ni timeline de déploiement industriel n'est annoncé dans le preprint, et aucun acteur français ou européen n'est impliqué. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks physiques (RoboSuite, RT-2-X) et la publication de résultats terrain complets.

RechercheOpinion
1 source
DexTwist : téléopération en réalité mixte pour la saisie en torsion avec une main dextérique
3639arXiv cs.RO 

DexTwist : téléopération en réalité mixte pour la saisie en torsion avec une main dextérique

Une équipe de recherche a publié DexTwist, un framework de téléopération dextre via réalité mixte (MR) ciblant les manipulations rotationnelles en contact riche : ouverture de bouchons, rotation de clés, vissage de boulons. L'article, déposé sur arXiv (arXiv:2605.12182) en mai 2026, documente un échec connu des approches classiques de retargeting : minimiser l'erreur d'angle articulaire ou de position des doigts ne suffit pas quand les morphologies humaine et robot divergent. DexTwist opère en trois étapes - détection d'une prise tripode (pouce-index-majeur), estimation en temps réel de l'axe hélicoïdal (screw axis) et de la magnitude de torsion souhaitée, puis raffinement résiduel dans l'espace articulaire minimisant quatre termes simultanément : angle atteint, cohérence de l'axe, fermeture des doigts, stabilité tripode. Les expériences en simulation et en conditions réelles montrent des gains en suivi angulaire et en stabilité de l'axe par rapport à une baseline de retargeting vectoriel classique. Le problème central est l'embodiment gap : les différences de longueurs de segments, d'axes articulaires et de géométrie des phalanges distales entre main humaine et main robot provoquent un glissement tangentiel des doigts plutôt qu'une rotation stable de l'objet, phénomène désigné comme screw axis drift. Ce glissement dégrade directement la qualité des démonstrations collectées pour l'imitation learning ou les modèles VLA (Vision-Language-Action). Or, la téléopération MR est l'une des rares méthodes scalables pour générer des données de manipulation dextre à volume, et sa fiabilité sur les tâches rotationnelles conditionne directement la qualité des datasets sur lesquels reposent les futurs modèles généraux. La téléopération MR pour les mains robotiques s'est imposée ces dernières années comme alternative aux gants haptiques (DEXMO, SenseGlove) et à la capture de mouvement, avec un déploiement moins contraignant. Des travaux antérieurs comme DexPilot ou AnyTeleop avaient posé les bases du retargeting générique, sans adresser spécifiquement les mouvements de vissage. DexTwist se positionne dans un espace qui inclut également les approches par renforcement pur ou les diffusion policies pour mains dextres commerciales (Allegro, Shadow Hand, LEAP Hand). L'étape suivante naturelle serait d'intégrer ce retargeting fonctionnel dans un pipeline d'imitation learning complet afin de vérifier si la meilleure qualité de démonstration améliore effectivement les politiques autonomes en aval - un gap sim-to-real que l'article n'adresse pas encore.

RobotiqueOpinion
1 source
NavOL : une politique de navigation par apprentissage par imitation en ligne
3640arXiv cs.RO 

NavOL : une politique de navigation par apprentissage par imitation en ligne

NavOL est une approche d'apprentissage en ligne par imitation pour les politiques de navigation robotique, présentée dans un preprint arXiv (2605.11762) en mai 2026. Le système repose sur une politique de diffusion préentraînée qui projette des observations locales vers des waypoints futurs. Son apprentissage s'organise en boucle rollout-mise à jour : en phase de rollout, la politique agit dans un simulateur et interroge un planificateur global disposant d'un accès privilégié à l'environnement complet pour obtenir des segments de trajectoire optimaux comme labels de référence ; en phase de mise à jour, la politique s'entraîne sur ces paires observation-trajectoire collectées en ligne. Construit sur IsaacLab avec rendu parallèle haute fidélité et randomisation de domaine (pose de caméra, paires départ-arrivée), le système s'entraîne simultanément sur 50 scènes sur 8 GPU RTX 4090, collectant plus de 2 000 trajectoires nouvelles par heure, chacune comptant en moyenne plus de 400 pas. Les auteurs introduisent également un benchmark de navigation visuelle en intérieur avec des positions de départ et d'arrivée prédéfinies, conçu pour évaluer la généralisation zéro-shot. NavOL s'attaque à deux blocages classiques de la navigation robotique autonome : le décalage de distribution de l'imitation hors ligne, qui génère des erreurs composées lors du déploiement réel, et la nécessité de concevoir des fonctions de récompense pour l'apprentissage par renforcement. En entraînant la politique sur ses propres rollouts explorés plutôt que sur un corpus statique, le système réduit ce gap de manière plus systématique. Le volume de données généré automatiquement (2 000+ trajectoires/heure) et les gains de performance cohérents sur le benchmark NavDP ainsi que sur le benchmark propriétaire des auteurs indiquent que l'approche pourrait remplacer des pipelines de collecte de données expertes coûteux pour les intégrateurs travaillant sur la navigation en intérieur structuré. Les politiques de navigation visuelle pour robots mobiles constituent un champ actif, avec des approches récentes comme les VLA (Vision-Language-Action models) et les politiques de diffusion qui cherchent à généraliser sans reward engineering. NavOL s'inscrit dans cette dynamique en exploitant IsaacLab, le simulateur d'NVIDIA, pour un entraînement massivement parallèle requérant 8 GPU RTX 4090 haut de gamme. Un point de vigilance : les expériences en conditions réelles mentionnées dans le papier restent peu détaillées dans le résumé, et la performance en simulation peut diverger significativement des résultats terrain, un écart (sim-to-real gap) que ce type d'approche prétend atténuer sans nécessairement le supprimer. Les prochaines étapes naturelles concerneraient l'évaluation sur des environnements extérieurs plus ouverts et l'intégration avec des VLA pour des tâches impliquant un raisonnement sémantique plus riche.

RobotiqueActu
1 source