Actualités IA — page 187

7 647 articles au fil, du plus récent au plus ancien.

55

3721Le Big Data 

OpenAI Deployment Company obtient 4 milliards de dollars pour l’IA d’entreprise

OpenAI a lancé le 11 mai 2026 une nouvelle entité baptisée OpenAI Deployment Company, dotée d'un investissement initial de plus de 4 milliards de dollars. Majoritairement détenue et contrôlée par OpenAI, cette structure regroupe 19 firmes d'investissement, cabinets de conseil et intégrateurs systèmes parmi lesquels TPG, Bain Capital, Goldman Sachs, Capgemini et McKinsey. Son coeur opérationnel repose sur des Forward Deployed Engineers (FDE), des ingénieurs spécialisés qui s'intègrent directement au sein des organisations clientes pour identifier les processus à fort potentiel, concevoir des systèmes IA adaptés et les connecter aux données internes, outils métier et systèmes de contrôle existants. Pour démarrer immédiatement avec une masse critique, OpenAI a parallèlement annoncé l'acquisition de Tomoro, société britannique spécialisée dans le conseil et l'ingénierie IA appliquée, qui apporte environ 150 ingénieurs et spécialistes du déploiement expérimentés, ayant travaillé pour des clients comme Tesco, Virgin Atlantic ou Supercell. Cette initiative répond à un blocage structurel bien documenté dans l'adoption de l'IA en entreprise : si plus d'un million d'organisations utilisent déjà les produits et API d'OpenAI, la grande majorité peine à franchir le fossé entre expérimentation et production réelle. Déployer un modèle dans un environnement critique implique de gérer la gouvernance, la sécurité des données, la fiabilité opérationnelle et l'intégration aux systèmes existants, autant de dimensions que les équipes internes maîtrisent rarement seules. OpenAI positionne explicitement cette transformation comme un changement organisationnel complet, et non comme une simple mise à jour logicielle, ce qui justifie la présence d'ingénieurs embarqués capables d'accompagner les équipes métier dans la durée. Pour les grandes entreprises, cela représente un accélérateur concret ; pour OpenAI, une source de revenus récurrents et de fidélisation bien plus profondes qu'une simple licence API. Ce lancement marque un tournant stratégique pour OpenAI, qui jusqu'ici dominait essentiellement la couche des modèles et des plateformes. En s'attaquant désormais à la couche d'intégration et d'exécution, l'entreprise entre en concurrence directe avec les grands cabinets de conseil en transformation numérique et les intégrateurs systèmes traditionnels, tout en cherchant à verrouiller ses clients dans son écosystème. Ce mouvement s'inscrit dans une course plus large entre les hyperscalers et les labs d'IA pour capturer la valeur générée par l'IA dans les flux de travail des grandes organisations. Microsoft, Google et Salesforce ont chacun développé des offres similaires d'accompagnement au déploiement ; OpenAI, en créant une entité dédiée avec un réseau de partenaires de premier rang, signale qu'elle entend jouer dans cette ligue, et pas seulement fournir les modèles qui la font tourner.

Business❧Opinion

1 source

39

3722FrenchWeb 

Carlos Diaz : « Le futur des médias sera incarné, distribué par YouTube et augmenté par l’IA »

Carlos Diaz, entrepreneur et investisseur français installé à San Francisco depuis seize ans, livre sa vision du futur des médias : un paysage incarné, structuré autour de YouTube comme plateforme de distribution dominante, et profondément transformé par l'intelligence artificielle. Observateur privilégié depuis la Silicon Valley, il partage ses analyses à travers deux formats qu'il a créés : Silicon Carne, un podcast qui tranche avec le discours lisse habituel de l'écosystème tech, et Le Festin, un déjeuner conçu pour libérer la parole dans un milieu souvent formaté. Sa thèse centrale est que l'avenir des médias appartient aux créateurs incarnés, c'est-à-dire à des personnalités identifiables qui construisent une audience directe, sans passer par les intermédiaires traditionnels. YouTube, plus que les plateformes de streaming ou la presse en ligne, s'impose selon lui comme le canal incontournable de distribution à grande échelle. L'IA, elle, n'est pas vue comme une menace mais comme un amplificateur : elle permet de produire davantage, mieux et plus vite, tout en restant centré sur la voix humaine comme valeur différenciante. Ce discours s'inscrit dans un débat plus large qui agite l'industrie des médias depuis plusieurs années : comment survivre à la désintermédiation imposée par les plateformes numériques ? Pendant que les groupes de presse traditionnels perdent des revenus publicitaires au profit de Google et Meta, une nouvelle génération de créateurs indépendants, souvent formés dans la culture startup, construit des médias rentables en s'appuyant sur l'audience directe, la communauté et les outils d'IA générative.

Société❧Opinion

1 source

56

3723Next INpact 

L’IA aurait aidé des pirates à développer un exploit zero-day, une première selon Google

Des chercheurs du Google Threat Intelligence Group (GITG) ont identifié ce qui serait le premier cas documenté d'un exploit de type zero-day développé avec l'aide d'une intelligence artificielle. L'acteur malveillant, dont l'identité n'a pas été révélée, prévoyait d'utiliser cette vulnérabilité dans le cadre d'une campagne d'exploitation à grande échelle. La faille ciblait un outil d'administration open-source très répandu et permettait de contourner l'authentification à double facteur (2FA), à condition que les pirates disposent déjà des identifiants et mots de passe de leurs victimes. L'exploit se présentait sous la forme d'un script Python. Google a procédé à une divulgation responsable auprès de l'éditeur concerné, dont le nom reste confidentiel, et la vulnérabilité a depuis été corrigée. Le GITG indique ne pas avoir observé de campagne active, mais ne peut exclure une exploitation à plus petite échelle. Cette découverte marque un tournant dans le paysage de la cybersécurité. Les grands modèles de langage se montrent désormais capables d'identifier des erreurs logiques de haut niveau, comme un contournement d'authentification intégré directement dans le code par un développeur, que les outils de détection traditionnels auraient probablement laissé passer. Contrairement aux bugs techniques classiques, ce type de faille repose sur une logique défaillante dans la conception du programme, une catégorie que les LLM abordent avec une efficacité croissante grâce à leur capacité de raisonnement contextuel. John Hultquist, chef analyste du GITG, a décrit cette découverte comme « un avant-goût de ce qui nous attend » et a prévenu le New York Times que le problème est « probablement bien plus vaste » : ce cas ne serait que la partie émergée de l'iceberg. Le GITG ne dévoile pas le modèle d'IA utilisé, précisant seulement que Gemini n'est probablement pas en cause. L'hypothèse IA repose sur plusieurs indices relevés dans le code : un volume inhabituellement élevé de texte explicatif, un style de code particulièrement propre et scolaire, et une mise en forme jugée caractéristique des données d'entraînement des LLM. Le laboratoire note par ailleurs que des acteurs liés à la Corée du Nord et à la Chine s'intéressent activement à l'utilisation de l'IA pour identifier des failles de sécurité. Cette découverte devrait renforcer les appels à un encadrement plus strict des modèles avancés, OpenAI et Anthropic réservent déjà leurs modèles spécialisés en cybersécurité à des organisations sélectionnées. La même capacité de raisonnement qui aide les attaquants est aussi entre les mains des défenseurs, mais l'équilibre de la menace vient de basculer.

Sécurité⚡Actu

Aussi surNumerama

38

3724VentureBeat AI 

Votre entreprise est-elle prête pour l'IA ?

La grande majorité des entreprises ont abordé l'intelligence artificielle avec un objectif simple : automatiser plus vite, à moindre coût et à grande échelle. Chatbots pour les demandes de service, modèles de machine learning pour les prévisions, tableaux de bord analytiques pour la prise de décision : ces déploiements ponctuels ont constitué la première vague d'adoption. Pourtant, selon une analyse publiée par EdgeVerve, spécialiste des plateformes d'IA d'entreprise, beaucoup d'organisations constatent aujourd'hui que multiplier les solutions individuelles ne se traduit pas automatiquement par un impact à l'échelle de l'entreprise. Les pilotes se succèdent, mais la valeur stagne. La prochaine étape de maturité ne consiste plus à déployer davantage de modèles, mais à faire évoluer l'IA en continu selon les objectifs business, les contraintes réglementaires et les contextes clients. C'est ce que EdgeVerve nomme les "écosystèmes d'IA adaptatifs" : des réseaux d'agents, de modèles, de sources de données et de services de décision capables de fonctionner ensemble de façon dynamique, en intégrant traitement du langage naturel, vision par ordinateur, analytique prédictive et prise de décision autonome, tout en maintenant une supervision humaine. L'enjeu est particulièrement critique pour les organisations dites Global Business Services (GBS), qui pilotent des processus à haut volume dans des marchés aux réglementations et comportements clients très différents. Pour ces structures, l'automatisation statique atteint vite ses limites : elle ne sait pas s'adapter aux signaux en temps réel ni coordonner des flux de travail qui traversent fonctions, régions et systèmes. Les recherches de SSON Research identifient plusieurs freins persistants à l'adoption de l'IA générative dans ce secteur : mauvaise qualité des données, manque de compétences spécialisées, préoccupations autour de la confidentialité, retour sur investissement flou et contraintes budgétaires. Mais derrière ces symptômes, la cause commune est la fragmentation : des données cloisonnées, une gouvernance floue, des initiatives IA pilotées localement sans stratégie partagée. Résultat : les entreprises accumulent des solutions qui ne communiquent pas, des modèles sans contexte commun et une gouvernance traitée comme une formalité plutôt qu'un principe de conception. La distinction que fait EdgeVerve entre "écosystème" et "plateforme" est au coeur de la solution proposée. L'écosystème décrit l'ambition : comment les capacités IA collaborent à l'échelle de l'entreprise. La plateforme en est le socle technique, fournissant des services communs qui permettent aux agents d'accéder à des données harmonisées, d'orchestrer des processus de bout en bout, de s'interconnecter avec les applications existantes et d'opérer dans des périmètres de sécurité et de conformité définis. Sans cette couche plateforme, les écosystèmes adaptatifs restent théoriques. C'est sur ce marché que des acteurs comme EdgeVerve, filiale d'Infosys, se positionnent face à des concurrents comme ServiceNow ou Microsoft, alors que les grandes entreprises cherchent à passer d'une IA de projets pilotes à une IA véritablement opérationnelle et gouvernée.

Outils⚡Actu

1 source

39

3725Le Big Data 

Agent View débarque sur Claude Code : votre armée d’agents IA en une vue

Anthropic a lancé une nouvelle fonctionnalité appelée Agent View pour son outil Claude Code, disponible dès la version 2.1.139 de l'application. Accessible via la commande claude agents dans le terminal, cette interface regroupe l'ensemble des sessions d'agents actives dans un tableau de bord unique intégré directement à l'environnement de développement. Elle est disponible pour tous les abonnements Pro, Max, Team et Enterprise, ainsi que via l'API Claude, dans le respect des limites de débit habituelles. Les administrateurs d'organisation disposent par ailleurs de la possibilité de désactiver la fonctionnalité depuis les paramètres centraux. Chaque ligne du tableau de bord représente une session Claude Code avec son état en temps réel : en cours, en attente de réponse humaine, terminée, inactive, arrêtée ou en échec. Pour les équipes de développeurs qui orchestrent plusieurs tâches simultanées, Agent View change concrètement la façon de travailler. Jusqu'ici, gérer plusieurs agents en parallèle signifiait jongler entre de multiples fenêtres de terminal, sans vue d'ensemble claire sur l'état de chaque processus. Désormais, un développeur peut lancer en parallèle des agents chargés de correctifs, de tests, de revues de code ou de mises à jour, passer de l'un à l'autre sans friction, reprendre une session suspendue à tout moment, et surtout identifier immédiatement les agents qui nécessitent une intervention humaine. Ce gain de visibilité est particulièrement précieux dans les environnements d'intégration continue où le temps perdu à chercher quelle tâche est bloquée peut coûter cher. Cette mise à jour s'inscrit dans une stratégie plus large qu'Anthropic mène depuis plusieurs mois pour transformer Claude Code en véritable plateforme de gestion d'agents IA pour les équipes techniques. L'entreprise avait déjà introduit successivement les sous-agents, les équipes d'agents, les compétences personnalisées, les hooks, les commandes à distance, les tâches programmées et une version web de Claude Code. Agent View est en quelque sorte la pièce qui manquait : elle consolide tous ces blocs épars en une interface cohérente. Anthropic cherche clairement à sortir Claude Code du statut d'assistant à l'écriture de code pour en faire un outil d'orchestration de workflows autonomes, en concurrence directe avec des environnements comme GitHub Copilot Workspace ou les solutions agentiques de Google DeepMind. La question qui reste ouverte est celle de la fiabilité à grande échelle : plus les agents sont nombreux et autonomes, plus la capacité à détecter rapidement les échecs devient critique, et c'est précisément ce que vise Agent View.

Outils⚒Outil

1 source

54

3726Frandroid 

La double authentification contournée par une IA : Google documente une première mondiale

Google a documenté pour la première fois un exploit zero-day dont la conception aurait été assistée par une intelligence artificielle. La vulnérabilité ciblait le mécanisme de double authentification (2FA) d'un outil d'administration web open source, dont l'identité n'a pas été précisée. L'information provient des équipes de renseignement sur les menaces de Google, connues pour leur suivi rigoureux des cyberattaques sophistiquées à l'échelle mondiale. Ce cas marque un tournant dans le paysage de la cybersécurité : jusqu'à présent, les exploits zero-day complexes étaient quasi exclusivement le fruit de groupes étatiques ou de hackers très expérimentés. Si l'IA commence à abaisser la barrière technique nécessaire pour concevoir ce type d'attaque, cela signifie que des acteurs moins qualifiés pourraient bientôt s'en emparer. Le contournement de la 2FA est particulièrement préoccupant, car cette couche de sécurité est précisément celle que des millions d'organisations, petites et grandes, considèrent comme leur dernier rempart efficace. Cette documentation s'inscrit dans une tendance que Google et d'autres acteurs de la sécurité observent depuis plusieurs mois : des groupes malveillants, y compris certains liés à des États, utilisent des modèles de langage pour accélérer la recherche de vulnérabilités, rédiger du code d'exploitation ou analyser des binaires. La question qui se pose désormais n'est plus de savoir si l'IA sera utilisée offensivement, mais à quelle vitesse cette capacité va se démocratiser et comment les défenseurs pourront y répondre.

Sécurité❧Opinion

1 source

46

3727MarkTechPost 

OpenAI lance Daybreak, une initiative de cybersécurité qui place Codex au cœur de la détection de vulnérabilités et de la validation de correctifs

OpenAI a lancé Daybreak, une initiative de cybersécurité qui combine ses modèles d'IA de pointe avec Codex Security, son agent spécialisé dans la programmation, et un large réseau de partenaires industriels. Le programme s'adresse aux développeurs, aux équipes de sécurité en entreprise, aux chercheurs et aux défenseurs liés aux gouvernements qui cherchent à détecter, valider et corriger des failles logicielles plus tôt dans le cycle de développement. Codex Security n'est pas un produit inédit : il avait été lancé en mars 2026 comme agent de sécurité applicative d'OpenAI. Daybreak en élargit considérablement la portée et le repositionne comme une plateforme de sécurité enterprise. Concrètement, le système est capable de passer en revue du code, d'analyser des dépendances logicielles, de modéliser des menaces, de valider des correctifs et d'explorer des systèmes inconnus. OpenAI affirme que Codex Security peut réduire à quelques minutes des analyses qui prenaient auparavant plusieurs heures, en priorisant les failles à fort impact. Un réseau de partenaires majeurs soutient l'initiative, dont Cloudflare, Cisco, CrowdStrike, Palo Alto Networks, Oracle, Zscaler, Akamai, Fortinet, Intel, Qualys, Rapid7, Tenable, Trail of Bits et Specter. L'enjeu central de Daybreak est un changement de paradigme dans la façon dont la sécurité logicielle est abordée : plutôt que de traiter la correction de vulnérabilités comme un processus réactif déclenché après qu'une faille a été exploitée, OpenAI veut intégrer la sécurité dès la conception du code. Pour un développeur, au lieu de parcourir manuellement chaque chemin de code à la recherche de points d'injection ou de failles d'authentification, Codex Security peut raisonner sur l'ensemble d'une base de code, identifier les zones à risque élevé et générer des correctifs vérifiés dans un environnement isolé avant de les soumettre à une validation humaine. Ce point est important : OpenAI ne positionne pas cet outil comme un système de remédiation entièrement autonome. Les organisations peuvent également exporter les résultats et des preuves prêtes pour un audit vers leurs propres systèmes afin de suivre et vérifier les corrections. Le déploiement de Daybreak s'appuie sur une structure à trois niveaux de modèles, liée au cadre "Trusted Access for Cyber" d'OpenAI. GPT-5.5 standard reste le modèle par défaut pour les usages généraux, tandis que GPT-5.5 avec accès de confiance est destiné aux défenseurs vérifiés pour la revue de code sécurisé, le triage de vulnérabilités et la validation de correctifs. GPT-5.5-Cyber, un modèle en préversion limitée aux capacités plus étendues, est réservé aux flux de travail autorisés comme le red teaming et les tests d'intrusion. Cette hiérarchie est délibérée : plus un modèle est performant pour raisonner sur des vulnérabilités, plus il devient dangereux en cas d'accès non contrôlé. OpenAI conditionne l'accès à GPT-5.5-Cyber à une vérification d'identité, des contrôles d'accès limités, une surveillance au niveau des comptes et des exigences de supervision humaine, reconnaissant explicitement que les mêmes capacités défensives peuvent être détournées à des fins malveillantes.

Sécurité⚒Outil

Aussi surBlog du Modérateur

52

3728Le Big Data 

OpenAI lance Daybreak : La fin des failles de sécurité informatiques ?

OpenAI a lancé le 11 mai 2026 une nouvelle plateforme de cybersécurité baptisée Daybreak, conçue pour détecter les failles logicielles, générer des correctifs et les valider automatiquement. Annoncée par Sam Altman sur X comme "un effort visant à accélérer la cyberdéfense et à sécuriser les logiciels en continu", la plateforme repose sur plusieurs variantes de GPT-5.5 combinées à Codex Security. Daybreak est proposée en trois niveaux d'accès : une offre Standard pour les tâches générales, un niveau intermédiaire "Trusted Access for Cyber" couvrant l'analyse de code, le tri des vulnérabilités, la détection de malwares et la validation des correctifs, et enfin GPT-5.5-Cyber, réservé aux équipes certifiées pour les analyses avancées et les tests d'intrusion autorisés. L'outil promet de ramener de plusieurs heures à quelques minutes des analyses qui mobilisaient jusqu'ici des équipes entières, et de livrer ses résultats accompagnés de preuves compatibles avec les exigences d'audit. L'enjeu est considérable pour les équipes de sécurité qui font face à un volume croissant de vulnérabilités et à des cycles de correction toujours plus courts. En automatisant la détection et la génération de patches directement dans les dépôts de code, Daybreak vise à combler l'écart de vitesse entre attaquants et défenseurs. Le directeur technique de Cloudflare a déjà salué la précision du raisonnement de sécurité du système, estimant qu'il améliore nettement l'analyse des risques. Pour les entreprises exposées à des infrastructures critiques, cela représente un changement de paradigme : passer d'une gestion réactive des incidents à une sécurisation quasi continue du code en production. Daybreak s'inscrit dans une course ouverte entre les grands laboratoires d'IA sur le terrain de la cybersécurité. La plateforme est une réponse directe à Claude Mythos, le modèle spécialisé d'Anthropic dédié à la cyberdéfense, encore inaccessible au grand public au moment du lancement. OpenAI semble vouloir capitaliser sur les performances de GPT-5.5 dans ce domaine avant que son rival ne déploie sa propre solution. La question qui reste en suspens est celle du double usage : les mêmes capacités qui permettent d'identifier et de corriger des failles peuvent théoriquement servir à les exploiter. OpenAI affirme avoir intégré des mécanismes de contrôle et de vérification pour encadrer l'usage de la plateforme, notamment via l'accès restreint aux fonctions les plus sensibles. La crédibilité de ces garde-fous sera déterminante pour convaincre les grands comptes et les régulateurs que l'IA défensive ne crée pas, en parallèle, de nouveaux vecteurs d'attaque.

Sécurité❧Opinion

Aussi sur01net

50

3729FrenchWeb 

OpenAI abat quelques cartes à Bruxelles, Anthropic garde son jeu fermé

OpenAI a accepté d'ouvrir partiellement l'accès à certains de ses modèles sensibles aux institutions européennes, une concession que les grands laboratoires d'intelligence artificielle refusaient collectivement il y a encore quelques mois. Cette décision marque un tournant dans les relations entre les géants de l'IA et les régulateurs du Vieux Continent. Anthropic, de son côté, a opté pour la posture inverse en maintenant son modèle Mythos hors de portée de Bruxelles, au moins dans l'immédiat. Cette divergence d'approche n'est pas anodine : elle illustre une fracture stratégique au sein de l'industrie face aux exigences réglementaires européennes. En acceptant d'accorder un accès partiel, OpenAI se positionne comme un acteur coopératif, ce qui pourrait lui valoir un traitement favorable dans le cadre de l'application de l'AI Act. Pour les autorités européennes, obtenir un tel accès est crucial afin d'évaluer les risques des systèmes les plus puissants avant leur déploiement massif. Anthropic, en refusant pour l'instant, prend le pari que sa position de négociation reste solide malgré la pression institutionnelle croissante. L'AI Act européen, entré progressivement en vigueur depuis 2024, impose aux fournisseurs de modèles dits à usage général de grande puissance des obligations de transparence inédites. Les régulateurs réclament notamment des accès techniques pour auditer les capacités et les risques de ces systèmes. Les stratégies divergentes d'OpenAI et d'Anthropic dessinent ainsi deux visions du rapport à la régulation : la coopération calculée d'un côté, la résistance prudente de l'autre. La suite dépendra en grande partie des sanctions que Bruxelles sera prête à infliger aux récalcitrants.

Régulation⚖Reglementation

1 source

53

3730Latent Space 

Thinking Machines : TML-Interaction-Small 276B-A12B fait progresser la voix en temps réel et supplante la VAD standard

Thinking Machines, une startup qui n'avait communiqué publiquement que deux fois en près d'un an, a levé le voile les 9-11 mai 2026 sur un modèle d'un genre nouveau : TML-Interaction-Small, un Mixture of Experts de 276 milliards de paramètres avec 12 milliards actifs en simultané. Contrairement aux assistants vocaux classiques, ce modèle n'a pas été construit en ajoutant une couche vocale sur un LLM texte existant : il a été entraîné dès le départ pour l'interaction en temps réel, capable d'écouter, parler, analyser des images et agir de façon simultanée, avec une latence inférieure à 200 ms sur les flux audio et vidéo. L'architecture, dite "encoder-free early fusion", s'inspire de travaux de Meta (Chameleon) et traite tous les types de données dans un flux unifié. Les benchmarks publiés montrent des scores supérieurs à GPT-Realtime-2 et Gemini 3.1-Flash sur des évaluations standards comme BigBench Audio et IFEval. Deux nouvelles métriques internes ont été créées pour mesurer des capacités inédites : TimeSpeak évalue si le modèle sait prendre la parole exactement au moment demandé par l'utilisateur, tandis que CueSpeak mesure sa capacité à réagir au bon instant face à des signaux contextuels, comme détecter automatiquement un changement de langue dans une conversation. Ce que Thinking Machines présente ici n'est pas un chatbot plus rapide : c'est un changement de paradigme dans l'interface humain-IA. Les systèmes actuels fonctionnent en mode tour par tour, créant une interaction artificielle et peu naturelle. TML-Interaction-Small abolit cette frontière : il peut interrompre, être interrompu, réagir à des événements visuels en continu et effectuer des recherches en arrière-plan sans signaler explicitement qu'il "réfléchit". La démo la plus marquante montre le modèle compter des pompes dans une vidéo en direct, ou alerter l'utilisateur dès qu'il commence à se voûter, des usages qui exigeaient jusqu'ici des pipelines dédiés et qui deviennent ici des capacités natives zéro-shot. Pour les développeurs d'applications voix et les industries intégrant de l'IA dans des environnements temps réel, cette architecture réduit considérablement la complexité technique. Cette sortie intervient le jour même où Neil Zeghidour, PDG de Gradium (le bras commercial de Kyutai, qui avait lancé Moshi, l'un des premiers vrais modèles voix temps réel), décrivait exactement ce qui restait à construire dans ce domaine, une coïncidence qui souligne l'intensité de la compétition. L'équipe de Thinking Machines réunit des noms de premier plan : John Schulman, co-fondateur de ChatGPT et ex-OpenAI, et Soumith Chintala, créateur de PyTorch chez Meta. La startup avait jusqu'ici maintenu un profil remarquablement discret depuis sa création, rendant ce troisième signal public d'autant plus significatif. Leurs notes de clôture évoquent en filigrane un prochain axe stratégique : combiner des agents de fond avec des modèles d'interaction, une direction qui pourrait redéfinir ce que signifie un assistant IA véritablement intégré dans le quotidien.

LLMs❧Opinion

1 source

50

3731arXiv cs.RO 

Comprendre les méthodes d'inférence asynchrone pour les modèles vision-langage-action (VLA)

Les modèles Vision-Language-Action (VLA), qui combinent perception visuelle, raisonnement linguistique et génération d'actions motrices, souffrent d'un défaut opérationnel central : leur latence d'inférence crée une désynchronisation entre l'observation capturée et l'action exécutée, phénomène désigné sous le terme de "staleness". Quatre approches ont émergé quasi-simultanément pour y remédier : IT-RTC (correction par inpainting à l'inférence), TT-RTC (simulation de délai à l'entraînement), VLASH (conditionnement sur état futur estimé) et A2C2 (correction résiduelle légère à chaque pas de contrôle). Publiée le 12 mai 2025 sous la référence arXiv:2605.08168, une étude systématique compare ces quatre méthodes sous conditions contrôlées via deux codebases unifiées, évaluées sur la suite Kinetix avec des politiques MLPMixer et sur le benchmark LIBERO de manipulation avec SmolVLA, en faisant varier les délais jusqu'à d = 20 pas de contrôle. Les résultats établissent une hiérarchie claire selon le régime de délai. A2C2 domine sur Kinetix avec un taux de résolution supérieur à 90 % jusqu'à d = 8, et prend la tête sur LIBERO à partir de d = 4 ; c'est la méthode la plus efficace pour des délais modérés à élevés. TT-RTC s'impose comme la plus robuste des approches basées sur l'entraînement : elle généralise au-delà de la distribution de délais vue en phase d'entraînement et n'ajoute aucun overhead à l'inférence, ce qui la rend attractive pour des déploiements contraints en calcul. IT-RTC reste compétitif à faibles délais mais se dégrade nettement avec des chunks longs (H = 30) ou des délais importants. VLASH affiche un compromis explicite entre régimes : son efficacité dépend directement de la plage de fine-tuning [0, d\_max] choisie, imposant un calibrage préalable en fonction du délai attendu en production. Ce travail répond à un besoin criant de la communauté VLA, dont les modèles emblématiques, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et SmolVLA de Hugging Face, visent un déploiement sur robots réels soumis à des contraintes temps-réel strictes. L'absence de benchmark commun rendait jusqu'ici les comparaisons entre méthodes impossibles et freinait l'adoption industrielle, chaque équipe évaluant sa solution sur son propre protocole. En publiant deux codebases reproductibles (github.com/TheAyos/async-vla-inference), les auteurs offrent aux équipes robotiques un cadre de référence pour choisir leur stratégie de correction selon leur architecture et leurs contraintes de latence. Les prochaines étapes naturelles incluent la validation sur robots physiques et l'extension à des VLA de plus grande taille, où les délais d'inférence sont encore plus prononcés.

Robotique❧Opinion

1 source

49

3732arXiv cs.RO 

MVB-Grasp : filtrage par boîte de volume minimal des saisies par diffusion pour la manipulation frontale

Une équipe de chercheurs a publié sur arXiv (référence 2505.09672) MVB-Grasp, un système de saisie robotique conçu pour le bras Unitree Z1, un manipulateur à 6 degrés de liberté (DOF) positionné en configuration frontale, c'est-à-dire face à l'objet plutôt qu'en vue surplombante. Le dispositif expérimental associe une caméra Intel RealSense D405, un détecteur d'objets YOLOv8 et le générateur de prises GraspGen basé sur la diffusion. L'innovation centrale est un filtre géométrique fondé sur la boîte englobante de volume minimal orientée (MVBB) : en analysant les normales des faces de cette boîte en temps O(N), le système élimine les candidats de saisie qui traverseraient la table ou s'aligneraient mal avec les faces accessibles de l'objet. Une fonction de re-scoring combine le score du discriminateur appris et l'alignement géométrique avec un coefficient alpha fixé à 0,85. Sur 81 épisodes de simulation MuJoCo (cylindre, boîte asymétrique, bouteille d'eau), MVB-Grasp atteint 59,3 % de succès contre 24,7 % pour GraspGen seul, soit un gain de 2,4x, confirmé ensuite en conditions réelles sans nécessiter de ré-entraînement du modèle. Ce résultat est notable parce qu'il pointe un angle mort structurel de la recherche en manipulation : les benchmarks standards comme GraspNet-1Billion ou YCB-Video sont quasi-exclusivement conçus pour des caméras en vue de dessus sur des manipulateurs haut de gamme à large espace de travail. Or une part croissante des déploiements industriels et de service implique des bras montés sur des piédestaux fixes ou des AMR, en saisie frontale, avec des contraintes cinématiques sévères. Le fait que le gain soit obtenu sans ré-entraînement, uniquement par un filtre géométrique injecté en post-traitement, démontre que le "sim-to-real gap" dans ces configurations n'est pas seulement un problème de données mais aussi de biais dans la sélection des poses candidates. C'est une piste directement exploitable pour les intégrateurs qui déploient des manipulateurs à bas coût dans des cellules contraintes. Le Unitree Z1 est un bras compact vendu autour de 4 000 à 6 000 dollars, souvent utilisé en recherche académique comme alternative économique aux UR5 ou Franka Panda. La diffusion appliquée à la génération de prises est un axe actif depuis 2022-2023 (GraspGen, SE(3)-DiffusionFields, DexGraspNet 2.0), mais la majorité des travaux optimisent pour des postures overhead. Côté concurrents directs sur les manipulateurs frontaux contraints, les approches d'Enchanted Tools et les travaux issus du LAAS-CNRS en France explorent des contraintes similaires, bien que sur des plateformes différentes. La prochaine étape logique pour cette équipe serait d'étendre le protocole à des objets articulés ou transparents, et d'intégrer le filtre MVBB dans une boucle de planification réactive plutôt qu'en sélection statique de candidats.

Robotique❖Paper

1 source

47

3733arXiv cs.RO 

Préserver les capacités fondamentales des modèles VLA à flux de correspondance via un SFT conservateur

Le fine-tuning non contraint des modèles Vision-Language-Action (VLA) basés sur le flow matching provoque un phénomène bien documenté : l'écrasement massif des paramètres entraînés, qui dégrade les capacités générales acquises en pré-entraînement. Une équipe de recherche publie sur arXiv (2605.08879) une méthode baptisée ConSFT (Conservative Supervised Fine-Tuning), un nouvel objectif d'optimisation qui permet d'adapter un VLA à une distribution cible sans effacer ses compétences préalables. La méthode a été évaluée sur les benchmarks LIBERO et RoboTwin avec trois modèles de référence : pi-0, pi-0.5 et GR00T-N1.6-3B. Résultat : ConSFT dépasse le fine-tuning supervisé classique de plus de 20 points absolus en rétention de capacités, et rivalise avec l'Experience Replay, une méthode connue mais gourmande en données historiques, sans en nécessiter aucune. Des déploiements physiques sur robots confirment que la méthode évite le surapprentissage spatial lors de l'adaptation à des tâches séquentielles nouvelles. L'enjeu est central pour l'industrialisation des robots manipulateurs polyvalents. Les VLA de type flow matching, comme pi-0 de Physical Intelligence ou GR00T-N1.6-3B de NVIDIA, sont pré-entraînés sur de larges corpus de démonstrations et constituent la base d'agents robotiques généralistes. Mais leur adaptation à un contexte opérationnel précis (cellule de montage, poste de picking spécifique) détruit systématiquement une partie des compétences acquises, forçant les intégrateurs à choisir entre spécialisation et généralité. ConSFT rompt ce compromis : en modulant dynamiquement le signal d'apprentissage selon la confiance du modèle sur chaque échantillon, il bride les gradients excessifs des cas à faible confiance, limitant la perturbation des paramètres. L'inspiration provient du trust-region clipping du reinforcement learning (PPO), transposé ici en apprentissage supervisé. Les modèles VLA à flow matching représentent la génération actuelle des architectures de contrôle robot les plus performantes. Physical Intelligence a lancé pi-0 fin 2024, suivi de pi-0.5 en 2025 ; NVIDIA a publié GR00T N1 puis N1.6 dans le même intervalle. L'oubli catastrophique lors du fine-tuning est un obstacle pratique que plusieurs équipes tentent de contourner, notamment via l'Experience Replay ou des architectures à réseau de référence parallèle. ConSFT propose une voie plus légère : aucune donnée antérieure requise, aucun réseau auxiliaire, aucune modification architecturale. La méthode reste à valider sur des tâches industrielles longues et des robots avec dextérité fine, mais les résultats sur LIBERO et les expériences physiques publiées suggèrent un transfert sim-to-real fonctionnel.

Recherche❧Opinion

1 source

47

3734arXiv cs.RO 

Tirer parti des échecs : apprentissage adaptatif pour les modèles vision-langage-action (VLA)

Les modèles Vision-Language-Action (VLA), qui combinent perception visuelle, instructions en langage naturel et génération de commandes motrices, dominent la recherche en manipulation robotique généraliste. Leur faiblesse structurelle : entraînés exclusivement sur des démonstrations réussies par clonage comportemental, ils deviennent cassants dès qu'une erreur d'exécution les place hors distribution, les erreurs se cumulant jusqu'à des états non récupérables. Des chercheurs proposent sur arXiv (2605.08434, mai 2026) AFIL (Adaptive Failure-Informed Learning), un framework qui intègre les trajectoires d'échec comme signal de guidage négatif dans les politiques VLA diffusion-based. AFIL exploite un VLA pré-entraîné pour générer automatiquement des rollouts échoués en ligne, sans annotation manuelle ni supervision humaine, puis entraîne deux générateurs d'actions parallèles (Dual Action Generators, DAG) partageant un backbone vision-langage commun pour un surcoût paramétrique modeste. À l'inférence, le DAG dédié aux échecs oriente la génération loin des zones à risque, avec une force de guidage proportionnelle à la distance entre distributions de succès et d'échec à chaque étape de diffusion. Les expériences sur des tâches courte et longue portée, en domaine et hors domaine, montrent des gains constants en taux de succès face aux baselines VLA existants. Ce résultat touche un point critique du déploiement industriel : Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA partagent cette vulnérabilité inhérente au behavioral cloning pur, où l'absence de signal correctif laisse le robot sans mécanisme de récupération. AFIL se distingue parce qu'il ne requiert ni données d'échec labellisées ni boucle de retour humaine, ce qui le rend potentiellement scalable pour des pipelines de production à grande échelle. Sa robustesse hors domaine est particulièrement pertinente pour les intégrateurs industriels qui déploient des robots dans des environnements variables non couverts par les jeux d'entraînement. Le travail s'inscrit dans la vague des politiques diffusion-based initiée par Diffusion Policy (Chi et al., 2023), que Physical Intelligence a popularisée avec Pi-0 et que suivent de près des acteurs européens comme Enchanted Tools, dont le robot humanoïde Mirokaï est développé en France. Face à la fragilité du behavioral cloning, des approches concurrentes coexistent : DAgger (agrégation de données avec supervision interactive), apprentissage par renforcement, ou récupération par planification symbolique. AFIL se positionne comme une solution à intégration native dans le processus de diffusion, sans rupture architecturale. L'article reste une prépublication arXiv, sans évaluation par les pairs ni déploiement terrain annoncé.

Recherche❧Opinion

1 source

45

3735arXiv cs.RO 

VP-VLA : le prompting visuel comme interface pour les modèles vision-langage-action

Publiée en mars 2026 sur arXiv (référence 2603.22003v3), VP-VLA est une architecture à deux systèmes qui dissocie raisonnement de haut niveau et exécution motrice dans les modèles Vision-Language-Action. Le problème adressé est structurel : les VLA actuels effectuent un unique passage en avant (forward pass) censé gérer simultanément l'interprétation d'instructions, l'ancrage spatial et le contrôle moteur de bas niveau, ce qui dégrade la précision spatiale et la robustesse hors distribution. VP-VLA sépare ces responsabilités via une interface de prompts visuels : un "Planificateur Système 2" décompose les instructions en sous-tâches et localise objets et positions cibles, puis rend ces ancres spatiales directement dans l'espace RGB natif sous forme de réticules et boîtes englobantes. Un "Contrôleur Système 1", entraîné avec un objectif auxiliaire d'ancrage visuel, génère ensuite les trajectoires de bas niveau à partir de ces prompts. En simulation et en environnement réel, VP-VLA surpasse les baselines end-to-end QwenOFT (basé sur les modèles Qwen d'Alibaba) et GR00T-N1.6 (NVIDIA), les deux références industrielles les plus avancées du moment. L'intérêt architectural tient à l'évitement du mismatch de modalité que créent les représentations intermédiaires denses -- masques d'affordance, cartes de contrôle spécialisées -- qui obligent les modèles à jongler entre espaces de représentation hétérogènes. En substituant des annotations légères directement dans l'espace RGB natif, VP-VLA maintient une cohérence de modalité tout au long du pipeline. Pour les intégrateurs industriels et les équipes de déploiement robotique, cela se traduit concrètement par une meilleure robustesse aux configurations non vues à l'entraînement et une précision spatiale accrue sur les tâches de manipulation. La séparation explicite planification/exécution faciliterait aussi la mise à jour ou le remplacement indépendant de chaque composant, un avantage non négligeable en contexte de déploiement itératif. VP-VLA s'inscrit dans un mouvement plus large de déconstruction des VLA monolithiques, après RT-2, OpenVLA, et les architectures GR00T de NVIDIA. La publication en version v3 indique des révisions successives, signe probable d'une soumission à une conférence de premier rang (IROS 2026, CoRL 2026 ou RSS 2026). Le choix de GR00T-N1.6 et QwenOFT comme baselines positionne explicitement VP-VLA face aux approches portées par des acteurs industriels majeurs. Aucun déploiement physique industriel ni partenariat de production n'est annoncé à ce stade : les expériences réelles restent en environnement de laboratoire. La page projet ouverte (visualprompt-vla.github.io) laisse présager une publication du code, ce qui favoriserait une adoption rapide et une validation indépendante par la communauté robotique.

Robotique❧Opinion

1 source

45

3736arXiv cs.RO 

VEGA : alignement par ancrage de l'encodeur visuel pour les modèles VLA à conscience spatiale

Des chercheurs proposent VEGA (Visual Encoder Grounding Alignment), publié sur arXiv (2605.10485) en mai 2026, un cadre d'alignement destiné à corriger un défaut structurel des modèles vision-langage-action (VLA) : leurs encodeurs visuels, préentraînés sur des images 2D, manquent de perception géométrique 3D. VEGA aligne la sortie de l'encodeur visuel du VLA directement avec les features spatiales de DINOv2-FiT3D, une variante de DINOv2 (Meta) affinée via supervision par 3D Gaussian Splatting multi-vues. L'alignement repose sur un projecteur léger entraîné par perte cosinus en parallèle de la prédiction d'action standard, puis éliminé à l'inférence pour ne pas alourdir le runtime. Sur benchmarks de simulation et tâches réelles de manipulation, VEGA établit un nouvel état de l'art parmi les méthodes d'ancrage spatial implicite. L'enjeu opérationnel est direct : la manipulation fine exige une compréhension géométrique de la scène, pas uniquement sémantique. Les approches existantes alignaient déjà les VLA avec des modèles 3D-aware, mais au niveau des tokens LLM, là où spatial et linguistique sont déjà mélangés, limitant la généralisation. En remontant l'alignement à l'encodeur visuel, VEGA évite cette contamination sémantique et produit un ancrage plus interprétable. Pour un intégrateur ou un fabricant de bras manipulateurs, le ratio est favorable : gain de précision spatiale sans surcoût à l'inférence, et compatibilité avec des architectures VLA existantes sans refonte. Cette contribution s'inscrit dans la course aux VLA comme couche de contrôle universelle : Physical Intelligence (π0, π0.5), Google DeepMind et NVIDIA (GR00T N2), Figure AI (Helix) ou Unitree reposent tous sur des architectures de ce type. La faiblesse du raisonnement 3D dans les VLA reste un frein documenté au passage démo-vers-déploiement, et plusieurs équipes y travaillent via sim-to-real et foundation models 3D. VEGA choisit une voie minimaliste : pas de pipeline 3D à l'inférence, juste un alignement ciblé à l'entraînement. Aucun déploiement industriel ni partenariat commercial n'est mentionné, c'est une contribution académique, mais sa légèreté architecturale la rend directement intégrable dans des projets en cours.

Recherche❧Opinion

1 source

45

3737arXiv cs.RO 

SABER : jeu de données incarné, évolutif et axé sur les actions pour l'adaptation VLA au monde réel

Une équipe de recherche associée à DreamVu a publié début mai 2026 SABER (Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation), un corpus de données d'action robotique centré sur les environnements de grande distribution, présenté dans l'arXiv 2605.09613. Le jeu de données a été constitué à partir de plus de 100 heures de captures naturelles dans plusieurs supermarchés réels, sans mise en scène, sans script et sans télé-opération de robot. Deux flux de capteurs ont été utilisés simultanément : une caméra égocentrique montée sur la tête enregistre les manipulations fines des mains à hauteur d'interaction, tandis que la caméra 360° ALIA de DreamVu observe l'ensemble de la scène sous angle exocentrique. Le corpus final comprend 44 800 échantillons d'entraînement répartis en trois représentations d'action : 25 000 séquences d'actions latentes encodées selon le schéma LAPA, 18 600 trajectoires de postures de main dextre recalées dans l'espace articulaire robot, et 1 200 séquences de mouvement corps entier synchronisées retargétées vers une morphologie humanoïde. Appliqué au modèle de fondation robotique GR00T N1.6 de NVIDIA via une recette de post-entraînement multi-tâche à backbone partagé, SABER atteint un taux de succès moyen de 29,3 % sur dix tâches de manipulation en grande distribution, soit 2,19 fois la performance de la baseline de fine-tuning (13,4 %). Ces résultats, bien que modestes en valeur absolue (moins d'un tiers de succès), apportent un argument concret au débat sur le "data gap" qui freine la généralisation des VLA (Vision-Language-Action models) hors de leurs distributions d'entraînement. Les modèles de fondation robotique généralistes comme GR00T ou Pi-0 de Physical Intelligence peinent à performer sur des tâches de manipulation en contexte retail, non par défaut d'architecture, mais parce que ces environnements sont structurellement absents de leurs corpus de préentraînement. La télé-opération pour combler ce vide est onéreuse, logistiquement contrainte et difficile à passer à l'échelle. SABER propose une alternative : capturer des comportements humains naturels en magasin, puis retargéter les trajectoires vers l'espace articulaire du robot, sans jamais déployer ce dernier pendant la phase de collecte. Le gain 2x sur la baseline valide l'hypothèse que la qualité et la spécificité domaine des données comptent autant que l'architecture du modèle, une position qui nuance la course aux paramètres observée depuis 2024. DreamVu, startup spécialisée dans les caméras omnidirectionnelles de précision, s'appuie sur sa caméra ALIA pour se positionner comme fournisseur d'infrastructure de collecte de données pour la robotique incarnée, un segment en pleine structuration. Sur le plan concurrentiel, SABER entre en tension directe avec des initiatives comme Open-X Embodiment (Google DeepMind), DROID, ou les datasets propriétaires de Figure AI et Apptronik, mais se distingue par son ancrage sectoriel retail et l'absence de robot pendant la collecte. GR00T N1.6, le modèle testé, est la version publiée par NVIDIA en 2025 dans le cadre de son projet Isaac GR00T, qui vise à fournir une fondation pré-entraînée pour humanoïdes. Le dataset et le code sont disponibles publiquement sur dreamvu.ai/saber, ce qui ouvre la voie à des réplications et extensions vers d'autres verticales (logistique, pharmacie, restauration rapide) où la manipulation fine en environnement non contrôlé reste un verrou non résolu.

Robotique❧Opinion

1 source

44

3738arXiv cs.RO 

Auto-cohérence guidée par la géométrie pour l'IA physique

KeyStone est une méthode de cohérence automatique à l'inférence pour les modèles d'IA physique basés sur la diffusion, présentée dans un preprint arXiv (arXiv:2605.08638) publié en mai 2026. Le principe opérationnel : au lieu de retenir une seule trajectoire d'action par round d'inférence, KeyStone génère K trajectoires candidates en parallèle depuis un contexte de modèle partagé, les regroupe par clustering dans l'espace d'action continu, puis retourne le médoïde du cluster le plus dense. Aucun modèle additionnel n'est requis. Les auteurs rapportent une amélioration du taux de succès allant jusqu'à 13,3 % par rapport à l'échantillonnage sur trajectoire unique, avec une latence additionnelle négligeable. La méthode a été validée sur plusieurs classes d'architectures : vision-language-action models (VLAs) et world-action models (WAMs). Le code est publié en open source sur GitHub. L'enjeu central est la fragilité intrinsèque des politiques diffusion-based : chaque inférence est stochastique, et retenir une mauvaise trajectoire compromet l'ensemble de l'épisode suivant, défaut qui se cumule sur des séquences longues. KeyStone exploite une propriété géométrique spécifique aux systèmes robotiques : la distance euclidienne entre chunks d'action reflète directement la similarité physique entre trajectoires, contrairement aux espaces token ou pixel où cette métrique est sémantiquement vide et nécessite un modèle de scoring appris. La sélection est donc principled et judge-free, sans coût d'entraînement. Pour un intégrateur ou un ingénieur robotique, l'argument est concret : gain de performance sans pipeline additionnel, sans latence notable. Ce dernier point repose sur le fait que l'inférence par diffusion est memory-bandwidth bound, laissant de la capacité de calcul disponible pour exécuter K chaînes en parallèle dans le même budget temporel. KeyStone s'inscrit dans l'écosystème des politiques de contrôle apprises pour la manipulation et la navigation physique, dont les représentants actifs sont pi0 de Physical Intelligence, OpenVLA (UC Berkeley), Octo et Diffusion Policy. Ces architectures génèrent des séquences d'action par diffusion ou flow matching, une approche en forte expansion mais exposée précisément à la variabilité stochastique que KeyStone cible. La méthode se positionne comme une amélioration orthogonale, applicable sans réentraînement à tout modèle de cette famille. Le preprint ne mentionne ni déploiement terrain, ni partenaire industriel, ni timeline commerciale : il s'agit d'une contribution de recherche académique, pas d'un produit. La mise en open source immédiate du code accélérera néanmoins l'évaluation par les équipes qui testent des pipelines VLA dans des environnements semi-structurés ou industriels.

Recherche❧Opinion

1 source

44

3739arXiv cs.RO 

Politique de flux stochastique guidé par interpolation

Une équipe de chercheurs publie le 13 mai 2026 sur arXiv (réf. 2605.10051) une méthode de guidage en temps réel pour les politiques robotiques génératives : SSIP, ou Streaming Stochastic Interpolant Policy. L'objectif est d'orienter une politique à l'inférence, sans réentraîner le modèle, vers de nouveaux objectifs dynamiques tels que l'évitement d'obstacles imprévus ou l'alignement sur des préférences opérateur modifiées en cours d'exécution. Les auteurs formalisent le terme de guidage optimal via l'équation de Kolmogorov rétrograde, ce qui établit mathématiquement un "drift" modifié garantissant l'échantillonnage depuis une distribution cible. Deux mécanismes complémentaires sont proposés : STEG (Stochastic Trajectory Ensemble Guidance), sans entraînement, pour une adaptation zéro-shot par calcul de gradients à la volée ; et CCG (Conditional Critic Guidance), entraîné, pour une inférence amortie. L'enjeu industriel est direct : les architectures "chunk-based", qui génèrent des séquences d'actions par blocs discrets, dominent les politiques génératives en robotique mais souffrent d'une latence structurelle qui les rend peu adaptées aux environnements non structurés ou aux changements de contraintes en cours d'exécution. SSIP généralise la Streaming Flow Policy (SFP) déterministe en y intégrant un cadre stochastique guidé, permettant un contrôle réactif en temps réel. Les évaluations empiriques montrent que l'approche surpasse significativement les politiques chunk-based en réactivité et produit un guidage physiquement valide, c'est-à-dire des trajectoires mécaniquement cohérentes et pas seulement mathématiquement plausibles. Pour un intégrateur industriel, cela réduit le besoin de réentraînement coûteux dès qu'une contrainte opérationnelle évolue. Ce travail s'inscrit dans la vague des politiques génératives pour la manipulation robotique, un espace où Physical Intelligence (pi0, pi0.5), Figure (Helix) et NVIDIA (GR00T N2) ont récemment imposé des architectures fondées sur le flow matching ou la diffusion. La plupart de ces systèmes fonctionnent en mode chunk, ce qui limite leur réactivité face aux perturbations imprévues. SSIP se positionne comme une couche de guidage universelle, applicable aussi bien à des politiques généralistes qu'à des tâches industrielles exigeant une adaptation dynamique. L'approche STEG est particulièrement notable : sans réentraînement, elle abaisse le seuil d'adoption pour des déploiements en conditions réelles. Ce travail reste pour l'instant une contribution académique, sans déploiement annoncé ni partenariat industriel déclaré.

Robotique❧Opinion

1 source

44

3740arXiv cs.RO 

La dérive est une erreur d'échantillonnage : distributions de puissance adaptées au RSB pour la planification robotique à long horizon

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.09537) une méthode appelée CAPS (Context-Aware Power Sampling), conçue pour corriger un défaut récurrent des modèles Vision-Language-Action (VLA) : la dérive d'instruction dans les tâches longues. Leur thèse centrale est que cette dérive n'est pas un problème d'apprentissage mais une erreur systématique d'échantillonnage : le mode glouton local, dominant dans la plupart des inférences VLA actuelles, tend à tomber dans ce que les auteurs nomment des "Negative Pivotal Windows", des optima locaux irréversibles à haute probabilité locale qui coupent définitivement les chemins vers le succès global. CAPS opère entièrement à l'inférence, sans aucune mise à jour des paramètres du modèle, en exploitant des distributions puissance (power distributions) pour accentuer les probabilités de trajectoire globale, couplées à un mécanisme de contrôle métacognitif basé sur le rapport signal-sur-bruit (SNR) qui déclenche une recherche MCMC adaptative uniquement lorsqu'un risque de dérive est détecté. Évalué sur les benchmarks RoboTwin, Simpler-WindowX et Libero-long, CAPS surpasse des références solides comme OpenVLA et TACO sans aucun réentraînement. L'apport clé pour les intégrateurs et chercheurs en robotique est que CAPS est directement applicable à tout modèle VLA déjà déployé, sans modification architecturale. Le mécanisme SNR implémente en pratique une logique système 1 / système 2 à la Kahneman : l'inférence reste rapide par défaut et bascule en mode recherche lente et délibérative uniquement quand les signaux de dérive sont détectés, ce qui limite le surcoût computationnel. Sur les benchmarks long-horizon, talon d'Achille reconnu des VLA actuels, les gains de robustesse sont substantiels, bien que les auteurs ne fournissent pas de résultats sur robot physique, laissant ouverte la question du sim-to-real pour cette méthode spécifique. Les VLA ont connu une accélération notable depuis 2024, avec des modèles phares comme pi0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA issu de Stanford, chacun cherchant à allonger l'horizon de tâche et améliorer la généralisation dans des environnements non structurés. La dérive d'instruction était documentée comme l'une des limites structurelles non résolues de ces architectures. Ce papier propose une approche orthogonale au scaling des données ou du modèle, ce qui le rend potentiellement complémentaire aux efforts en cours plutôt que concurrent. Les prochaines étapes naturelles seraient des validations sur robots physiques et une intégration dans des pipelines de contrôle industriel, des éléments que les auteurs n'annoncent pas encore explicitement dans cette version préliminaire.

Recherche❧Opinion

1 source