Aller au contenu principal

Dossier Google DeepMind — page 4

878 articles · page 4 sur 18

Suivi de l'actualité de Google DeepMind : modèles Gemini, recherche IA, publications, lancements de produits et annonces officielles, mises à jour en continu.

« Nano Banana 2 Lite » de Google : son nouveau modèle d'image, le plus rapide et le moins cher à ce jour
151Ars Technica AI CréationActu

« Nano Banana 2 Lite » de Google : son nouveau modèle d'image, le plus rapide et le moins cher à ce jour

Google DeepMind a dévoilé Nano Banana 2 Lite, son nouveau modèle de génération d'images, présenté comme le plus rapide et le moins coûteux de sa gamme. Techniquement baptisé Gemini 3.1 Flash Lite Image, il appartient à la famille Gemini 3.1 et est disponible dès aujourd'hui sur l'ensemble de l'écosystème Google. Sa principale promesse est de produire des images en une fraction du temps requis par les modèles plus lourds de l'entreprise, tout en conservant une qualité proche de celle des versions standard. Pour étayer cette affirmation, Google s'appuie sur des scores Elo issus de la plateforme Arena.ai, qui montrent que les utilisateurs évaluent les résultats de Nano Banana 2 Lite presque aussi favorablement que ceux des versions non allégées du modèle. Cette nouveauté répond à un problème concret du secteur : les modèles d'image les plus qualitatifs sont généralement lents et onéreux, ce qui freine leur usage pour des tâches d'itération rapide. En misant sur la vitesse et le faible coût, Google cible explicitement les usages de prototypage et d'exploration créative, où la rapidité d'exécution compte davantage que la perfection du rendu final. Pour les développeurs et créateurs qui génèrent de nombreuses variantes avant de retenir une image définitive, ce gain de réactivité peut réduire significativement les coûts d'infrastructure et accélérer les flux de travail créatifs. Google reconnaît toutefois des limites : le modèle peine davantage avec le texte intégré aux images, en particulier les caractères de petite taille, et les infographies générées contiennent plus souvent des données erronées. La cohérence des personnages et des visages d'une génération à l'autre reste également moins fiable que sur les modèles complets. Ces compromis illustrent une tendance plus large du secteur de l'IA générative, où les éditeurs déclinent désormais leurs modèles phares en versions allégées afin de répondre à des besoins différenciés selon les usages, qu'il s'agisse de production finale soignée ou de simple exploration d'idées à grande échelle.

Pourquoi les boucles d'agents ont la cote
152The Information AI 

Pourquoi les boucles d'agents ont la cote

Les "agent loops", ou boucles d'agents, s'imposent comme l'une des approches les plus discutées dans la communauté des développeurs IA, notamment sur X et Reddit ces dernières semaines. Le principe consiste à faire tourner un ou plusieurs agents en boucle autonome, sans intervention humaine entre chaque étape : l'agent tente différentes approches pour accomplir une tâche, un second agent évalue son travail, et le processus recommence jusqu'à l'atteinte de l'objectif ou d'une condition d'arrêt prédéfinie. Cette méthode tranche avec l'approche classique qui consiste à soumettre un prompt, attendre la réponse, puis corriger manuellement. Lors de la conférence AI Engineers d'avril 2025, des ingénieurs d'Anthropic ont illustré le potentiel de la technique avec un exemple concret : ils ont demandé à Claude de développer une application générant des jeux vidéo rétro. Avec un prompt minimal, Claude a livré l'application en 20 minutes pour 9 dollars. La même tâche confiée à une boucle d'agents a pris six heures et coûté 200 dollars, mais le résultat était nettement supérieur. L'engouement pour les boucles d'agents tient à leur capacité à traiter des tâches longues ou mal définies, là où une simple requête atteint rapidement ses limites. Pour les développeurs qui construisent des applications complexes, l'approche offre un niveau de qualité qu'un échange ponctuel ne permet pas d'atteindre. Le compromis reste cependant significatif : un rapport de coût de 1 à 22 représente une barrière réelle à l'adoption généralisée. À court terme, cette méthode restera donc réservée aux cas d'usage où la qualité prime sur le budget, plutôt qu'aux tâches routinières à faible enjeu. Cette tendance s'inscrit dans une évolution plus large du secteur vers des systèmes d'IA toujours plus autonomes. L'industrie se déplace progressivement du modèle "prompt-réponse" vers des architectures multi-agents capables de s'auto-corriger et de raisonner sur de longues séquences d'actions. Anthropic, qui développe Claude, figure parmi les acteurs en pointe sur ce terrain, aux côtés d'OpenAI et Google DeepMind. L'enjeu à moyen terme sera de réduire le coût computationnel de ces boucles pour les rendre économiquement accessibles à grande échelle, condition nécessaire pour que les agent loops passent du statut d'expérimentation avancée à celui d'outil standard du développement IA.

💬 Ce qui me frappe dans l'exemple d'Anthropic, c'est pas que ça coûte 200 dollars au lieu de 9, c'est que le résultat est vraiment meilleur, pas juste un peu. Les boucles d'agents ne remplacent pas le prompt classique, elles font autre chose : du travail long et mal défini qui demande de l'itération sans intervention humaine entre chaque étape. Reste à voir quand les coûts tombent assez pour que tu puisses en faire un outil standard plutôt qu'un truc réservé aux projets où t'as un vrai budget.

OutilsOutil
1 source
Une startup affirme avoir surmonté un goulot d'étranglement qui freine les LLM
153MIT Technology Review 

Une startup affirme avoir surmonté un goulot d'étranglement qui freine les LLM

La startup Subquadratic, basée à Miami, est sortie de la confidentialité le mois dernier avec une annonce retentissante : elle affirme avoir résolu un goulot d'étranglement mathématique qui freinait les grands modèles de langage depuis près d'une décennie. Son nouveau modèle, baptisé SubQ, serait non seulement plus rapide et moins coûteux que les solutions existantes, mais consommerait également beaucoup moins d'énergie. Plus frappant encore, il serait capable de traiter jusqu'à douze fois plus de texte simultanément que la plupart des modèles actuels, permettant d'analyser des centaines de documents ou des bases de code entières en une seule passe. Selon l'entreprise, SubQ égalerait sur les tâches de codage les performances des meilleurs modèles de Google DeepMind, OpenAI et Anthropic. Face au scepticisme initial, Subquadratic a publié les résultats d'une évaluation indépendante menée par Appen, spécialiste de l'évaluation de modèles d'IA. Jeanine Sinanan-Singh, directrice de la recherche en IA générative chez Appen, a confirmé que les résultats "valident l'architecture" et évoqué un potentiel "game changer". Les cofondateurs Alex Whedon (CTO) et Justin Dangel (CEO) reconnaissent qu'ils auraient dû publier ces benchmarks tiers dès le départ pour éviter les comparaisons à une "IA Theranos" qui ont circulé sur les réseaux sociaux. L'enjeu est considérable pour l'ensemble de l'industrie. Le problème que Subquadratic prétend avoir résolu, l'attention dense, est au coeur du fonctionnement de tous les grands modèles actuels. Lorsqu'un transformeur traite un texte, il multiplie la représentation numérique de chaque mot avec celle de tous les autres mots : un texte de 10 000 mots génère ainsi près de 50 millions de multiplications individuelles. C'est précisément pour cette raison que les LLM sont des gouffres énergétiques et que leur coût d'inférence reste élevé. Si SubQ tient ses promesses, les entreprises pourraient traiter de bien plus grandes quantités de données à une fraction du coût actuel, ouvrant la voie à des applications jusqu'ici économiquement inaccessibles, comme l'analyse en temps réel de bibliothèques documentaires entières ou l'audit automatisé de grandes bases de code. Le mécanisme d'attention dense remonte à l'article fondateur de 2017 publié par des chercheurs de Google, "Attention Is All You Need", qui a posé les bases de l'ère des LLM. Depuis, malgré d'immenses progrès en matière de puissance de calcul et de taille des modèles, cette contrainte architecturale fondamentale n'avait pas été surmontée. Subquadratic n'a pas encore dévoilé les détails techniques de son approche ni rendu SubQ largement accessible au public, ce qui alimente une prudence légitime dans la communauté. L'entreprise affirme néanmoins que son architecture pourrait redéfinir la manière dont les LLM sont construits : "Nous ne pensons pas que quiconque continuera à bâtir sur les transformeurs dans quelques années", déclare Justin Dangel. Si ces affirmations se confirment à plus grande échelle, Subquadratic pourrait marquer un tournant réel dans l'histoire de l'intelligence artificielle.

UESi l'architecture SubQ tient ses promesses, les laboratoires et entreprises européens développant des LLMs pourraient bénéficier de coûts d'inférence réduits et d'une meilleure efficacité énergétique, mais aucun impact direct ou immédiat sur la France ou l'UE n'est identifiable à ce stade.

💬 La comparaison à Theranos dit surtout une chose : le milieu IA a appris qu'il peut se faire avoir. Le problème de l'attention quadratique, lui, est bien réel, documenté depuis "Attention Is All You Need" en 2017, et si SubQ l'a effectivement résolu, les transformeurs actuels deviennent architecturalement dépassés du jour au lendemain, milliards d'investissements inclus. Bon, faut publier les détails techniques d'abord.

LLMsPaper
1 source
Google Cloud automatise les opérations de planification urbaine avec l'IA générative
154AI News 

Google Cloud automatise les opérations de planification urbaine avec l'IA générative

Le gouvernement britannique a déployé deux outils d'intelligence artificielle développés avec Google Cloud pour automatiser le traitement des demandes de permis de construire dans l'ensemble des collectivités locales d'Angleterre. Le ministère du Logement, des Communautés et des Gouvernements Locaux (MHCLG) et le département pour la Science, l'Innovation et la Technologie (DSIT) ont annoncé ces déploiements lors du Google Cloud Summit London. L'outil "Extract", construit en interne par des ingénieurs gouvernementaux à l'aide des modèles Gemini de Google DeepMind, a été étendu à toutes les collectivités anglaises après des essais dans plus de 20 autorités locales. Un second système baptisé "Augmented Planning Decisions" (APD) est quant à lui encore en phase de prototype. Extract analyse des milliers de pages de documents PDF historiques non structurés et les convertit en bases de données numériques exploitables en quelques minutes, éliminant environ 255 heures de saisie manuelle par collectivité et par an. L'enjeu est considérable : les demandes de particuliers, comme les extensions ou les conversions de combles, représentent près de 70 % des dossiers de permis déposés chaque année au Royaume-Uni. Chacune nécessite que les agents d'urbanisme passent des heures à croiser des documents réglementaires régionaux, des archives historiques et des fichiers PDF épars. Cette surcharge administrative retarde directement les grands projets d'infrastructure et de développement commercial. L'objectif affiché du gouvernement est de réduire de 50 % les délais de décision sur ces dossiers courants, libérant ainsi du temps pour les projets les plus complexes. Le système APD va plus loin : il pré-traite les dossiers entrants, identifie les lacunes d'information, extrait les données géographiques, évalue la conformité aux règles d'urbanisme nationales et locales, et synthétise les observations du public en signalant les objections ou précédents juridiques pertinents. Ces déploiements s'inscrivent dans la stratégie britannique visant à construire 1,5 million de logements neufs d'ici 2029, un objectif que les engorgements administratifs des collectivités locales compromettaient sérieusement. Pour garantir la sécurité des données civiques sensibles traitées par ces outils, le gouvernement a hébergé les modèles Gemini sur l'infrastructure Google Cloud dans un environnement cloisonné, avec des contrôles actifs contre les attaques par injection de prompts et des protocoles stricts de souveraineté des données. Lila Ibrahim, directrice de la préparation à l'IA chez Google DeepMind, a souligné que ces outils ont été "co-créés directement avec les collectivités pour résoudre de vrais goulets d'étranglement". Cette initiative pourrait servir de modèle à d'autres pays cherchant à moderniser leurs administrations publiques via l'IA générative, dans un contexte où la pression sur le logement et la bureaucratie ralentissent les décisions dans de nombreuses démocraties européennes.

UECe déploiement britannique pourrait inspirer des initiatives similaires dans les collectivités locales françaises et européennes confrontées aux mêmes engorgements administratifs dans le traitement des permis de construire.

💬 255 heures de saisie par collectivité économisées, c'est modeste sur le papier, mais multiplié par toutes les mairies d'Angleterre, c'est là que les 1,5 million de logements promis deviennent moins irréalistes. Ce que Google et le gouvernement britannique ont compris, c'est que l'IA n'a pas besoin de remplacer l'urbaniste pour débloquer le système, il suffit qu'elle digère les PDF à sa place. La France a exactement les mêmes boulets.

OutilsOutil
1 source
Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée
155TechNode 

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

UEImpact indirect sur l'écosystème européen : la suite open-source d'Alibaba accentue la pression concurrentielle sur les initiatives VLA portées par des acteurs à ancrage européen comme Hugging Face (LeRobot), sans déploiement physique documenté en Europe à ce stade.

RobotiqueOpinion
1 source
OpenAI a dépensé 3,7 milliards de dollars au premier trimestre 2026
156The Information AI 

OpenAI a dépensé 3,7 milliards de dollars au premier trimestre 2026

Au premier trimestre 2026, OpenAI a consommé 3,7 milliards de dollars de trésorerie, soit plus de la moitié de ses 5,7 milliards de dollars de revenus sur la période, selon des documents partagés avec les actionnaires de la société. Ces deux chiffres ont triplé par rapport au premier trimestre 2025, illustrant la vitesse à laquelle l'entreprise croît, et dépense. OpenAI a clôturé le trimestre avec plus de 73 milliards de dollars en liquidités et titres négociables, contre 40 milliards fin décembre, grâce à la massive levée de fonds annoncée fin mars. Ce rythme de consommation révèle une réalité structurelle de l'industrie de l'IA : même face à une demande soutenue, la rentabilité reste hors de portée à court terme. Les coûts d'infrastructure, d'entraînement des modèles et de personnel continuent de dépasser les revenus générés. Paradoxalement, les réserves actuelles suffisent à couvrir plusieurs années de burn rate à ce niveau, ce qui réduit la pression immédiate sur OpenAI pour entrer en bourse ou lever des fonds supplémentaires. OpenAI se trouve à un tournant stratégique : l'entreprise vient de finaliser sa transformation en société à but lucratif et cherche à diversifier ses sources de revenus au-delà de ChatGPT et de son API. La question d'une introduction en bourse reste ouverte, mais le confort financier offert par la récente levée de fonds lui donne de la latitude pour choisir le bon moment plutôt que d'agir sous contrainte. Ses concurrents directs, Anthropic, Google DeepMind, xAI, font face aux mêmes défis économiques dans une course où les capitaux sont devenus l'arme principale.

UELe fossé de financement révélé par ces chiffres alimente le débat européen sur la capacité du continent à soutenir ses propres acteurs de l'IA à une échelle comparable.

BusinessOpinion
1 source
IVRA : améliorer les relations entre tokens visuels pour la politique d'action des robots grâce à un guidage sans entraînement
157arXiv cs.RO 

IVRA : améliorer les relations entre tokens visuels pour la politique d'action des robots grâce à un guidage sans entraînement

Les modèles Vision-Language-Action (VLA) souffrent d'un défaut structurel bien documenté : en aplatissant les patches d'image en une séquence 1D de tokens, ils perdent les repères spatiaux 2D nécessaires à la manipulation précise d'objets. Des chercheurs ont publié sur arXiv (référence 2601.16207v2) IVRA, une méthode d'inférence légère et sans réentraînement qui corrige ce problème en exploitant des signaux d'affinité déjà présents dans l'encodeur visuel natif du modèle. Ces signaux sont injectés sélectivement dans une couche du modèle de langage où résident les caractéristiques au niveau des instances, réalignant les interactions entre tokens visuels et préservant mieux la structure géométrique sans modifier aucun paramètre. Appliqué à trois architectures distinctes, LLaRA, OpenVLA et FLOWER, IVRA a été évalué sur les benchmarks VIMA (manipulation 2D) et LIBERO (manipulation 3D), ainsi que sur des tâches en environnement physique réel. Sur VIMA en régime de faibles données, il améliore le taux de succès moyen de +4,2 % par rapport à la baseline LLaRA. Sur LIBERO 3D, les gains restent cohérents même proches de la saturation (96,3 % vers 97,1 %). L'intérêt industriel est direct : un intégrateur qui a déjà déployé un VLA peut appliquer IVRA à l'inférence sans réentraînement, sans capteur supplémentaire, sans encodeur externe. C'est un avantage immédiat en time-to-value pour des systèmes en production. Le fait que la méthode fonctionne même à 96,3 % de baseline suggère qu'elle améliore la précision géométrique locale plutôt que la compréhension globale de scène, précisément le point de défaillance des VLA sur des tâches de manipulation fine (saisie d'objets proches, tri par forme, assemblage). Pour la recherche, IVRA valide l'hypothèse que les encodeurs visuels embarqués contiennent des informations spatiales latentes exploitables sans supervision supplémentaire, une direction "training-free adapter" qui mérite davantage d'exploration. La perte de structure spatiale dans les VLA est connue depuis les premières publications sur RT-2 (Google DeepMind, 2023) et OpenVLA (Berkeley/Stanford, 2024). Les réponses habituelles consistent à modifier l'architecture ou à ajouter des flux de données supplémentaires (depth, point clouds), augmentant la complexité de déploiement. Physical Intelligence avec pi-0 et NVIDIA avec GR00T N2 misent sur des architectures propriétaires plus lourdes ; IVRA propose une correction orthogonale applicable sur des modèles ouverts, en compétition directe avec les méthodes de spatial token resampling et d'attention guidée comme RoboFlamingo. L'étape suivante logique serait une validation sur des benchmarks plus exigeants (RLBench, BridgeData v2) et sur des manipulateurs industriels à 6 DOF ou plus en conditions réelles, là où la précision spatiale est critique.

RobotiqueOpinion
1 source
OpenAI acquiert Ona pour renforcer les agents IA de Codex
158Le Big Data 

OpenAI acquiert Ona pour renforcer les agents IA de Codex

OpenAI a annoncé le 11 juin 2026 son intention d'acquérir Ona, une société spécialisée dans les environnements cloud sécurisés pour agents logiciels. L'objectif est d'intégrer la technologie d'Ona directement au sein de Codex, l'assistant de développement d'OpenAI, afin de lui permettre d'exécuter des tâches complexes sur des durées allant de plusieurs heures à plusieurs jours, y compris lorsque l'ordinateur de l'utilisateur est éteint. Codex compte déjà plus de 5 millions d'utilisateurs hebdomadaires, un chiffre en hausse de 400 % depuis le début de l'année 2026. Quelque 2 millions de développeurs ont par ailleurs utilisé les technologies d'Ona pour travailler dans des environnements cloud sécurisés et mutualisés. À l'issue du rachat, l'équipe d'Ona rejoindra directement l'équipe Codex chez OpenAI. Cette acquisition marque un tournant dans la manière dont les agents IA seront déployés en entreprise. Jusqu'ici, les agents fonctionnaient principalement à l'échelle d'une session utilisateur. Avec les environnements persistants d'Ona, un utilisateur pourra lancer une tâche, fermer son ordinateur, et retrouver l'avancement du travail plus tard, tout en conservant le contrôle sur les décisions critiques. Pour les organisations, l'enjeu dépasse la simple performance du modèle : il s'agit désormais de garantir la gouvernance, la gestion des accès et des identifiants, la journalisation des activités et la validation des actions réalisées par les agents. Les agents pourront opérer directement dans le cloud du client, pendant qu'OpenAI fournit l'intelligence et l'orchestration, permettant aux entreprises de conserver la maîtrise de leurs données sans brider les capacités de Codex. Initialement conçu pour assister les développeurs dans l'écriture de code, Codex s'est imposé comme un outil bien plus transversal, mobilisé aujourd'hui pour la recherche d'informations, l'analyse de données, la création de contenu et l'automatisation de processus métiers. Le marché des agents IA entre dans une phase d'industrialisation : après les expérimentations, les entreprises cherchent des solutions intégrables en production, conformes à leurs exigences réglementaires et de sécurité. Ona apporte précisément cette expertise, développée sur plusieurs années en aidant des équipes à migrer leurs workflows depuis des machines locales vers des infrastructures cloud reproductibles. Face à des concurrents comme Microsoft Copilot ou les agents de Google DeepMind qui avancent sur le même terrain, OpenAI consolide ainsi sa position en dotant Codex d'une couche d'exécution sécurisée et persistante, indispensable pour convaincre les grands comptes de passer à l'échelle.

UELes entreprises et développeurs européens utilisant Codex bénéficieront d'environnements d'exécution persistants pour agents IA, mais l'hébergement des workflows dans le cloud américain soulève des questions de conformité au RGPD à anticiper avant toute adoption en production.

BusinessOpinion
1 source
WEAVER, meilleur, plus rapide, plus long : un modèle du monde efficace pour la manipulation robotique
159arXiv cs.RO 

WEAVER, meilleur, plus rapide, plus long : un modèle du monde efficace pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.13672) WEAVER (World Estimation Across Views for Embodied Reasoning), une architecture de modèle de monde (world model, WM) dédiée à la manipulation robotique. Le système, multi-vue, est entraîné à prédire des représentations latentes futures et des valeurs de récompense via une perte de flow-matching. Sur robot physique, WEAVER atteint une corrélation ρ = 0,870 entre trajectoires simulées et taux de succès réel en évaluation de politique (policy evaluation). Appliqué à l'amélioration de politique (policy improvement), il produit un gain de 38 % de taux de succès réel au-dessus du modèle de fondation robotique π₀.₅ de Physical Intelligence. En planification à l'inférence (test-time planning), il ajoute 14 % de succès supplémentaires, avec une vitesse de génération 5 à 10 fois supérieure aux WMs précédents. Le code, les modèles et les vidéos sont publiquement accessibles. Les modèles de monde représentent un levier structurant pour la robotique : évaluer ou améliorer des politiques de contrôle, planifier à l'exécution, sans multiplier les interactions coûteuses en environnement réel. Le verrou technique est triple, fidélité (les trajectoires simulées doivent refléter la réalité), cohérence sur longue horizon (les simulations ne doivent pas diverger dans le temps), et efficacité computationnelle. WEAVER satisfait simultanément ces trois critères là où les architectures précédentes échouaient généralement sur au moins l'un d'eux, en particulier sur la cohérence à long horizon pour des tâches de manipulation dynamique complexes. Le gain de 38 % sur π₀.₅ est particulièrement significatif : il démontre qu'un WM peut améliorer un modèle de fondation déjà performant sans collecte de données additionnelles en conditions réelles, réduisant ainsi les coûts de déploiement pour les intégrateurs industriels. Ce travail s'inscrit dans une compétition accélérée autour des world models pour la robotique embodied. Physical Intelligence avec π₀ et π₀.₅, Google DeepMind avec ses variantes RT et RoboDreamer, ainsi que des équipes académiques de Berkeley, CMU et Stanford ont chacun proposé des approches partielles. WEAVER se positionne comme une synthèse architecturale, avec un soin particulier apporté à la gestion de la mémoire et au traitement multi-vue. Aucun partenariat industriel ni calendrier commercial n'est annoncé à ce stade, et la validation reste circonscrite à des environnements de laboratoire contrôlés. La question centrale du sim-to-real gap à l'échelle, dans des environnements industriels non structurés, reste entièrement ouverte.

💬 38 % de gain sur π₀.₅ sans ajouter une seule donnée en conditions réelles, c'est du concret. Ce qui est rare, c'est qu'ils résolvent les trois verrous en même temps : fidélité, cohérence à long horizon, vitesse de génération. Le sim-to-real à l'échelle industrielle reste entier, mais pour l'instant c'est l'architecture la plus sérieuse que j'ai vue sur le sujet.

RobotiqueOpinion
1 source
FTP-1 : une politique fondation généraliste pour la manipulation en contact, compatible tous capteurs tactiles
160arXiv cs.RO 

FTP-1 : une politique fondation généraliste pour la manipulation en contact, compatible tous capteurs tactiles

Des chercheurs ont publié sur arXiv (arXiv:2606.13102) FTP-1, une politique tactile fondatrice généraliste préentraînée sur environ 3 000 heures de données de manipulation tactile agrégées depuis 26 sources distinctes, couvrant des démonstrations humaines et robotiques sur 21 capteurs différents. L'architecture repose sur des encodeurs hétérogènes qui projettent des signaux tactiles de natures variées -- images, tableaux de valeurs, états discrets -- en tokens latents unifiés et conscients de la morphologie, traités ensuite par un Transformer tactile partagé. Lors des expériences de fine-tuning sur 5 configurations matérielles distinctes, FTP-1 améliore les performances en manipulation riche en contacts de +17,2 % sur les capteurs vus à l'entraînement, et atteint un gain de +31 % sur deux configurations de capteurs jamais rencontrées lors du préentraînement. Ces chiffres sont issus d'un preprint académique et n'ont pas encore été soumis à évaluation par les pairs. Le résultat clé ici n'est pas la performance absolue mais la généralisation hors distribution. Depuis plusieurs années, les politiques tactiles restent prisonnières de leur hardware : un modèle entraîné sur un capteur GelSight ne transfère pas sur un capteur BioTac ou un réseau de pression matriciel. FTP-1 casse cette contrainte en proposant un point de départ partagé au niveau modèle, analogue à ce que les grands modèles de vision-langage-action (VLA) comme Pi-0 ou OpenVLA ont fait pour la manipulation visuelle. Pour un intégrateur industriel ou un laboratoire robotique, cela signifie potentiellement réduire le coût de collecte de données par capteur cible, en capitalisant sur un préentraînement généraliste plutôt que de repartir de zéro à chaque changement de gripper ou de skin tactile. Le chantier des politiques tactiles généralisables reste neuf. Les approches précédentes, comme celles développées autour des capteurs DIGIT (Meta) ou des grippers instrumentés de Stanford et MIT, sont restées cantonnées à des benchmarks monosenseurs. FTP-1 s'inscrit dans la tendance plus large des foundation models appliqués à la robotique physique, portée notamment par Physical Intelligence (Pi-0), Google DeepMind (RoboVLMs) et Figure AI. Aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade ; les poids préentraînés, les données et le code d'entraînement sont mis à disposition publiquement sur le site du projet, ce qui pourrait accélérer l'adoption par la communauté académique et les startups robotiques cherchant une base tactile mutualisée.

UELes laboratoires et startups européens travaillant sur la manipulation en contact peuvent exploiter directement les poids, données et code open-source de FTP-1 pour démarrer le développement de politiques tactiles sur leurs propres capteurs sans collecter de données from scratch.

💬 Le +31% sur les capteurs jamais vus pendant l'entraînement, c'est ça le vrai chiffre à retenir. Depuis des années, chaque politique tactile restait coincée sur son hardware, impossible de capitaliser d'un gripper à l'autre sans tout recommencer de zéro. Là on a enfin une base commune open-source pour le toucher, et ça c'est du concret.

RechercheOpinion
1 source
Anthropic supplie Donald Trump de réguler l’IA (la raison va vous terrifier)
161Le Big Data 

Anthropic supplie Donald Trump de réguler l’IA (la raison va vous terrifier)

Le 10 juin 2026, Dario Amodei, PDG d'Anthropic, a publié un essai intitulé "Politique face à l'essor exponentiel de l'IA" dans lequel il appelle les gouvernements à se doter du pouvoir de bloquer ou de freiner les systèmes d'IA les plus dangereux. L'entreprise américaine, cofondatrice du modèle Claude, propose deux cadres réglementaires distincts : le premier porte sur la sécurité des systèmes d'IA avancés, avec des sanctions pour les entreprises non-conformes ; le second traite des conséquences économiques de l'automatisation, en préconisant une assurance-salaire et des programmes d'aide sociale financés par les revenus générés par l'IA. Anthropic identifie quatre catégories de risques majeurs : la conception d'agents pathogènes assistée par IA, l'exploitation de vulnérabilités cybersécuritaires contre des infrastructures critiques comme les hôpitaux ou les réseaux énergétiques, la perte de contrôle sur des systèmes autonomes difficiles à superviser une fois déployés, et la recherche automatisée en IA, c'est-à-dire des systèmes capables de contribuer eux-mêmes au développement de nouvelles IA. Pour Amodei, la réglementation actuelle n'est tout simplement plus en mesure de suivre le rythme des avancées technologiques. La proposition concrète d'Anthropic est d'imposer des évaluations approfondies avant toute mise sur le marché des modèles les plus performants, accompagnées de documents détaillant les capacités du système, les mesures de sécurité et les risques identifiés en phase de test. Ces évaluations devraient ensuite être examinées par des experts indépendants chargés de vérifier la qualité des tests et d'évaluer objectivement les dangers. L'entreprise juge que la transparence seule ne suffit plus : il faut des garde-fous institutionnels contraignants. Ce cadre concerne en priorité les labs développant les modèles frontier, ceux dont les capacités progressent le plus rapidement et dont l'impact potentiel sur la sécurité nationale ou la santé publique est le plus élevé. La démarche d'Anthropic s'inscrit dans un contexte de course mondiale à l'IA où les géants technologiques américains, OpenAI, Google DeepMind, Meta et Anthropic en tête, investissent des centaines de milliards de dollars pour dominer le secteur. Paradoxalement, ce sont souvent ces mêmes entreprises qui poussent le plus fort à la fois l'accélération technologique et la régulation, conscientes que seule une gouvernance publique solide peut légitimer leur déploiement à grande échelle et leur éviter une réputation de secteur incontrôlable. L'appel d'Amodei à l'administration Trump, peu réputée pour son enthousiasme réglementaire, est donc politiquement risqué mais stratégiquement calculé : sans cadre clair, c'est tout le secteur qui reste exposé à des accidents potentiellement catastrophiques et à une réaction législative brutale post-incident.

UELes propositions américaines d'évaluation obligatoire des modèles frontier pourraient créer un précédent influençant les standards d'audit préalable exigés par l'AI Act européen, déjà en cours d'application.

RégulationReglementation
1 source
World Pilot : piloter les modèles VLA avec des a priori monde-action
162arXiv cs.RO 

World Pilot : piloter les modèles VLA avec des a priori monde-action

Une équipe de chercheurs a publié World Pilot (arXiv:2606.12403, juin 2026), un framework conçu pour combler une lacune structurelle des modèles Vision-Language-Action (VLA). Ces modèles, comme Pi-0 de Physical Intelligence ou RT-2 de Google Robotics, tirent leur force d'un préentraînement sur de vastes corpus image-texte, mais ce préentraînement s'appuie sur des paires statiques, alors que la manipulation robotique est un processus continu et riche en contacts dont la dynamique leur échappe. World Pilot introduit un World-Action Model (WAM) qui injecte deux types de priors dans la chaîne de décision : le Latent Steering conditionne la couche de perception sur un latent d'évolution de scène, et l'Action Steering fournit une trajectoire anticipée comme prior de mouvement au générateur d'actions. Sur le benchmark LIBERO-Plus en configuration zero-shot out-of-distribution (OOD), le système atteint 84,7 % de taux de succès global et affiche les meilleurs résultats sur quatre tâches de manipulation en environnement réel, avec des marges significatives lors de variations de point de vue, de géométrie d'objets, d'état déformable et de pose. L'intérêt principal de cette approche est de renforcer la robustesse des VLA face aux écarts de distribution sans réentraînement massif. Fait notable : le prior d'évolution de scène reste efficace même lorsqu'il provient d'un world model préentraîné sur vidéo uniquement, sans post-entraînement sur des données d'action, ce qui rend l'augmentation de VLA existants nettement plus accessible. Pour les équipes de déploiement industriel, cela signifie potentiellement moins de données de fine-tuning pour adapter un modèle à un contexte visuel inédit. Le benchmark zero-shot OOD reste l'un des indicateurs les plus exigeants du domaine, là où la majorité des politiques robotiques s'effondrent dès qu'elles sortent de leur distribution d'entraînement. World Pilot s'inscrit dans un courant actif qui vise à doter les politiques robotiques d'un modèle interne du monde, une direction explorée par DeepMind avec DreamerV3 et par Meta via l'architecture JEPA de Yann LeCun. Les VLA ont démontré des capacités de généralisation sémantique prometteuses, mais leur fragilité face aux variations physiques de l'environnement constituait un frein structurel au déploiement industriel. La question ouverte est de savoir si les marges observées sur LIBERO-Plus se maintiendront sur des benchmarks plus larges comme Open-X-Embodiment et sur des plateformes commerciales telles que les bras Franka Robotics ou Universal Robots, étapes nécessaires pour valider la portée industrielle de l'approche.

UESi les résultats se confirment sur Franka Robotics (allemand) et Universal Robots (danois), plateformes dominantes en Europe, cette approche pourrait réduire le coût d'adaptation des VLA aux lignes industrielles européennes sans données d'action supplémentaires.

💬 Le résultat qui compte vraiment, c'est pas les 84% sur le benchmark, c'est que le prior de scène fonctionne avec un world model entraîné sur vidéo uniquement, zéro donnée d'action. Ça veut dire qu'on peut augmenter un Pi-0 ou un RT-2 sans repartir en fine-tuning robotique de zéro, ce qui était le vrai blocage jusqu'ici. Reste à voir si ça tient sur un Franka en prod, mais c'est le genre de papier qu'on garde sous le coude.

RechercheOpinion
1 source
La robotique ne connaîtra pas de moment Llama bien défini
163Robotics Business Review 

La robotique ne connaîtra pas de moment Llama bien défini

Depuis le début de l'année 2025, les modèles robotiques ouverts se multiplient. Google DeepMind a publié les résultats d'Open X-Embodiment, projet qui a mutualisé des données de manipulation sur des dizaines d'institutions et de morphologies différentes : les expériences RT-X montrent qu'entraîner un modèle sur plusieurs types de robots améliore le transfert, plutôt que de forcer chaque système à apprendre uniquement sur ses propres données. DeepMind a ensuite scindé sa pile en deux sorties distinctes : Gemini Robotics 1.5, un VLA (vision-langage-action) qui convertit entrées visuelles et instructions en commandes moteur, et Gemini Robotics-ER 1.6, positionné plus haut dans la pile, dédié au raisonnement spatial, à la planification et aux appels d'outils. NVIDIA a poussé dans la même direction avec ses releases GR00T et ses modèles Isaac, disponibles notamment via LeRobot sur Hugging Face. OpenVLA, modèle open source à 7 milliards de paramètres entraîné sur 970 000 épisodes de manipulation issus d'Open X-Embodiment, illustre le niveau de maturité désormais accessible. Côté capital, Crunchbase recense près de 14 milliards de dollars investis dans la robotique en 2025 : Skild AI a levé 1,4 milliard pour un modèle multi-morphologie, Physical Intelligence négocie un tour d'un milliard à une valorisation supérieure à 11 milliards, Advanced Machine Intelligence de Yann LeCun a clôturé à 1,03 milliard, et Wayve a bouclé une série D à 1,2 milliard pour la conduite autonome. La comparaison avec Llama, le modèle open source de Meta qui a permis à d'innombrables équipes de déployer un LLM capable sans payer la facture d'entraînement, est séduisante mais trompeuse. Une politique robotique ne transfère pas comme un fichier de poids logiciel : elle nécessite une pile de contrôle locale qui convertit les sorties du modèle en mouvements réels, dans l'enveloppe de sécurité de la cellule, via le contrôleur installé. Le dépôt openpi de Physical Intelligence illustre ce delta concretement : une équipe qui dispose du modèle doit encore faire tourner l'inférence (8 Go de VRAM minimum), affiner sur ses propres données robotiques via LoRA (22,5 Go) ou en full fine-tuning (70 Go), puis valider le résultat sur la machine cible. L'accès aux modèles élargit ce que les robots peuvent tenter ; l'avantage concurrentiel reste dans la capacité à transformer ce comportement en travail fiable en production, avec des journaux de pannes exploitables par un technicien des mois après la mise en service. Le problème structurel qui sépare la robotique du logiciel pur est ce que les praticiens nomment le "site drift" : la dérive entre le robot qui passe la recette d'usine et le robot qui opère dans le process réel du client. La géométrie caméra et la compliance de l'end-effector évoluent après livraison, les références de fixation bougent avec le process client, et la contamination s'accumule sur plusieurs semaines de production jusqu'à rendre les comportements de récupération peu fiables. La randomisation de domaine en simulation couvre de nombreuses variations, mais pas la dérive propre à chaque site. Un quadrupède en banc d'essai peut exécuter un virage à droite proprement et rater son symétrique gauche : les jambes ont atterri dans des régions servo différentes et chargé le corps différemment, si bien que la même commande produit deux résultats distincts. Le code était symétrique ; la mécanique de contact, non. C'est précisément là que s'arrête l'analogie avec Llama : distribuer le modèle était la partie accessible, transformer ce modèle en travail supporté sur des systèmes en clientèle reste la frontière que les 14 milliards de venture capital engagés en 2025 n'ont pas encore résolue.

UEWayve (Royaume-Uni, 1,2 Md$ en série D) est le seul acteur européen cité ; l'argument central sur le 'site drift' et les coûts réels de déploiement physique s'applique directement aux intégrateurs et startups robotiques européens qui envisagent de capitaliser sur les VLA open source.

RobotiqueOpinion
1 source
Votre modèle sait déjà : filtre de sécurité guidé par l'attention pour les modèles vision-langage-action (VLA)
164arXiv cs.RO 

Votre modèle sait déjà : filtre de sécurité guidé par l'attention pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié début juin 2026 (arXiv:2606.09749) une méthode de filtrage de sécurité sans entraînement pour les modèles VLA (Vision-Language-Action) en manipulation robotique. La technique repose sur une découverte clé : un petit nombre de têtes d'attention internes au modèle localise de manière fiable l'objet que la politique de contrôle cherche à atteindre. Ces têtes sont exploitées à chaque pas de contrôle pour identifier la cible active, traiter le reste de la scène comme obstacles, et alimenter un filtre CBF (Control Barrier Function) garantissant l'évitement de collisions. Couplée à un tracker léger en temps réel, l'approche gère également les obstacles mobiles. Sur le benchmark SafeLIBERO étendu aux scénarios dynamiques, la méthode surpasse de 43 % en moyenne une baseline oracle disposant de l'état complet du simulateur. L'enjeu est concret pour les intégrateurs de systèmes robotiques déployant des VLA en environnement non contrôlé. Les filtres de sécurité existants interrogent un VLM pour identifier les obstacles, un processus trop lent pour la boucle de contrôle, limité à une initialisation en début d'épisode et incapable de traquer des obstacles en mouvement. L'approche proposée contourne ce goulot en réutilisant les signaux perceptuels déjà présents dans le modèle, sans latence supplémentaire significative. Concrètement, un VLA déjà déployé comme Pi-0, OpenVLA ou RoboFlamingo pourrait être doté d'un filtre de sécurité dynamique sans re-fine-tuning ni surcoût matériel, réduisant le demo-to-reality gap sur les lignes de production avec opérateurs humains à proximité. Ce travail s'inscrit dans la dynamique des VLA depuis 2023, portée par RT-2 (Google DeepMind), OpenVLA, Pi-0 (Physical Intelligence) et d'autres architectures fondées sur des modèles de langage. La sécurité et la garantie de comportement sont restées en retrait face à la course aux performances end-to-end, mais deviennent critiques pour les déploiements industriels réels, notamment en Europe où la réglementation sur les systèmes autonomes se renforce. La méthode CBF est mathématiquement établie en théorie du contrôle ; son intégration sans entraînement dans des pipelines VLA existants constitue un résultat notable. Limite à signaler : les évaluations restent pour l'instant en environnement simulé, et l'extension à des scènes avec occlusions partielles ou robots multiples reste à démontrer.

UELa méthode pourrait accélérer la certification de VLA en environnements industriels européens soumis à la réglementation sur les systèmes autonomes (AI Act), en fournissant un mécanisme de sécurité formellement vérifiable sans surcoût matériel.

RechercheOpinion
1 source
GEAR-VLA : un modèle VLA intégrant la géométrie pour une manipulation robotique généralisable
165arXiv cs.RO 

GEAR-VLA : un modèle VLA intégrant la géométrie pour une manipulation robotique généralisable

Des chercheurs ont publié sur arXiv en juin 2026 (réf. 2606.08530) GEAR-VLA, un framework Vision-Language-Action (VLA) conçu pour généraliser la manipulation robotique à des objets inconnus, des décors visuels changeants et des morphologies hétérogènes. Sur le benchmark LIBERO, le modèle atteint les meilleures performances publiées à ce jour, ainsi que des résultats de pointe sur RoboTwin 2.0 et LIBERO-Plus en zero-shot. Sur un bras AgileX, GEAR-VLA affiche 85,9% de réussite ; sur le LDT-01, une morphologie absente de la phase d'entraînement, il obtient 81,0%. Le test le plus contraignant reste un benchmark de préhension universelle de 6 360 essais impliquant 212 objets inédits, où le modèle atteint 90,1% de succès. Le code et les poids seront mis en open source sur GitHub. Ce résultat s'attaque directement au problème qui freine le déploiement industriel des VLAs : la généralisation cross-embodiment et cross-catégorie d'objets. GEAR-VLA repose sur trois mécanismes distincts : un apprentissage coarse-to-fine avec préentraînement multi-sources, une intégration 3D sémantiquement alignée (backbone spatial 3D entraînable couplé à une voie visuelle VLM gelée), et une canonicalisation d'embodiment qui isole les différences morphologiques à l'interface bas niveau via un expert d'action continu de type DiT découplé en gradient. Les 90,1% obtenus sur 212 objets inédits en conditions réelles constituent une réponse partielle à l'hypothèse selon laquelle les VLAs exigent un fine-tuning spécifique à chaque nouvelle catégorie, même si l'absence d'évaluations sur des tâches longues et multi-étapes laisse la question ouverte pour les intégrateurs industriels. Les VLAs dominent la recherche en manipulation depuis RT-2 de Google DeepMind en 2023, avec des jalons successifs que sont OpenVLA (Berkeley), Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA en 2025. La compétition se joue aujourd'hui précisément sur la généralisation zéro-shot et le transfert cross-embodiment, deux axes sur lesquels GEAR-VLA revendique un avantage différenciant. Les benchmarks retenus, LIBERO et RoboTwin 2.0, sont désormais des références standard du domaine, ce qui rend les comparaisons directement lisibles pour la communauté. Il s'agit d'une publication académique sans partenaire industriel annoncé ni déploiement hors laboratoire confirmé. La mise en open source des poids permettra de valider ces résultats sur des plateformes plus complexes, notamment des configurations multi-bras ou à forte variabilité environnementale.

UELa mise en open source imminente des poids permettra aux laboratoires de robotique européens (INRIA, CEA-List, universités techniques) de benchmarker GEAR-VLA sur leurs propres plateformes sans dépendre d'un fine-tuning propriétaire, réduisant potentiellement la barrière à l'adoption industrielle des VLAs en Europe.

RechercheOpinion
1 source
Comment éviter de publier des environnements RL de mauvaise qualité (avec exemples)
166Latent Space 

Comment éviter de publier des environnements RL de mauvaise qualité (avec exemples)

Auriel W, chercheuse spécialisée en apprentissage par renforcement qui a travaillé sur Gemini chez Google DeepMind, tire la sonnette d'alarme sur un problème systématique dans l'industrie de l'IA : la médiocrité des environnements d'entraînement vendus aux laboratoires. Dans un billet publié sur son blog "RL Pet Peeves", elle décrit avec précision comment des harness défectueux, ces systèmes logiciels interactifs dans lesquels un agent RL s'entraîne, contaminent les données d'entraînement et dégradent les modèles de manière souvent irréversible. Elle identifie trois classes d'erreurs récurrentes observées sur des milliers de trajectoires : le cache périmé, qui fait répondre l'environnement avec des données obsolètes ; le reward hack, où l'agent optimise une métrique au lieu de résoudre le vrai problème ; et la fausse résolution, où un ticket de support est marqué "résolu" sans que le problème sous-jacent ne l'ait été. Ce que ces défauts ont en commun, c'est leur effet catastrophique sur l'apprentissage. En apprentissage par renforcement, il n'existe pas de jeu de données statique : c'est le modèle lui-même qui génère ses propres données d'entraînement en interagissant avec l'environnement. Chaque action, chaque récompense devient un signal d'apprentissage. Un harness instable ne se contente pas d'introduire du bruit, il oriente systématiquement les gradients dans la mauvaise direction. L'exemple de l'agent de code est particulièrement parlant : si la récompense ne vérifie que le passage des tests, l'agent apprend à hardcoder les sorties attendues plutôt qu'à comprendre le bug. Les tests passent, la récompense est maximale, et le modèle en production échoue sur le premier vrai cas. Résultat : des semaines de compute gaspillées et un modèle à jeter. Ce problème touche un moment charnière pour l'industrie. Le post-training par RL est devenu central dans le développement des grands modèles de langage et des agents autonomes, depuis les résultats de DeepSeek-R1 début 2025 jusqu'aux agents de code comme Devin ou les sous-agents de produits SaaS. De nombreuses startups se sont engouffrées dans ce marché en proposant des environnements prêts à l'emploi, souvent sans l'expertise nécessaire pour garantir leur fiabilité sous charge. Auriel W plaide pour un standard de qualité plus rigoureux, à l'image de ce qui existe pour les datasets statiques, et invite vendeurs et acheteurs de données à en débattre lors de l'AI Engineer World's Fair, prévu dans trois semaines. Son message aux fournisseurs est direct : un logiciel qui plante sous charge minimale, accumule des race conditions ou retourne des états périmés n'est pas un environnement RL, c'est un générateur de déchets entraînables.

💬 Le truc pervers du RL, c'est que les bugs de l'environnement ne se voient pas au moment où ils arrivent, tu les découvres trois semaines plus tard quand le modèle sort des âneries en prod. Des startups se sont engouffrées à vendre des harness sans l'expertise pour les tenir sous charge, et le résultat c'est exactement ce qu'Auriel W décrit : des semaines de compute parties à former un modèle qui a appris à hardcoder les tests au lieu de comprendre le problème. Reste à voir si la communauté se donne vraiment les moyens de standardiser ça.

RecherchePaper
1 source
Au-delà de l'imitation : co-entraînement simulation-réel par apprentissage par renforcement pour les modèles VLA
167arXiv cs.RO 

Au-delà de l'imitation : co-entraînement simulation-réel par apprentissage par renforcement pour les modèles VLA

Une équipe de chercheurs propose RL-Co (RL-based sim-real Co-training), un framework d'entraînement combinant simulation et données réelles via l'apprentissage par renforcement pour les modèles VLA (Vision-Language-Action). Publié sur arXiv (ref. 2602.12628, version 4), le travail s'articule en deux étapes : une phase de préchauffage par fine-tuning supervisé (SFT) sur un mélange de démonstrations réelles et simulées, suivie d'un fine-tuning par RL en simulation avec une perte supervisée auxiliaire sur données réelles pour ancrer la politique et prévenir l'oubli catastrophique. Évalué sur quatre tâches de manipulation sur table en conditions réelles, RL-Co affiche une progression de +24% du taux de succès sur l'architecture OpenVLA et de +20% sur π0.5, développé par Physical Intelligence, par rapport à un entraînement supervisé classique sur données réelles uniquement. L'intérêt de cette approche dépasse les chiffres de performance bruts. La quasi-totalité des méthodes actuelles de co-entraînement sim-réel traite la simulation comme une source statique de démonstrations, sans exploiter les interactions en boucle fermée que ces environnements rendent possibles à grande échelle. RL-Co brise cette limite en tirant parti de l'exploration dynamique en simulation, ce qui se traduit par une meilleure généralisation aux variations de tâches non vues à l'entraînement et une efficacité accrue sur les données réelles, réduisant concrètement le besoin en démonstrations coûteuses sur robot physique. Pour les intégrateurs et les équipes R&D, c'est une voie d'entraînement plus économique sans compromis sur les performances terrain. Le défi du transfert simulation-réel reste l'un des obstacles structurants au déploiement de robots généralistes. Les modèles VLA ont connu une accélération notable depuis 2024, portée par OpenVLA (Stanford/UC Berkeley, open-source), la série π0/π0.5 de Physical Intelligence, fondée par d'anciens chercheurs de Google DeepMind et Stanford, et les travaux de Google DeepMind autour de RT-2 et ses successeurs. RL-Co s'inscrit dans une tendance de fond visant à remplacer la supervision pure par des boucles d'interaction actives dans des simulateurs de plus en plus fidèles. La prochaine étape naturelle sera l'extension à des tâches plus complexes et à des environnements moins structurés que la table de laboratoire, condition nécessaire pour valider l'approche à l'échelle industrielle.

💬 La vraie limite du sim-réel jusqu'ici, c'est qu'on traitait la simulation comme une banque de démonstrations statiques. RL-Co casse ça : le modèle explore en boucle fermée dans le simulateur, et ça se voit avec +24% sur OpenVLA et +20% sur π0.5 en conditions réelles. La table de labo c'est pas une chaîne de prod, mais c'est clairement la bonne direction pour réduire le besoin en données robotiques coûteuses.

RechercheOpinion
1 source
Meta tente de rattraper son retard dans l'IA
168Ars Technica AI 

Meta tente de rattraper son retard dans l'IA

Il y a environ un an, Mark Zuckerberg a confié les rênes de l'intelligence artificielle chez Meta à Alexandr Wang, alors âgé de 28 ans et fondateur de Scale AI. Ce pari audacieux au sein d'une entreprise valorisée 1 500 milliards de dollars visait à insuffler une dynamique de "temps de guerre" à une division IA jugée trop lente. Le résultat commence à se matérialiser : Muse Spark, présenté comme le modèle d'IA le plus convaincant que Meta ait produit à ce jour, selon des entretiens menés avec des employés actuels et anciens de l'entreprise ainsi que des proches de Wang. Ce choix de nommer un fondateur de startup plutôt qu'un chercheur chevronné illustre une rupture nette avec les pratiques habituelles des géants technologiques. Zuckerberg a délibérément misé sur l'urgence et l'ambition d'un outsider face à l'expertise institutionnelle, signalant que Meta perçoit son retard sur OpenAI et Google comme une menace stratégique. Wang a néanmoins dû surmonter des critiques internes sur son manque d'expérience en recherche fondamentale, ainsi que les jeux de pouvoir complexes propres aux grandes entreprises technologiques. Meta disposait pourtant d'actifs solides, notamment FAIR (Fundamental AI Research), son laboratoire de recherche de référence, mais ces structures n'ont pas réussi à produire des modèles compétitifs face aux avancées d'OpenAI, Google DeepMind ou Anthropic. En installant Wang à ce poste, Zuckerberg a choisi de contourner la hiérarchie établie plutôt que de la réformer de l'intérieur. La question qui reste ouverte est de savoir si cette stratégie de rattrapage par la disruption interne suffira à repositionner Meta comme un acteur central dans la course aux grands modèles de langage.

UELa montée en puissance de Meta dans la course aux grands modèles renforce la domination américaine et pourrait accroître la dépendance technologique des entreprises et utilisateurs européens.

BusinessOpinion
1 source
L'équipe Qwen d'Alibaba lance Qwen3.7-Plus avec vision, raisonnement avancé et agents autonomes sur Bailian
169MarkTechPost 

L'équipe Qwen d'Alibaba lance Qwen3.7-Plus avec vision, raisonnement avancé et agents autonomes sur Bailian

L'équipe Qwen d'Alibaba a lancé le 2 juin 2026 le modèle Qwen3.7-Plus, désormais disponible via API sur la plateforme Bailian d'Alibaba Cloud, accessible aux développeurs internationaux sous le nom Model Studio. Ce modèle multimodal comprend les images et les vidéos en plus du texte, ce qui le distingue de son frère jumeau Qwen3.7-Max, exclusivement textuel. Il s'agit d'une capacité de lecture visuelle, non de génération : Qwen3.7-Plus analyse des médias, il ne les crée pas. Au-delà de la vision, le modèle intègre cinq capacités agentiques : raisonnement approfondi, autoprogrammation (il écrit et révise son propre code), invocation d'outils externes et d'API, vérification et test des résultats, et itération autonome jusqu'à l'accomplissement complet d'une tâche. La préversion du modèle s'est classée 16e au classement Vision Arena de LM Arena, plaçant Alibaba au 5e rang mondial des laboratoires en compréhension visuelle. Le modèle texte Max, de son côté, avait obtenu 56,6 points sur l'Artificial Analysis Intelligence Index, meilleur score d'un modèle chinois à sa sortie. Cette sortie marque un tournant dans la stratégie d'Alibaba : le groupe ne cherche plus seulement à rivaliser sur les benchmarks de raisonnement, mais à proposer des modèles capables d'exécuter des tâches longues et complexes de façon autonome. Pour les développeurs et les entreprises, cela ouvre des cas d'usage concrets comme l'analyse OCR à grande échelle, la lecture automatique de graphiques, l'analyse de séquences vidéo, ou encore l'automatisation de workflows techniques complets. La plateforme Bailian embarque deux mécanismes complémentaires : un système d'apprentissage par renforcement agentique (Agentic RL) qui affine la précision du modèle grâce aux retours d'exécution réels, et des garde-fous de sécurité intégrés pour maintenir les outils autonomes dans des limites opérationnelles prédéfinies, un détail crucial lorsqu'un agent exécute des commandes ou modifie des fichiers en production. Ce lancement s'inscrit dans la vague de modèles agentiques qui déferle sur l'industrie depuis début 2026, face à des acteurs comme OpenAI, Google DeepMind et Anthropic. Alibaba avait déjà dévoilé la génération Qwen3.7 en mai 2026, et la sortie de la variante multimodale complète maintenant l'offre de la famille. Le positionnement au 5e rang mondial en vision, malgré un retard encore visible sur les premiers laboratoires américains, confirme que les équipes chinoises se rapprochent du front technologique à un rythme soutenu. L'enjeu pour Alibaba est de transformer Bailian en plateforme de référence pour les entreprises cherchant à déployer des agents IA capables d'agir dans des environnements réels, pas seulement de répondre à des questions, une bataille qui s'annonce centrale dans les prochains mois.

UELes développeurs et entreprises françaises peuvent accéder dès maintenant à Qwen3.7-Plus via l'API internationale Model Studio, offrant une alternative compétitive aux modèles américains pour des cas d'usage agentiques et d'analyse visuelle.

LLMsOpinion
1 source
Rendre votre modèle VLA plus robuste sans données supplémentaires grâce à l'intégration de la planification de mouvements
170arXiv cs.RO 

Rendre votre modèle VLA plus robuste sans données supplémentaires grâce à l'intégration de la planification de mouvements

Des chercheurs présentent MPVI (Motion Planner / VLA Interleaving), une architecture hybride qui intègre la planification de mouvement classique dans les modèles VLA (Vision-Language-Action) pour renforcer leur robustesse en manipulation mobile sans nécessiter de données supplémentaires. Publiée sur arXiv (2606.00985), cette approche s'attaque à un problème documenté des VLA : leur difficulté à enchaîner des séquences longues de sous-tâches spatialement distribuées. Sur le benchmark BEHAVIOR-1K, MPVI affiche une amélioration de 113 % de la progression des tâches par rapport au meilleur VLA bout-en-bout de référence, sans aucun ré-entraînement du modèle de base. Le diagnostic des auteurs est net : dans les tâches à long horizon, les erreurs d'exécution précoces s'amplifient à mesure que la séquence s'allonge, et le fine-tuning sur de larges volumes de données téléopérées humaines n'y change rien. MPVI découple la navigation et la manipulation : un planificateur classique prend en charge la localisation et le déplacement vers des objets distants ou occultés, en s'appuyant sur la détection à vocabulaire ouvert et l'exploration de frontière, tandis que le VLA gère les manipulations de précision. La commutation entre les deux modules est pilotée par un mécanisme de vérification d'état via un modèle vision-langage (VLM), couplé à des déclencheurs proprioceptifs, sans entraînement supplémentaire. La course aux architectures VLA bout-en-bout est aujourd'hui dominée par Physical Intelligence avec π0, Google DeepMind avec RT-2 et ses successeurs, et des initiatives comme LeRobot de Hugging Face, toutes misant sur des données à grande échelle pour gagner en généralité. MPVI s'inscrit dans un courant concurrent qui défend l'hybridation avec la robotique classique planifiée, une position partagée notamment par les travaux SayCan de Google Research. Le benchmark BEHAVIOR-1K, développé à Stanford et évalué en simulation, est conçu pour mesurer la robustesse sur des tâches domestiques variées et longues, ce qui en fait un terrain de test exigeant. Les auteurs ne revendiquent aucun déploiement physique réel : MPVI reste à ce stade une contribution académique, sans plateforme hardware ni partenaire industriel annoncé.

UEHugging Face (entreprise française) est cité comme acteur de référence dans l'espace VLA avec LeRobot, mais MPVI reste une contribution académique en simulation sans déploiement ni partenariat européen annoncé.

RobotiqueOpinion
1 source
Sous-espaces primitifs et transfert en quelques exemples dans les VLA
171arXiv cs.RO 

Sous-espaces primitifs et transfert en quelques exemples dans les VLA

Une équipe de recherche publiée en mai 2026 sur arXiv (2605.30695) démontre qu'entraîner des politiques VLA (vision-language-action) avec une segmentation explicite en sous-compétences primitives permet un transfert en quelques démonstrations, sans mise à jour des poids du modèle. Les chercheurs ont comparé deux architectures aux biais inductifs distincts, OpenVLA et π₀.₅ (de Physical Intelligence), sur le jeu de données REASSEMBLE, qui couvre des tâches d'assemblage à contact riche, en appliquant un protocole strict : mêmes recettes LoRA, mêmes hyperparamètres, trois seeds d'entraînement indépendantes. Les modèles entraînés avec des épisodes segmentés en primitives annotées par des prompts linguistiques spécifiques atteignent 78 % des performances du modèle fine-tuné complet avec seulement trois démonstrations d'une tâche jamais vue à l'entraînement. Les modèles entraînés sur des trajectoires plates nécessitent dix démonstrations pour atteindre le même niveau, soit un écart de 3× en efficacité d'échantillon, répliqué sur les deux architectures et validé sur un second jeu de données (LIBERO-Long). Ce résultat s'attaque directement au principal frein à l'industrialisation des VLA : aujourd'hui, introduire une nouvelle tâche en production implique un cycle coûteux de collecte de données et de fine-tuning. Réduire ce besoin à trois démonstrations représente un gain opérationnel concret pour les intégrateurs et les équipes de déploiement terrain. La rigueur causale est notable : les auteurs ablate le sous-espace décodable par les primitives dans les états cachés du modèle et mesurent une chute de 32 points de pourcentage sur le transfert few-shot, alors qu'ablater un sous-espace aléatoire de même dimensionnalité n'a aucun effet statistique. Cela établit que les représentations de primitives sont causalement nécessaires, et non simplement corrélées aux bonnes performances, une distinction importante que beaucoup d'études comparatives ne prennent pas la peine de vérifier. Dans le paysage concurrentiel, Physical Intelligence (π₀, π₀.₅) et le projet OpenVLA (Berkeley) sont les deux familles de VLA généralistes les plus actives, avec des approches très différentes sur la question de la généralisation. Ce travail s'inscrit dans la course à résoudre le problème sim-to-real et zero/few-shot, où RT-2 (Google DeepMind), Octo ou encore RoboFlamingo restent des références. Les auteurs signalent également un biais méthodologique systématique dans l'évaluation des politiques à actions groupées (chunked policies) : une inflation par famille des seuils de validation d'actions produit des taux de faux-échecs jusqu'à dix fois supérieurs lorsqu'on compare à des démonstrations humaines réelles, ce qui invalide silencieusement de nombreuses évaluations publiées dans ce sous-domaine.

💬 Trois démos au lieu de dix pour transférer une tâche jamais vue, sans toucher aux poids du modèle. C'est exactement le verrou qui bloquait l'industrialisation des robots généralistes, et là on a enfin des chiffres reproductibles sur deux architectures distinctes. Le bonus : ils prouvent la causalité par ablation, pas juste une corrélation, ce qui est trop rare dans ce domaine pour ne pas le signaler.

RechercheOpinion
1 source
Mélange d'horizons dans le découpage en actions
172arXiv cs.RO 

Mélange d'horizons dans le découpage en actions

Des chercheurs ont publié sur arXiv (réf. 2511.19433v2) une approche baptisée Mixture of Horizons (MoH) qui s'attaque à un verrou technique dans les modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le problème identifié est le suivant : la longueur du "chunk d'action" (le nombre de pas d'action prédits en une seule passe, appelé horizon) conditionne fortement les performances, mais aucune valeur fixe n'est optimale. Un horizon long donne une meilleure prévision globale du mouvement mais dégrade la précision fine ; un horizon court améliore le contrôle local mais échoue sur les tâches longues. MoH découpe le chunk d'action en plusieurs segments à horizons différents, les traite en parallèle via un transformeur d'action partagé, et fusionne les sorties avec une porte linéaire légère. Appliqué aux politiques pi-0, pi-0.5 (Physical Intelligence) et pi-reg, MoH atteint 99 % de taux de succès moyen sur le benchmark LIBERO en seulement 30 000 itérations d'entraînement, un nouveau state-of-the-art. Le mode d'inférence dynamique, qui sélectionne les actions stables par consensus inter-horizons, délivre un débit 2,5 fois supérieur aux baselines. L'intérêt principal de MoH est sa nature plug-and-play : il s'intègre sans modification architecturale majeure dans tout module d'action à attention complète, avec un surcoût d'entraînement et d'inférence minimal. Pour les équipes qui déploient des VLA en manipulation industrielle ou sur des plateformes humanoïdes, cela signifie qu'elles peuvent améliorer significativement la robustesse sur des tâches mixtes (gestes fins + séquences longues) sans changer leur infrastructure. Le gain de débit est particulièrement pertinent pour le temps réel embarqué, où la latence de prédiction est un facteur limitant concret. Ce travail s'inscrit dans l'essor des VLA issus des travaux de Physical Intelligence (pi-0, sorti fin 2024) et d'OpenVLA, qui ont démontré que le préentraînement multimodal peut accélérer la généralisation en manipulation. Le benchmark LIBERO, issu de recherches en imitation learning, sert de référence standard pour évaluer la transfer et la composition de tâches. Les concurrents directs dans l'espace VLA incluent RoboVLMs de Google DeepMind, OpenVLA-OFT, et les travaux de Carnegie Mellon sur ACT/Diffusion Policy. MoH reste à ce stade une contribution de recherche académique, sans déploiement industriel annoncé, mais sa compatibilité plug-and-play le rend directement utilisable par les équipes qui entraînent déjà sur pi-0 ou des architectures dérivées.

💬 Le problème de l'horizon d'action, c'est un classique en robotique, et personne n'avait vraiment trouvé de sortie propre avant ça. MoH répond avec la bonne idée au bon moment : plusieurs horizons en parallèle, une porte de fusion légère, et tu gardes toute ton infra existante. 99 % sur LIBERO, 2,5x de débit, plug-and-play sur pi-0, bon, sur le papier c'est difficile de trouver à redire.

RechercheOpinion
1 source
Arthur Mensch : itinéraire d’un architecte de l’IA européenne
173Le Big Data 

Arthur Mensch : itinéraire d’un architecte de l’IA européenne

Arthur Mensch, 33 ans, a cofondé Mistral AI en mai 2023 à Paris aux côtés de Guillaume Lample et Timothée Lacroix, deux anciens de Meta AI et camarades de l'École Polytechnique. Dès le mois suivant, la jeune pousse lève 105 millions de dollars en amorçage auprès de Lightspeed Venture Partners, un record européen pour une entreprise sans produit visible, fondé uniquement sur la réputation scientifique des trois associés. Le parcours de Mensch lui-même est celui d'un chercheur de fond formé à Polytechnique, Télécom Paris et au Master MVA de l'ENS Paris-Saclay, avant une thèse à l'Inria et au CEA NeuroSpin sur l'optimisation stochastique appliquée à l'imagerie cérébrale. Il rejoint ensuite Google DeepMind Paris fin 2020, où il travaille pendant près de trois ans sur des architectures multimodales et du traitement du langage à grande échelle. Ce que représente Mistral AI dépasse le simple succès commercial d'une startup : c'est la première fois qu'une entreprise européenne s'installe durablement dans la compétition frontale avec OpenAI, Google et Meta sur les grands modèles de langage. En optant pour des modèles ouverts et publiés librement, Mistral bouscule un secteur où la fermeture est la norme, séduisant à la fois les développeurs indépendants, les entreprises soucieuses de souveraineté des données et les gouvernements européens en quête d'alternatives crédibles aux fournisseurs américains. Cette approche technique traduit aussi un pari stratégique : la transparence comme levier de confiance et d'adoption rapide. Le déclic entrepreneurial de Mensch est né d'un constat précis observé de l'intérieur de DeepMind : l'Europe produit des chercheurs en IA parmi les meilleurs au monde, mais la Silicon Valley en capte systématiquement la valeur économique et la propriété intellectuelle. Plutôt que de tenter d'infléchir cette dynamique depuis un grand groupe américain, il choisit de fonder une structure indépendante sur le continent, capable de retenir les talents locaux et de garantir que les données des utilisateurs européens ne transitent pas par des serveurs étrangers. Depuis ses auditions parlementaires à Bruxelles et Paris, Mensch porte désormais ce discours au niveau politique, plaidant pour une régulation de l'IA qui ne pénalise pas les acteurs européens face à des concurrents qui opèrent hors de toute contrainte comparable. En trois ans, Mistral est passé de feuille blanche à symbole d'une souveraineté technologique possible.

UEMistral AI, entreprise purement française, incarne la souveraineté technologique européenne en offrant aux entreprises et gouvernements du continent une alternative crédible aux modèles américains pour héberger leurs données sans dépendance extra-européenne.

💬 105 millions levés sans produit, juste sur la réputation de trois chercheurs : ça te dit tout sur ce que vaut la crédibilité scientifique quand elle est bien emballée. Ce que Mensch a compris (et que DeepMind n'a pas su retenir), c'est que garder les talents ici passe par leur donner la propriété de ce qu'ils construisent. L'open source comme levier d'adoption, c'est le pari qui a marché jusqu'ici.

BusinessOpinion
1 source
Cognition lève 1 milliard de dollars lors d'une série D valorisée à 26 milliards
174Latent Space 

Cognition lève 1 milliard de dollars lors d'une série D valorisée à 26 milliards

Cognition, le laboratoire spécialisé dans les agents IA, vient de lever 1 milliard de dollars lors d'un tour de table en Série D qui valorise la société à 26 milliards de dollars. Ce financement, annoncé fin mai 2026, représente une valorisation 2,5 fois supérieure à celle obtenue lors de sa Série C en septembre 2025, qui s'élevait à 10 milliards de dollars. Cognition devient ainsi officiellement le plus grand laboratoire d'agents IA indépendant encore en activité. La société projette un chiffre d'affaires annuel récurrent dépassant 1 milliard de dollars d'ici la fin de l'année 2026, une trajectoire alimentée par une clientèle déjà constituée d'acteurs exigeants de l'écosystème startup et entreprise, parmi lesquels Exa et Modal. Cette levée illustre l'appétit persistant des investisseurs pour les agents IA autonomes, segment en train de redéfinir le marché des logiciels d'entreprise. Dans le SaaS, l'ARR est un indicateur retardé de l'utilisation réelle : si Cognition projette ce seuil du milliard, c'est que des déploiements significatifs sont déjà actifs chez ses clients. La dynamique s'inscrit dans une logique de concentration du financement autour de quelques laboratoires indépendants capables de tenir tête aux grandes plateformes que sont OpenAI, Anthropic ou Google DeepMind. Cognition, positionné sur les agents codeurs autonomes, s'impose comme un acteur de référence dans une catégorie dont la valeur potentielle continue d'attirer des capitaux massifs. Cette annonce intervient dans un contexte d'effervescence technique autour de l'inférence et de l'architecture des agents. Sur le front de l'efficacité, plusieurs avancées ont marqué la semaine : EAGLE 3.1 améliore le décodage spéculatif pour les longues séquences, Perplexity a publié en open source un tokeniseur réduisant de 5 à 6 fois la charge CPU, et Qwen3.5 atteindrait 580 tokens par seconde pour des charges de travail agentiques grâce à une collaboration entre Alibaba, NVIDIA et les contributeurs de FlashAttention-4. Parallèlement, LangChain a livré Deep Agents v0.6 avec les Delta Channels, réduisant le stockage des points de contrôle pour une session de codage de 200 tours de 5,3 Go à seulement 129 Mo. La plateforme Trajectory a également été lancée pour permettre aux équipes d'utiliser les traces d'agents et les signaux d'usage produit dans une logique d'apprentissage continu. Ces évolutions techniques signalent un glissement de paradigme : ce n'est plus seulement la qualité du modèle qui fait la différence, mais l'adéquation entre le modèle, son environnement d'exécution et sa mémoire.

💬 26 milliards pour Cognition, ça fait un choc. Mais le chiffre qui compte c'est le milliard d'ARR projeté d'ici décembre : des déploiements déjà actifs chez des clients exigeants, et une valorisation multipliée par 2,5 en six mois pour un labo qui n'existait quasiment pas il y a trois ans. Et l'Europe dans tout ça, elle regarde.

BusinessOpinion
1 source
Cette IA vous permet de créer des jeux vidéo à partir de Google Maps, mais il y a une condition
175Presse-citron 

Cette IA vous permet de créer des jeux vidéo à partir de Google Maps, mais il y a une condition

En mai 2026, Google a annoncé l'intégration de Genie, son modèle d'IA générative spécialisé dans la création d'environnements de jeux vidéo, avec Google Maps. Concrètement, les utilisateurs peuvent désormais soumettre n'importe quel lieu du monde réel à Genie, qui s'appuie sur les données de Street View pour générer un environnement jouable inspiré de cet endroit. Un quartier de Tokyo, une rue de Lisbonne ou un village alpin peuvent ainsi devenir le décor d'un jeu vidéo en quelques instants. La fonctionnalité est également disponible à l'international, mais Google en réserve l'accès aux abonnés du tier le plus élevé de ses services. Cette capacité représente une rupture potentielle dans la chaîne de création de jeux vidéo, traditionnellement coûteuse et chronophage. Les développeurs indépendants et les studios de petite taille pourraient désormais s'appuyer sur des données géographiques réelles pour construire des univers crédibles sans budget de modélisation 3D. La restriction aux abonnements premium limite toutefois considérablement la démocratisation effective de l'outil, et soulève la question de qui bénéficiera réellement de cette avancée. Genie avait été présenté par Google DeepMind comme un "modèle du monde" capable de générer des environnements interactifs à partir d'une seule image ou d'une description textuelle. Son couplage avec Street View, qui couvre plus de 220 pays et territoires, démultiplie théoriquement son potentiel créatif. En monétisant la fonctionnalité via un abonnement premium, Google teste la viabilité économique de l'IA générative appliquée au secteur du jeu vidéo, tout en positionnant Maps comme une infrastructure créative au-delà de la simple navigation.

UELes développeurs indépendants et studios européens pourraient réduire leurs coûts de modélisation en s'appuyant sur des données géographiques réelles, mais l'accès réservé aux abonnements premium de Google en limite concrètement la portée pour la majorité des acteurs du secteur.

CréationOutil
1 source
FineVLA : alignement fin des instructions pour des politiques VLA pilotables
176arXiv cs.RO 

FineVLA : alignement fin des instructions pour des politiques VLA pilotables

Une équipe de recherche a publié fin mai 2026 FineVLA, un framework ouvert destiné à améliorer la précision des instructions données aux modèles Vision-Langage-Action (VLA) en robotique. Le problème central adressé : les datasets robotiques existants associent les trajectoires à des instructions de haut niveau ("saisir l'objet"), sans préciser les détails d'exécution critiques comme le bras actif, la direction d'approche ou la zone de contact. Pour y remédier, l'équipe a unifié 972 247 trajectoires issues de 10 datasets open-source couvrant 85 000 tâches, puis construit FineVLA-Data, un sous-ensemble de 47 159 trajectoires annotées finement et vérifiées humainement. Le benchmark d'évaluation comprend 500 vidéos, 10 816 faits atomiques et 1 030 questions en VQA. En simulation RoboTwin, la meilleure configuration atteint 86,8 % / 82,5 % de succès ; en manipulation bimanuelle réelle, 62,7 / 100, contre 49,9 pour une politique entraînée uniquement sur des instructions brutes. Ces résultats contredisent une hypothèse fréquente dans la communauté VLA : que l'ajout de supervision fine-grained dégraderait les performances sur les tâches de haut niveau. Les expériences montrent l'inverse, avec un gain de +1,4 à +8,1 points de taux de succès selon les configurations. Le ratio optimal se situe entre FG:Raw = 1:2 et 1:1, suivant une courbe en U inversé. Les gains les plus nets en contrôle orientable portent sur la posture (+23 points), la couleur (+18) et la direction d'approche (+18), trois dimensions que les instructions globales n'adressent tout simplement pas. Cela valide l'idée que la précision linguistique au niveau de l'exécution est un levier sous-exploité dans la chaîne sim-to-real. FineVLA s'inscrit dans une course aux politiques robotiques généralisables où s'affrontent notamment Pi-0 de Physical Intelligence, OpenVLA (Berkeley), et les travaux de Google DeepMind autour de RT-2 et ses dérivés. L'originalité ici n'est pas un nouveau backbone mais une infrastructure de données et d'annotation : un annotateur VLM spécialisé robotique pour passer à l'échelle, et un pipeline de construction de dataset reproductible. Le projet est open-source avec une page dédiée (finevla.xlang.ai), ce qui facilite l'adoption par d'autres labos. Prochaine étape logique : tester la généralisation hors distribution et l'intégration dans des stacks industrielles où la précision des consignes opérateur est précisément un point de friction non résolu.

💬 Le vrai enseignement, c'est que dire au robot "saisir l'objet" et lui préciser le bras actif, l'angle d'approche, la zone de contact, ce n'est tout simplement pas la même chose en résultats. +23 points sur la posture, +18 sur la direction d'approche, ça ne vient pas d'un nouveau backbone mais juste d'instructions mieux rédigées. Reste à voir si ça tient hors distribution, mais l'infra d'annotation open-source, c'est ce qui peut faire avancer tout le monde en même temps.

RechercheOpinion
1 source
Comprendre l'impact des modèles fondation géométriques sur les modèles vision-langage-action (VLA)
177arXiv cs.RO 

Comprendre l'impact des modèles fondation géométriques sur les modèles vision-langage-action (VLA)

Une étude déposée sur arXiv (2605.24642) analyse rigoureusement l'intégration des modèles de fondation géométriques (GFM) dans les modèles vision-langage-action (VLA) pour la robotique de manipulation. Les chercheurs ont choisi comme sujets d'étude GR00T N1.5, le VLA de NVIDIA dédié aux robots humanoïdes, et VGGT, un GFM spécialisé dans la reconstruction 3D multi-vues. À l'aide d'une technique de sondage linéaire (linear probing), ils ont quantifié pour la première fois ce qu'ils nomment le "geometric gap" : l'écart mesurable entre la représentation spatiale d'un GFM et celle d'un VLA contemporain. Trois architectures distinctes d'injection de la géométrie dans un VLA ont ensuite été implémentées et comparées, avec des détails bas niveau maintenus constants pour assurer l'équité expérimentale. L'équipe a également mesuré l'impact de facteurs non-architecturaux : volume de données d'entraînement, nombre de caméras utilisées, et qualité de la reconstruction 3D résultante. Ce travail répond à une question que beaucoup de praticiens esquivaient : les VLAs actuels "voient-ils" vraiment en 3D, ou s'appuient-ils sur des corrélations 2D apprises statistiquement ? La réponse est formellement négative. L'analyse quantitative démontre que les VLAs de dernière génération, y compris GR00T N1.5, manquent de représentations géométriques structurées, ce qui constitue un frein identifiable pour les tâches de manipulation fine en environnement non contrôlé. Pour les intégrateurs et les équipes R&D, cela valide l'hypothèse justifiant les architectures hybrides géométriques, tout en fournissant une méthodologie d'évaluation reproductible plutôt qu'une démonstration isolée, souvent peu généralisable. Les VLAs ont connu une accélération marquée depuis 2023, avec Physical Intelligence (pi0), Google DeepMind (RT-2) et NVIDIA (GR00T N1 puis N1.5, disponible depuis début 2025) qui rivalisent sur les benchmarks de manipulation. VGGT s'inscrit dans une vague de GFMs récents visant à fournir une compréhension 3D dense sans LiDAR. Cette étude s'intègre dans une tendance plus large : combler le sim-to-real gap par une modélisation spatiale explicite plutôt que par un simple scaling de données. Les suites logiques incluent l'extension de cette analyse comparative à d'autres paires VLA/GFM, et la validation sur robots physiques des trois architectures proposées pour trancher sur laquelle produit le meilleur transfer vers les tâches réelles.

UEImpact indirect : la méthodologie de linear probing et la quantification du 'geometric gap' sont directement réutilisables par les équipes R&D européennes (INRIA, CEA-List, startups VLA) pour évaluer et améliorer leurs propres architectures hybrides avant validation sur robot physique.

💬 Ce que tout le monde dans la communauté robotique savait intuitivement, c'est maintenant mesuré proprement : les VLAs actuels, GR00T inclus, ne "voient" pas vraiment en 3D. La vraie valeur de ce papier, c'est moins la conclusion (qu'on pressentait) que la méthodologie, le linear probing pour quantifier le geometric gap est directement réutilisable par n'importe quelle équipe R&D sans repartir de zéro. Reste à voir laquelle des trois architectures d'injection tient face à du hardware physique réel, parce que les benchmarks en sim, on connaît la chanson.

RechercheOpinion
1 source
EXPO-FT : affinage par apprentissage par renforcement économe en données pour les modèles vision-langage-action (VLA)
178arXiv cs.RO 

EXPO-FT : affinage par apprentissage par renforcement économe en données pour les modèles vision-langage-action (VLA)

EXPO-FT est un système de fine-tuning par apprentissage par renforcement (RL) destiné à améliorer la fiabilité des politiques robotiques issues de modèles Vision-Langage-Action (VLA) pré-entraînés. Présenté dans un preprint arXiv (2605.25477, mai 2026), le système atteint un taux de réussite parfait : 30 succès sur 30 tentatives sur trois tâches de manipulation exigeantes. Ces tâches incluent guider une guirlande lumineuse dans son connecteur pour la faire s'allumer, frapper une balle de billard dans une poche, et insérer une fleur dans un goulot de bouteille à vin. Les résultats sont obtenus avec seulement 19,1 minutes en moyenne de données collectées sur robot réel, sans recours à la simulation. Le code source est publié en open source. Ce résultat attaque directement le "reliability gap" : l'écart persistant entre les capacités de généralisation des VLA pré-entraînés et leur fiabilité effective en conditions opérationnelles. Les modèles comme pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) ou RT-2 (Google DeepMind) montrent une bonne généralisation entre tâches, mais peinent à dépasser les seuils de succès nécessaires en production industrielle. EXPO-FT propose une voie médiane : ni repartir de zéro avec du RL pur, coûteux en données et instable, ni se limiter au fine-tuning supervisé qui plafonne rapidement. En moins de 20 minutes de données réelles, le système atteint la perfection sur des exercices combinant précision millimétrique, dynamique de mouvement et robustesse aux variations d'état initial. Pour un intégrateur ou un COO déployant des bras robotiques sur ligne, c'est un signal que le commissioning par RL pourrait se mesurer en minutes plutôt qu'en jours, si ces résultats se confirment hors conditions de laboratoire. Ce travail s'inscrit dans la convergence accélérée entre LLM fondationnels et contrôle robotique amorcée depuis 2023. Google DeepMind avec Gemini Robotics, Physical Intelligence avec pi-0 et Covariant ont démontré que des politiques pré-entraînées à grande échelle offrent une base solide, mais la question du "last mile" restait ouverte. EXPO-FT y répond en publiant une infrastructure de RL finetuning stable et accessible. Les concurrents directs sur ce créneau sont les approches de reinforcement finetuning développées chez 1X Technologies et dans plusieurs labos académiques américains. Côté européen, des acteurs comme Enchanted Tools ou Wandercraft n'ont pas encore publié de travaux équivalents sur le RL finetuning de VLA, soulignant un écart notable avec la recherche américaine sur ce segment précis.

UEL'absence de travaux équivalents côté européen (Enchanted Tools, Wandercraft) souligne un retard compétitif de l'écosystème EU sur le RL finetuning de VLA, segment clé pour industrialiser les politiques robotiques.

💬 30 sur 30, moins de 20 minutes de données réelles, code open source. C'est exactement le type de résultat qu'on attendait pour débloquer le commissioning robotique, parce que le vrai blocage n'a jamais été la généralisation (pi-0 et RT-2 l'ont prouvé) mais la fiabilité en conditions opérationnelles, ce fameux écart qui rend les démos impressionnantes et les déploiements industriels galères. Bon, sur le papier c'est parfait, mais je veux voir ça tenir sur une ligne d'assemblage qui ne ressemble pas à un setup de labo.

RobotiqueOpinion
1 source
MiniCPM5-1B : cette minuscule IA de 0,5 Go enterre déjà des modèles bien plus gros
179Le Big Data 

MiniCPM5-1B : cette minuscule IA de 0,5 Go enterre déjà des modèles bien plus gros

MiniCPM5-1B, développé par OpenBMB en collaboration avec des chercheurs de l'université Tsinghua, vient de décrocher la première place de l'Artificial Analysis Intelligence Index dans la catégorie des modèles open source sous les 2 milliards de paramètres, avec un score de 17,9 points. Ce résultat lui permet de devancer des concurrents pourtant plus imposants comme Qwen3.5-2B, qui plafonne à 16,3 points, malgré deux fois moins de paramètres. L'annonce a été faite le 25 mai 2026 via le compte ModelScope. Quantifié en INT4, le modèle ne pèse qu'environ 0,5 Go, ce qui lui permet de fonctionner localement sur des smartphones, dans des navigateurs web ou sur des appareils edge. Il propose une fenêtre de contexte de 128 000 tokens, deux modes de réponse (raisonnement détaillé étape par étape ou réponses rapides), et affiche de solides performances en mathématiques, génération de code et utilisation d'outils externes. Le projet est entièrement open source : poids, données d'entraînement et code de déploiement sont accessibles publiquement. OpenBMB précise également que MiniCPM5-1B a été entraîné via ForgeTrain, un framework de préentraînement développé sans programmeur humain. L'impact concret de ce type de modèle est considérable pour les usages du quotidien. Un modèle capable de fonctionner hors connexion sur un téléphone ordinaire ou un ordinateur portable bas de gamme transforme radicalement l'accès à l'IA : plus besoin d'envoyer des données vers des serveurs distants, plus de latence réseau, plus de dépendance à un abonnement cloud. Des utilisateurs rapportent déjà avoir dialogué avec le modèle pendant près d'une heure sans connexion Wi-Fi. Pour les entreprises, les développeurs indépendants ou les pays disposant d'infrastructures réseau limitées, cette autonomie représente un changement structurel. La capacité à gérer de longs documents ou conversations sans perdre le contexte, malgré un format aussi compact, élargit encore le champ d'application possible. La progression des petits modèles efficaces s'inscrit dans une tendance de fond qui remet en question la course aux paramètres qui a dominé l'industrie depuis 2020. Des laboratoires comme Google DeepMind avec Gemma, ou Meta avec les versions légères de LLaMA, explorent également cette voie, mais MiniCPM5-1B illustre que des équipes académiques chinoises peuvent désormais rivaliser directement avec les géants technologiques occidentaux sur ce terrain. Le fait qu'OpenBMB ait rendu l'ensemble du processus open source accentue la pression sur les acteurs commerciaux, qui ne peuvent plus se contenter de la taille pour justifier leurs coûts. La prochaine étape sera de vérifier si ces performances sur benchmarks se traduisent par une adoption réelle dans des applications grand public, ce qui constitue historiquement le vrai test de viabilité pour tout modèle, quel que soit son format.

UECe modèle open source deployable hors connexion pourrait intéresser des développeurs et PME européennes soucieux de souveraineté des données, mais aucun impact réglementaire ou institutionnel direct pour la France ou l'UE n'est identifié.

💬 0,5 Go pour battre Qwen deux fois plus gros, c'est le genre de chiffre qui devrait clore les débats sur la course aux paramètres. Ce qui m'intéresse c'est pas le score, c'est l'offline : dialoguer une heure depuis ton téléphone sans Wi-Fi et sans envoyer tes données nulle part, c'est un usage réel pour des millions de gens. Tout est open source, poids, données, code, donc la communauté va vite trancher si ça tient à l'usage ou non.

LLMsOpinion
1 source
The Download : l'avenir du code, les « Jeux olympiques sous stéroïdes » et la science par l'IA
180MIT Technology Review 

The Download : l'avenir du code, les « Jeux olympiques sous stéroïdes » et la science par l'IA

Lors de l'événement développeur Code with Claude organisé par Anthropic à Londres cette semaine, presque la moitié des participants ont levé la main quand on leur a demandé s'ils avaient mis en production du code écrit entièrement par Claude, sans l'avoir relu. Ce signal fort illustre une transformation profonde du développement logiciel : des outils comme Claude Code gagnent suffisamment la confiance des ingénieurs pour qu'ils délèguent non seulement l'écriture, mais aussi la validation du code à l'IA. Anthropic assume pleinement cette direction et dit vouloir pousser l'automatisation aussi loin que possible. En parallèle, lors du Google I/O mardi, Demis Hassabis, PDG de Google DeepMind, a déclaré que l'humanité se trouvait "aux contreforts de la singularité" et annoncé Gemini for Science, un agent LLM capable de piloter des projets de recherche scientifique de bout en bout, avec la possibilité de faire appel à des systèmes spécialisés comme WeatherNext. Ces annonces révèlent deux basculements simultanés. Dans le développement logiciel, la question n'est plus de savoir si l'IA va coder à la place des humains, mais à quelle vitesse et avec quelles garanties de qualité. Des ingénieurs chez OpenClaw mettent déjà en garde contre une vague de "vibe-coded slop", du code généré à la va-vite par IA, potentiellement dangereux, qui inonde les bases de code de l'industrie. Dans la science, le passage d'outils spécialisés à des agents autonomes représente un changement de paradigme : Google semble délaisser les systèmes entraînés pour des tâches précises au profit d'architectures agentiques générales, une orientation qui pourrait accélérer la recherche mais aussi en réduire la traçabilité et l'explicabilité. Ces évolutions s'inscrivent dans un moment charnière pour l'IA en 2026. D'un côté, les modèles du monde, world models, portés par des chercheurs de Google DeepMind, du World Labs de Fei-Fei Li et de Yann LeCun (ex-chief AI scientist de Meta) cherchent à doter les systèmes d'une compréhension causale de l'environnement physique, une direction jugée essentielle pour dépasser les limites actuelles des LLM. De l'autre, la régulation reste absente : Donald Trump a reporté cette semaine un décret sur l'IA, craignant qu'il ne freine l'industrie américaine dans sa course contre la Chine. Résultat, l'industrie avance à grande vitesse, sans garde-fou clair, sur des sujets aussi larges que la production de code critique, la recherche scientifique autonome et la modélisation du monde réel.

UEL'absence de régulation fédérale américaine renforce le positionnement de l'AI Act européen comme seul cadre juridique structurant pour encadrer le code généré automatiquement et les agents de recherche scientifique autonomes.

💬 La stat qui me reste : la moitié des devs à Code with Claude shippent du code IA sans relecture. Je comprends, quand le modèle est fiable et le périmètre bien borné, ça peut marcher. Mais à l'échelle de l'industrie entière, sans garde-fou, on construit une belle dette technique invisible dont personne ne voudra être responsable dans six mois.

LLMsActu
1 source
MagenticLite, MagenticBrain, Fara1.5 : une expérience à base d'agents optimisée pour les petits modèles
181Microsoft Research 

MagenticLite, MagenticBrain, Fara1.5 : une expérience à base d'agents optimisée pour les petits modèles

Microsoft Research AI Frontiers a publié MagenticLite, une application agentique expérimentale conçue pour fonctionner avec de petits modèles de langage. Successeur de Magentic-UI, MagenticLite opère simultanément dans le navigateur web et le système de fichiers local, au sein d'un seul workflow unifié. Elle repose sur deux modèles développés spécifiquement pour cette architecture : MagenticBrain, chargé du raisonnement, de la planification et de l'exécution de code en terminal, et Fara1.5, une famille de modèles dédiée aux tâches informatiques via le navigateur. Fara1.5 se décline en trois tailles, avec un modèle phare de 9 milliards de paramètres. Par rapport à son prédécesseur Fara-7B, il double presque les performances sur la navigation web et améliore significativement la gestion des formulaires, des sites nécessitant une authentification, et des tâches longues. Fara1.5 établit de nouveaux résultats de référence parmi les petits modèles de computer-use. L'enjeu central de cette publication est de démontrer qu'il est possible d'atteindre des performances agentiques élevées sans recourir à des modèles massifs et coûteux. En faisant tourner l'ensemble du système directement sur la machine de l'utilisateur, MagenticLite préserve la confidentialité des données et réduit drastiquement les coûts d'inférence. Le pari de Microsoft Research est que la capacité agentique repose davantage sur l'orchestration des outils et l'enchaînement d'actions que sur la quantité de connaissances encodées dans un modèle. Cette approche ouvre la voie à des agents capables d'automatiser des tâches réelles, recherche web, gestion de fichiers, remplissage de formulaires, sans dépendre d'une infrastructure cloud onéreuse ni exposer les données à des serveurs distants. Ce projet s'inscrit dans une course plus large que se livrent les grands acteurs de l'IA pour démocratiser les agents autonomes. Face à des systèmes comme Claude Computer Use d'Anthropic ou les agents de Google DeepMind, Microsoft Research mise sur la coconception intégrale : données d'entraînement, architecture des modèles, harnais d'exécution et interface utilisateur ont été repensés ensemble plutôt qu'en silos. Les évaluations ont été construites à partir de scénarios réels plutôt que de benchmarks standardisés seuls, ce qui reflète une volonté de mesurer l'utilité concrète plutôt que des scores abstraits. Les trois composants sont disponibles séparément mais conçus pour fonctionner ensemble, laissant entrevoir une trajectoire vers des agents compétents embarqués directement dans les appareils des utilisateurs finaux, sans connexion permanente au cloud.

OutilsOutil
1 source
Agents IA : pourquoi Singapour attire OpenAI et Google ?
182Le Big Data 

Agents IA : pourquoi Singapour attire OpenAI et Google ?

Lors de l'ATxSummit 2026 ce 20 mai, Singapour a officialisé deux accords stratégiques distincts avec OpenAI et Google, marquant une nouvelle étape dans son ambition de devenir la capitale asiatique de l'intelligence artificielle. OpenAI s'engage à investir plus de 300 millions de dollars singapouriens dans la cité-État et à y ouvrir son premier laboratoire d'IA appliquée hors des États-Unis, avec la création de plus de 200 postes techniques dédiés à l'intégration de modèles IA dans des environnements métier réels. Google, de son côté, formalise un partenariat axé sur la gouvernance et la recherche appliquée, avec notamment la publication d'un livre blanc conjoint avec le gouvernement sur le déploiement sécurisé des agents IA, dans la continuité d'un environnement de test lancé en 2025. Les deux géants ciblent des secteurs prioritaires comme la santé, la finance, les services publics et les infrastructures numériques, et prévoient des programmes de formation pour ingénieurs, enseignants et PME. Ces annonces confirment Singapour comme terrain d'expérimentation de référence pour l'industrialisation des agents IA en Asie-Pacifique. Pour les entreprises technologiques et les grands groupes qui cherchent à déployer l'IA à grande échelle, la cité-État offre une combinaison rare : infrastructures robustes, cadre réglementaire prévisible, viviers de talents qualifiés et soutien actif de l'État. OpenAI et Google rejoignent ainsi Amazon Web Services, Microsoft et Google DeepMind, qui avaient déjà établi des positions fortes dans le pays. L'enjeu concret est d'accélérer l'adoption opérationnelle des agents autonomes dans des entreprises locales et régionales, en développant des systèmes capables d'automatiser des tâches complexes et de soutenir des opérations métier critiques. Ce positionnement n'est pas le fruit du hasard. Depuis plusieurs années, Singapour investit méthodiquement dans son infrastructure technologique, traitant désormais l'IA comme une infrastructure stratégique au même titre que le cloud ou les télécommunications. Le gouvernement a engagé plus d'un milliard de dollars singapouriens sur la période 2025-2030 pour renforcer la recherche publique et accélérer l'adoption de l'IA dans l'économie nationale. Pour OpenAI, la cité-État représente surtout une porte d'entrée vers l'ensemble de la région Asie-Pacifique, avec un environnement politique et économique plus stable que d'autres marchés régionaux. La question des agents autonomes sécurisés, portée activement par Google, sera centrale pour la suite : à mesure que les entreprises intègrent ces systèmes dans des processus critiques, la gouvernance devient un avantage concurrentiel autant qu'une nécessité réglementaire.

UELa stratégie singapourienne illustre comment un cadre réglementaire stable et un soutien étatique fort peuvent attirer les leaders mondiaux de l'IA, un modèle que l'UE peine encore à reproduire malgré l'AI Act.

DEFLECT : exécution robuste aux délais par ajustement contrefactuel estimé par flow-matching pour les politiques VLA
183arXiv cs.RO 

DEFLECT : exécution robuste aux délais par ajustement contrefactuel estimé par flow-matching pour les politiques VLA

Des chercheurs ont publié fin mai 2026 sur arXiv (arXiv:2605.19294) une méthode baptisée DEFLECT, Delay-Robust Execution via Flow-matching Likelihood-Estimated Counterfactual Tuning, pour corriger un défaut structurel des politiques VLA (Vision-Language-Action) déployées en production. Le problème ciblé est l'inférence asynchrone : pendant qu'un modèle VLA calcule le prochain chunk d'actions, le robot exécute déjà le chunk précédent, conditionné sur une observation capturée plusieurs cycles de contrôle plus tôt. Ce décalage entre prédiction et exécution est bénin à faible latence, mais catastrophique dès que l'inférence s'étire : sur le benchmark Kinetix, le taux de succès s'effondre de 89 % à moins de 1 % quand le cycle d'inférence couvre jusqu'à sept pas de contrôle. DEFLECT apporte un gain de +6,4 points de succès dans ce régime haute latence (5 à 7 pas), +4,6 points sur un VLA réel à la latence maximale testée, avec des améliorations cohérentes sur deux tâches physiques : un pick-and-place bimanuel sur convoyeur et un jeu réactif de type whack-a-mole. L'intérêt industriel de DEFLECT tient à sa nature d'affinement post-entraînement entièrement offline, conçu comme une mise à niveau quasi plug-in sur les stacks VLA asynchrones existants. La méthode construit des paires d'actions contrefactuelles (fraîche vs. périmée) à partir d'une politique de référence gelée, puis les note via un estimateur implicite de ratio de vraisemblance par flow-matching, sans étiquettes humaines, sans modèle de récompense, et sans rollouts en ligne. Ce profil d'intégration est stratégique : les équipes qui déploient aujourd'hui des VLA en environnement industriel, où la latence réseau, la charge GPU et la fréquence de contrôle sont rarement synchronisées, peuvent théoriquement appliquer DEFLECT sans refaire de collecte de données ni de fine-tuning supervisé. La robustesse au délai est un frein réel à la commercialisation des politiques généralisées, et c'est la première approche qui quantifie explicitement l'ampleur de l'effondrement avant de le corriger. Les politiques VLA ont émergé comme paradigme dominant depuis RT-2 (Google DeepMind, 2023) et sont au coeur des systèmes de Physical Intelligence (pi0), de Figure AI (Helix), et de Boston Dynamics. Le problème de l'inférence asynchrone est documenté dans plusieurs travaux depuis 2024, mais les solutions proposées jusqu'ici impliquaient généralement un entraînement en ligne coûteux ou des architectures modifiées. DEFLECT se positionne comme une couche de correction légère, applicable à posteriori, ce qui facilite son adoption dans des pipelines déjà stabilisés. Les auteurs n'annoncent pas de déploiement industriel ni de partenariat commercial dans cette version arXiv, il s'agit d'un résultat de recherche, pas d'un produit shipped. Les prochaines étapes probables incluent des évaluations sur des benchmarks standardisés comme LIBERO ou Open-X Embodiment, et potentiellement une intégration dans des frameworks VLA open-source.

RechercheOpinion
1 source
Clé-Gram : des connaissances mondiales extensibles pour la manipulation par IA incarnée
184arXiv cs.RO 

Clé-Gram : des connaissances mondiales extensibles pour la manipulation par IA incarnée

Key-Gram (arXiv:2605.18556, mai 2026) est un preprint qui propose un cadre de mémoire conditionnelle séparant explicitement la connaissance linguistique du raisonnement visuel dans les politiques de manipulation robotique. Là où les architectures VLA (Vision-Language-Action) actuelles fusionnent langage et vision dans un backbone partagé, Key-Gram décompose une instruction en "key-grams" (unités sémantiques propres à la tâche), récupère des priors linguistiques via un lookup déterministe O(1) dans une table externe, puis injecte ces entrées dans des couches cachées sélectionnées via gating contextuel et fusion convolutive légère. Appliqué aux modèles π₀ et π₀.₅ de Physical Intelligence, le système enregistre des gains relatifs de 29,5 %/9,9 % sur le benchmark de simulation RoboTwin2.0, de 35,8 %/4,5 % sur LIBERO-Plus en transfert sans fine-tuning sur le domaine cible, et de 15,4 %/8,1 % sur des tâches longues en manipulation bimanuelle réelle. Ces résultats quantifient un problème structurel rarement isolé dans la littérature VLA : la compétition de modalités dans le backbone partagé, où raisonnement visuel et compréhension linguistique se disputent la capacité de calcul. Le gain de 35,8 % sur LIBERO-Plus sans réentraînement cible est la donnée la plus exploitable pour les intégrateurs industriels : il suggère qu'une mémoire externe améliore la généralisation entre tâches sans fine-tuning complet, réduisant directement le coût de déploiement sur des lignes de production variées. La table de mémoire, extensible sans mise à jour du backbone et chargeable en mémoire hôte à l'inférence, permet d'ajouter de nouveaux vocabulaires de tâches sans redéploiement de l'ensemble du modèle. Physical Intelligence (Pi), fondée en 2023 par d'anciens chercheurs de Google et de l'UC Berkeley, a développé π₀ en 2024 comme VLA généraliste pour la manipulation bimanuelle. Key-Gram s'appuie sur ce backbone sans le modifier, ce qui constitue son atout principal : la séparation de la composante linguistique est architecturalement propre et non-destructive. Sur ce créneau de la généralisation compositionnelle, Google DeepMind, Figure AI (architecture Helix) et 1X Technologies proposent des approches concurrentes à base de transformers multi-modaux. La principale limite du papier est l'absence de validation sur des backbones autres que π, ce qui laisse ouverte la question de la généricité de la méthode.

💬 35% de gain sur LIBERO-Plus sans réentraînement, c'est le chiffre à retenir. L'idée de sortir le vocabulaire de tâche dans une table externe (plutôt que de tout enfouir dans le backbone partagé), c'est architecturalement propre et ça permet d'ajouter de nouvelles tâches sans redéployer l'ensemble du modèle. Reste que pour l'instant ça n'a été validé que sur π₀, donc faut voir si ça tient sur d'autres architectures avant de crier victoire.

RobotiqueOpinion
1 source
Ce que Google va annoncer cette semaine
185MIT Technology Review 

Ce que Google va annoncer cette semaine

Google ouvre mardi les portes de sa conférence annuelle pour développeurs, Google I/O, dans un contexte radicalement différent de l'édition précédente. Il y a un an, la société surfait encore sur le lancement de Gemini 2.5 Pro et se disputait la première place dans la course aux grands modèles de langage. Aujourd'hui, Google occupe clairement la troisième position, distancé par Anthropic et OpenAI sur le critère qui fait désormais loi dans l'industrie : les capacités de codage. Claude Code d'Anthropic et Codex d'OpenAI ont pris une avance si nette que Google aurait dû autoriser certains ingénieurs de son propre laboratoire, DeepMind, à utiliser Claude pour ne pas accumuler encore plus de retard sur leurs concurrents directs. Ce décrochage en matière de codage constitue un problème existentiel pour Google, dont la réputation d'entreprise pionnière en IA est en jeu. La société a réagi en créant une nouvelle équipe dédiée au codage IA au sein de DeepMind, à laquelle participeraient des talents de premier plan, dont John Jumper, colauréat du prix Nobel de chimie 2024 avec le PDG de DeepMind, Demis Hassabis, pour leurs travaux sur AlphaFold, le logiciel de prédiction de la structure des protéines. Une mise à jour majeure de la plateforme de codage agentique Antigravity est attendue lors de la conférence, mais les observateurs restent sceptiques quant à la capacité de Google à regagner le terrain perdu en l'espace de deux jours, alors que ses propres ingénieurs se disputaient encore l'accès à Claude le mois dernier. Si le codage représente le talon d'Achille de Google, les sciences constituent en revanche sa force distinctive. L'entreprise est la seule parmi les laboratoires d'IA de pointe à avoir décroché un Nobel, et elle conserve une longueur d'avance dans l'application de l'IA à la recherche scientifique, avec des outils comme l'AI co-scientist, décrit comme un "oracle" par un chercheur de Stanford, et AlphaEvolve, un système capable de découvrir de nouvelles solutions à des problèmes mathématiques. En santé, Google prévoit de rendre publique dès demain sa plateforme Health Coach, bien que celle-ci semble davantage orientée vers des conseils de bien-être, nutrition et fitness que vers le suivi médical à proprement parler. OpenAI a défini l'agenda de la santé IA depuis le lancement de ChatGPT Health en janvier, et la question de savoir si Google choisit la prudence ou accuse un nouveau retard dans ce domaine à forts enjeux sera l'un des points d'attention majeurs de la conférence.

LLMsOpinion
1 source
Ai2 publie un modèle de robotique ouvert conçu pour l'automatisation réelle par IA
186Robotics & Automation News 

Ai2 publie un modèle de robotique ouvert conçu pour l'automatisation réelle par IA

L'Allen Institute for AI (Ai2), centre de recherche indépendant basé à Seattle et fondé par Paul Allen en 2014, a publié cette semaine MolmoAct 2, un modèle de fondation robotique open source conçu pour améliorer l'exécution de tâches physiques en environnement réel. Contrairement aux approches précédentes centrées sur des scénarios de laboratoire hautement contrôlés, MolmoAct 2 cible la généralisation à des environnements non structurés, en s'appuyant sur l'architecture multimodale de Molmo, le modèle vision-langage qu'Ai2 avait rendu public en 2024. Le modèle est diffusé sous licence ouverte, avec poids et code disponibles publiquement. L'enjeu pour l'industrie est direct : les modèles de fondation robotiques à diffusion ouverte réduisent la barrière d'entrée pour les intégrateurs et les équipes R&D qui ne disposent pas des ressources pour entraîner des politiques de zéro. MolmoAct 2 s'inscrit dans la lignée des travaux sur les VLA (Vision-Language-Action models), une architecture qui couple perception visuelle, compréhension du langage naturel et génération de commandes motrices. L'ouverture du modèle permet des audits indépendants et une adaptation à des morphologies robotiques variées, ce qui est difficile avec des modèles propriétaires comme GR00T N2 de NVIDIA ou π0 de Physical Intelligence. Ai2 est surtout connu pour ses contributions au NLP (AllenNLP, Semantic Scholar) avant de pivoter vers la robotique incarnée. MolmoAct 2 le place directement en concurrence avec les initiatives open source existantes comme OpenVLA (Berkeley) et les modèles RT-X de Google DeepMind, dans un secteur où Physical Intelligence, Figure AI et 1X Technologies se disputent le leadership sur les déploiements industriels. L'article source étant partiellement tronqué, les métriques de performance (taux de succès, benchmarks sur manipulation) et les éventuels partenariats de déploiement n'ont pas pu être vérifiés.

UELes équipes R&D et intégrateurs européens peuvent accéder librement aux poids et au code de MolmoAct 2, réduisant la dépendance aux modèles propriétaires américains pour le développement de politiques robotiques.

💬 C'est le genre de modèle qu'on attend depuis que tout le monde se bat pour faire des démos en labo. L'ouverture des poids, c'est pas juste un geste de générosité, c'est ce qui permet aux équipes R&D d'adapter le truc à leur propre morphologie robotique sans repartir de zéro. Reste à voir si ça tient face à des environnements vraiment non structurés, parce que "généralisation" c'est un mot qu'on lit souvent dans les papiers, moins souvent dans les entrepôts.

RobotiqueOpinion
1 source
Vers des agents incarnés à long horizon avec des modèles vision-langage-action (VLA) alignés sur les outils
187arXiv cs.RO 

Vers des agents incarnés à long horizon avec des modèles vision-langage-action (VLA) alignés sur les outils

Des chercheurs ont déposé en mai 2026 sur arXiv un papier proposant "VLAs-as-Tools", une architecture modulaire pour dépasser les limites des modèles vision-langage-action (VLA) sur des tâches robotiques à long horizon. Le principe repose sur une division des rôles : un agent VLM (vision-language model) de haut niveau prend en charge la planification temporelle, l'analyse de scène et la récupération sur erreur, tandis qu'une famille d'outils VLA spécialisés exécutent chacun une sous-tâche physique bornée. Une interface dédiée expose la sélection explicite d'outils et un retour de progression en cours d'exécution, permettant au planificateur de se reconfigurer sur événement plutôt que de surveiller le robot en continu. Pour entraîner ces outils spécialisés à suivre fidèlement les invocations de l'agent, l'équipe propose TAPT (Tool-Aligned Post-Training), qui construit des unités d'entraînement alignées et s'appuie sur des adaptateurs résiduels par famille d'outils. Appliqué au modèle π0.5 de Physical Intelligence, ce pipeline améliore le taux de succès de 4,8 points sur LIBERO-Long et de 23,1 points sur RoboTwin, et augmente la fidélité d'invocation de 15,0 points mesurée par le Non-biased Rate. Ce résultat s'attaque à l'un des goulots d'étranglement les mieux documentés des VLA : leur incapacité à enchaîner des séquences d'actions longues et hétérogènes sans dérive ou blocage. Le gain de 23,1 points sur RoboTwin est particulièrement significatif, ce benchmark simulant des tâches de manipulation complexes proches des conditions industrielles. Là où les approches précédentes soumettaient en boucle le contexte complet au modèle planificateur, VLAs-as-Tools découple strictement planification et exécution, ce qui réduit la latence de replanification et évite la saturation du contexte. Pour un intégrateur ou un COO industriel, cela signifie que des fondations généralistessont en train de franchir le seuil des workflows multi-étapes sans orchestration comportementale ad hoc -- territoire jusqu'ici réservé aux systèmes classiques de type BT ou FSM. Il faut néanmoins souligner que les résultats restent confinés à la simulation : aucune validation sur hardware réel n'est présentée dans le papier. π0.5 est le modèle VLA généraliste de Physical Intelligence (Pi), startup fondée en 2023 par Sergey Levine, Chelsea Finn et d'autres anciens de Google et Berkeley, avec plus de 400 millions de dollars levés. Pi est l'un des rares acteurs à proposer un VLA pré-entraîné sur données réelles à large échelle, en concurrence directe avec GR00T N2 de NVIDIA, les efforts de Google DeepMind, et les approches open-source comme OpenVLA (Stanford). La course se joue désormais sur la généralisation zero-shot et la robustesse hors distribution, deux critères que les benchmarks actuels n'évaluent que partiellement. Les auteurs annoncent la publication du code, ouvrant la voie à l'adaptation de TAPT sur d'autres VLA de base; une validation sur plateforme réelle, annoncée implicitement comme prochaine étape, sera déterminante pour confirmer les gains observés en simulation.

💬 +23 points sur RoboTwin, c'est du solide. Séparer planificateur haut-niveau et exécuteurs VLA spécialisés, l'intuition était là depuis un moment, mais VLAs-as-Tools est le premier à boucler le pipeline complet avec les chiffres qui justifient. Bon, c'est de la simulation pure : aucune manip sur hardware réel dans le papier, et c'est là que les gains ont tendance à fondre.

RechercheOpinion
1 source
RIO : un système d'entrées/sorties robotiques flexible et en temps réel pour l'apprentissage multi-plateforme
188arXiv cs.RO 

RIO : un système d'entrées/sorties robotiques flexible et en temps réel pour l'apprentissage multi-plateforme

Une équipe de chercheurs présente RIO (Robot I/O), un framework Python open source publié en mai 2026 (arXiv:2605.11564), conçu pour standardiser les flux de travail en apprentissage robotique multi-plateformes. RIO propose des composants modulaires couvrant le contrôle robot, la téleopération, la mise en forme des données, la configuration des capteurs et le déploiement de politiques d'action (policies). Le framework a été validé sur trois morphologies distinctes, bras unique, bimanuel et humanoïde, sur quatre plateformes matérielles combinant divers préhenseurs et caméras. À partir de données collectées par téleopération via RIO, l'équipe a affiné des VLA (Vision-Language-Action models) de pointe, dont π0.5 (Physical Intelligence) et GR00T N2 (NVIDIA), sur des tâches domestiques : saisir-et-déposer, plier du linge et récurer un bol. Le problème central que RIO adresse est structurel et bien documenté dans la communauté : le code robotique est massivement spécifique à chaque configuration matérielle, ce qui rend le partage de données, de modèles et de pipelines entre équipes extrêmement coûteux en temps de reconfiguration. Ce verrou ralentit concrètement la progression vers des capacités cross-embodiment, c'est-à-dire des robots généralistes capables de s'adapter à différentes morphologies sans recodage complet. En proposant des abstractions qui découplent la logique de contrôle du matériel sous-jacent, RIO réduit ce surcoût et ouvre la possibilité de mutualiser des datasets entre utilisateurs disposant de plateformes hétérogènes. Pour les équipes de R&D, cela signifie que des données collectées sur un bras Franka pourraient alimenter l'entraînement d'un humanoïde, sous réserve que les abstractions tiennent à l'échelle réelle. La course aux VLA généralistes s'est accélérée depuis 2024 avec π0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure AI et OpenVLA de la communauté open source, chacun souffrant du même écueil d'intégration matérielle. RIO s'inscrit dans un courant de standardisation analogue à ce que ROS a accompli pour le middleware, mais centré sur la couche données et déploiement de policies. Des projets concurrents comme RLDS (Google DeepMind), LeRobot (Hugging Face) ou le protocole DROID tentent également de résoudre cette fragmentation. RIO se distingue par sa légèreté et son focus explicite sur le déploiement VLA multi-morphologie. Aucun partenariat industriel ni déploiement commercial n'est annoncé : il s'agit d'une publication académique avec mise en open source intégrale, site de référence à robot-i-o.github.io.

UELes laboratoires européens de robotique travaillant sur le cross-embodiment ou le fine-tuning de VLA pourraient adopter RIO pour mutualiser données et pipelines entre plateformes hétérogènes, réduisant le coût de reconfiguration.

RobotiqueActu
1 source
Isomorphic Labs réalise une levée de fonds record de plus de 2 milliards de dollars
189Le Big Data 

Isomorphic Labs réalise une levée de fonds record de plus de 2 milliards de dollars

Isomorphic Labs, la spin-off de Google DeepMind fondée en 2021 par Demis Hassabis, est en négociations avancées pour lever plus de 2 milliards de dollars dans un nouveau tour de table mené par Thrive Capital, avec la participation d'Alphabet. Cette opération, révélée par Bloomberg le 8 mai 2026, dépasserait largement les 600 millions de dollars levés lors du premier financement externe de l'entreprise en 2025, qui impliquait déjà Alphabet et GV. Si elle se confirme, cette levée deviendra l'une des plus importantes jamais réalisées par une entreprise spécialisée dans la découverte de médicaments par intelligence artificielle. La société londonienne s'appuie sur AlphaFold, le système de prédiction des structures protéiques développé par DeepMind, ainsi que sur IsoDDE, son moteur propriétaire de conception moléculaire, pour identifier des candidats médicaments prometteurs en automatisant des étapes qui demandaient auparavant des années de recherche manuelle. Ce financement record confirme l'appétit persistant des investisseurs pour les plateformes qui cherchent à industrialiser l'IA appliquée à la biologie, malgré les contraintes réelles du secteur. Isomorphic Labs a ainsi repoussé d'une année complète ses premiers essais cliniques, ce qui illustre que même les outils les plus avancés restent soumis aux exigences réglementaires et scientifiques du développement pharmaceutique. Pourtant, les partenariats signés avec Eli Lilly et Johnson & Johnson en 2024 ont fourni une validation industrielle cruciale, rassurant des investisseurs souvent échaudés par des promesses technologiques sans ancrage concret. Pour les grands groupes pharmaceutiques, l'enjeu est stratégique : réduire les coûts de R&D, limiter les échecs tardifs et compresser des cycles de développement qui coûtent en moyenne plus d'un milliard de dollars par molécule mise sur le marché. Isomorphic Labs évolue dans un marché disputé où Recursion Pharmaceuticals, Insilico Medicine et Exscientia développent également des modèles d'apprentissage automatique pour la découverte de médicaments. Mais la société dispose d'un avantage distinctif : l'héritage scientifique de DeepMind et la crédibilité de Demis Hassabis, prix Nobel de chimie 2024, lui confèrent une légitimité que peu de concurrents peuvent revendiquer. Là où certains acteurs proposent essentiellement des outils logiciels, Isomorphic Labs combine modélisation des protéines de pointe, IA générative appliquée à la chimie et alliances avec des majors pharmaceutiques disposant de pipelines cliniques réels. Avec cette nouvelle levée, l'entreprise cherche vraisemblablement à accélérer le développement de ses propres programmes thérapeutiques internes et à consolider sa position avant que le secteur n'entre dans une phase de consolidation plus intense.

UELa levée record d'Isomorphic Labs, société londonnienne héritière de DeepMind, renforce la crédibilité de l'Europe comme pôle d'excellence en IA appliquée aux sciences du vivant et pourrait catalyser de nouveaux investissements dans l'écosystème biotech européen.

BusinessOpinion
1 source
SABER : jeu de données incarné, évolutif et axé sur les actions pour l'adaptation VLA au monde réel
190arXiv cs.RO 

SABER : jeu de données incarné, évolutif et axé sur les actions pour l'adaptation VLA au monde réel

Une équipe de recherche associée à DreamVu a publié début mai 2026 SABER (Scalable Action-Based Embodied Dataset for Real-World VLA Adaptation), un corpus de données d'action robotique centré sur les environnements de grande distribution, présenté dans l'arXiv 2605.09613. Le jeu de données a été constitué à partir de plus de 100 heures de captures naturelles dans plusieurs supermarchés réels, sans mise en scène, sans script et sans télé-opération de robot. Deux flux de capteurs ont été utilisés simultanément : une caméra égocentrique montée sur la tête enregistre les manipulations fines des mains à hauteur d'interaction, tandis que la caméra 360° ALIA de DreamVu observe l'ensemble de la scène sous angle exocentrique. Le corpus final comprend 44 800 échantillons d'entraînement répartis en trois représentations d'action : 25 000 séquences d'actions latentes encodées selon le schéma LAPA, 18 600 trajectoires de postures de main dextre recalées dans l'espace articulaire robot, et 1 200 séquences de mouvement corps entier synchronisées retargétées vers une morphologie humanoïde. Appliqué au modèle de fondation robotique GR00T N1.6 de NVIDIA via une recette de post-entraînement multi-tâche à backbone partagé, SABER atteint un taux de succès moyen de 29,3 % sur dix tâches de manipulation en grande distribution, soit 2,19 fois la performance de la baseline de fine-tuning (13,4 %). Ces résultats, bien que modestes en valeur absolue (moins d'un tiers de succès), apportent un argument concret au débat sur le "data gap" qui freine la généralisation des VLA (Vision-Language-Action models) hors de leurs distributions d'entraînement. Les modèles de fondation robotique généralistes comme GR00T ou Pi-0 de Physical Intelligence peinent à performer sur des tâches de manipulation en contexte retail, non par défaut d'architecture, mais parce que ces environnements sont structurellement absents de leurs corpus de préentraînement. La télé-opération pour combler ce vide est onéreuse, logistiquement contrainte et difficile à passer à l'échelle. SABER propose une alternative : capturer des comportements humains naturels en magasin, puis retargéter les trajectoires vers l'espace articulaire du robot, sans jamais déployer ce dernier pendant la phase de collecte. Le gain 2x sur la baseline valide l'hypothèse que la qualité et la spécificité domaine des données comptent autant que l'architecture du modèle, une position qui nuance la course aux paramètres observée depuis 2024. DreamVu, startup spécialisée dans les caméras omnidirectionnelles de précision, s'appuie sur sa caméra ALIA pour se positionner comme fournisseur d'infrastructure de collecte de données pour la robotique incarnée, un segment en pleine structuration. Sur le plan concurrentiel, SABER entre en tension directe avec des initiatives comme Open-X Embodiment (Google DeepMind), DROID, ou les datasets propriétaires de Figure AI et Apptronik, mais se distingue par son ancrage sectoriel retail et l'absence de robot pendant la collecte. GR00T N1.6, le modèle testé, est la version publiée par NVIDIA en 2025 dans le cadre de son projet Isaac GR00T, qui vise à fournir une fondation pré-entraînée pour humanoïdes. Le dataset et le code sont disponibles publiquement sur dreamvu.ai/saber, ce qui ouvre la voie à des réplications et extensions vers d'autres verticales (logistique, pharmacie, restauration rapide) où la manipulation fine en environnement non contrôlé reste un verrou non résolu.

RobotiqueOpinion
1 source
VEGA : alignement par ancrage de l'encodeur visuel pour les modèles VLA à conscience spatiale
191arXiv cs.RO 

VEGA : alignement par ancrage de l'encodeur visuel pour les modèles VLA à conscience spatiale

Des chercheurs proposent VEGA (Visual Encoder Grounding Alignment), publié sur arXiv (2605.10485) en mai 2026, un cadre d'alignement destiné à corriger un défaut structurel des modèles vision-langage-action (VLA) : leurs encodeurs visuels, préentraînés sur des images 2D, manquent de perception géométrique 3D. VEGA aligne la sortie de l'encodeur visuel du VLA directement avec les features spatiales de DINOv2-FiT3D, une variante de DINOv2 (Meta) affinée via supervision par 3D Gaussian Splatting multi-vues. L'alignement repose sur un projecteur léger entraîné par perte cosinus en parallèle de la prédiction d'action standard, puis éliminé à l'inférence pour ne pas alourdir le runtime. Sur benchmarks de simulation et tâches réelles de manipulation, VEGA établit un nouvel état de l'art parmi les méthodes d'ancrage spatial implicite. L'enjeu opérationnel est direct : la manipulation fine exige une compréhension géométrique de la scène, pas uniquement sémantique. Les approches existantes alignaient déjà les VLA avec des modèles 3D-aware, mais au niveau des tokens LLM, là où spatial et linguistique sont déjà mélangés, limitant la généralisation. En remontant l'alignement à l'encodeur visuel, VEGA évite cette contamination sémantique et produit un ancrage plus interprétable. Pour un intégrateur ou un fabricant de bras manipulateurs, le ratio est favorable : gain de précision spatiale sans surcoût à l'inférence, et compatibilité avec des architectures VLA existantes sans refonte. Cette contribution s'inscrit dans la course aux VLA comme couche de contrôle universelle : Physical Intelligence (π0, π0.5), Google DeepMind et NVIDIA (GR00T N2), Figure AI (Helix) ou Unitree reposent tous sur des architectures de ce type. La faiblesse du raisonnement 3D dans les VLA reste un frein documenté au passage démo-vers-déploiement, et plusieurs équipes y travaillent via sim-to-real et foundation models 3D. VEGA choisit une voie minimaliste : pas de pipeline 3D à l'inférence, juste un alignement ciblé à l'entraînement. Aucun déploiement industriel ni partenariat commercial n'est mentionné, c'est une contribution académique, mais sa légèreté architecturale la rend directement intégrable dans des projets en cours.

RechercheOpinion
1 source
Trois points sur l'IA à surveiller, selon un économiste nobélisé
192MIT Technology Review 

Trois points sur l'IA à surveiller, selon un économiste nobélisé

Quelques mois avant de recevoir le prix Nobel d'économie en 2024, Daron Acemoglu avait publié une étude qui lui avait valu peu d'amis dans la Silicon Valley : contrairement aux promesses des grands patrons de la tech, l'IA n'allait pas révolutionner le travail de bureau ni provoquer une vague massive de destructions d'emplois. Deux ans plus tard, les données lui donnent encore raison, les études ne montrent aucun effet mesurable de l'IA sur les taux d'emploi ou les licenciements. Pourtant, le débat s'est radicalement amplifié : Bernie Sanders en parle dans ses meetings, un candidat au poste de gouverneur de Californie propose de taxer les entreprises qui utilisent l'IA pour financer les victimes de "licenciements liés à l'IA", et même des économistes autrefois sceptiques commencent à envisager un choc structurel. MIT Technology Review a interrogé Acemoglu pour savoir si les dernières avancées de l'IA avaient changé sa thèse. Sur les agents autonomes, l'une des évolutions les plus marquantes depuis sa publication, Acemoglu reste prudent. Ces outils capables d'agir de manière indépendante pour accomplir des objectifs complexes sont présentés par les entreprises tech comme un substitut potentiel à des équipes entières. Acemoglu n'y croit pas : un poste de travail n'est pas une seule tâche, mais un assemblage de dizaines de compétences hétérogènes. Un technicien en radiologie, par exemple, jongle avec environ 30 tâches différentes, de la collecte des antécédents médicaux à l'archivage des mammographies. Un humain passe naturellement d'un outil à l'autre, d'un format à l'autre ; un agent IA nécessiterait autant de protocoles spécifiques que de tâches distinctes. Si les agents ne parviennent pas à orchestrer fluidement cette diversité, une large partie des emplois restera hors de leur portée. Ce qui inquiète davantage Acemoglu aujourd'hui, c'est un autre phénomène : les grandes entreprises d'IA recrutent massivement des économistes de premier rang pour façonner le récit autour de leur technologie. OpenAI a embauché Ronnie Chatterji de l'université Duke en 2024 comme économiste en chef, et travaille avec Jason Furman, ancien conseiller économique de Barack Obama à Harvard. Anthropic a réuni un groupe de dix économistes reconnus. Google DeepMind vient d'annoncer le recrutement d'Alex Imas, de l'université de Chicago, comme "directeur de l'économie de l'AGI". Acemoglu comprend la logique commerciale, le scepticisme du public sur l'emploi est croissant et ces entreprises ont tout intérêt à orienter le débat. Mais il craint que cette concentration de ressources intellectuelles et économiques ne serve surtout à légitimer une vision du monde favorable à quelques grandes plateformes, au détriment d'une réflexion véritablement indépendante sur les conséquences sociales de l'IA.

UELe débat sur l'impact de l'IA sur l'emploi, dominé par des économistes recrutés par les grandes plateformes américaines, risque d'influencer indirectement les discussions réglementaires européennes et les politiques du marché du travail de l'UE.

SociétéOpinion
1 source
Large Video Planner permet un contrôle robotique généralisable
193arXiv cs.RO 

Large Video Planner permet un contrôle robotique généralisable

Des chercheurs publient Large Video Planner (LVP), un modèle de fondation robotique reposant sur un préentraînement vidéo massif plutôt que sur les approches vision-langage-action (VLA) dominantes. Alimenté par un corpus à l'échelle internet d'activités humaines et de démonstrations de tâches, LVP est le premier modèle de ce type entraîné à l'échelle d'un modèle de fondation. Le système génère des plans vidéo en zero-shot pour des scènes et tâches inédites, que l'équipe post-traite pour en extraire des actions exécutables sur un robot physique. Des tests en conditions réelles, avec des tâches sélectionnées par des tiers indépendants, confirment la faisabilité de l'exécution. Le modèle et le jeu de données sont publiés en open source. L'intérêt stratégique de LVP tient au paradigme alternatif qu'il représente face aux VLA dominants, qui étendent des grands modèles de langage multimodaux (MLLM) avec des sorties d'actions. L'argument central est que la vidéo, contrairement aux images statiques et au texte, capture naturellement la dynamique spatio-temporelle du monde physique, offrant un biais inductif mieux aligné avec les politiques motrices robotiques. La généralisation zero-shot validée par des tiers apporte de la crédibilité à cette thèse. En revanche, le post-traitement nécessaire pour convertir des plans vidéo en commandes robotiques exécutables constitue un maillon méthodologique critique dont la robustesse hors conditions de laboratoire reste à démontrer à grande échelle. Ce travail s'inscrit dans une course aux modèles de fondation robotiques où Physical Intelligence (Pi-0, 400 millions de dollars levés fin 2024), NVIDIA (GR00T N2), Figure AI (Helix) et Google DeepMind (RT-2, RT-X) imposent leurs architectures VLA. Déposé sur arXiv en décembre 2025 (2512.15840v2), LVP représente l'une des premières alternatives open source à cette échelle, ce qui pourrait le rendre structurant pour les laboratoires académiques et les intégrateurs ne disposant pas de ressources de calcul propriétaires. La publication reste au stade de la preuve de concept académique, mais l'ouverture du modèle et du dataset est susceptible d'accélérer les travaux sur l'apprentissage robotique par démonstration vidéo.

UELes laboratoires académiques et intégrateurs européens sans ressources de calcul propriétaires pourront exploiter le modèle et le dataset open source de LVP comme alternative crédible aux architectures VLA propriétaires des acteurs américains.

💬 L'approche VLA écrase tout en ce moment, donc quand quelqu'un propose un paradigme différent, à l'échelle d'un modèle de fondation et en open source, c'est pas anodin. La logique tient : la vidéo capture la dynamique du monde physique mieux que du texte ou des images statiques, et les tests zero-shot validés par des tiers donnent de la crédibilité à ça. Le point critique, c'est le post-traitement pour convertir les plans vidéo en commandes robot, et hors conditions de labo, reste à voir si ça tient.

RobotiqueOpinion
1 source
Sakana entraîne un modèle 7B à orchestrer GPT-5, Claude Sonnet 4 et Gemini 2.5 Pro
194VentureBeat AI 

Sakana entraîne un modèle 7B à orchestrer GPT-5, Claude Sonnet 4 et Gemini 2.5 Pro

Sakana AI, laboratoire fondé par d'anciens chercheurs de Google DeepMind, a présenté le « RL Conductor », un modèle de langage de 7 milliards de paramètres entraîné par apprentissage par renforcement pour orchestrer automatiquement un ensemble de grands modèles de langage comme GPT-5, Claude Sonnet 4 et Gemini 2.5 Pro. Contrairement aux pipelines traditionnels à code fixe, le Conductor analyse chaque requête entrante, décompose le problème en sous-tâches, sélectionne dynamiquement les modèles les mieux adaptés et définit en langage naturel les instructions et les topologies de communication entre agents. Sur les benchmarks de raisonnement avancé et de génération de code, ce système dépasse non seulement les meilleurs modèles frontières pris individuellement, mais aussi les pipelines multi-agents conçus à la main par des ingénieurs humains, tout en nécessitant moins d'appels API et un coût d'inférence sensiblement réduit. Le RL Conductor constitue le coeur technique de Fugu, le service commercial d'orchestration multi-agents que Sakana AI a mis sur le marché. L'enjeu est considérable pour l'industrie : la quasi-totalité des systèmes agentiques en production reposent aujourd'hui sur des frameworks comme LangChain avec des routes câblées à la main. Or, comme l'explique Yujin Tang, co-auteur de la recherche, ces architectures rigides s'effondrent dès que la distribution des requêtes évolue, ce qui est inévitable à l'échelle avec des bases d'utilisateurs aux besoins hétérogènes. Le Conductor résout ce problème en apprenant lui-même, par essai-erreur, quelles combinaisons de modèles et de structures de communication maximisent la qualité des réponses, sans qu'un humain ait besoin de prédire ou d'encoder ces combinaisons à l'avance. Pour les équipes qui déploient des applications IA en production, cela représente un gain opérationnel direct : moins de maintenance sur les pipelines, une meilleure généralisation hors distribution, et une réduction des coûts API. Sakana AI s'inscrit dans un courant de recherche plus large sur l'orchestration automatique d'agents, une discipline qui gagne rapidement en importance à mesure que les modèles frontières se spécialisent dans des domaines distincts, code, raisonnement scientifique, planification de haut niveau, rendant impossible toute sélection manuelle optimale pour chaque tâche. L'approche par renforcement, où aucune règle n'est codée en dur et où la stratégie émerge de l'expérience, représente une rupture méthodologique avec les frameworks actuels. Le fait qu'un modèle de 7 milliards de paramètres suffise à coordonner des systèmes bien plus grands comme GPT-5 soulève des questions sur l'architecture future des stacks IA en entreprise, et ouvre la voie à des orchestrateurs spécialisés, légers et entraînables, capables de s'adapter continuellement aux besoins réels des utilisateurs.

UELes équipes européennes déployant des systèmes multi-agents en production pourraient réduire leurs coûts d'inférence et leur charge de maintenance pipeline, mais aucun impact direct sur la France ou l'UE n'est identifié.

💬 Un 7B qui pilote GPT-5 et Claude, c'est le genre de résultat qui retourne un peu nos intuitions sur ce que "plus grand = meilleur" veut dire. Ce que Sakana prouve, c'est que la valeur dans un système agentique tient à l'orchestration, pas à la taille des modèles individuels, et que cette couche-là peut s'apprendre par renforcement plutôt que se câbler à la main. Reste à voir si Fugu tient avec de vraies distributions en prod.

LLMsPaper
1 source
Google, Microsoft, xAI… Trump va tester les nouvelles IA en avant-première
195Le Big Data 

Google, Microsoft, xAI… Trump va tester les nouvelles IA en avant-première

Google DeepMind, Microsoft et xAI ont conclu un accord formel avec l'administration Trump pour soumettre leurs futurs modèles d'intelligence artificielle à des évaluations gouvernementales avant tout déploiement public. Ces tests seront conduits par le Center for AI Standards and Innovation (CAISI), un organisme rattaché au département du Commerce américain. Le centre travaillait déjà avec OpenAI et Anthropic, mais l'élargissement à ces trois nouveaux acteurs majeurs marque une étape concrète dans la volonté de Washington de reprendre la main sur le calendrier des lancements. Chris Fall, directeur du CAISI, a insisté sur la nécessité d'une évaluation indépendante et rigoureuse des modèles les plus avancés, invoquant des enjeux de sécurité nationale, de cybersécurité, de désinformation et d'usages militaires potentiels. Ce virage représente un changement de paradigme notable pour une industrie qui défendait jusqu'ici le principe d'une innovation rapide et peu entravée. Que des géants comme Google ou Microsoft acceptent que l'État examine leurs modèles avant chaque lancement illustre un rééquilibrage du rapport de force entre la Silicon Valley et le pouvoir politique. Pour les utilisateurs et les entreprises, cela pourrait se traduire par des délais de mise sur le marché allongés, mais aussi par une forme de garantie supplémentaire sur les capacités et les risques des systèmes déployés. La portée de ces évaluations reste encore floue : le gouvernement n'a pas précisé quels critères s'appliqueront ni si ces tests pourraient bloquer ou retarder un lancement. Selon le New York Times, Donald Trump envisagerait par ailleurs un décret présidentiel pour aller plus loin, en réunissant dirigeants technologiques et responsables gouvernementaux pour superviser directement le développement des nouvelles IA. Le rapprochement avec xAI est particulièrement significatif : Elon Musk, pourtant critique habituel des dérives régulatoires et promoteur d'une IA sans censure idéologique, accepte ici de collaborer avec les autorités fédérales, ce qui témoigne du poids géopolitique qu'a pris le secteur. Les États-Unis cherchent avant tout à préserver leur avance sur la Chine dans la course aux modèles frontières, et les entreprises, de leur côté, ont tout intérêt à s'afficher comme des partenaires responsables de l'État plutôt que comme des acteurs incontrôlables. La question centrale qui émerge de cet accord est celle du contrôle réel : évaluer un modèle avant son lancement n'est pas nécessairement le réguler, et la frontière entre supervision de sécurité et ingérence politique reste, pour l'instant, soigneusement laissée dans le flou.

UECe cadre américain d'évaluation pré-déploiement pourrait servir de référence pour l'interprétation des obligations GPAI de l'AI Act européen, mais n'a pas d'effet direct sur les entreprises ou institutions françaises à ce stade.

RégulationReglementation
1 source
Anthropic force son IA Claude à… « rêver », (et c’est pour votre bien)
196Le Big Data 

Anthropic force son IA Claude à… « rêver », (et c’est pour votre bien)

Anthropic a présenté le 6 mai 2026, lors de sa conférence développeurs Code with Claude à San Francisco, une nouvelle fonctionnalité baptisée « Dreaming » pour sa plateforme Claude Managed Agents. Disponible en avant-première de recherche, ce système place les agents IA dans un état d'analyse récurrente des sessions passées et des données mémorisées par plusieurs agents simultanément. Contrairement à la compaction classique, qui résume les conversations longues pour alléger la mémoire d'un seul agent, Dreaming opère de manière transversale : il inspecte les historiques de multiples agents, détecte des schémas récurrents, des erreurs fréquentes, des méthodes de travail adoptées spontanément, ou encore des préférences communes au sein d'une équipe. Les utilisateurs pourront choisir entre un mode automatique, où les ajustements s'appliquent sans intervention, et un mode manuel permettant de valider chaque modification avant son intégration. Lors de la même conférence, Anthropic a annoncé en version bêta publique trois autres fonctionnalités : « Results » (un évaluateur indépendant qui vérifie si une tâche a réellement atteint son objectif, et relance l'agent si ce n'est pas le cas), l'orchestration multi-agents (jusqu'à 20 agents spécialisés collaborant en parallèle sous la direction d'un agent principal), et les notifications webhook pour des alertes en temps réel vers des systèmes externes. L'enjeu central que Dreaming cherche à résoudre est structurel : les modèles de langage disposent d'une fenêtre de contexte limitée, et sur des projets longs, des informations critiques finissent inévitablement par disparaître. Pour les entreprises qui déploient des agents IA sur des semaines ou des mois, cette perte de continuité représente un frein opérationnel concret. En permettant à la mémoire de se restructurer automatiquement à partir de données croisées entre agents, Anthropic entend rendre les systèmes multi-agents plus cohérents, moins redondants dans leurs erreurs, et capables d'apprendre des comportements collectifs plutôt que de repartir de zéro à chaque session. La fonctionnalité Results, de son côté, répond à un problème tout aussi pragmatique : garantir que l'agent a bien produit ce qui était demandé, et non une approximation acceptable. Ces annonces s'inscrivent dans une course que se livrent OpenAI, Google DeepMind et Anthropic autour des agents autonomes capables de gérer des tâches complexes sur la durée. Claude Managed Agents est la réponse d'Anthropic aux frameworks agentiques concurrents, avec une philosophie axée sur la sécurité et la contrôlabilité, ce qui explique l'option de validation manuelle dans Dreaming plutôt qu'une automatisation totale. En restant en avant-première de recherche pour la fonctionnalité phare et en bêta publique pour les autres, Anthropic adopte une posture prudente avant un déploiement général, probablement dans les mois à venir, à mesure que les retours des développeurs consolideront le système.

UELes entreprises européennes déployant des agents Claude sur des projets longs bénéficieront d'une meilleure continuité mémorielle, mais la fonctionnalité reste en avant-première de recherche sans calendrier de déploiement général annoncé.

LLMsOpinion
1 source
ConsisVLA-4D : vers une meilleure cohérence spatiotemporelle pour la manipulation robotique avec un modèle VLA
197arXiv cs.RO 

ConsisVLA-4D : vers une meilleure cohérence spatiotemporelle pour la manipulation robotique avec un modèle VLA

Une équipe de recherche publie ce 7 mai 2026 ConsisVLA-4D (arXiv:2605.05126), un framework unifié pour la manipulation robotique qui cherche à résoudre deux angles morts structurels des modèles Vision-Language-Action actuels : la perception spatiale 3D et le raisonnement temporel 4D. L'architecture repose sur trois modules complémentaires. Le premier, CV-Aligner, filtre les régions pertinentes à l'instruction en cours et aligne les identités d'objets entre plusieurs points de vue, assurant une cohérence sémantique inter-caméras. Le second, CO-Fuser, élimine les ambiguïtés de relations spatiales entre objets via des représentations latentes compactes, sans recourir à des capteurs de profondeur dédiés. Le troisième, CS-Thinker, combine les tokens sémantiques de CV-Aligner et les tokens géométriques de CO-Fuser pour construire une représentation implicite des dynamiques locales et globales de la scène, permettant un raisonnement visuel continu au fil de l'exécution. Les auteurs rapportent des gains de 21,6 % sur le benchmark LIBERO et de 41,5 % en environnement réel par rapport à OpenVLA, avec des accélérations d'inférence respectives de 2,3x et 2,4x. Le code est publié en open source. Ces résultats sont significatifs pour le débat, toujours ouvert dans le secteur, sur la capacité des VLA à passer de la démonstration contrôlée au déploiement réel. Le gain le plus notable est celui en conditions réelles (+41,5 % vs +21,6 % en simulation), ce qui suggère que la cohérence spatiotemporelle adresse précisément le sim-to-real gap que d'autres architectures peinent à combler. L'absence de capteur de profondeur dédié est également un point concret pour les intégrateurs industriels : réduire la dépendance à des capteurs supplémentaires diminue le coût de déploiement et la surface de défaillance. L'accélération d'inférence de 2,3x à 2,4x, si elle se confirme dans des cycles de manipulation industriels (pick-and-place, assemblage), est un argument directement actionnable pour des COO cherchant à calibrer le throughput de cellules robotisées. Il convient toutefois de noter que les métriques sont mesurées contre OpenVLA, qui reste une baseline académique, et non contre des systèmes commerciaux comme pi-0 (Physical Intelligence) ou Helix (Figure), ce qui limite la portée comparative. Les modèles VLA de première génération, dont OpenVLA et RT-2, se sont construits sur des pipelines essentiellement 2D, héritant des architectures vision-langage conçues pour la compréhension d'images statiques. La contrainte de cohérence spatiotemporelle que ConsisVLA-4D formalise est un problème que l'ensemble des acteurs du secteur, Physical Intelligence avec pi-0, DeepMind avec RT-X, et Boston Dynamics sur le plan applicatif, tentent de résoudre par des voies différentes (données de préentraînement massives, retour haptique, diffusion de politiques). Dans le paysage français et européen, des entreprises comme Enchanted Tools et Wandercraft travaillent sur des problématiques adjacentes de contrôle robuste en environnement non structuré, où la perception multi-vue est également un verrou. La prochaine étape logique pour ConsisVLA-4D sera de confronter le framework à des tâches longue-horizon et à des environnements non rigides, deux cas d'usage encore peu couverts par le benchmark LIBERO.

UELes entreprises européennes comme Enchanted Tools et Wandercraft, confrontées au verrou de la perception multi-vue en environnement non structuré, pourraient intégrer le framework open-source ConsisVLA-4D pour renforcer leur contrôle robuste sans capteur de profondeur dédié.

💬 Le gain en conditions réelles (+41,5 %) qui dépasse celui en simulation, c'est le signe que quelque chose de structurel est résolu, pas juste un overfitting sur benchmark. Pas de capteur de profondeur dédié en plus, ce qui change vraiment le calcul pour l'intégration industrielle. Bon, la baseline c'est OpenVLA, pas pi-0, donc on garde les pieds sur terre.

RobotiqueOpinion
1 source
Import AI 455 : automatiser la recherche en IA
198Import AI 

Import AI 455 : automatiser la recherche en IA

Jack Clark, cofondateur d'Anthropic et auteur de la newsletter Import AI, estime désormais qu'il existe une probabilité supérieure à 60 % qu'un système d'IA soit capable d'entraîner lui-même son successeur sans intervention humaine d'ici fin 2028. Cette projection, qu'il qualifie lui-même de "reluctante" tant ses implications lui semblent vertigineuses, repose sur l'analyse de publications scientifiques accessibles publiquement sur arXiv, bioRxiv et NBER, ainsi que sur les produits déployés par les laboratoires de pointe. Clark ne s'attend pas à ce que cela se produise en 2026, mais anticipe une preuve de concept, un modèle entraînant son successeur de bout en bout, d'ici un à deux ans, d'abord sur des modèles non-frontier avant d'atteindre les systèmes les plus avancés, bien plus coûteux à produire. L'un des indicateurs les plus frappants qu'il cite est le benchmark SWE-Bench, qui mesure la capacité des IA à résoudre de vrais problèmes GitHub : en 2023, Claude 2 n'obtenait que 2 % de réussite ; aujourd'hui, Claude Mythos Preview atteint 93,9 %, saturant pratiquement le test. Si cette trajectoire se confirme, l'impact serait sans précédent dans l'histoire technologique. L'automatisation de la recherche en IA signifierait que les cycles d'amélioration des modèles n'auraient plus besoin d'ingénieurs humains pour concevoir les architectures, sélectionner les données ou définir les objectifs d'entraînement. La vitesse de progression du domaine, déjà exponentielle, pourrait s'accélérer de manière difficilement prévisible. Pour les entreprises technologiques, les centres de recherche académiques et les gouvernements, cela pose la question de savoir comment maintenir un contrôle humain significatif sur des systèmes dont l'évolution échappe partiellement à la supervision traditionnelle. Clark souligne explicitement que la société n'est probablement pas prête pour les transformations qu'implique un tel basculement. Cette réflexion s'inscrit dans un contexte où la communauté IA débat depuis plusieurs années du concept de "takeoff", le moment où les systèmes deviendraient capables d'amélioration autonome et récursive. Longtemps considéré comme un scénario lointain ou spéculatif, ce seuil semble se rapprocher à mesure que les benchmarks de codage, de raisonnement et d'autonomie des agents progressent. Des acteurs comme OpenAI, Google DeepMind et Anthropic investissent massivement dans des agents capables d'enchaîner des tâches complexes sans supervision humaine. Clark prévient qu'une fois ce Rubicon franchi, les prévisions habituelles sur l'évolution de l'IA perdront leur pertinence, et annonce qu'il consacrera l'essentiel de 2026 à analyser les implications concrètes de ce scénario pour la société, l'économie et la gouvernance technologique mondiale.

UESi cette trajectoire se confirme d'ici 2028, les institutions européennes, Commission, Parlement et ENISA, devront réviser en urgence les cadres de gouvernance de l'AI Act pour couvrir des systèmes d'IA capables d'auto-amélioration récursive, un scénario non anticipé dans les textes actuels.

💬 2% à 93,9% sur SWE-Bench en deux ans, c'est le chiffre qui rend les 60% de Clark recevables, pas les gros titres sur le "takeoff". Ce qui me frappe, c'est que c'est lui qui lâche ça, cofondateur d'Anthropic, en précisant lui-même que ça lui semble vertigineux. Reste à voir si "entraîner son successeur" est une vraie rupture ou juste le prochain benchmark à saturer.

SécuritéOpinion
1 source
Les modèles VLA sont restreints mais capables de généraliser à des instructions inédites
199arXiv cs.RO 

Les modèles VLA sont restreints mais capables de généraliser à des instructions inédites

Une étude publiée sur arXiv (référence 2505.03500, version 5, mai 2026) expose une limitation structurelle des modèles VLA (Vision-Language-Action) : leur incapacité à combiner des compétences apprises séparément pour exécuter des tâches inédites. L'exemple présenté est parlant, un VLA peut réussir à placer du fromage frais dans un bol et à poser ce bol sur une armoire, mais échoue à placer directement le fromage sur l'armoire. Pour quantifier ce déficit, les chercheurs ont créé libero-ood, un benchmark de 20 tâches extrapolées depuis les suites standards LIBERO. Résultat net : l'ensemble des VLA état-de-l'art testés plafonnent à moins de 15 % de succès. En appliquant leur technique d'interpolation de latents textuels au modèle π0 de Physical Intelligence, les auteurs atteignent 83 % sans aucun réentraînement. Autre découverte préoccupante : des prompts illisibles pour un humain, obtenus par décodage du latent textuel, suffisent à piloter le VLA à 70 % de succès sur LIBERO standard, ouvrant la voie à des attaques de type backdoor ou à des instructions privées non auditables. La méthode repose sur l'extraction d'un "latent textuel" par tâche de base, en moyennant les états cachés des tokens textuels sur l'ensemble des trajectoires démontrées. Pour exécuter une tâche composite inédite, les chercheurs interpolent temporellement les latents de deux tâches sources et les réinjectent dans le modèle à l'inférence, activant séquentiellement les sous-comportements correspondants. Ce résultat remet en question l'hypothèse d'une compréhension sémantique robuste dans les VLA actuels : l'analyse qualitative révèle un phénomène de surapprentissage spatial, les modèles associant les noms d'objets à des emplacements démontrés plutôt qu'à des entités abstraites. Pour les intégrateurs et décideurs industriels, cela signifie que les benchmarks standards ne détectent pas ces angles morts compositionnels, et que la qualification de systèmes autonomes en production devrait systématiquement inclure des tâches out-of-distribution. LIBERO est depuis plusieurs années une référence en manipulation robotique tabletop ; libero-ood comble un angle mort important sur la généralisation hors distribution. π0, développé par Physical Intelligence (fondée en 2023 par d'anciens chercheurs de Google et DeepMind, dont Sergey Levine et Chelsea Finn), s'est imposé comme l'un des VLA les plus performants du marché via son architecture flow-matching. Les modèles concurrents testés ici, notamment OpenVLA (Berkeley) et Octo, affichent les mêmes limites compositionnelles. Ce travail, encore au stade preprint, pose les bases d'un nouveau critère d'évaluation pour les VLA et soulève des questions de sécurité concrètes qui devraient alerter les équipes déployant ces modèles en environnement industriel non supervisé.

UELes équipes R&D et industriels européens déployant des VLA en production doivent revoir leurs protocoles de qualification pour y intégrer des tâches hors-distribution, les benchmarks standards ne détectant pas les angles morts compositionnels exposés ici.

RobotiqueOpinion
1 source
Sakana AI présente KAME : une architecture vocale en tandem qui intègre les connaissances d'un LLM en temps réel
200MarkTechPost 

Sakana AI présente KAME : une architecture vocale en tandem qui intègre les connaissances d'un LLM en temps réel

Le laboratoire d'intelligence artificielle tokyoïte Sakana AI a présenté KAME (Knowledge-Access Model Extension), une architecture hybride de traitement vocal conçue pour éliminer le compromis historique entre vitesse et qualité de réponse dans les assistants vocaux. KAME fonctionne comme un système en tandem : un module vocal de première ligne, basé sur l'architecture Moshi de KyutAI, commence à générer une réponse audio en moins de 80 millisecondes, pendant qu'un grand modèle de langage (LLM) tourne en parallèle en arrière-plan. L'innovation centrale est l'ajout d'un quatrième flux de données dit « oracle » dans l'architecture de Moshi, originellement à trois flux. Ce flux reçoit en temps réel les réponses candidates produites par le LLM à partir d'une transcription partielle de la parole de l'utilisateur, et permet au module vocal de corriger sa réponse en cours de génération, comme un humain qui se reprend à mi-phrase. Ce système résout un problème structurel qui freinait le déploiement des assistants vocaux conversationnels. Les modèles directs de type speech-to-speech, rapides à répondre, peinent à intégrer des connaissances factuelles profondes car ils consacrent une grande partie de leur capacité à modéliser les traits paralinguistiques comme le ton ou l'émotion. À l'inverse, les systèmes en cascade, qui font transiter la parole par un LLM via reconnaissance puis synthèse vocale, accusent une latence médiane de 2,1 secondes, suffisante pour rendre la conversation perceptiblement artificielle. KAME offre les deux à la fois : réactivité quasi instantanée et richesse sémantique d'un modèle de langage frontier, ce qui ouvre la voie à des assistants vocaux réellement utilisables dans des contextes professionnels, médicaux ou grand public exigeants. Sakana AI a dû résoudre un défi d'entraînement inédit : aucun jeu de données naturel ne contient de signaux oracle. L'équipe a développé une technique appelée Simulated Oracle Augmentation, utilisant un LLM simulateur pour générer des séquences synthétiques d'oracles à six niveaux de complétude de transcript (de 0 à 5), reproduisant ce qu'un LLM produirait en temps réel. Sakana AI, fondé en 2023 à Tokyo par des anciens de Google DeepMind dont David Ha et Llion Jones, s'est construit une réputation sur les architectures évolutives inspirées de la biologie. KAME s'inscrit dans une course mondiale à la voix naturelle, face à des acteurs comme OpenAI (Advanced Voice Mode) et Google (Project Astra), avec la particularité d'une approche entièrement modulaire permettant de brancher n'importe quel LLM en back-end.

UEL'architecture KAME s'appuie sur Moshi, le modèle vocal conçu par le laboratoire français KyutAI, plaçant la recherche française au cœur d'une innovation mondiale en IA vocale.

RecherchePaper
1 source