Aller au contenu principal
Genie Sim PanoRecon : génération rapide de scènes immersives à partir d'un panorama en vue unique
RecherchearXiv cs.RO · 1 min de lecture

Genie Sim PanoRecon : génération rapide de scènes immersives à partir d'un panorama en vue unique

Source originale ↗·

Des chercheurs d'AgibotTech ont publié sur arXiv un système baptisé Genie Sim PanoRecon, capable de reconstruire des scènes 3D photoréalistes à partir d'une seule image panoramique en quelques secondes. La méthode repose sur le Gaussian splatting, une technique de représentation 3D par nuages de points gaussiens. Concrètement, le panorama d'entrée est décomposé en six faces d'une carte cubique non superposées, traitées en parallèle puis réassemblées de façon cohérente. Pour garantir la cohérence géométrique entre les différentes vues, l'équipe a développé une stratégie de fusion guidée par la profondeur, couplée à un module d'injection de profondeur sans entraînement supplémentaire, qui oriente le réseau monoculaire vers la génération de Gaussiens 3D cohérents. Le système a été intégré directement dans Genie Sim, une plateforme de simulation pilotée par LLM dédiée à la génération de données synthétiques pour l'IA incarnée.

L'enjeu central est de réduire drastiquement le coût et le temps de création d'environnements 3D pour entraîner des robots à la manipulation d'objets. Là où la construction manuelle d'une scène 3D réaliste peut prendre des heures ou des jours, PanoRecon le fait en quelques secondes à partir d'une simple photo panoramique. Pour les équipes de robotique, cela ouvre la voie à une génération massive et automatisée de scènes d'entraînement variées, ce qui est un verrou majeur dans le développement de robots polyvalents capables de generaliser à des environnements nouveaux.

Le contexte est celui de la course à la simulation photorealiste pour l'IA incarnée (embodied AI), un champ où des acteurs comme NVIDIA, Google DeepMind et des startups chinoises investissent massivement pour combler le fossé entre simulation et monde réel. AgibotTech s'inscrit dans cette dynamique en combinant la puissance des LLM pour piloter la simulation et une reconstruction 3D rapide pour fournir des décors crédibles. Le code source est disponible sur GitHub, ce qui suggère une volonté de fédérer une communauté autour de Genie Sim comme standard ouvert pour la génération de données robotiques synthétiques.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

« IA sans environnement : génération de données synthétiques pour agents d'appel API »
1Apple Machine Learning 

« IA sans environnement : génération de données synthétiques pour agents d'appel API »

Voici l'article traduit et résumé : L'entraînement d'agents basés sur des grands modèles de langage (LLM) capables d'appeler des API nécessite d'énormes volumes de trajectoires d'interaction de haute qualité. Jusqu'à présent, la collecte de ces données à grande échelle imposait de disposer d'environnements entièrement fonctionnels, avec des API exécutables et des bases de données backend réalistes et pré-remplies, un obstacle majeur qui limitait fortement la scalabilité du processus. Pour contourner cette contrainte, une équipe de recherche propose une nouvelle approche de génération de données synthétiques ne nécessitant aucun environnement réel, en exploitant les LLM eux-mêmes comme des modèles du monde numérique générés à la volée. En ne partant que des spécifications des API, sans backend ni base de données préexistante, la méthode produit des trajectoires simulant fidèlement les interactions entre un agent et un environnement à état, c'est-à-dire un système qui évolue et garde en mémoire les effets des actions précédentes. Cette avancée change potentiellement la donne pour le développement d'agents IA capables d'utiliser des outils et des API externes, une capacité de plus en plus centrale dans les architectures d'agents autonomes. En supprimant le besoin de construire et maintenir des environnements de test complexes et coûteux, cette méthode pourrait considérablement réduire le temps et les ressources nécessaires pour entraîner de tels agents, tout en permettant de générer des données d'entraînement plus diversifiées et à moindre coût. Pour les équipes de recherche et les entreprises qui développent des assistants IA orientés action, cela représente un gain potentiel important en termes de rapidité de développement et de couverture des cas d'usage. Le goulot d'étranglement identifié par les auteurs, la nécessité de bases de données backend réalistes pour chaque scénario testé, est un frein connu dans le domaine de l'entraînement d'agents IA, où la qualité des données d'apprentissage détermine directement la fiabilité des systèmes déployés en production. Cette approche s'inscrit dans une tendance plus large consistant à utiliser les LLM non seulement comme agents mais aussi comme simulateurs de leur propre environnement d'entraînement, une piste qui pourrait s'étendre à d'autres domaines nécessitant des données d'interaction complexes, comme la navigation web ou l'automatisation de tâches multi-étapes.

RecherchePaper
1 source
L'IA aide les scientifiques à concevoir la prochaine génération de médicaments
2MIT Technology Review 

L'IA aide les scientifiques à concevoir la prochaine génération de médicaments

AstraZeneca généralise l'intelligence artificielle à l'ensemble de son processus de conception de médicaments biologiques, ces thérapies fabriquées à partir de protéines modifiées plutôt que par synthèse chimique, utilisées pour traiter la plupart des maladies aiguës et chroniques majeures. Puja Sapra, vice-présidente senior et responsable de l'ingénierie biologique en R&D et de la découverte de cibles en oncologie chez AstraZeneca, explique que chaque étape du travail scientifique, de la conception à l'analyse en passant par la fabrication et les tests, est désormais assistée par le calcul informatique. Le laboratoire suit une boucle dite « construire, mesurer, apprendre » : des algorithmes génèrent ou classent des molécules candidates par ordre de probabilité de succès, ce qui permet aux chercheurs de concentrer leurs ressources de laboratoire uniquement sur les candidats les mieux notés. Selon une estimation du cabinet McKinsey, l'IA générative combinée à d'autres outils computationnels pourrait réduire les délais de découverte de médicaments de jusqu'à 50 %. Cette approche change concrètement la donne pour l'industrie pharmaceutique, où le développement d'un nouveau médicament prend habituellement plusieurs années et représente un investissement considérable, avec un taux d'échec très élevé parmi les candidats explorés. En réduisant les cycles d'essai-erreur et en resserrant la boucle de rétroaction entre conception et test en laboratoire, l'IA permet à AstraZeneca de s'attaquer à des cibles thérapeutiques longtemps jugées inatteignables, ce que Sapra résume par la formule « rendre médicamentable ce qui ne l'était pas ». Au-delà du gain de temps, ces outils ouvrent la voie à une nouvelle génération de biomédicaments capables de viser simultanément plusieurs cibles biologiques ou de délivrer un traitement de façon précise vers des cellules spécifiques, alors que les biologiques traditionnels ne visaient généralement qu'une seule voie pathologique à la fois. Pour les patients, cela représente un potentiel thérapeutique significatif dans des maladies jusque-là difficiles à traiter. Cette transformation s'appuie sur ce que Sapra appelle un véritable « fossé de données » : la qualité de tout modèle d'IA dépend directement de la richesse des données biologiques utilisées pour l'entraîner. Chaque expérience en laboratoire, qu'elle réussisse ou échoue, génère un signal exploitable. AstraZeneca dit avoir constitué un portefeuille de données propriétaires et multimodales couvrant plusieurs aires thérapeutiques et types de médicaments, incluant structures moléculaires, mesures de liaison, profils de sécurité et résultats de fabrication, afin d'affiner des modèles d'IA de pointe avec des jeux d'entraînement plus riches et représentatifs. L'entreprise a également investi dans des technologies de criblage approfondi pour produire, en volume, les données nécessaires à la validation continue de ses modèles, une stratégie qui s'inscrit dans la course plus large de l'industrie pharmaceutique vers ce que certains décrivent comme un moteur de découverte scientifique autonome.

UEAstraZeneca, groupe pharmaceutique anglo-suédois disposant d'importantes activités de R&D en Europe, illustre une tendance qui pourrait renforcer la compétitivité de l'industrie pharmaceutique européenne dans la course mondiale à l'IA appliquée à la découverte de médicaments.

RechercheActu
1 source
Génération de champs vectoriels guidée par un modèle de diffusion basé sur les scores
3arXiv cs.RO 

Génération de champs vectoriels guidée par un modèle de diffusion basé sur les scores

Des chercheurs ont publié sur arXiv un article (référence 2604.24487) présentant un nouveau cadre algorithmique baptisé SGVF, pour Score-Induced Guiding Vector Field. L'objectif : améliorer radicalement la capacité des robots à suivre des trajectoires complexes, là où les méthodes classiques s'effondrent. Le SGVF exploite les modèles génératifs à base de score, une famille de techniques issues des modèles de diffusion, pour construire des champs de vecteurs directement à partir de distributions de données. Le système apprend des champs tangents depuis des nuages de points en appliquant trois contraintes géométriques : norme unitaire, orthogonalité et cohérence directionnelle. Des expériences menées sur des environnements de navigation robotique planaire démontrent que le SGVF réussit là où les champs de vecteurs classiques échouent. Le code source et une vidéo de démonstration sont disponibles sur GitHub. Cette avancée répond à une limitation structurelle des Guiding Vector Fields traditionnels : ils supposent que les trajectoires sont lisses, ordonnées et mono-branche. Dès qu'un chemin est non ordonné, multi-branche ou issu d'un modèle probabiliste, ces méthodes classiques deviennent inutilisables. Le SGVF, en apprenant directement depuis les données, s'affranchit de la segmentation manuelle des trajectoires et gère des topologies complexes comme les bifurcations ou les pseudo-variétés. Pour la robotique mobile et les systèmes de navigation autonome, c'est un changement de paradigme : il devient possible de guider un robot le long de chemins que l'on ne pourrait pas décrire analytiquement à l'avance. Les modèles de diffusion ont révolutionné la génération d'images et de texte au cours des trois dernières années, mais leur application au contrôle géométrique et à la robotique reste un territoire en friche. Ce travail établit un lien théorique formel entre la disparition du score dans les modèles de diffusion et les singularités des champs de vecteurs guidants, posant ainsi des bases mathématiques solides pour un pont entre l'IA générative et le contrôle géométrique. Les enjeux dépassent la navigation planaire : à terme, ces techniques pourraient s'appliquer à des robots évoluant dans des environnements tridimensionnels, ou à la planification de mouvements dans des espaces de configuration complexes. La communauté robotique dispose désormais d'une piste sérieuse pour intégrer la puissance des modèles génératifs modernes dans des systèmes de contrôle rigoureux.

RecherchePaper
1 source
GenAssets : génération d'assets 3D en espace latent
4arXiv cs.RO 

GenAssets : génération d'assets 3D en espace latent

Des chercheurs ont présenté GenAssets, une nouvelle méthode de génération d'objets 3D destinés aux simulateurs de conduite autonome, décrite dans un article arXiv publié fin avril 2026. Le système repose sur un modèle de diffusion latente 3D capable d'apprendre directement depuis des données LiDAR et caméra collectées en conditions réelles, pour ensuite générer des véhicules et piétons en trois dimensions avec une géométrie et une apparence complètes. L'approche dite "reconstruire-puis-générer" fonctionne en deux temps : elle commence par exploiter un rendu neural conscient des occlusions, entraîné sur plusieurs scènes, pour construire un espace latent de haute qualité représentant les objets observés ; un modèle de diffusion opère ensuite sur cet espace pour produire des assets variés et réalistes. Les auteurs affirment que GenAssets surpasse les méthodes existantes de reconstruction et de génération sur des benchmarks standardisés. La simulation multi-capteurs est au cœur du développement sûr des systèmes de conduite autonome : sans assets 3D diversifiés et réalistes, il est impossible de tester les véhicules dans des situations rares ou dangereuses à reproduire dans la réalité. Le problème central que GenAssets résout est celui des données en conditions sauvages ("in-the-wild"), où les acteurs de la scène, autres voitures, cyclistes, piétons, sont souvent capturés sous des angles limités et partiellement masqués par d'autres objets. Les méthodes classiques de reconstruction par rendu neural échouent à produire des assets utilisables depuis des points de vue différents de l'observation d'origine, ce qui restreint fortement leur utilité en simulation. GenAssets débloque une création de contenu scalable et diverse, directement exploitable pour entraîner et valider des systèmes d'autonomie. La génération d'environnements synthétiques de haute fidélité est un enjeu stratégique pour des acteurs comme Waymo, Tesla, Cruise ou Mobileye, qui dépendent de milliards de kilomètres simulés pour compenser le coût prohibitif des tests réels. Les approches par diffusion ont connu une montée en puissance spectaculaire depuis 2022, mais leur application aux scènes de conduite réelles restait freinée par la rareté et la partialité des observations terrain. GenAssets ouvre une voie vers des pipelines entièrement automatisés de création d'assets, alimentés directement par les données collectées par les flottes de véhicules, ce qui pourrait significativement accélérer les cycles de développement et d'homologation des systèmes autonomes.

UELes constructeurs et équipementiers européens du secteur automobile pourraient bénéficier indirectement de cette avancée pour améliorer leurs pipelines de simulation en conduite autonome.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic