RecherchearXiv cs.RO · 28 avr. 2026, 07:00· 2 min de lecture

GenAssets : génération d'assets 3D en espace latent

Des chercheurs ont présenté GenAssets, une nouvelle méthode de génération d'objets 3D destinés aux simulateurs de conduite autonome, décrite dans un article arXiv publié fin avril 2026. Le système repose sur un modèle de diffusion latente 3D capable d'apprendre directement depuis des données LiDAR et caméra collectées en conditions réelles, pour ensuite générer des véhicules et piétons en trois dimensions avec une géométrie et une apparence complètes. L'approche dite "reconstruire-puis-générer" fonctionne en deux temps : elle commence par exploiter un rendu neural conscient des occlusions, entraîné sur plusieurs scènes, pour construire un espace latent de haute qualité représentant les objets observés ; un modèle de diffusion opère ensuite sur cet espace pour produire des assets variés et réalistes. Les auteurs affirment que GenAssets surpasse les méthodes existantes de reconstruction et de génération sur des benchmarks standardisés.

La simulation multi-capteurs est au cœur du développement sûr des systèmes de conduite autonome : sans assets 3D diversifiés et réalistes, il est impossible de tester les véhicules dans des situations rares ou dangereuses à reproduire dans la réalité. Le problème central que GenAssets résout est celui des données en conditions sauvages ("in-the-wild"), où les acteurs de la scène, autres voitures, cyclistes, piétons, sont souvent capturés sous des angles limités et partiellement masqués par d'autres objets. Les méthodes classiques de reconstruction par rendu neural échouent à produire des assets utilisables depuis des points de vue différents de l'observation d'origine, ce qui restreint fortement leur utilité en simulation. GenAssets débloque une création de contenu scalable et diverse, directement exploitable pour entraîner et valider des systèmes d'autonomie.

La génération d'environnements synthétiques de haute fidélité est un enjeu stratégique pour des acteurs comme Waymo, Tesla, Cruise ou Mobileye, qui dépendent de milliards de kilomètres simulés pour compenser le coût prohibitif des tests réels. Les approches par diffusion ont connu une montée en puissance spectaculaire depuis 2022, mais leur application aux scènes de conduite réelles restait freinée par la rareté et la partialité des observations terrain. GenAssets ouvre une voie vers des pipelines entièrement automatisés de création d'assets, alimentés directement par les données collectées par les flottes de véhicules, ce qui pourrait significativement accélérer les cycles de développement et d'homologation des systèmes autonomes.

Impact France/UE

Les constructeurs et équipementiers européens du secteur automobile pourraient bénéficier indirectement de cette avancée pour améliorer leurs pipelines de simulation en conduite autonome.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

« IA sans environnement : génération de données synthétiques pour agents d'appel API »

Voici l'article traduit et résumé : L'entraînement d'agents basés sur des grands modèles de langage (LLM) capables d'appeler des API nécessite d'énormes volumes de trajectoires d'interaction de haute qualité. Jusqu'à présent, la collecte de ces données à grande échelle imposait de disposer d'environnements entièrement fonctionnels, avec des API exécutables et des bases de données backend réalistes et pré-remplies, un obstacle majeur qui limitait fortement la scalabilité du processus. Pour contourner cette contrainte, une équipe de recherche propose une nouvelle approche de génération de données synthétiques ne nécessitant aucun environnement réel, en exploitant les LLM eux-mêmes comme des modèles du monde numérique générés à la volée. En ne partant que des spécifications des API, sans backend ni base de données préexistante, la méthode produit des trajectoires simulant fidèlement les interactions entre un agent et un environnement à état, c'est-à-dire un système qui évolue et garde en mémoire les effets des actions précédentes. Cette avancée change potentiellement la donne pour le développement d'agents IA capables d'utiliser des outils et des API externes, une capacité de plus en plus centrale dans les architectures d'agents autonomes. En supprimant le besoin de construire et maintenir des environnements de test complexes et coûteux, cette méthode pourrait considérablement réduire le temps et les ressources nécessaires pour entraîner de tels agents, tout en permettant de générer des données d'entraînement plus diversifiées et à moindre coût. Pour les équipes de recherche et les entreprises qui développent des assistants IA orientés action, cela représente un gain potentiel important en termes de rapidité de développement et de couverture des cas d'usage. Le goulot d'étranglement identifié par les auteurs, la nécessité de bases de données backend réalistes pour chaque scénario testé, est un frein connu dans le domaine de l'entraînement d'agents IA, où la qualité des données d'apprentissage détermine directement la fiabilité des systèmes déployés en production. Cette approche s'inscrit dans une tendance plus large consistant à utiliser les LLM non seulement comme agents mais aussi comme simulateurs de leur propre environnement d'entraînement, une piste qui pourrait s'étendre à d'autres domaines nécessitant des données d'interaction complexes, comme la navigation web ou l'automatisation de tâches multi-étapes.

RecherchePaper

1 source

2Apple Machine Learning

L'utilisation d'outils débloque la généralisation en longueur dans les modèles à espace d'états

Des chercheurs ont publié une étude démontrant une limite fondamentale des State Space Models (SSMs), la famille d'architectures neuronales considérée comme la principale alternative aux Transformers pour le traitement de séquences longues. Leur résultat théorique, formellement prouvé, établit qu'aucun SSM ne peut résoudre avec précision ce qu'ils appellent un problème de "génération véritablement longue" — c'est-à-dire des tâches nécessitant de maintenir et manipuler de l'information sur des contextes dépassant la capacité effective de leur mémoire fixe. Cette conclusion s'applique aux architectures SSM dans leur forme standard, indépendamment de leur taille ou de leur entraînement. Cette découverte fragilise l'argument central qui faisait la réputation des SSMs : leur efficacité sur les longues séquences. Contrairement aux Transformers, dont la complexité computationnelle croît quadratiquement avec la longueur du contexte, les SSMs fonctionnent en mémoire fixe avec une complexité linéaire — ce qui les rendait théoriquement supérieurs pour les tâches longue portée. Si cette limite est confirmée, elle remet en question l'usage des SSMs dans des applications critiques comme la synthèse de documents longs, le raisonnement multi-étapes ou la génération de code étendu. Les chercheurs proposent néanmoins une solution : doter les SSMs d'un accès interactif à des outils externes. Cette approche, qui s'inscrit dans la tendance plus large du "tool use" en IA, permettrait aux modèles de contourner leur contrainte mémoire en déléguant certaines opérations à des systèmes externes. Les SSMs rejoignent ainsi les Transformers dans une convergence vers des architectures hybrides augmentées d'outils, suggérant que la prochaine génération de modèles efficaces ne sera pas définie par l'architecture seule, mais par sa capacité à s'interfacer avec son environnement.

RecherchePaper

1 source

3Apple Machine Learning

Le calibrage de l'attention creuse accélère la génération de texte en vidéo

Une équipe de recherche propose une nouvelle méthode pour accélérer la génération de vidéos par intelligence artificielle, baptisée attention parcimonieuse calibrée (calibrated sparse attention). Les modèles de diffusion actuels produisent des vidéos de haute qualité à partir de texte, mais reposent sur d'immenses architectures de type transformeur dont la vitesse est freinée par le calcul de l'attention spatio-temporelle, l'étape qui relie chaque portion de l'image dans le temps et l'espace. Les chercheurs ont observé qu'une part importante des connexions entre tokens, les unités élémentaires traitées par le modèle, produit systématiquement des scores d'attention négligeables, quel que soit le contenu de la vidéo générée. Mieux, ces schémas de connexions faibles se répètent souvent d'une requête à l'autre, y compris pour les liens entre blocs de tokens voisins dans l'image. Cette découverte ouvre la voie à une accélération significative sans perte de qualité perceptible: puisque ces connexions apportent une contribution quasi nulle au résultat final, leur calcul peut simplement être ignoré. Pour l'industrie de la génération vidéo par IA, en pleine expansion avec des outils comme Sora, Runway ou Kling, la latence et le coût de calcul restent des freins majeurs à l'adoption à grande échelle, que ce soit pour la production créative professionnelle ou les usages grand public. Réduire ces temps de génération sans sacrifier le rendu visuel pourrait rendre ces outils plus accessibles et moins gourmands en ressources GPU. Cette approche s'inscrit dans une tendance plus large de recherche sur l'optimisation des grands modèles de diffusion vidéo, où l'attention parcimonieuse, déjà explorée pour les grands modèles de langage, est adaptée aux spécificités spatio-temporelles de la vidéo. En identifiant et exploitant la redondance structurelle de l'attention plutôt qu'en réduisant la taille du modèle, les auteurs visent un compromis efficace entre vitesse et fidélité, une piste que d'autres laboratoires devraient probablement explorer à mesure que la demande pour la génération vidéo en temps réel augmente.

RecherchePaper

1 source

4Apple Machine Learning

CLaRa : relier recherche documentaire et génération grâce au raisonnement latent continu

Des chercheurs présentent CLaRa (Continuous Latent Reasoning), un nouveau cadre technique destiné à améliorer la génération augmentée par récupération (RAG), une méthode qui permet aux grands modèles de langage de s'appuyer sur des documents externes pour répondre aux questions. Le problème identifié par les auteurs est double: les contextes récupérés sont souvent trop longs à traiter, et les étapes de récupération et de génération sont optimisées séparément, ce qui limite les performances globales du système. CLaRa propose de résoudre ces deux limites en unifiant récupération et génération dans un même espace continu, où les documents sont compressés sous forme de vecteurs plutôt que conservés en texte intégral. Pour produire ces représentations compressées, l'équipe a développé SCP, une méthode de synthèse de données qui préserve les informations clés en s'appuyant sur des exercices de question réponse et de reformulation. L'enjeu pratique est de taille pour les applications d'IA générative en entreprise, où le RAG est devenu un standard pour connecter les modèles de langage à des bases de connaissances propriétaires sans réentraînement complet. Réduire la longueur des documents transmis au générateur diminue les coûts de calcul et la latence, tout en conservant les informations essentielles grâce à des vecteurs plus denses sémantiquement. Une optimisation conjointe entre récupération et génération pourrait aussi améliorer la pertinence des réponses produites, un point faible connu des systèmes RAG classiques où les deux composants sont entraînés indépendamment. Cette recherche s'inscrit dans une tendance plus large visant à repenser l'architecture du RAG face à l'explosion des besoins en contexte long. Plusieurs laboratoires travaillent actuellement sur des méthodes de compression et de raisonnement latent pour rendre les modèles plus efficaces sans sacrifier la qualité des réponses, un compromis central alors que les entreprises déploient massivement ces technologies à grande échelle.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic