Luce : des gaussiennes relightables pour la génération d'objets 3D
Des chercheurs présentent Luce, une nouvelle représentation 3D conçue pour la génération d'assets par intelligence artificielle à partir d'images. Le système répond à un problème technique précis : produire des objets 3D de haute fidélité exige de capturer à la fois la géométrie et l'apparence, mais aussi de permettre un rééclairage réaliste et une intégration directe dans les moteurs de rendu standards. Pour y parvenir, Luce combine géométrie et matériaux physiquement réalistes, appelés PBR (albédo, propriétés métallique-rugosité, normales de surface), au sein d'un nuage de gaussiennes multimodal et voxelisé, où chaque type d'information dispose de ses propres primitives gaussiennes dédiées. Un autoencodeur variationnel compresse ensuite l'ensemble dans un espace latent unique, dit conscient des matériaux.
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette approche change concrètement la donne pour les studios de jeux vidéo, les effets visuels et les applications de réalité virtuelle ou augmentée, où les objets générés par IA doivent pouvoir être éclairés différemment selon les scènes sans perdre en réalisme. Jusqu'ici, de nombreuses méthodes de génération 3D par gaussiennes produisaient une apparence figée, liée à l'éclairage présent dans l'image d'origine, ce qui limitait leur usage dans des pipelines de production professionnels exigeant flexibilité et compatibilité avec les standards de rendu.
Ce travail s'inscrit dans une course plus large autour de la génération d'assets 3D par IA, un domaine où plusieurs laboratoires cherchent à dépasser les limites du splatting gaussien classique et des champs de radiance neuronaux, historiquement forts en géométrie mais faibles en séparation des matériaux. En unifiant ces deux aspects dans une seule représentation compressée, Luce ouvre la voie à des pipelines de création 3D assistée par IA plus directement exploitables par les professionnels du secteur.
Pas d'impact direct sur la France/UE