Know3D permet de contrôler la face cachée des objets 3D par instructions textuelles
Une équipe de chercheurs a développé Know3D, une méthode qui permet de contrôler l'apparence du dos des objets 3D générés à partir d'une seule image, en utilisant de simples commandes textuelles. Le système exploite les connaissances du monde réel encodées dans les grands modèles de langage pour inférer et diriger ce qui doit apparaître sur les faces cachées d'un objet tridimensionnel, sans que l'utilisateur ait besoin de fournir d'autres références visuelles.
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette avancée s'attaque à l'un des angles morts les plus persistants de la génération 3D à partir d'une image unique : la reconstruction des zones non visibles. Jusqu'ici, les modèles généraient ces faces cachées de manière aléatoire ou incohérente, produisant des objets 3D inutilisables en production professionnelle. Avec Know3D, un designer peut écrire une instruction comme "dos plat avec texture bois" pour obtenir un résultat cohérent et maîtrisé, ce qui ouvre des perspectives concrètes pour la création de contenus dans les jeux vidéo, la réalité augmentée et le commerce en ligne.
La génération 3D à partir d'une image reste un problème ouvert très actif en recherche, avec des acteurs comme Stability AI, Luma AI ou encore des équipes académiques qui multiplient les approches concurrentes. L'originalité de Know3D réside dans le recours aux LLM non pas pour générer du texte, mais comme base de connaissance spatiale et sémantique sur la forme des objets du monde réel. Si les résultats se confirment sur des géométries complexes, cette technique pourrait s'intégrer rapidement dans les pipelines de création 3D assistée par IA déjà en cours de déploiement dans l'industrie.
Pas d'impact direct sur la France/UE