Le guide complet pour fine-tuner les modèles de génération 3D
Hugging Face publie un guide complet pour affiner TRELLIS.2, un modèle populaire de génération 3D, sur des jeux de données personnalisés, avec des scripts et des conteneurs exécutables en local ou sur Hugging Face Jobs. La méthode repose sur LoRA (adaptation de bas rang), qui entraîne de petites matrices d'adaptation tout en gardant figés les poids d'origine, grâce à la bibliothèque PEFT. L'expérience porte sur un sous-ensemble de 188 chaussures du jeu Google Scanned Objects (GSO). Dans les premiers tests, le modèle préentraîné produisait des chaussures d'apparence correcte, mais avec des semelles inexactes, et l'objectif est de vérifier si un adaptateur LoRA corrige ce défaut. Le pipeline de TRELLIS.2 comporte cinq étapes : suppression de l'arrière-plan avec BiRefNet, encodage de l'image en jetons par DINOv3-L, prédiction de la structure grossière, génération de la géométrie détaillée, puis génération des matériaux, avant l'export d'un maillage texturé. Le flux de structure parcimonieuse, un transformeur de diffusion, produit un petit latent de taille 16³ × 8, qu'un autoencodeur variationnel convertit en grille d'occupation de 64 × 64 × 64. Le flux de forme exploite ensuite cette grille et les jetons DINOv3 pour générer une géométrie à la résolution de 512 × 512 × 512.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de HuggingFace Blog. Lire l'article original →
L'enjeu est pratique. La génération 3D sert la robotique, la simulation, les médias et le divertissement, des domaines où les objets générés doivent respecter des contraintes strictes. Un modèle généraliste peut se tromper sur des détails décisifs : un utilisateur qui a besoin de meubles à la géométrie fidèle obtiendra des résultats insuffisamment précis sans adaptation à sa tâche. Le guide insiste sur un principe : choisir ce que l'on gèle compte autant que choisir ce que l'on affine. Comme le pipeline sépare structure, géométrie détaillée et matériaux, il suffit d'entraîner les composants pertinents, ce qui réduit le nombre de paramètres entraînables ainsi que la mémoire consommée par les gradients et l'état de l'optimiseur. Les adaptateurs sont ici ajoutés au modèle de structure, dont la sortie oriente l'étape géométrique. Pour reproduire l'expérience, il faut un jeton HF_TOKEN et un accès au modèle DINOv3, qui est à accès restreint, et les maillages d'un jeu de données personnel doivent être téléversés sur le Hub au préalable.
Le contexte tient à la fragmentation de la 3D. Les formats de fichiers (GLB, PLY) et les représentations (champs de radiance neuronaux, ou NeRF, et projection gaussienne 3D, ou 3DGS) sont nombreux, chacun avec ses avantages et ses limites. TRELLIS a introduit une représentation latente unifiée, dont des décodeurs tirent le format de sortie voulu, évitant d'utiliser un modèle par format. La même équipe a ensuite publié TRELLIS.2, qui améliore la représentation de la structure 3D grâce à O-Voxel, une grille de voxels parcimonieuse ne conservant que les voxels de surface, avec géométrie locale et attributs de matériau. Ce format compact se convertit depuis un maillage en quelques secondes sur CPU, et inversement en quelques secondes sur GPU. Seuls environ 10 % des voxels de la grille sont utilisés, ce qui rend les transformeurs de forme et de texture parcimonieux, alors que celui de structure reste dense. Aucun des deux modèles n'offrait toutefois de voie simple pour s'adapter à une tâche précise, lacune que ce guide cherche à combler.
Les développeurs et studios européens de simulation, robotique et médias peuvent adapter gratuitement un modèle de génération 3D open source à leurs propres jeux de données.