Modèles de trajectoire normalisants
Des chercheurs présentent les Normalizing Trajectory Models (NTM), une nouvelle famille de modèles génératifs conçue pour produire des échantillons en très peu d'étapes. Chaque étape de la trajectoire inverse, qui mène du bruit à la donnée, y est modélisée par un flot normalisant conditionnel expressif. L'entraînement repose sur une vraisemblance exacte. Côté architecture, les NTM associent des blocs inversibles peu profonds à l'intérieur de chaque étape à une composante profonde fonctionnant en parallèle.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
L'intérêt tient à ce que cette approche conserve le cadre probabiliste là où les méthodes rapides actuelles l'abandonnent. Pour accélérer la génération, celles-ci recourent à la distillation, à l'entraînement par cohérence ou à des objectifs adverses. Elles perdent alors la possibilité d'évaluer et d'optimiser directement la vraisemblance des données. Un modèle capable de générer en quelques transitions tout en gardant un entraînement principiel intéresserait les équipes qui veulent des générateurs rapides sans empiler des procédures d'entraînement en plusieurs phases.
Ce travail part d'une limite connue des modèles de diffusion. Ils découpent l'échantillonnage en un grand nombre de petits pas de débruitage gaussiens, une hypothèse qui cesse d'être valable quand la génération est comprimée en quelques transitions grossières. Une distribution gaussienne ne peut plus alors décrire correctement chaque saut. Les auteurs remplacent donc cette hypothèse par des transitions plus expressives, rendues possibles par les flots normalisants, une famille de modèles qui offre naturellement une vraisemblance exacte. Reste à voir comment les NTM se comparent aux approches par distillation ou par cohérence sur les benchmarks usuels.
Pas d\'impact direct sur la France/UE