Des pixels aux tokens : apprentissage actif économe en tokens pour la segmentation sémantique à petit budget
Des chercheurs présentent TEAL (Token-space Efficient Active Learning), une méthode d'apprentissage actif pensée pour la segmentation sémantique avec des architectures de type Vision Transformer (ViT). Son originalité tient au niveau d'annotation visé : le pixel, avec un budget extrêmement réduit pouvant descendre à une seule requête de pixel par image. Dans ce cadre, la méthode doit accomplir deux tâches à la fois. Elle doit repérer les emplacements les plus informatifs à faire annoter, puis entraîner une tête de décodage fiable à partir d'un signal supervisé très clairsemé. TEAL réalise cette sélection dans l'espace des tokens, c'est-à-dire dans la représentation interne manipulée par les ViT.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
L'enjeu est d'abord économique. La segmentation sémantique exige habituellement un étiquetage dense, pixel par pixel, parmi les tâches de vision les plus coûteuses à annoter. Réussir à obtenir des modèles exploitables avec quelques clics par image pourrait réduire fortement le temps et l'argent consacrés à la constitution de jeux de données. Les domaines où l'expertise d'annotation est rare ou onéreuse, comme l'imagerie médicale, la conduite autonome ou l'observation de la Terre, en seraient les premiers bénéficiaires potentiels.
Les modèles de fondation et les ViT ont profondément renouvelé les représentations visuelles, mais les stratégies d'apprentissage actif conçues pour eux fonctionnent surtout au niveau du patch ou de la région. Ces approches continuent donc de réclamer un étiquetage étendu, ce qui limite leur intérêt lorsque le budget est minimal. Étendre ces techniques au niveau du pixel dans un régime à très faible budget restait un problème ouvert, que TEAL cherche à combler. La suite dépendra de la capacité de la méthode à se généraliser à d'autres architectures et à des jeux de données variés.