Google AI Research publie un cadre de délibération agile pour les classificateurs d'images aux cas ambigus
Google Research a publié Agile Deliberation, un cadre logiciel qui aide des utilisateurs à construire des classificateurs d'images autour de concepts subjectifs, comme « nourriture saine », « œuvre inspirante » ou les contenus aguicheurs en modération. Contrairement aux outils qui supposent que l'utilisateur connaît déjà la frontière du concept, celui-ci l'aide à la découvrir. Il fonctionne dans un notebook Jupyter ou Colab, interroge Gemini 2.5 Pro et Gemini 2.5 Flash par API sans réglage fin, et s'appuie sur des embeddings CLIP et un index FAISS, dont la version de démonstration pèse environ 260 Mo. Le résultat est une définition écrite, à la fois politique lisible par un humain et prompt du classificateur. À chaque tour, le système conserve la définition candidate qui obtient le meilleur score F1 sur les étiquettes de l'utilisateur. Dans la première étape, Gemini 2.5 Pro découpe le concept en trois sous-concepts au plus, chacun accompagné de sous-concepts positifs et négatifs illustrés par des images. L'utilisateur les garde, les inverse ou les écarte. Dans la seconde, Gemini 2.5 Flash rédige des requêtes sur des cas limites, par exemple « salades avec sauce mayonnaise abondante », chacune récupérant 50 à 100 images. Celles-ci sont regroupées par apprentissage de dictionnaire, puis un bandit manchot de type UCB choisit le groupe suivant. L'utilisateur voit au moins cinq images partageant une même ambiguïté, les étiquette et note ses désaccords, qu'un LLM transforme en nouvelles définitions.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les résultats viennent de 18 sessions réelles d'environ 90 minutes, menées avec neuf participants sans expérience professionnelle de la modération, chacun ayant fait deux sessions : l'une avec Agile Deliberation, l'autre en délibération manuelle. Après environ 45 minutes consacrées à définir un concept, ils ont étiqueté 200 images de test. Deux concepts ont été testés : le clickbait « paid to play », sur un jeu propriétaire de 100 millions d'images, et « healthy food », sur WebLI. Le F1 moyen dépasse de 10,5 points celui de Gemini 2.5 Flash en zéro-shot. Pour « paid to play », il passe de 0,48 à 0,59, la précision progressant de 22 points (0,35 à 0,57). Pour « healthy food », il passe de 0,48 à 0,58. Le gain n'est pas gratuit : le rappel recule de 17 points sur « paid to play » (0,80 à 0,63) et de 15 points sur « healthy food ». Modeling Collaborator atteint 0,53 et 0,50.
L'enjeu dépasse la simple performance : pour la modération, la recommandation ou le tri de contenus, beaucoup de catégories n'ont pas de vérité terrain fixe, et les équipes les découvrent en regardant des exemples. En produisant une définition lisible et réutilisable, l'outil rend la règle auditable et partageable entre modérateurs, ce que ne permet pas un classificateur opaque. Le compromis observé est toutefois net : le système devient plus strict, donc plus précis mais moins exhaustif. Une plateforme qui veut surtout ne rien laisser passer devra en tenir compte, sans doute en ajustant la définition ou le seuil.
Ce travail, présenté à CVPR 2026, prolonge des méthodes antérieures. Agile Modeling (ICCV 2023) demandait à l'utilisateur d'étiqueter des images en boucle, tandis que Modeling Collaborator (CVPR 2024) confiait à un agent LLM la décomposition du concept et l'étiquetage automatique, avec environ 100 étiquettes et un échange de chat. Agile Deliberation mise sur la délibération autour d'images sémantiquement ambiguës, suivie d'une optimisation automatique du prompt, pour environ 45 minutes d'effort humain. Il écarte l'échantillonnage par incertitude classique, car les scores de confiance d'un modèle vision-langage génératif sont mal calibrés. Il a été conçu à partir d'entretiens avec des experts en modération, pour qui l'étape la plus lente était de trouver les images ambiguës. Les limites sont connues : deux concepts seulement, neuf participants non experts, et des gains qui restent modestes en valeur absolue.
Pas d\'impact direct sur la France/UE